Генерация текста нейронной сетью. Часть №3

Тема в разделе "Курилка / Flood", создана пользователем TopperHarley, 26 сен 2021.

  1. TopperHarley

    TopperHarley Administrator Команда форума

    ...Начало темы...

    Новый мануал для тестов:
    На этот раз на основе GPT2

    1) Установить питон 3.7
    https://www.python.org/ftp/python/3.7.9/python-3.7.9-amd64.exe

    2) Выполнить в командной строке (в cmd.exe)
    Код:
    pip install torch===1.4.0 -f https://download.pytorch.org/whl/torch_stable.html
    pip3 install transformers==3.5.0
    3) Выполнить в питоне (в python.exe)
    Код:
    from transformers import AutoTokenizer, AutoModelWithLMHead
    tokenizer = AutoTokenizer.from_pretrained("distilgpt2")
    model = AutoModelWithLMHead.from_pretrained("distilgpt2")
    from transformers import pipeline
    generator = pipeline('text-generation', model='distilgpt2')
    generator("тут ваш текст на англ. языке", do_sample=True, max_length=1000, top_p=0.92, repetition_penalty=3.0)

    Тут в последней строке поменяйте текст на ваш англ. текст.
    Для продолжения тестов просто запускайте снова строку в этом же окне

    Код:
    generator("тут ваш текст на англ. языке", do_sample=True, max_length=1000, top_p=0.92, repetition_penalty=3.0)
    Пример сгенеренного текста по затравке "Dogs bite"

    Классная статья по генерции: https://huggingface.co/blog/how-to-generate
    Описание параметров генерации: https://huggingface.co/transformers/main_classes/model.html
     
    Последнее редактирование: 26 сен 2021
    cafe-racer, user70243, limoshkaa и ещё 1-му нравится это.