Магистратура 2024/2025

Трансформеры и большие языковые модели

Статус: Курс по выбору (Современные компьютерные науки)

Направление: 01.04.02. Прикладная математика и информатика

Кто читает: Базовая кафедра Яндекс

Где читается: Факультет компьютерных наук

Когда читается: 1-й курс, 3 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Прогр. обучения: Современные компьютерные науки

Язык: русский

Кредиты: 3

Программа дисциплины

Аннотация

Большие языковые модели (LLM) стали важным направлением в области искусственного интеллекта и компьютерной лингвистики. Они используются для генерации текста, перевода, ответов на вопросы и многих других задач обработки естественного языка. Современные LLM, такие как GPT-3, LLaMa, Mistral могут генерировать связные и качественные тексты. Одним из типичных сценариев использования LLM являются вопросно-ответные системы, в которых языковая модель выступает в качестве эксперта для ответа на вопросы пользователя. Однако, в порожденных моделью ответах на вопросы встречаются так называемые галлюцинации - случаи генерации выдуманных фактов, событий и концепций. Одним из способов борьбы с этими проблемами является использование информационно-поисковых систем, из которых извлекаются релевантные вопросу фрагменты текста, которые подаются в качестве подсказки / помощи в языковые модели. В курсе будут рассмотрены современные подходы к информационному поиску и поиску ответов на вопросы на основе LLM, а также современная технология комбинирования LLM .