«Сегодня сделать большую языковую модель — это гигантский труд»
С 22 по 24 ноября проходит международная онлайн-конференция в сфере технологий искусственного интеллекта AI Journey 2023. В ее работе приняли участие эксперты НИУ ВШЭ. В фокусе обсуждения — языковые модели и методы, которые применяются сегодня для обучения искусственного интеллекта.
Научный сотрудник Международной лаборатории интеллектуальных систем и структурного анализа факультета компьютерных наук НИУ ВШЭ Елизавета Гончарова выступила с докладом «Языковые модели. Что можно выучить, генерируя текст?». Она рассказала об истории развития процесса обработки естественного языка и больших языковых моделей как виртуальных ассистентов. По ее словам, начало этому направлению было положено еще в середине прошлого столетия, но применяемые тогда подходы главным образом были основаны на правилах, связанных с формальной грамматикой и регулярными выражениями. «Однако впоследствии нейросетевые подходы по обработке естественного языка и трансформерные модели взяли верх, и все большие и наиболее успешные примеры работ моделей по обработке естественного языка теперь связаны именно с архитектурой трансформеров», — отметила исследовательница.
Елизавета Гончарова
Елизавета Гончарова считает, что большие языковые модели очень мощные, поэтому, будучи предобученными на простой задаче языкового моделирования, они способны решать гораздо более сложные прикладные задачи даже без дальнейшего обучения. «Если заглянуть внутрь модели, то мы увидим, что каждая часть модели отвечает за кодирование и своей информации, и той информации, на которую мы посягаем как люди: лингвистической структуры текста, фактологии, понятий времени и пространства и даже визуальных концептов, в целом закодированных внутри модели, которую мы рассматриваем, — объяснила она. — Добавление на дообучение модели данных других модальностей позволяет лучше улавливать понятия, связанные с этими модальностями, как в случае цветов, так и в случае форм. Это намекает нам на то, что текстов недостаточно, чтобы модель получила все знания о мире. Возможно, расширение модальности позволит нам открыть новые формы моделей и перейти к более сложным и более умным моделям, которые мы будем использовать в будущем».
Об алгоритмах, которые применяются для создания языковых моделей, используемых искусственным интеллектом, рассказал Евгений Соколов, руководитель департамента больших данных и информационного поиска, доцент факультета компьютерных наук, научный руководитель Центра непрерывного образования НИУ ВШЭ. Тема его доклада — «Tехнологии и алгоритмы внутри больших языковых моделей, или Что сегодня понимают под ИИ?». Евгений Соколов отметил, что сегодня уже много информации об успехах ИИ, генеративных моделей, больших языковых моделей. Он предложил разобраться, как они работают, что находится внутри, какие алгоритмы делают возможными все эти результаты и за счет чего происходит рост качества в методах ИИ.
Евгений Соколов
«Сегодня сделать большую языковую модель — это гигантский труд. Да, математика, которая лежит в основе, очень простая: производные, градиенты, градиентный спуск. А дальше начинается много интересного, нужно придумать методы для извлечения информации из данных, — говорит Евгений Соколов. — Сейчас есть трансформеры, но, кто знает, может, завтра придумают что-то новое? Очень важны сегодня обучающие данные. Классическая парадигма — это когда мы берем обучающие данные и подкручиваем параметры какой-то модели, какого-то алгоритма, чтобы получилось получше. Но сейчас этого мало, недостаточно. Нам нужно как-то внедрить требования качества в эту модель. Для этого мы берем асессоров, собираем большую выборку, строим отдельную оценивающую модель, что требует тоже очень много времени, и на основе этого докручиваем параметры нашей большой языковой модели. Получается сложная схема, какой мы видим ее сегодня. И это то, как сейчас обучаются большие языковые модели».
Эксперт отметил, что в этой работе главную роль играет не решение задачи, чтобы модель как-то «догадалась», что разработчики в нее заложили какие-то глубокие понимания — например, понимание того, как устроен язык. В этой работе важны два момента — собрать качественные данные и взять модель побольше. По его мнению, последние годы исследований показали, что основной рост качества языковых моделей достигается за счет определения большего количества параметров, по которым в дальнейшем будет вестись разработка большой языковой модели.
Свои доклады на конференции также представили и другие исследователи из Вышки. Так, младший научный сотрудник Института искусственного интеллекта и цифровых наук Айбек Аланов выступил с докладом «Редактирование изображений с помощью диффузионных моделей». Сотрудник Института искусственного интеллекта и цифровых наук и Научно-учебной лаборатории методов анализа больших данных НИУ ВШЭ Виталий Поздняков представил доклад на тему «Генерация стрессовых данных для проверки устойчивости моделей». Доцент факультета компьютерных наук, сотрудник Международной лаборатории интеллектуальных систем и структурного анализа НИУ ВШЭ Дмитрий Ильвовский сделал сообщение на тему «Интерпретируемые подходы к дискурсивным, логическим и аргументативным структурам в тексте». А профессор НИУ ВШЭ в Нижнем Новгороде Андрей Савченко представил исследование «Эффективные методы распознавания выражений лиц на видео».
В форсайт-сессии «ИИ для человека будущего» выступил Александр Чулок, директор Центра научно-технологического прогнозирования ИСИЭЗ НИУ ВШЭ.
Вам также может быть интересно:
Обуздать стихию: как ИИ интегрируется в учебный процесс в странах мира
Искусственный интеллект постепенно становится незаменимой частью высшего образования. Его используют и студенты, и преподаватели для снижения объема рутинных задач и расширения своих возможностей. Ограничения и перспективы ИИ рассматриваются в докладе «Начало конца или новой эпохи? Эффекты генеративного искусственного интеллекта (ГИИ) в высшем образовании», который вышел в журнале «Современная аналитика образования» под научной редакцией научного руководителя НИУ ВШЭ Ярослава Кузьминова.
Виртуальный Моцарт, бот «Венчурный капитал» и генерация учебных видео: как в Вышке применяют ИИ
В середине ноября в Вышке состоялся митап, на котором преподаватели, исследователи и административные работники университета представили собственные проекты и поделились опытом использования ИИ-технологий в образовательной и научной деятельности. Встреча прошла в рамках программы повышения квалификации «Искусственный интеллект в образовании и исследованиях».
Названы ключевые тренды в образовании — 2025
Искусственный интеллект и виртуальная реальность все чаще становятся частью образования. Больше половины преподавателей-новаторов готовы поддерживать мультимодальные подходы с использованием ИИ, а каждый третий студент считает, что технологии способны сделать учебу интереснее и удобнее. Такие данные представили Лаборатория инноваций в образовании ВШЭ и холдинг Ultimate Education.
Студенты Вышки выиграли международный этап «Цифрового прорыва»
В начале ноября в Калининграде прошел международный этап хакатона «Цифровой прорыв. Сезон: Искусственный интеллект». В нем приняли участие 203 команды в составе 1569 человек, и среди них — студенты факультета компьютерных наук ВШЭ, призеры всероссийского этапа. Они соревновались в решении задач от партнеров хакатона — РЖД, Media Wise, «Атома», «Росатома», «Силы» и других организаций.
«Можно что-то сделать? Или меня отчислят?»: ИИ-помощники в образовании
Искусственный интеллект может значительно облегчить жизнь студентов и преподавателей университетов. Например, он способен автоматизировать некоторые учебные процессы, а также составить прогноз возможностей трудоустройства выпускников.
В НИУ ВШЭ разработан инструмент для контроля ИИ-технологий в медицине
Группа исследователей из Центра искусственного интеллекта НИУ ВШЭ разработала индекс для определения уровня этичности систем искусственного интеллекта (ИИ) в медицине. Инструмент предназначен для минимизации потенциальных рисков, обеспечения безопасной разработки и внедрения ИИ-технологий в медицинскую практику.
Драйвер прогресса и статья доходов: роль университетов в трансфере технологий
В современном мире необходим эффективный трансфер социально-экономических и гуманитарных знаний в реальный сектор экономики и госуправление. Решающую роль в этом играют университеты. У них есть возможность объединять различные коллективы и в партнерстве с государством и бизнесом разрабатывать и совершенствовать передовые технологии.
ИНФОТЕХ-2024: «понять перспективы и ограничения использования ИИ в образовании»
В конце октября в рамках XVII Тюменского цифрового форума информационных технологий «ИНФОТЕХ-2024» прошел круглый стол «Эксперименты с ИИ в образовании». Эксперты Высшей школы экономики, Московского городского педагогического университета, Уральского федерального университета и Тюменского государственного университета обсудили практический опыт разработки и внедрения технологий ИИ в образовательный процесс, обозначили основные вызовы, связанные с быстрым развитием образовательных решений на базе ИИ.
Fall into ML 2024: взгляд в будущее машинного обучения
25–26 октября в Москве состоялась конференция Fall into ML, организованная Институтом искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ совместно с Центром ИИ при поддержке титульного партнера — Сбера. На протяжении двух дней ведущие специалисты в области искусственного интеллекта обсуждали перспективы развития фундаментальных технологий ИИ.
ВШЭ и «Яндекс» представили доклад об интеграции искусственного интеллекта в высшее образование
Высшая школа экономики и «Яндекс Образование» подготовили совместный доклад «Искусственный интеллект в образовании». В нем проанализированы ведущие мировые практики, раскрывающие потенциал технологий искусственного интеллекта (ИИ) в образовательной сфере. Доклад представляет собой карту с кейсами университетов разных стран, уже сегодня применяющих ИИ. Цель проекта — помочь российским вузам внедрять ИИ, опираясь на опыт других университетов.