В NLP хватит места всем!

Студентка второго курса магистратуры по компьютерной лингвистике Надежда Катричева побывала на международной школе по автоматической обработке языке AthNLP. Публикуем ее рассказа о том, как устроена школа и почему туда стоит съездить.

AthNLP — школа по естественной обработке языка, которую я очень рекомендую.

Коротко о школе:

• Организация: качественная
• Место проведения: Афины, NCSR Democritos
• Обучение: большая лекция (3 часа) по теме последующей лабораторной работы (3,5 – 4 часа), потом короткая вечерняя лекция (1 час).
• Затрагиваемые темы: история автоматической обработки языка (NLP), перцетроны, языковые модели, машинное обучение и классификация, языковые модели, диалоговые системы и многое другое
• Бытовые детали: обучение с 9 до 18, есть кофе-брейк и очень вкусный обед, постерная сессия и social dinner (2019 году с джазом в музее Benaki)
• Контингент: PhD-студенты, люди из индустрии, студенты отовсюду
• Ссылка на репозиторий школы

Длинно о школе:

Очень хотелось куда-то поехать и узнать, как учатся NLP где-то ещё. Школа в Лиссабоне () была в целом про ML и была раньше, туда я подала на финансирование («поеду только если бесплатно»), но в этот раз организаторы не захотели спонсировать поездку для магистров и предложили податься на школу AthNLP. AthNLP организовывали впервые — и именно люди, перенявшие ранее опыт LxMLS. 

К лету знания, накопленные на первом курсе, позволили мне начать работать по специальности, а это, в свою очередь, дало возможность организовать для себя образовательную поездку за свой счёт: я решила непременно поехать на AthNLP.

Мне прислали приглашение, я заплатила 300 евро, заказала хостел поближе к центру, получила визу и прилетела в Грецию к началу школы.

Что было на школе

В первый день была регистрация, мы получили подарки от спонсоров и познакомилась с духом места: исследовательский центр Democritos находится в элитном жилом районе у подножия лесистого холма с «Львиной пещерой», территория исследовательского центра похожа на парк.

Дальше дни были очень насыщенные: длинные лекции с кофе-брейком, обед, лабораторные, короткие вечерние лекции. Мы слушали Sebastian Riedel, André Martins, Barbara Plank и других исследователей. Многие из них одновременно работают и в университетах, и в Google, Facebook или других технологических компаниях. Утренние лекции готовят студентов к лабораторной. Это не значит, что лабораторные после лекций будет просто делать, но после лекции и дополнительных разъяснений помощников (PhD из области NLP в других университета) понять алгоритм у вас, скорее всего, получится. 

Чтобы успешно справляться с лабами, нужно уметь работать с виртуальными окружениями (для этого предложили Conda), гитом, установить зависимости и главное: разобраться с используемыми фреймворками (в нашем случае это были PyTorch и AllenNLP, к последней мало кто был готов). Желательно к тому же не стесняться задавать вопросы помощникам и соседям, а во время перерывов и обеда узнавать новых людей.

Есть ещё два мероприятия, на которых можно познакомиться с с другими «школьниками» поближе: постерная сессия (привезите с собой постер, иначе его будет сложно распечатать в будни и невозможно в воскресенье) и social dinner. В нашем случае это был восхитительный ужин на крыше музей напротив Национального сада-парка и Парламента Греции. Воскресенье — выходной, который тоже хорошо бы провести со своими новыми знакомыми. А потом связаться со всеми в LinkedIn.

Личные ощущения от школы

Как провела школу лично я: только школа в течение всей недели, никаких отвлечений. Всю неделю я слушала толковые детальные лекции (только последняя лекция, про диалоговые системы, была слишком верхнеуровневой, но про это, ещё и с распознаванием голоса, за три часа всё равно не расскажешь) и знакомилась. 

Среди «школьников» были в основном PhD (со всего мира), применяющие NLP, меньше людей из индустрии, в том числе работники компаний-спонсоров, совсем немножко бакалавров и магистров, а также доценты и профессора, проходящие переквалификацию. Среди помощников школы тоже были сплошь PhD-студенты, в основном греки, работающие в зарубежных университетах — очаровательные люди, с ними я тоже пообщалась. В результате у меня появилось представление об NLP в академии, а также о том, что пути в NLP у людей бывают совершенно разные, и всем хватает в нём места. А ещё я нашла подругу и единомышленников из других университетов Москвы, что тоже классно.

Отдельно расскажу про лабы: для меня они были сложноватые. Однако я была далеко не одинока (даже настоящим ML-щикам было непросто!): сделать почти с нуля перцептрон с матричными вычислениями, потом структурированный перцептрон, дописать классификатор (несколько строчек кода для векторизации словаря, усреднения и конкатенации эмбеддингов, передать в линейный слой, применить функцию активации), потом две лабы по генеративным моделям. 

Тот факт, что многим было сложновато, способствовал обучению: мы кооперировались и думали вместе. В первый день, кроме меня, почти никто в нашей аудитории (всего нас разделили на 4 группы-аудитории) не клонировал заранее репозиторий и не установил зависимости, в итоге мы с очень умным польским Data Scientist’ом Камилом работали за моим ноутбуком. Он показал мне, например, зачем и как пользоваться дебагом в среде разработки PyCharm — это оказалось бесценным знанием. В следующие дни мы работали бок о бок, но самостоятельно. Реализовали не все не всё (мне легче всего далась классификация c AllenNLP), но в процессе очень много расспрашивали наших преподавателей и много поняли. 

Мне повезло с помощниками — они очень понятно объясняли алгоритмы, откуда берутся размерности, и вообще до последней детальки знали и разъясняли, как всё работает. Мы, в свою очередь, не ленились задавать вопросы. Сначала я немного стеснялась, но мой умный сосед задавал так много вопросов и так активно продвигался, разбираясь с подсказками по ходу дела, что я переняла его тактику (и теперь на парах в магистратуре задаю кучу вопросов и даю много фидбэка — в итоге мы с однокурсниками выносим с пар больше усвоенной информации). В других комнатах задавили меньше вопросов и, соответственно, давали меньше объяснений, в итоге кооперации и синергии было поменьше (кое-кого я позвала в свою лабу,  и они остались с нами).

Вот и всё о серьёзном. 

По вечерам мы ходили в греческие рестораны не для туристов, там всегда было сравнительно недорого и крайне вкусно. В воскресенье мы вшестером были на пляже (на трамвае в Афинах можно уехать на юг города подальше от порта и найти уютные маленькие пляжи с соломенными зонтиками). Мы создали общий чат и сейчас продолжаем общаться.