«Ни разу с тех пор, как я решил заниматься наукой, мне не было скучно»

Сергей Самсонов мог бы стать историком или работать в хедж-фонде, но посвятил себя математике. В интервью проекту «Молодые ученые Вышки» он рассказал, почему выбрал исследовательскую деятельность в области статистики и машинного обучения и как сгенерировать миллион изображений кошечек.

Как я стал ученым

В школе я долго размышлял о том, чем заниматься в будущем. В первую очередь, наверное, мне хотелось делать то, что было мне интересно. Первой моей школьной любовью была история, интерес к ней у меня до сих пор сохранился. Я задумывался о том, чтобы стать профессиональным историком, но думаю, что для этого мне не хватило бы серьезности. А в старших классах у меня начали неплохо получаться физика и математика, во многом благодаря моим школьным учителям. Думаю, что мой окончательный выбор между физикой и математикой был довольно случайным, просто в 11-м классе на математических олимпиадах повезло больше. При этом мне не хотелось заниматься очень абстрактной математикой в духе мехмата МГУ, хотелось, чтобы у того, чем я занимаюсь, были какие-то приложения. Это желание привело меня на ВМК МГУ. Ну и вдобавок мои мама и папа в разные годы оканчивали ВМК, так что можно сказать, что я продолжил семейную династию.

Во время учебы я видел много людей, которые с головой погрузились в программирование, но меня это направление никогда не прельщало. При этом математика мне все еще нравилась и неплохо получалась. А заниматься тем, что получается, всегда приятно.

Еще в МГУ я начал работать с Алексеем Наумовым, моим нынешним научным руководителем, и после бакалавриата он предложил мне поступать на совместную магистерскую программу ВШЭ и Сколтеха. Я на тот момент уже ходил на курс по непараметрической статистике, который научный руководитель этой академической программы Владимир Григорьевич Спокойный читал в Независимом московском университете. Я также начал ходить на спецсеминар под руководством Владимира Григорьевича в ИППИ РАН. Так что решение уйти из МГУ пришло естественным путем.

После окончания магистратуры я остался в аспирантуре в Вышке, но не в аспирантской школе по компьютерным наукам, а в АШ по математике. Я все время между мирами. Математикам я гордо говорю, что я математик, прикладникам не менее гордо заявляю, что я прикладник. Возможно, что и те и другие мне не до конца верят. С точки зрения факультета математики я, безусловно, занимаюсь чисто прикладной наукой, с точки зрения ФКН — безусловно, теоретической. Вообще на факультете математики Вышки ученые занимаются теорией вероятностей на стыке с более абстрактными областями математики. Я же специализируюсь на стыке теории вероятностей со статистикой и машинным обучением, то есть с более прикладными вещами.

Что я исследую

Мое основное направление исследования — методы генерации данных, то, что по-английски называется «сэмплинг». У него есть и теоретические, и практические направления.

Основное практическое приложение — это симуляция определенных физических процессов. Я занимаюсь так называемыми алгоритмами МСМС — Markov chain Monte Carlo, Монте-Карло по схеме марковской цепи. Изначально они разрабатывались американскими прикладными математиками, которые работали над Манхэттенским проектом, для приближенного решения интегральных уравнений. Вы можете пытаться решить такое уравнение с высокой степенью точности при помощи стандартных численных методов, но это будет очень долго, причем с ростом размерности задачи точность вашего решения будет быстро убывать. А в качестве альтернативы можно получить некоторое приближенное решение с использованием стохастических методов. Именно для этого и нужны методы семейства Монте-Карло.

Сейчас появились новые, более эффектные приложения такого типа методов: они используются, например, для генерации картинок, фотографий и прочих сложных объектов. Например, для фильма вам надо нарисовать две армии по 10 тысяч человек, которые друг с другом сражаются, и вам не хочется, чтобы у всех были одинаковые лица. Можно попробовать сгенерировать случайные, но достаточно правдоподобные лица, и здесь вам снова могут помочь алгоритмы Монте-Карло вместе с другими методами генеративного моделирования.

Или вы зачем-то хотите, чтобы ваша нейронная сеть научилась генерировать кошечек. Допустим, у вас есть несколько миллионов черно-белых фотографий кошек размером 1024x1024 пикселя. Вы можете сопоставить каждой кошке число в пространстве очень высокой размерности. Теперь у вас есть совокупность точек, которые соответствуют фотографиям реалистичных кошек. Если теперь вам предложат новую точку в этом пространстве, соответствующая картинка может быть (в каком-то смысле) похожа на кошку, а может быть совершенно другим объектом. Вам необходимо иметь как возможность оценивать правдоподобие нового объекта (похож ли он на кошку), так и механизм, предлагающий новые фотографии чего-то, что ваша модель считает похожим на кошку. В такой задаче алгоритмы Монте-Карло понадобятся как для обучения модели, так, возможно, и для генерации новых объектов с ее помощью.

Вообще в нашей области исследований часто бывает так, что изящные в теории вещи не всегда хорошо работают на практике. И наоборот, есть много прекрасных практически применимых алгоритмов, про которые удовлетворительной теории сделать до сих пор не получилось. Может быть, построить такую теорию и невозможно, слишком много инженерных эвристик в таких алгоритмах. Но именно наша область стохастических алгоритмов хороша тем, что позволяет позаниматься и теоретическими, и практическими вещами, причем они зачастую взаимно дополняют друг друга. Наблюдения за тем, что один из алгоритмов на определенном классе практических задач ведет себя значимо хуже другого, могут дать старт интересному теоретическому исследованию. И наоборот, часто только на практике можно увидеть, какие проблемы возникают у теоретически гладких алгоритмов.

Чем я горжусь

В прошлом году мы с Алексеем Наумовым, Эриком Мулине и еще несколькими людьми из нашей лаборатории сделали статью на NeurIPS — это одна из топовых международных конференций по машинному обучению. Эта статья объясняет, как можно комбинировать несколько существующих алгоритмов MCMC в один алгоритм, обладающий лучшими теоретическими свойствами, чем каждая из составляющих его частей по отдельности. У нас также получились очень красивые приложения новых алгоритмов к улучшению качества работы генеративно-состязательных сетей. А именно: если у вас есть нейронная сеть, которая уже научилась некоторым образом генерировать объекты, то при помощи некоторых подходов вы можете немного повысить качество работы уже обученной модели. Без переобучения, хоть и с дополнительными вычислительными издержками.

О чем я мечтаю

В науке мне скорее нравится сам процесс решения интересных задач. Не могу сказать, что есть открытая проблема, которую я бы хотел решить любой ценой, и на этом сказать, что цель моей жизни достигнута. Я бы не стал обозначать конкретное достижение — мол, хочу доказать такую-то теорему. Я бы хотел, чтобы мой интерес со временем не иссяк.

Почему я стал заниматься статистикой

На 2-м курсе бакалавриата я прочитал выпущенную в серии «Квант» монографию А.Н. Колмогорова и А.В. Прохорова про теорию вероятностей и математическую статистику. Мне очень понравилось. Она была достаточно популярным языком написана. Я тогда уже думал, что, наверное, останусь в науке, по крайней мере попробую. Почему бы не выбрать эту область? Потом я прослушал курс по теории вероятностей у себя на ВМК, и он не испортил впечатления. Вообще из тех направлений, которые были доступны на факультете, именно в области теории вероятностей было достаточно много активных исследователей, в том числе и те люди, которые у меня преподавали. Удачно совпало, и вот я здесь.

Моя первая серьезная задача

В науке есть момент перехода от обучающих задач к серьезным. Если вам дали задачку на семинаре, значит, скорее всего, ее можно решить за полчаса, может, за час. Человек, который вам ее дает, знает, что у нее есть решение. А когда вы начинаете работать над реальным исследованием, никто ничего не знает. Задача решается? Может, нет. Может, нужны дополнительные предположения. Может, не решится в ближайшие 50 лет. А может, уже кто-то все, что можно, сделал, и надо читать литературу.

На 3-м курсе ВМК (я работал в это время с тогдашним научным руководителем Владимиром Георгиевичем Ушаковым) я взял задачу из области аналитических методов теории вероятностей, связанную со свойствами характеристических функции некоторого класса распределений. Работа над этой задачей дала стартовый толчок курсовой, над которой я работал в МГУ, потом бакалаврскому диплому и статье, которую мы опубликовали с Ушаковым. А вот верна ли исходная гипотеза, с которой все начиналось, честно говоря, я до сих пор и не знаю.

Почему я не специалист по всему машинному обучению

Математика и ее приложения чудовищно разрослись, как и почти все другие науки. В каждой области поработала масса очень талантливых исследователей. Эпоха математиков-универсалов закончилась, по-видимому, в первой половине прошлого века. Я думаю, что сейчас нет даже человека, который мог бы сказать, что он эксперт во всех областях теории вероятностей, потому что в ней столько намешано! Я могу сказать, что я разбираюсь в нескольких смежных областях из вероятности и статистики. Но таких направлений исследований, условно, внутри одной только современной статистики можно несколько десятков выделить, и далеко не во всех из них я буду что-то понимать. Однако при необходимости мне будет проще разобраться в таких задачах, чем в задачах из областей, в которых я совсем не работаю.

Как меняется научный интерес

Есть области, которые раньше были на переднем крае науки и исследования в которых удалось в общих чертах завершить, там сейчас нет активной жизни, большого количества исследователей. С алгоритмами машинного обучения это происходило постоянно. Многие подходы, популярные в 1990-е и 2000-е годы, оказались полностью вытеснены нейронными сетями. Прорыв нейронных сетей случился в 2012 году, когда сделали великолепную архитектуру AlexNet и показали, как ее легко учить на графическом процессоре. Внезапно оказалось, что это буквально технология следующего поколения.

Когда появляется перспективная тема, ее, как правило, подхватывают. Если у вас что-то интересное получилось в одной исследовательской группе и за этим есть потенциал, то в эту намечающуюся интересную область сразу же переместятся люди из смежных групп в мире, которые похожие вещи делают. Это подтягивает людей. Но всегда есть сдерживающие факторы. Вы можете понимать, что есть очень популярное направление, но вы никогда ничем похожим не занимались, поэтому, наверное, это конкретное направление не для вас. Вообще есть известная цитата математика Стефана Банаха: «Чем отличается хороший математик от плохого? Плохой доказывает теоремы, хороший видит аналогии между теоремами, а выдающийся — аналогии между аналогиями». В машинном обучении умение видеть общие идеи за различными алгоритмами тоже очень помогает.

Чем я бы занимался, если бы не стал ученым

Пошел бы в хедж-фонд. Я немного этим занимался после 3-го курса бакалавриата. В принципе, мне нравилось. Те же самые приложения математики, только более жизненные.

Мои родители

В общих чертах понимают, чем я занимаюсь. Мама и папа оканчивали в разные годы факультет ВМК, поэтому это семейное направление. В основаниях теории вероятностей и статистики сложно что-то поменять, базовый курс, который читается студентам 2–3-го курсов, у них был таким же. Мама потом работала в НИЦЭВТе — это Научно-исследовательский центр электронной вычислительной техники, огромный лежачий небоскреб на Варшавке.

Зачем ученому нужно преподавать

Бывают моменты, когда вы исчерпали область, которой занимаетесь, и вы ходите и думаете, что дальше делать. Здесь я перескажу мысль Фейнмана: в чисто исследовательском институте, где нет преподавания и нет контакта со студентами, может оказаться, что вы замкнуты в своем мире, и вам неоткуда взять новую идею. А если вы подготовили лекцию или семинар, подумали о чем-то новом, у вас могут появиться новые задачи.

Что делать с выгоранием

Если вы бьетесь несколько недель над статьей, а она еще и не выходит, может быть, лучше это отложить. Какой смысл просто так измочалиться и ничего не сделать? Лучше либо за другую задачу взяться, либо пойти преподавать. Можно и на что-то не связанное с наукой переключаться. Я уже говорил, что очень сильно люблю историю, мне это прекрасно помогает.

Что я читаю и смотрю

Я очень люблю Достоевского, думаю, что с точки зрения понимания человеческой натуры ничего глубже я не видел. Недавно перечитывал «Бесов». Первый раз я пробовал читать в школе, но ничего не понял. А уже в аспирантуре эта книга совсем другое впечатление произвела. Некоторые политические деятели, как кажется, прямо из этой книги в наш мир и шагнули.

Еще я недавно прочел роман Ильи Эренбурга «Необычайные похождения Хулио Хуренито». Абсолютно прекрасная абсурдная вещь, которая могла быть только в начале XX века написана. Рефлексия на тему Первой мировой войны, бессмысленности сложившегося мироустройства. Читается на одном дыхании. Я бы сказал, что чем-то похоже на мои любимые «Похождения бравого солдата Швейка» Гашека. Также у Ильи Эренбурга есть увлекательная серия репортажей, посвященная периоду гражданской войны в Испании.

Я не могу сказать, что я большой любитель кино, но могу отметить фильмы режиссера Романа Михайлова. Человек занимался алгеброй, но его всегда влекло в сторону кинематографа. И он начал снимать кино. Это нечто экспериментальное, глубоко философское — такие сюжеты, зарисовки без начала и конца. Из иностранных кинорежиссеров я люблю смотреть фильмы Кубрика.

Я люблю оперу, особенно Вагнера. Из русских опер, наверное, мои любимые — «Царская невеста» Римского-Корсакова и «Жизнь за царя» Глинки. Драматический театр тоже люблю. Недавно в Театр Маяковского ходил на «Школу жен» Мольера. А в Театре наций прекрасный «Дядя Ваня» идет.

Любимое место в Москве

В детстве однозначно сказал бы, что Палеонтологический музей. Все время теребил маму, чтобы она меня туда возила, не реже раза в пару месяцев. Сейчас определиться сложнее, но, если называть одно место, я стереотипно скажу, что это Воробьевы горы. Не могу сказать, что меня туда неудержимо влечет, но, на мой взгляд, это очень атмосферное место. Когда смотришь на Главное здание МГУ, на прилегающие здания архитектурного ансамбля, задумываешься, как видели будущее люди в 50-х годах и насколько эти мечты удалось реализовать.

Совет начинающему ученому

Очень банально звучит, но нужно верить в то, что вы делаете, в свои силы. Не надо думать, что люди вокруг вас гораздо умнее, что им доступно некое скрытое знание, которым никогда не под силу овладеть простому смертному. Всегда есть миллион интересных задач, в которых именно вы сможете себя проявить. Это вопрос вашей настойчивости, упорства, готовности шире посмотреть на вещи. Да, не все получат Филдсовскую премию. Но ведь в конечном счете не ради нее все и затевалось.

Главный совет — не сомневаться в собственных силах и ответить самому себе на вопрос: «Зачем вы вообще это делаете?».