О приложениях ИИ в экономике и финансах
Иван Станкевич, доцент департамента прикладной экономики факультета экономических наук НИУ ВШЭ, стал гостем нового выпуска проекта "Спроси ученого". В интервью он рассказывает о своем курсе «Приложения ИИ в экономике и финансах», на котором студенты изучают применение методов машинного обучения и нейронных сетей для анализа экономических данных и прогнозирования экономических явлений.
Эффективное применение ИИ невозможно без учета специфики отрасли: каждая область требует своих подходов, методов и инструментов для достижения наилучших результатов. Иван Станкевич, доцент департамента прикладной экономики факультета экономических наук НИУ ВШЭ, стал гостем нового выпуска проекта "Спроси ученого". В интервью он рассказывает о своем курсе «Приложения ИИ в экономике и финансах», на котором студенты изучают применение методов машинного обучения и нейронных сетей для анализа экономических данных и прогнозирования экономических явлений.
Видео интервью с Иваном Станкевичем смотрите в VK.
- Чем задача прогнозирования в экономике отличается от типичных задач эконометрики временных рядов и машинного обучения (ML)?
- Задача прогнозирования – одна из самых своеобразных задач, она очень отличается и от типичных эконометрических задач, и от типичных задач машинного обучения. Когда мы прогнозируем, наша главная цель –не оценить какую-нибудь функцию импульсного отклика, которую мы проинтерпретируем и скажем, что на что влияет, как, куда и почему. У нас цель – сделать прогноз, как в обычной задаче машинного обучения.
С другой стороны, в отличие от большинства задач машинного обучения, у нас почти всегда очень мало данных. Это характерная часть почти всех экономических задач. У нас типичные объемы выборки — это сотни, иногда тысячи наблюдений, иногда десятки даже. А миллионов наблюдений не бывает практически ни в каких околоэкономических доменах, кроме, наверное, высокочастотной торговли в финансах (и то, там есть другие ограничения). В экономике, как правило, не бывает очень больших выборок, поэтому многие вещи, которые привычны в стандартной практике машинного обучения и с точки зрения моделей, и с точки зрения других подходов в целом к работе, – не работают просто потому, что у нас не хватит данных, чтобы обучить большую модель с миллионами параметров, ни о чем не думая.
Например, у нас есть 30 лет наблюдений за ВВП, и нам нужно прогнозировать ВВП. Как ни крути, не получится набрать 30 миллионов лет наблюдений за ВВП, потому что за 30 миллионов лет у нас много раз поменяется сама страна, и вся экономика поменяется так, что это будет другой объект, вне зависимости от того, как он будет называться. Для задач экономического прогнозирования очень характерны такие вещи, как наличие структурных сдвигов или изменения режимов, поэтому в конечном итоге объект часто меняется и наблюдений всегда мало, и нам всегда нужно учитывать, что у нас маленькая выборка и меняющийся сложный объект.
У нас очень специфичная область, где работают другие модели, или они используются по-другому. Например, по-другому все кросс-валидируется, чем, как правило, это делается в практике машинного обучения. Мы не можем сделать выборку на много фолдов, потому что у нас есть связи во времени между объектами и мы можем прогнозировать только на будущее из какой-то точки, а брать выборку, смешав в ней будущее и прошлое, чтобы прогнозировать настоящее – это заглядывать в будущее, и так делать нельзя, потому что мы в реальных условиях так не делать не можем.
- Какие методы машинного обучения наиболее часто применяются в задачах экономики и финансов?
- Применяются почти те же методы, что и в машинном обучении, просто есть нюансы. Например, сверточные сети используются гораздо реже, потому что, как правило, объект не подходит под то, чтобы что-то сворачивать, у нас гораздо меньше фичей на входе и нам просто некуда это внести.
С другой стороны, разные вариации на тему RNN, то есть LSTM, GRU и прочее из классики регулярных сетей много применяются во временных рядах, и иногда они даже работают на выборках порядка нескольких тысяч точек. Хотя не всегда и не везде.
Регуляризацию используют сплошь и рядом, потому что это действительно прекрасно работающая вещь, хотя зачастую есть еще нюансы. Есть, к примеру, такая штука как Oracle Property, которую можно дополнительно учитывать.
Ну и вся классика ML: деревья, случайные леса, бустинг – это все тоже хорошо работает. И даже бывает, что для прогнозирования временных рядов какой-нибудь LightGBM работает лучше, чем любые нейронные сети, просто потому что у нас число наблюдений измеряется тысячами. Как бы мы ни учили нейронную сеть, а все равно LightGBM или даже линейная регрессия с хорошо подобранными фичами будут работать не хуже, а то и лучше.
- Как вы подходите к проблеме интерпретируемости моделей ИИ в контексте финансовых решений и экономических приложений?
- Главный нюанс интерпретируемости в том, что она должна быть. Это то, что, как правило, игнорируется в практике работы с моделями машинного обучения, потому что их цель — делать прогноз. Если прогноз хороший, то и все хорошо.
Но для многих сфер интерпретируемость – это законодательное требование. Например, если мы говорим о банках, о страховании, особенно в Европе, где по закону любой клиент имеет право узнать, почему было принято то или иное решение, например, дать ему кредит или не дать. Если это модели, которые являются просто черным ящиком и возвращают непонятно откуда берущиеся числа, то с этим могут быть проблемы. Соответственно, возникает необходимость либо делать модели, которые изначально интерпретируемы, а такие существуют (например, те же линейные регрессии). Либо нужно делать модели, которые хорошо работают, но потом обязательно надо учиться их интерпретировать, чтобы мы могли объяснить любому человеку, любому объекту нашей выборки (например, потенциальному клиенту банка), почему было принято то или иное решение. И вот здесь возникают большие классы методов, они довольно разные и с разными свойствами, например, векторы Шепли.
- Какие примеры реальных кейсов использования ИИ в экономической и финансовой сфере вы считаете наиболее показательными?
- На самом деле несть им числа. Практически ко всем сферам, к которым можно было бы приложить ИИ, его уже приложили. Много примеров применения и хороших, и плохих. И про плохие, наверное, бывает говорить интереснее, чтобы понимать, как не надо делать.
Есть примеры очень плохого использования. В Америке регулярно последние 7−8 лет возникают мини-скандалы в связи с тем, что, как выяснилось, какой-то банк дискриминирует женщин, или черных, или кого-нибудь еще. Или оказывается, что алгоритм, который в тюрьмах помогает принимать решения, отпускать людей по УДО или нет, занижает риски рецидива для одних и завышает для других групп по каким-то социально-демографическим характеристикам. Например, женщин алгоритмы для американских тюрем удерживали в тюрьмах дольше, чем надо.
Среди хороших примеров – наверное, практика прогнозирования на временных рядах. Потому что за последние 7−8 лет произошел переход. Десять лет назад кроме эконометрики практически ничего не работало на обычных экономических данных, где сотни или максимум несколько тысяч наблюдений – там хорошо работали модели байесовской векторной авторегрессии (BVAR), и побить BVAR любыми ML моделями не получалось. А сейчас появился NBEATS и его модификации, у которых есть интерпретируемый режим, так что можно получить графики с трендом, с сезонностью. И при этом NBEATS еще и хорошо прогнозирует: на последнем соревновании по прогнозированию M5 Forecasting Accuracy Competition он превзошел бенчмарк (это был ансамбль из линейной простой модели и LightGBM) на 3 процента, это очень много, это огромные сдвиги.
- Как вы оцениваете влияние ИИ на традиционные экономические и финансовые модели? Какие вызовы и возможности это создает?
- Здесь кроется много непонимания, к сожалению, между экономистами и эконометристами, которые не всегда, скажем честно, понимают экономистов. А есть еще ML-щики, которые не всегда понимают эконометристов на предмет того, зачем они так много думают об интерпретации, о состоятельности, о пропущенных переменных и т.п. То есть о том, что гораздо меньше находится в фокусе обычных задач машинного обучения, и гораздо больше – в фокусе задач эконометрики и в фокусе экономических приложений тоже. Получается, что много непонимания с разных сторон.
С одной стороны, это легко объяснить: задачи у них разные, и задачи околоэкономические по своим свойствам сильно отличаются от многих задач ML. И, с другой стороны, многие ML модели не интерпретируются, не потому что их вообще нельзя проинтерпретировать, а потому что зачастую это не нужно. То есть если вам нужно отличить кошечку от собачки на фотографии, то вам, в принципе, не очень критично можете вы или не можете проинтерпретировать свою модель. Скорее всего, не можете, но и незачем. А для задач околоэкономических доменов это очень важно.
С другой стороны, синергии может быть много. В эконометрике есть люди, которые умеют делать модели одного класса и знают, что такое интерпретируемость, много думают о подборе переменных, о пропущенных переменных, дизайне моделей, используют эмпирические подходы к тому, что, как и чем можно померить. Это очень нетривиальные вопросы, которые в практике задач ML часто уходят на второй план. То есть да, feature engineering (построение и отбор признаков) в ML – это вроде бы важно, но часто подход такой, что фичи какие сами собой получились, так и сойдет, модель умная и сама научится. А это не всегда работает, особенно когда данных мало. И вот дополнять искусственный интеллект естественным, например, в подборе признаков и в дизайне исследований, очень важно – этого действительно не хватает.
Кажется, что где-то на стыке всех этих областей можно делать гораздо больше и гораздо лучше такие вещи, которые будут и хорошо работать, и хорошо отвечать на содержательные вопросы. Пока что много непонимания между отдельными областями. Немножко пытаюсь это непонимание закрывать на своем курсе.
- Что нужно знать для успешного освоения вашего курса?
- Нужно знать базовое машинное обучение, потому что курс маленький и времени разбирать, как что работает, просто физически нет. Например, что такое нейронная сеть, что такое backpropagation, как это все работает. На ФЭН действительно с этим сейчас стало гораздо лучше, и практически все базовую грамотность в машинном обучении уже имеют. И базовая грамотность в эконометрике, на самом деле, тоже нужна, потому что вопросы о состоятельности, несмещенности, эффективности тоже будем много использовать в разных контекстах, например, свойств информационных критериев.
Также нужно хотя бы немного знать временные ряды, потому что примерно половина курса про прогнозирование, а прогнозирование – это всегда про временные данные и временные ряды. Нужно знать как минимум на базовом уровне, что это за модель и как она работает: ARIMA модели, ETS модели, VAR-модели. Просто, чтобы не тратить время на какие-то такие простые вещи, а разбирать сразу более или менее интересные современные приложения, относительно более узкие.
- Какие проекты вы предлагаете студентам на ИПС?
- Проекты очень разные. Лично мой фокус в научной деятельности – это прогнозирование на временных рядах, по большей части в макроэкономике.
C другой стороны, многие студенты приходят со своими задачами, которые им интересны. В прошлом году пришла ко мне пришла студентка со словами «Я люблю люксовые сумочки, хочу диплом про них». И мы написали диплом про люксовые сумочки. Нормальный получился диплом: собрали данные с аукционов люксовых сумочек и посмотрели, какие факторы и характеристики люксовых сумочек влияют на их цены.
У меня писали дипломы про компьютерные игры, про мошенничество на кикстартере, про блогеров в разных соцсетях (сколько у них стоит реклама), про автомобильные аварии.
Если предлагаемая задача связана с работой с интересными для меня и для студента областями, то я готов ее как минимум обсуждать. Welcome co cвоими предложениями!
- ВКонтакте
- Telegram