Глубинное обучение на табличных данных

В литературе посвященной машинному обучению, валидация моделей обученных на табличных данных зачастую происходит на академических датасетах, которые могут не очень точно отражать условия применения моделей в реальной жизни. Это исследование ставит своей целью проанализировать существующие академические датасеты и идентифицировать присущие им минусы. Мы обнаружили, что многие используемые датасеты синтетические, отражают данные не табличной модальности, такие как изображения и естественный язык, либо отражают статистические данные о реальном мире, более подходящие для визуализации и анализа чем предсказания с помощью машинного обучения. Более того, во многих датасетах отсутствуют канонические разделения данных на тренировочную и валидационную выборку, а зачастую присутствует утечка данных. Чтобы создать протокол проверки моделей ближе отражающий реальный мир, наше исследование создает бенчмарк из 7 датасетов индустриального уровня, максимально приближенных к датасетам используемым в практическом машинном обучении. В частности, все датасеты из нашего бенчмарка содержат информацию о времени для каждого объекта, а также валидируются на данных поступивших позже чем те, на которых обучалась модель. Более того, мы проводим валидацию недавних методов машинного обучения и приходим к выводу о том, что улучшения достигнутые многими методами не переносятся в условиях близких к реальному миру, и более простые методы зачастую работают лучше.