Диссертации, представленные на защиту и подготовленные в НИУ ВШЭ

В диссертации предложены новые методы на основе разложения тензорного поезда (tensor train; TT) для решения задач аппроксимации и оптимизации функций многих переменных, которые могут применяться для решения дифференциальных уравнений в частных производных, включая уравнение диффузии и многомерное уравнение Фоккера-Планка. Разработанные общие методы TT-ANOVA-ALS, TTOpt и Optima-TT позволяют строить суррогатные модели и осуществлять безградиентную оптимизацию для широкого класса функций, при этом, в сравнении с альтернативными подходами, они имеют преимущество по точности и скорости. Предложенная в работе схема дискретизации FS-QTT допускает использование очень мелких расчетных сеток для одномерного и двумерного уравнения диффузии, что делает ее особенно перспективной для многомасштабных задач. Разработанный метод FPCross позволяет эффективно решать уравнение Фоккера-Планка, при этом использование TT-разложения приводит к значительному снижению вычислительной сложности в многомерном случае.

Диссертационное исследование посвящено разработке методов ускорения, сжатия нейронных сетей и построению системы по оценке времени их исполнения на конечных устройствах. В работе ключевыми являются три результата. Во–первых, создан алгоритм сжатия предварительно обученных нейронных сетей, основанный на многократном применении тензорных аппроксимаций к весам слоев нейронных сетей. Во-вторых, представлен метод ускорения предварительно обученных глубоких нейронных сетей. Ускорение достигается за счет замены больших блоков сети на крошечные полносвязные слои. Этот метод вдохновлен аналогией с идеями сокращения размерности для решения уравнений в динамических системах. Оба представленных подхода апробированы на задачах компьютерного зрения и продемонстрировали свою эффективность в сравнении с существующими методами сжатия и ускорения вывода нейронных сетей. В-третьих, построен метод оценки времени работы нейросетевых моделей для заданных программной реализации и целевого устройства. Создана система по сбору и обработке экспериментальных данных, и применению алгоритмов машинного обучения для предсказания времени исполнения моделей по их параметризации.

Машинное обучение позволяет решить все новые и новые задачи, но одновременно с этим растут требования к вычислительным ресурсам как для обучения моделей, так и для применения обученных моделей на практике. Данная диссертация посвящена использованию тензорных разложений (обобщения матричных низкоранговых разложений на многомерные массивы) для ускорения и сжатия нейронных сетей и марковских случайных полей. В работе показано, что при помощи параметризации линейных слоев сверточных нейронных сетей низкоранговыми тензорами можно достичь существенного сжатия моделей без потери качества; предложена модель машинного обучения, позволяющая эффективно учитывать полиномиальные взаимодействия признаков высоких порядков; и получен метод оценки нормировочной константы марковского случайного поля существенно опережающий аналоги по точности работы. Также в работе предложен метод автоматического риманова дифференцирования для многообразия тензоров и матриц низкого ранга и реализована библиотека для работы с разложением в тензорный поезд поддерживающая автоматическое риманово дифференцирование, которая позволит упростить дальнейшие разработки на стыке машинного обучения и тензорных методов.