Диссертации, представленные на защиту и подготовленные в НИУ ВШЭ

Глубокие нейронные сети чувствительны к состязательным атакам – незначительным возмущениям входных данных, не изменяющим их семантику, но значительно влияющим на предсказание нейронной сети. Данная уязвимость ограничивает применение нейронных сетей в задачах, где требуется предоставление гарантий корректности предсказания нейронных сетей. В работе рассматривается проблема предоставления гарантий корректности поведения нейронной сети при наличии произвольных возмущений входных данных. Предложен метод вычисления вероятностных гарантий устойчивости классификационных нейронных сетей к случайным возмущениям входных данных произвольной природы. Также предложен метод предоставления детерминированных гарантий устойчивости прототипических нейронных сетей к аддитивным возмущениям ограниченной нормы. Помимо этого, разработан метод создания цифровых водяных знаков в качестве механизма защиты нейронных сетей от атак, направленных на кражу функциональности.

В диссертации предложены новые методы на основе разложения тензорного поезда (tensor train; TT) для решения задач аппроксимации и оптимизации функций многих переменных, которые могут применяться для решения дифференциальных уравнений в частных производных, включая уравнение диффузии и многомерное уравнение Фоккера-Планка. Разработанные общие методы TT-ANOVA-ALS, TTOpt и Optima-TT позволяют строить суррогатные модели и осуществлять безградиентную оптимизацию для широкого класса функций, при этом, в сравнении с альтернативными подходами, они имеют преимущество по точности и скорости. Предложенная в работе схема дискретизации FS-QTT допускает использование очень мелких расчетных сеток для одномерного и двумерного уравнения диффузии, что делает ее особенно перспективной для многомасштабных задач. Разработанный метод FPCross позволяет эффективно решать уравнение Фоккера-Планка, при этом использование TT-разложения приводит к значительному снижению вычислительной сложности в многомерном случае.

Диссертационное исследование посвящено разработке методов ускорения, сжатия нейронных сетей и построению системы по оценке времени их исполнения на конечных устройствах. В работе ключевыми являются три результата. Во–первых, создан алгоритм сжатия предварительно обученных нейронных сетей, основанный на многократном применении тензорных аппроксимаций к весам слоев нейронных сетей. Во-вторых, представлен метод ускорения предварительно обученных глубоких нейронных сетей. Ускорение достигается за счет замены больших блоков сети на крошечные полносвязные слои. Этот метод вдохновлен аналогией с идеями сокращения размерности для решения уравнений в динамических системах. Оба представленных подхода апробированы на задачах компьютерного зрения и продемонстрировали свою эффективность в сравнении с существующими методами сжатия и ускорения вывода нейронных сетей. В-третьих, построен метод оценки времени работы нейросетевых моделей для заданных программной реализации и целевого устройства. Создана система по сбору и обработке экспериментальных данных, и применению алгоритмов машинного обучения для предсказания времени исполнения моделей по их параметризации.