Архитектуры глубинного обучения с ограниченным бюджетом по памятиDeep learning architectures on a limited memory budget
Соискатель:
Лобачева Екатерина Максимовна
Руководитель:
Члены комитета:
Деркач Денис Александрович (НИУ ВШЭ, PhD, председатель комитета), Алистарх Дэн (Австрийский институт науки и технологий, PhD, член комитета), Елсен Эрих (Persimmon AI Labs, PhD, член комитета), Луизос Христос (компания Qualcomm Technologies Netherlands B.V., PhD, член комитета), Риш Ирина (Монреальский университет,, PhD, член комитета)
Диссертация принята к предварительному рассмотрению:
7/5/2022
Диссертация принята к защите:
9/14/2022
Дисс. совет:
Совет по компьютерным наукам
Дата защиты:
9/30/2022
В данной работе рассматривается проблема получения нейронных сетей высокого качества при наличии ограничений на размеры модели на этапе ее применения. Подобного рода ограничения могут возникать, например, при использовании нейросетей в пользовательских приложениях, которые не должны занимать слишком много памяти на устройствах. В первой части работы развиваются методы разреживания нейросетей для рекуррентных архитектур и показывается, что аккуратный учет особенностей рекуррентности, большого входного словаря и гейтовой структуры позволяет добиться лучшего сжатия моделей и повышает их интерпретируемость. Во второй части работы исследуется зависимость качества ансамбля нейросетей от числа сетей в нем и их размеров и показывается, что при ограниченном бюджете по памяти ансамбль из нескольких сетей меньшего размера показывает более высокие результаты, чем одна большая нейросеть. В работе также выявляются степенные законы в поведении качества ансамбля, которые позволяют эффективно предсказывать оптимальное деление бюджета по памяти на несколько нейросетей.
Диссертация [*.pdf, 34.30 Мб] (дата размещения 7/5/2022)
Резюме [*.pdf, 2.87 Мб] (дата размещения 7/5/2022)
Summary [*.pdf, 2.55 Мб] (дата размещения 7/5/2022)
Публикации, в которых излагаются основные результаты диссертации
Отзывы
Отзыв научного руководителя
- Отзыв научного руководителя (дата размещения 7/5/2022)
Сведения о результатах защиты:
Комитет по диссертации рекомендовал присудить ученую степень кандидата наук с отличием (протокол №2 от 30.09.2022). Решением диссертационного совета (протокол № 18 от 12.10.2022) присуждена ученая степень кандидата компьютерных наук с отличием.
Ключевые слова:
См. на ту же тему
Новые представления для изображений и 3D сценКандидатская диссертация
Соискатель: Хахулин Тарас Андреевич
Руководитель: Лемпицкий Виктор Сергеевич
Методы повышения обобщающей способности моделей в задачах 3D компьютерного зренияКандидатская диссертация
Соискатель: Рахимов Руслан Ильдарович
Руководитель: Бурнаев Евгений Владимирович
Глубокие порождающие модели для поиска аномалийКандидатская диссертация
Соискатель: Рыжиков Артём Сергеевич
Руководитель: Деркач Денис Александрович