Вероятностный метод для адаптивного времени вычислений в нейронных сетяхProbabilistic method of adaptive computation time in neural networks
Соискатель:
Фигурнов Михаил Викторович
Руководитель:
Члены комитета:
Лемпицкий Виктор Сергеевич (Сколковский институт науки и технологий, кандидат физико-математических наук, председатель комитета), Бабенко Артем Валерьевич (Национальный исследовательский университет «Высшая школа экономики», кандидат физико-математических наук, член комитета), Бойков Юрий Юрьевич (Университет Ватерлоо (Канада), PhD, член комитета), Конушин Антон Сергеевич (Национальный исследовательский университет «Высшая школа экономики», кандидат физико-математических наук, член комитета), Сенько Олег Валентинович (Федеральный исследовательский центр «Информатика и управление» Российской академии наук, доктор физико-математических наук, член комитета)
Диссертация принята к предварительному рассмотрению:
1/16/2019
Диссертация принята к защите:
1/23/2019
Дисс. совет:
Совет по компьютерным наукам
Дата защиты:
3/25/2019
Диссертационная работа посвящена задаче повышения вычислительной эффективности и интерпретируемости популярной модели компьютерного зрения, свёрточной нейронной сети. Используется предположение, что свёрточные сети пространственно избыточны, то есть применение части слоёв сети в некоторых пространственных позициях не является необходимым для получения высокого качества работы. Разработан перфорированный свёрточный слой, позволяющий пространственно варьировать и снижать объём вычислений. Метод адаптивного времени вычислений, предложенный ранее для рекуррентной нейронной сети, применён к пространственной адаптации числа слоёв свёрточной нейронной сети под конкретный объект. Также построена вероятностная модель пространственной адаптации числа слоёв свёрточной нейронной сети и предложен способ её обучения.
Диссертация [*.pdf, 3.17 Мб] (дата размещения 1/18/2019)
Резюме [*.pdf, 629.28 Кб] (дата размещения 1/18/2019)
Summary [*.pdf, 620.07 Кб] (дата размещения 1/18/2019)
Публикации, в которых излагаются основные результаты диссертации
Michael Figurnov , Maxwell D. Collins, Yukun Zhu, Li Zhang, Jonathan Huang, Dmitry Vetrov and Ruslan Salakhutdinov. "Spatially Adaptive Computation Time for Residual Networks." (смотреть на сайте журнала)
Michael Figurnov , Aijan Ibraimova, Dmitry Vetrov and Pushmeet Kohli. "PerforatedCNNs: Acceleration through Elimination of Redundant Convolutions." (смотреть на сайте журнала)
M. Figurnov, A. Sobolev, D. Vetrov. "Probalistic adaptive computation time" (смотреть на сайте журнала)
Отзывы
Отзыв научного руководителя
- Отзыв научного руководителя (дата размещения 12/19/2018)
Сведения о результатах защиты:
Комитет по диссертации рекомендовал присудить ученую степень кандидата наук НИУ ВШЭ (протокол № 2 от 25.03.2019). Решением диссертационного совета (протокол № 5 от 12.04.2019) присуждена ученая степень кандидата компьютерных наук НИУ ВШЭ.
См. на ту же тему
Ускорение, сжатие и усовершенствование нейросетевых алгоритмов классификации и распознавания объектов на изображении и в видеопотоке.Кандидатская диссертация
Соискатель:
Руководитель: Оселедец Иван Валерьевич
Мультимодальное машинное зрениеКандидатская диссертация
Соискатель: Сенюшкин Дмитрий Сергеевич
Руководитель: Конушин Антон Сергеевич
Новые представления для изображений и 3D сценКандидатская диссертация
Соискатель: Хахулин Тарас Андреевич
Руководитель: Лемпицкий Виктор Сергеевич
Дата защиты: 10/28/2024