Методы оптимизации в машинном обучении

Бакалавриат 2021/2022

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Лучший по критерию «Новизна полученных знаний»

Статус: Курс обязательный (Прикладная математика и информатика)

Направление: 01.03.02. Прикладная математика и информатика

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 3-й курс, 3, 4 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для всех кампусов НИУ ВШЭ

Преподаватели: Гадецкий Артем Валерьевич, Кодрян Максим Станиславович, Кропотов Дмитрий Александрович

Язык: русский

Кредиты: 5

Контактные часы: 60

Полная версия программы учебной дисциплины

Аннотация

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным, причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклых), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

Цель освоения дисциплины

Освоение классических и современных численных методов решения задач непрерывной оптимизации
Освоение основных математических результатов из теории непрерывной оптимизации
Выработка практических навыков реализации численных методов оптимизации

Планируемые результаты обучения

Владеет основными математическими понятиями и результатами из теории непрерывной оптимизации
Знает основные классы задач непрерывной оптимизации и умеет сводить поставленную задачу к одному из этих классов
Умеет исследовать численные методы оптимизации и способен написать отчет о результатах исследования

Содержание учебной дисциплины

Понятие о численных методах оптимизации
Невыпуклая оптимизация
Унимодальные функции одной переменной
Слабая и сильная двойственность для задач выпуклой оптимизации
Задачи оптимизации на множествах простой структуры
Способы выбора шага в методах
Концепция (неточной) модели функции
Метод Ньютона
Стохастическая оптимизация
Общая схема метода штрафных функций
Распределенная оптимизация

Элементы контроля

Самостоятельные работы
СР
Домашние задания
ДЗ
Экзамен
Письменный экзамен (Э) на 90 минут.
Контрольная работа
КР
Проект
ПР

Промежуточная аттестация

2021/2022 учебный год 4 модуль
Общая оценка за курс вычисляется по правилу Округление_вверх(0.7*<Оценка_за_семестр> + 0.3*<Оценка_за_экзамен>). <Оценка_за_семестр> = min(10, <Суммарная_оценка_за_задания>*10 / <Максимальная_суммарная_оценка_за_задания_без_бонусов>). Итоговая оценка за курс совпадает с общей оценкой при соблюдении следующих дополнительных условий: >=8 — Сданы все задания, кроме одного (на оценку >=4), экзамен сдан на оценку >= 6 >=6 — Сданы все задания, кроме двух (на оценку >=4), экзамен сдан на оценку >= 4 >=4 — Сданы все задания, кроме трех (на оценку >=4), экзамен сдан на оценку >= 4

Список литературы

Авторы

Гадецкий Артем Валерьевич
Кропотов Дмитрий Александрович

Программа дисциплины