Выпуклый анализ и оптимизация

2024/2025

Статус: Маго-лего

Кто читает: Базовая кафедра Яндекс

Когда читается: 1, 2 модуль

Охват аудитории: для своего кампуса

Язык: русский

Кредиты: 6

Полная версия программы учебной дисциплины

Аннотация

Оптимизация является одной из основных рабочих лошадок, используемых в машинном обучении. Наш курс состоит из трех частей: Вводная часть о выпуклых множествах и выпуклых функциях, условиях оптимальности в задачах оптимизации, теории двойственности; Часть, посвященная алгоритмам для численного решения оптимизационных задач. В этой части мы попытаемся проиллюстрировать основные идеи, используемые при разработке методов оптимизации. В этой части мы будем не столько разбирать известные методы, сколько на их примере рассматривать основные концепты; Часть, посвященная задачам оптимизации с неопределенностью. Эта часть интересна сама по себе. Задачи оптимизации с неопределенностью встречаются повсеместно, при этом этой неопределенности может быть самый разный. В стандартных курсах по оптимизации обычно эти вопросы или не затрагиваются вовсе, или же затрагиваются лишь частично. Мы попытались в нашем курсе уделить задачам с неопределенностью больше внимания (конечно, в пределах временных рамок курса).

Цель освоения дисциплины

Получить представление о задачах и методах выпуклой оптимизации

Планируемые результаты обучения

Владеть методами решения для задачи стохастической оптимизации
Владеть методом Approx и применять в решении практических задач оптимизации
Владеть навыками практической реализации градиентного спуска
Знать берьерный метод и уметь использовать его при решении практических задач
Знать внутренние и внешние штрафные функции
Знать концепцию и свойства Recourse Function
Знать концепцию многорукого бандита.
Знать концепция робастного решения
Знать метод Ньютона и BFGS.
Знать методы зеркального спуска
Знать методы сглаживания негладкого функционала
Знать необходимые условия оптимальности и двойственности
Знать определение выпуклой и вогнутой функции
Иметь представление о задаче онлайн-оптимизации
Уметь анализ скорость сходимости градиентного спуска для различных функций
Уметь выбирать проксимальные функции.
Уметь вычислять скорость сходимости ADMM
Уметь построить робастную аппроксимацию
Уметь применять теорема о слабой и сильной двойственности
Уметь реализовать ADMM и применять при решении практических задач
Уметь реализовать стохастические градиентные спуск на языке программирования Python
Уметь решать задачу нахождения оптимума