Optimization in Machine Learning

2023/2024

Academic Year

RUS

Instruction in Russian

6

ECTS credits

Delivered at:

Big Data and Information Retrieval School

Course type:

Elective course

When:

3 year, 3, 4 module

Instructors

Меркулов Даниил Максимович

Nikorov, Kirill

Персиянов Михаил Игоревич

Программа дисциплины

Аннотация

Курс охватывает темы выпуклой, невыпуклой, непрерывной оптимизации, особенно мотивированные задачами и приложениями в Машинном Обучении. Рассматриваются разные темы - от фундаментальных материалов до недавних исследований.

Цель освоения дисциплины

• Понимание и применение линейной алгебры и матричных разложений в контексте оптимизации: Студенты смогут использовать основные концепции линейной алгебры и матричных разложений для решения задач оптимизации.
• Освоение градиентных методов и их применение: После изучения курса студенты будут уметь применять градиентный спуск и другие градиентные методы для решения задач машинного обучения.
• Понимание и использование концепций выпуклости и невыпуклости в оптимизации: Студенты освоят концепции выпуклых и невыпуклых функций и смогут применять их при решении соответствующих задач.
• Применение условий оптимальности и двойственности в задачах оптимизации: Освоение теоремы Каруша-Куна-Таккера и принципов двойственности для анализа и решения оптимизационных задач.
• Овладение методами первого и второго порядков: Студенты узнают о методах, основанных на первом и втором порядках производных, включая методы субградиентного спуска и метод Ньютона.

Планируемые результаты обучения

• Изучение ускоренных градиентных методов и методов для работы с ограничениями: Студенты научатся применять ускоренные градиентные методы и методы для оптимизации с ограничениями, такие как метод проекции градиента.
• Понимание специфики оптимизации в нейронных сетях и современных исследований в этой области: Студенты изучат алгоритмы стохастического градиентного спуска, адаптивные градиентные алгоритмы и другие современные методы, актуальные для нейронных сетей.
• Освоение теоретических основ и практических навыков для анализа и решения различных оптимизационных задач: Студенты смогут применять полученные знания для решения реальных задач в области машинного обучения, включая задачи выпуклой и невыпуклой оптимизации.
• Понимание и применение принципов обобщающей способности моделей машинного обучения: Студенты изучат концепции, связанные с обобщающей способностью моделей, включая Neural Tangent Kernel и Mode connectivity.
• Развитие навыков критического анализа и самостоятельного исследования в области оптимизации и машинного обучения: Помимо теоретических знаний, курс нацелен на развитие у студентов способности к аналитическому мышлению, самостоятельному изучению новых методов и их критическому анализу.

Содержание учебной дисциплины

• Вспоминаем линейную алгебру.
• Градиент.
• Выпуклость.
• Условия оптимальности.
• Двойственность.
• Задача линейного программирования.
• Градиентный спуск.
• Ускоренные градиентные методы.
• Субградиент.
• Проксимальный градиентный метод.
• Метод сопряженных градиентов.
• Метод натурального градиента.
• Метод Ньютона.
• Введение в методы внутренней точки.
• Стохастический градиентный спуск.
• Методы редукции дисперсии: SAG, SVRG, SAGA.
• Градиентный поток и диффузия.
• Седловые задачи.
• Обобщающая способность моделей машинного обучения.
• Инициализация.

Элементы контроля

• Домашние задания
  Домашние работы выдаются по темам каждого занятия в конце лекции или на неделе после лекции. Домашние работы содержат в себе как практические, так и теоретические задачки. Сдача домашних работ происходит не еженедельно, а группами по 3-4 штуки.
• Тесты
  Тесты проводятся (по возможности) на каждой лекции по материалам предыдущей лекции. За пропущенный по неуважительной причине тест ставится 0. Если средняя оценка за все тесты меньше 5 из 10, то оценка за курс не может быть выше 5 из 10.
• Коллоквиум
  Коллоквиум пройдёт в конце учебного года перед сессией(точная дата будет объявлена позднее) и будет включать в себя только материалы по темам прошедших лекций. Оценка за коллоквиум складывается из 4 частей Вопросы по формулировкам - 2 балла Теорема с доказательством - 3 балла Решение задачи - 3 балла Дополнительный вопрос - 2 балла Сначала выдаются 4 случайных определения/формулировки из списка. На подготовку дается 10 минут. При правильном ответе хотя бы на 3 из 4 определений/формулировок коллоквиум продолжается дальше, и вы получаете x-2 баллов, где x – число верно отвеченных вопросов. В противном случае за коллоквиум выставляется 0 баллов. При успешной сдаче определений вам выдается билет, содержащий теоретический вопрос на доказательство, а также задачу. На подготовку к ответу дается 40 минут. Теоретический вопрос на доказательства будет по теоремам из списка. Для подготовки к задачам советуем повторить домашние задания, а также задачи с семинаров. В процессе беседы по предыдущим пунктам экзаменатор может задавать уточняющие вопросы. После ответа на предыдущие этапы экзаменатор задает дополнительный вопрос, например, задачу или вопрос, связанный с теорией. Ответ на дополнительный вопрос оценивается в 2 балла. Коллоквиум является блокирующим.
• Экзамен
  Письменный экзамен проходит в очной письменной форме во время сессии (дата и место будут объявлены в конце курса). Будут предложены теоретические и практические задачи (без использования комьютеров). Пользоваться ничем будет нельзя.

Промежуточная аттестация

• 2023/2024 учебный год 4 модуль
  Оценка = округление(минимум(10, [0.15, 0.35, 0.25, 0.25]^T * [Тест, ДЗ, Коллоквиум, Экзамен] + 0.5 * минимум(1, количество принятых коммитов в главный репозиторий / 10) + 0.5 * Посещаемость)) где: Тест, ДЗ, Коллоквиум, Экзамен - оценки за соответствующие активности от 0 до 10. Тесты проводятся (по возможности) на каждой лекции по материалам предыдущей лекции. За пропущенный по неуважительной причине тест ставится 0. Оценка коллоквиум являются блокирующими (если набрать меньше 3.5 из 10, то курс не сдан). Если средняя оценка за тесты меньше 5, то итоговая оценка за курса не может быть больше 5 Домашние работы выдаются по темам каждого занятия в конце лекции. Количество принятых коммитов в главный репозиторий с учебными материалами. Посещаемость = 1, если пропущено менее 25% семинаров не по уважительной причине. Иначе Посещаемость = 0.

Список литературы

Рекомендуемая основная литература

• Nocedal, J., & Wright, S. J. (1999). Numerical Optimization. New York: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=104566
• Yurii Nesterov. (2018). Lectures on Convex Optimization (Vol. 2nd ed. 2018). Springer.

Рекомендуемая дополнительная литература

• Stephen Boyd, Lieven Vandenberghe, & Lieven V. (2015). Additional Exercises for Convex Optimization. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.E7445CE1