LLM: создание и интеграция интеллектуальных ассистентов

Программа обучения

• Введение в глубинное обучение7 занятий

  • Введение в глубинное обучение: мотивация для использования нейронных сетей, полносвязные сети, обучение нейронных сетей
  • Метод обратного распространения ошибки и функции активации
  • Модификации градиентного спуска
  • Улучшение обучения: dropout, batchnorm, инициализация весов
  • Свертки и обзор сверточных архитектур
  • Word2Vec и его модификации
  • Encoder-deсoder архитектуры. Введение в RNN

• Элементы промышленной разработки для ML-разработчика3 занятия

  • Работа на сервере Linux. Обзор bash.
  • Git Workflow. Версионирование данных и экспериментов с помощью DVC
  • Docker и Docker Compose

   

• Современное глубинное обучение4 занятия

  • Работа с датасетами и библиотека datasets от HuggingFace. Механизм внимания
  • Различные архитектуры трансформеров и их особенности
  • Обучение и дообучение трансформеров
  • Продвинутые подходы к оптимизации

• Большие языковые модели (LLM)7 занятий

  • Обучение моделей на CPU и GPU
  • Ускорение обучения: precision
  • Ускорение обучения: квантизация, дистилляция, прунинг
  • Ускорение обучения: DDP и другие подходы
  • Компоненты современных LLM
  • Retrieval-Augmented Generation (RAGs), Agents
  • Мультимодальные модели

   

• Деплой DL-моделей4 занятия

  • HTTP API для ML моделей
  • Создание веб-сервисов для моделей
  • Оптимизация моделей в runtime
  • Настройка CI / CD пайплайна. Мониторинг

   

• Подготовка и защита проекта2 консультации с ментором

  • Первичная индивидуальная консультация с ментором
  • Повторная индивидуальная консультация с ментором
  • Защита проекта