Искусственный интеллект в мультимедиа

Бакалавриат 2024/2025

Статус: Курс обязательный (Информатика и вычислительная техника)

Направление: 09.03.01. Информатика и вычислительная техника

Кто читает: Департамент компьютерной инженерии

Где читается: Московский институт электроники и математики им. А.Н. Тихонова

Когда читается: 4-й курс, 1-3 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Преподаватели: Моисеев Михаил Васильевич, Рыбаков Петр Владимирович

Язык: русский

Кредиты: 9

Дополнительные материалы в LMS Задать вопрос

Аннотация

Курс "Искусственный интеллект в мультимедиа" представляет собой углубленное изучение современных методов и алгоритмов компьютерного зрения, обработки изображений, звука и видео. В рамках курса будут рассмотрены как классические подходы, так и новейшие нейросетевые решения для анализа и генерации мультимедийного контента. Основные темы курса включают: Классические алгоритмы компьютерного зрения: Изучение основ компьютерного зрения, включая алгоритмы обработки изображений и базовые методы анализа сцены. Основы глубинного обучения: Овладение современными методами глубокого обучения, включая сверточные нейронные сети (CNN), для анализа изображений. Практические задачи компьютерного зрения: Рассмотрение аспектов применения компьютерного зрения в таких задачах как обнаружение объектов, трекинг объектов, оптическое распознавание символов (OCR), распознавание лиц. Порождающие модели (GAN, VAE, Diffusion): Обзор и применение продвинутых генеративных моделей для создания изображений, видео и других типов данных. Трансформеры и обработка последовательностей: Обзор архитектур нейронных сетей для обработки последовательных данных (тексты, аудио, видео) с акцентом на актуальные решений на основе трансформерной архитектуры. Курс предназначен для студентов, интересующихся применением искусственного интеллекта в области мультимедийных технологий, и охватывает как теоретические основы, так и практические аспекты разработки и внедрения AI-решений для работы с мультимедиа данными. В ходе обучения слушатели получат навыки работы с современными инструментами и библиотеками, такими как Ultralytics, OpenCV, PIL, PyTorch и освоят техники, применимые в реальных проектах.

Цель освоения дисциплины

Формирование у студентов представления о современных алгоритмах искусственного интеллекта в сфере обработки мультимедиа-данных
Формирование у студентов навыков применения методов компьютерного зрения и генеративного искусственного интеллекта для решения задач обработки мультимедиа-данных

Планируемые результаты обучения

Студенты имеют представление о том как работают системы распознавания лиц.
Дать определение компьютерного зрения
Перечислить методы и задачи компьютерного зрения
Студент способен применять на практике современные модели обнаружения объектов
Студенты способны применять на практике современные модели распознавания лиц

Содержание учебной дисциплины

Введение в машинное обучение и компьютерное зрение
Использование нейронных сетей для решения задачи обнаружения объектов на изображении
Распознавание лиц
OCR
Генеративные модели

Элементы контроля

Практическая работа 1. Работа с изображениями на языке Python.
Практическая работа 2
Практическая работа 3. Трекинг объектов
Практическая работа 4. Распознавание лиц.
Практическая работа 5. Генеративные модели.
Практическая работе 6. DeepFake

Промежуточная аттестация

2024/2025 2nd module
0.2 * Практическая работа 1. Работа с изображениями на языке Python. + 0.4 * Практическая работа 2 + 0.4 * Практическая работа 3. Трекинг объектов
2024/2025 3rd module
0.3 * Практическая работа 4. Распознавание лиц. + 0.5 * Практическая работа 5. Генеративные модели. + 0.2 * Практическая работе 6. DeepFake

Список литературы

Авторы

Рыбаков Петр Владимирович

Программа дисциплины