Компьютерное зрение

Бакалавриат 2020/2021

Статус: Курс по выбору (Прикладная математика и информатика)

Направление: 01.03.02. Прикладная математика и информатика

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 4-й курс, 3 модуль

Формат изучения: с онлайн-курсом

Преподаватели: Конушин Антон Сергеевич, Шахуро Владислав Игоревич

Язык: русский

Кредиты: 4

Контактные часы: 34

Полная версия программы учебной дисциплины Задать вопрос

Аннотация

Курс посвящен основным задачам и методам компьютерного зрения, таким как обработка изображений, совмещение и сопоставление изображений, классификация изображений, поиск изображений по содержанию, выделение объектов, сегментация объектов, стилизация изображений, синтез изображений, вычисление оптического потока, сопровождение одиночных и множественных целей, распознавание событий, трёхмерная реконструкция по изображениям. Для освоения учебной дисциплины студенты должны владеть знаниями и компетенциями следующих дисциплин: Математический анализ; Линейная алгебра и геометрия; Теория вероятностей и математическая статистика; Основы и методология программирования; Алгоритмы и структуры данных; Машинное обучение 1; Машинное обучение 2; Введение в глубинное обучение.

Цель освоения дисциплины

Ознакомление студентов с основами и современными методами компьютерного зрения, включая извлечение семантической и метрической информации из изображений;
Формирование практических навыков работы с изображениями и решения прикладных задач анализа изображений.

Планируемые результаты обучения

Знать основные постановки задач компьютерного зрения, процесс формирования изображений, базовые методы тональной коррекции
Владеть навыками реализации алгоритмов обработки изображений с использованием библиотек для обработки изображений
Уметь применять методы поиска и сопоставления локальных особенностей
Знать основные методы построения признаков изображений
Владеть аппаратом нейросетевых моделей для классификации изображений
Уметь применять и оценивать качество алгоритмов выделения объектов
Владеть навыками реализации алгоритмов решения задач компьютерного зрения на языке Python с использованием библиотек машинного обучения
Знать основные элементы современных алгоритмов обработки изображений в том числе с использованием состязательных сетей
Знать основные методы и задачи обработки и распознавания видео
Владеть методами трёхмерной реконструкции

Содержание учебной дисциплины

Введение в компьютерное зрение. Цифровое изображение и тональная коррекция
Рассматривается понятие компьютерного зрения, процесс формирования цифрового изображения, понятие и модели цвета, методы тональной коррекции.
Основы обработки изображений
Пространственная фильтрация изображений, свёртка и её применение, подавление шума, выделение краёв и границ.
Совмещение изображений и локальные особенности
Понятие и применение совмещения изображений. Локальные особенности требования к ним. Метод SIFT. Метод RANSAC.
Классификация и поиск по изображениям
Декомпозция классификации изображений. Основные эвристические признаки изображений - гистограммы, мешок слов, текстоны, LBP-признаки. Структура методов поиска изображений по содержанию.
Свёрточные нейросети для классификации и поиска похожих изображений
Визуализация свёрточных признаков. Основные архитектуры для классификации изображений. Применение нейросетей для поиска похожих. Обучение представлений.
Детекторы объектов
Постановка задачи детекции объектов, скользящее окно и его свойства. Схема R-CNN и её развитие.
Сегментация изображений
Примеры постановок задач сегментации изображений и основные подходы к решению - выделение объекта, пересегментация, семантическая сегментация. Применение нейросетевых методов.
Преобразование и генерация изображений
Стилизация изображений градиентными методами. Методы преобразования изображений. Состязательные сети и их применение.
Основы обработки видео
Основные постановки задач обработки видео и подходы к их решению - вычисление оптического потока, сопровождение одного объекта, сопровождение множества объектов, распознавание событий.
Трёхмерная реконструкция по изображениям
Многовидовая геометрия и оценка моделей. Разреженный подход к трёхмерной реконструкции. Плотная трёхмерная реконструкция. Нейросетевой рендеринг.

Элементы контроля

Проверочные работы
Практические (лабораторные) задания для выполнения на семинарах и в качестве домашних заданий
Письменный экзамен
Экзамен проводится дистанционно через Zoom. Технические требования: web-камера, микрофон, наушники / колонки, Zoom.

Промежуточная аттестация

Промежуточная аттестация (3 модуль)
В рамках курса предусмотрены проверочные работы на занятиях, практические (лабораторные) задания для выполнения на семинарах и в качестве домашних заданий, и письменный экзамен. Накопленная оценка рассчитывается по формуле O_накопл=0.25 O_проверочные + 0.75 O_лабораторные Оценка за проверочные работы рассчитывается как сумма оценок за все проверочные работы, делённая на максимальную сумму оценок за проверочные, умноженная на 10. Оценка за лабораторные работы рассчитывается как сумма оценок за все лабораторные работы, делённая на максимальную сумму оценок за лабораторные работы, умноженная на 10. Результирующая оценка по дисциплине рассчитывается по формуле O_итог=0.8 O_накопл + 0.2 O_экз Накопленная и итоговая оценки округляются арифметически. Студенты, получившие 8, 9, 10 за накопленную оценку, могут проставить итоговую оценку, равную накопленной, без сдачи экзамена.

Программа дисциплины