Бакалавриат
2022/2023
Введение в классическую теорию информации
Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Статус:
Курс по выбору (Физика)
Направление:
03.03.02. Физика
Где читается:
Факультет физики
Когда читается:
3-й курс, 1, 2 модуль
Формат изучения:
без онлайн-курса
Охват аудитории:
для своего кампуса
Преподаватели:
Молотков Сергей Николаевич
Язык:
русский
Кредиты:
4
Контактные часы:
48
Программа дисциплины
Аннотация
Данный курс является подготовительным для курса “Введение в квантовую информатику”. В курсе рассматриваются основные понятия и структуры классической теории информации. Приводится необходимый математический аппарат. Рассматриваются такие понятия как информация Шеннона, теоремы кодирования источника, теоремы кодирования дискретных и непрерывных каналов с шумом. Кратко рассматривается применение теоретико-информационных методов в классической криптографии.
Цель освоения дисциплины
- В семестровом курсе «Введение в классическую теорию информации» изучаются фундаментальные основы теории информации, необходимые для понимания теории квантовой информации и методов квантовой криптографии
Планируемые результаты обучения
- Применяет физические методы теоретического и экспериментального исследования, методы математического анализа и моделирования для постановки задач по развитию, внедрению и коммерциализации новых наукоемких технологий.
- Представляет результаты проведенных физико-математических и прикладных исследований в виде конкретных рекомендаций, выраженных в терминах предметной области
- Использует знания современных проблем и новейших достижений физики в научно-исследовательской работе
- Анализирует, верифицирует, оценивает полноту информации в ходе профессиональной деятельности, при необходимости восполнять и синтезировать недостающую информацию
- Проводит научные эксперименты и/или теоретические (аналитические и имитационные) исследования для их решения поставленных профессиональных задач
- Анализирует, верифицирует, оценивает полноту информации в ходе профессиональной деятельности, при необходимости восполнять и синтезировать недостающую информацию.
Содержание учебной дисциплины
- 1) Введение. Что такое информация? Чем измерять количество информации? Связь количества информации со случайностью -- качественные соображения.
- 2) Что такое кодирование – эвристическое рассмотрение. Пример кодирования - с бернуллиевской схемой испытаний – подбрасывание несимметричной “монетки”. Бинарная энтропийная функция Шеннона как мера случайности
- 3) Математический аппарат теории информации. Энтропия, совместная и условная энтропии Шеннона. Цепочечное правило, связь совместной, условной и взаимной информаций. Качественная интерпретация энтропий
- 4) Относительная энтропия, связь со взаимной информацией. Условная взаимная информация и условная относительная энтропия.
- 5) Выпуклые и вогнутые функции, неравенство Йенсена (Jensen). Применение неравенства для доказательства положительности энтропии, выпуклости по входным вероятностям взаимной энтропии
- 6) Понятие типичных последовательностей, свойство асимптотической равнораспределенности. Свойства типичных последовательностей, связь с энтропией.
- 7) Сжатие данных, связь с типичными последовательностями, средняя длина кодового слова при нумерации типичных последовательностей
- 8) Понятие классического дискретного канала связи без памяти
