• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Бакалавриат 2022/2023

Введение в классическую теорию информации

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Статус: Курс по выбору (Физика)
Направление: 03.03.02. Физика
Где читается: Факультет физики
Когда читается: 3-й курс, 1, 2 модуль
Формат изучения: без онлайн-курса
Охват аудитории: для своего кампуса
Язык: русский
Кредиты: 4
Контактные часы: 48

Программа дисциплины

Аннотация

Данный курс является подготовительным для курса “Введение в квантовую информатику”. В курсе рассматриваются основные понятия и структуры классической теории информации. Приводится необходимый математический аппарат. Рассматриваются такие понятия как информация Шеннона, теоремы кодирования источника, теоремы кодирования дискретных и непрерывных каналов с шумом. Кратко рассматривается применение теоретико-информационных методов в классической криптографии.
Цель освоения дисциплины

Цель освоения дисциплины

  • В семестровом курсе «Введение в классическую теорию информации» изучаются фундаментальные основы теории информации, необходимые для понимания теории квантовой информации и методов квантовой криптографии
Планируемые результаты обучения

Планируемые результаты обучения

  • Применяет физические методы теоретического и экспериментального исследования, методы математического анализа и моделирования для постановки задач по развитию, внедрению и коммерциализации новых наукоемких технологий.
  • Представляет результаты проведенных физико-математических и прикладных исследований в виде конкретных рекомендаций, выраженных в терминах предметной области
  • Использует знания современных проблем и новейших достижений физики в научно-исследовательской работе
  • Анализирует, верифицирует, оценивает полноту информации в ходе профессиональной деятельности, при необходимости восполнять и синтезировать недостающую информацию
  • Проводит научные эксперименты и/или теоретические (аналитические и имитационные) исследования для их решения поставленных профессиональных задач
  • Анализирует, верифицирует, оценивает полноту информации в ходе профессиональной деятельности, при необходимости восполнять и синтезировать недостающую информацию.
Содержание учебной дисциплины

Содержание учебной дисциплины

  • 1) Введение. Что такое информация? Чем измерять количество информации? Связь количества информации со случайностью -- качественные соображения.
  • 2) Что такое кодирование – эвристическое рассмотрение. Пример кодирования - с бернуллиевской схемой испытаний – подбрасывание несимметричной “монетки”. Бинарная энтропийная функция Шеннона как мера случайности
  • 3) Математический аппарат теории информации. Энтропия, совместная и условная энтропии Шеннона. Цепочечное правило, связь совместной, условной и взаимной информаций. Качественная интерпретация энтропий
  • 4) Относительная энтропия, связь со взаимной информацией. Условная взаимная информация и условная относительная энтропия.
  • 5) Выпуклые и вогнутые функции, неравенство Йенсена (Jensen). Применение неравенства для доказательства положительности энтропии, выпуклости по входным вероятностям взаимной энтропии
  • 6) Понятие типичных последовательностей, свойство асимптотической равнораспределенности. Свойства типичных последовательностей, связь с энтропией.
  • 7) Сжатие данных, связь с типичными последовательностями, средняя длина кодового слова при нумерации типичных последовательностей
  • 8) Понятие классического дискретного канала связи без памяти
Элементы контроля

Элементы контроля

  • неблокирующий Домашнее задание
  • неблокирующий Экзамен
Промежуточная аттестация

Промежуточная аттестация

  • 2022/2023 учебный год 2 модуль
    0.5 * Экзамен + 0.5 * Домашнее задание
Список литературы

Список литературы

Рекомендуемая основная литература

  • Механика и молекулярная физика в курсе общей физики, Ландау, Л. Д., 2017

Рекомендуемая дополнительная литература

  • Теория информации и надежная связь, Галлагер, Р., 1974

Авторы

  • Молотков Сергей Николаевич