Information Theory

2024/2025

Academic Year

RUS

Instruction in Russian

6

ECTS credits

Delivered at:

Department of Cyber-Physical Systems Information Security

Course type:

Compulsory course

When:

2 year, 3, 4 module

Instructors

Bogdanova, Ekaterina

Ivanov, Fedor

Программа дисциплины

Аннотация

Теория информации представляет собой раздел математики, посвященный количественному измерению информации и исследованию ее свойств, и дающий теоретическую базу для систем передачи информации. В результате изучения данной дисциплины студенты получат представление об основных понятиях, методах и результатах теории информации и приобретут умения и практические навыки по решению задач, относящихся к данной области знаний. Изучение теории информации сформирует базис, необходимый для последующего изучения дисциплин в области криптографической защиты информации, а также машинного обучения и искусственного интеллекта. При обучении предусмотрен контроль знаний студентов в виде учета активности студентов на семинаре, домашнего задания, контрольной работы и экзамена.

Цель освоения дисциплины

• Основная цель освоения дисциплины «Теория информации» - обучить студентов основным понятиям и методам теории информации, необходимым как в дальнейшем обучении, так и в работе по специальности.

Планируемые результаты обучения

• Знать основные понятия и методы теории информации
• • пользоваться основными методами теории информации для решения задач как в области теории информации, так и за ее пределами;
• владеть навыками формализации и решения практических задач методами теории информации.
• знать основные понятия и методы теории полярных кодов уметь: пользоваться основными методами теории полярных кодов для решения прикладных задач
• знать основные понятия и методы теории помехоустойчивого кодирования уметь: • пользоваться основными методами теории кодирования для решения прикладных задач владеть навыками формализации и решения практических задач методами теории кодирования.
• знать: • основные понятия и методы теории информации, необходимые для дальнейшего изучения последующих дисциплин, предусмотренных базовым и рабочим учебными планами, а также для применения в профессиональной деятельности; уметь: • пользоваться основными методами теории информации для решения задач как в области теории информации, так и за ее пределами; владеть: • навыками формализации и решения практических задач методами теории информации.
• Уметь применять методы теории информации. для решения задач математичесой статистики

Содержание учебной дисциплины

• Информация по Хартли.
• Классическая теория информации Шеннона.
• Применение теории информации Шеннона.
• Линейные коды
• Полярные коды
• Теория информации в задачах математической статистики

Элементы контроля

• Контрольная работа по теме "меры количества информации"
• контрольная работа по теме "кодирование источника и канала"
• Контрольная работа по теме "помехоустойчивое кодирование, полярные коды"
• экзамен

Промежуточная аттестация

• 2024/2025 4th module
  0.1 * Контрольная работа по теме "меры количества информации" + 0.1 * Контрольная работа по теме "помехоустойчивое кодирование, полярные коды" + 0.2 * контрольная работа по теме "кодирование источника и канала" + 0.6 * экзамен

Список литературы

Рекомендуемая основная литература

• Cryptography, information theory, and error-correction : a handbook for the 21st century, Bruen, A. A., 2005
• Теория кодов, исправляющих ошибки, Мак-Вильямс, Ф. Дж., 1979

Рекомендуемая дополнительная литература

• Elements of information theory, Cover, T. M., 2006

Авторы

• Перов Артём Андреевич
• Иванов Федор Ильич