Научно-исследовательский семинар "Нейроинформатика"

Бакалавриат 2020/2021

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Лучший по критерию «Новизна полученных знаний»

Статус: Курс по выбору (Программная инженерия)

Направление: 09.03.04. Программная инженерия

Кто читает: Департамент программной инженерии

Где читается: Факультет компьютерных наук

Когда читается: 2-й курс, 1-3 модуль

Формат изучения: без онлайн-курса

Преподаватели: Харламов Александр Александрович

Язык: русский

Кредиты: 3

Контактные часы: 44

Полная версия программы учебной дисциплины

Аннотация

Целью данного семинара является вовлечение студентов в научно-исследовательскую деятельность в предметной области «Нейроинформатика», которая (предметная область) наряду с генетикой и нанотехнологиями является в настоящее время наиболее актуальным направлением научных исследований. На семинаре студенты знакомятся с биологией мозга, информатикой сенсоров и эффекторов (в том числе с информатикой распознавания и синтеза речи), формированием семантических представлений – моделей мира человека (языковой и многомодальной), современными технологиями моделирования интеллектуальных функций человека. Все темы семинара предполагают самостоятельную разработку с привлечением дополнительной информации из доступных источников.

Цель освоения дисциплины

Целью освоения дисциплины «Научно-исследовательский семинар «Нейроинфор-матика» являются овладение студентами основными концепциями естествознания в области обработки информации мозгом человека.
Целью семинара является изучение и обеспечение естественно-научных основ для последующих курсов, посвященных разработке современных искусственно-интеллектуальных методов и программ решения прикладных задач
Целью семинара является приобретение навыков исследовательской работы, предполагающей самостоятельное изучение специфических искусственно-интеллектуальных технологий, широко применяемых в различных областях современной науки и техники

Планируемые результаты обучения

Знать архитектуру и функции трех основных органов мозга, ответственных за обработку специфической информации.
Знать функциональность и информатику колонки коры, ламели гиппокампа в обработке специфической информации.
Знать архитектуру и функциональность зрительного анализатора.
Знать архитектуру и функциональность слухового анализатора.
Знать физиологию нейрона и вытекающую из нее функциональность нейрона в процессе пространственно-временной фильтрации сигналов.
Знать существующие модели интеллектуальных функций человека, основанные на биологии мозга.
Знать функциональность и информатику колонки коры, ламели гиппокампа в обработке специфической информации.
Знать архитектуру и функциональность зрительного анализатора.
Знать архитектуру и функциональность слухового анализатора.
Знать физиологию нейрона и вытекающую из нее функциональность нейрона в процессе пространственно-временной фильтрации сигналов.
Знать существующие модели интеллектуальных функций человека, основанные на биологии мозга.
Знать архитектуру и функции трех основных органов мозга, ответственных за обработку специфической информации.

Содержание учебной дисциплины

Биология мозга: анатомия коры большого мозга, гиппокамп, таламус.
Три органа большого мозга человека обеспечивают обработку специфической сенсорной и эффекторной информации: кора полушарий, гиппокамп и таламус. Колонки коры формируют иерархию словарей образов событий внешнего и интероцептивного мира человека разной сложности разных модальностей, ламели гиппокампа формируют из этих корковых образов пространственно-временные представления о ситуациях, и таламус обеспечивает энерегетичекую поддержку этих процессов формирования и манипулирования как механизм внимания.
Биология мозга: колонка коры, ламель гиппокампа.
Колонка коры полушарий большого мозга человека реализует структурную обработку поступающей на нее сенсорной информации, выявляя словарь образов событий заданной сложности (заданного уровня) и формируя на основе этого словаря из входной информационной последовательности так называемую синтаксическую последовательность для формирования словаря следующего уровня. Ламель гиппокампа яляется ассоциативной памятью, которая формирует представление о ситуации в виде ссылок на образы согбытий, хранящиеся в колонках коры.
Сенсорные системы: зрительный анализатор.
Сенсорные системы мозга человека обеспечивают формирование модальных моделей мира иерархиями словарей образов событий разной сложности, и многомодальными представлениями ситуаций, для чего в них реализуется модально-специфический сигнальный уровень обработки информации (предобработка в периферии анализатора), и символьный уровень обработки, единый по принципам обработки для всех сенсорных систем, включающий представления двух видов: иерархий словарей в колонках коры полушарий большого мозга, и образов ситуаций в ламелях гиппокампа. Зрительный анализатор включает в свой состав периферию обработки (сигнальный уровень) - сетчатку глаз и зрительно-глазодвигательную систему, и корковый конец (символьный уровень обработки), обеспечивающий формирование иерархии словарей зрительных образов разной сложности (от элементарных образов до образов сцен).
Сенсорные системы: слуховой анализатор.
Сенсорные системы мозга человека обеспечивают формирование модальных моделей мира иерархиями словарей образов событий разной сложности, и многомодальными представлениями ситуаций, для чего в них реализуется модально-специфический сигнальный уровень обработки информации (предобработка в периферии анализатора), и символьный уровень обработки, единый по принципам обработки для всех сенсорных систем, включающий представления двух видов: иерархий словарей в колонках коры полушарий большого мозга, и образов ситуаций в ламелях гиппокампа. Слуховой анализатор также включает в свой состав периферию - внутреннее ухо человека, и корковый конец, обеспечивающий формирование иерархии словарей слуховых образов разной сложности (от акустико-фонетических элементов до попарной сочетаемости слов - уровень семантики предложения).
Биология мозга: физиология нейрона.
Основной структурной и функциональной единицей мозга человека является нейрон. Поэтому физиология нейрона очень важна для понимания того, как на основе естественной нейронной сети возникает когнитивная сеть - сеть нейронов, выполняющая определенные функции обработки информации. Физиология нейрона включает физиологию дендритов, которая опосредует основные функции нейрона по фильтрации информации, и физиологию аксона. И та и другая базируются на физиологии мембраны нейрона, включающей в свой состав калиево-натриевый насос, и каналы с их рецепторными органами.
Нейроподобные элементы с простран-ственной суммацией сигналов.
Нейроны мозга делятся на две категории: элетрокомпактные и электронекомпактные. Первые реагируют на сигналы, приходящие на них в пределах временной константы мембраны, то есть учитывают при обработке исключительно сигналы, пришедшие на нейрон строго в рамках текущего временного такта: получил - отреагировал. Вторые учитывают сигналы, пришедшие в течение нескольких тактов времени (несколько периодов реагирования нейрона). Нейроны с пространственной суммацией лежат в основе почти всех наличествующих нейросетевых парадигм (нейроны Маккаллока-Питтса).
Нейроподобные элементы с временной суммацией сигналов.
Нейроны мозга делятся на две категории: элетрокомпактные и электронекомпактные. Первые реагируют на сигналы, приходящие на них в пределах временной константы мембраны, то есть учитывают при обработке исключительно сигналы, пришедшие на нейрон строго в рамках текущего временного такта: получил - отреагировал. Нейроны с временной суммацией, таким образом, учитывают временную структуру входной последовательности сигналов. Приамидные нейроны третьего слоя, составляющие основу колонок коры, являются элетронекомпактными, поэтому колонка коры работает как структура, преобразующая входную последовательность сигналов в траекторию в многомерном сигнальном пространстве.
Нейроинформатика: обработка информации в коре. Ассоциативная обработка в колонке коры.
Пирамидные нейроны третьего слоя, составляющие основу колонок коры, являются элетронекомпактными, поэтому колонка коры работает как структура, преобразующая входную последовательность сигналов в траекторию в многомерном сигнальном пространстве. Траектория в многомерном пространстве имеет свойство ассоциативности доступа к информации и, потому, позволяет выявлять повторяющиеся фрагменты во входных последовательностях.
Нейроинформатика: обработка информации в коре. Формирование словарей и синтаксических последовательностей.
Выявление повторяющихся фрагментов входных последовательностей означает автоматическое (без участия учителя) формирование словарей образов событий разной сложности разных модальностей. Взаимодействие траектории с ранее сформированным словарем позволяет, в свою очередь, выявлять связи слов словаря во входной последовательности. Таким образом, колонка коры является инструментом для структурной обработки информации: выявляет элементы структуры, и связи этих элементов в структуре.
Нейроинформатика: обработка информации в коре. Иерархия словарей как одномодальная модель мира. Многомодальная модель мира.
Словари, сформированные но основе сенсорных информационных последовательностей конкретной модальности, представляют собой множества образов событий разной сложности, причем слова словарей верхних уровней оказываются грамматиками для слов словарей нижних уровней, то есть формируется иерархия представлений, которая для, например, слуховой вербальной модальности, соответствует уровням представления естественного языка, то есть является моделью языка. Другие модальности не отличаются (по крайней мере, зрительная модальность), формируя такую же иерархию словарей, которая является в этом случае моделью мира в терминах зрительной модальности.
Нейроинформатика: обработка информации в гиппокампе. Модель ситуации. Семантическая сеть как модель ситуации.
Представление информации в иерархиях словарей отдельных модальностей самого верхнего уровня иерархии ограничивается смысловой сочетаемостью событий данной модальности (соответствует лексической семантике отдельного предложения в модели языка). Пространственно-временное объединение образов событий словарей модальных иерархий, соответствующих образам ситуаций, осуществляется в ламелях гиппокампа. Семантическая сеть (аналогом которой является расширенная предикатная структура предложения в языковом представлении), формируемая в ламели гиппокампа как ассоциативной памяти Хопфилда, вершинами которой являются подходящие образы слов словарей разных уровней разных модальностей, участвующих в конкретной ситуации, представляют эту ситуацию. Являются моделью ситуации.
Нейроинформатика: управление обработкой информации с участием таламуса. Фронтальная кора.
Таламус является органом мозга, который позволяет двум вышеперечисленным (коре и гиппокампу) работать со специфической информацией, манипулируя фрагментами естественной нейронной сети посредством энергетики мозга. Таковы, например, возможности по фокусировке внимания, его полной расфокусировке, включению режимов локализации и генерализации. Ситуации, образы которых представлены в ламелях гиппокампа (опирающихся, в свою очередь, на образы событий, представленные в колонках задней коры), составляют в передней коре последовательности, характерные для разных типов процессов (в том числе - процессов, опосредующих целенаправленное поведение). Фронтальная кора, формируя из образов таких последовательностей иерархии словарей разных уровней, может манипулировать этими образами ситуаций, хранящимися в гиппокампе, посредством таламуса.
Кортикоморфная ассоциативная память. Микроэлектронная реализация.
Основой представлений образов событий в колонках коры являются пучки нейронов с временной суммацией сигналов, которые формируют посредством структурного анализа (выявления словарей, и формирования синтаксических последовательностей) модальные модели, а в конечном итоге, многомодальную модель мира. Такие пучки нейронов могут быть легко смоделированы программно и аппаратно как ассоциативная память, отличающаяся от традиционной добавлением функции мягкого поиска. При этом отдельный нейрон представляется ячейкой, хранящей его адрес, а все множество нейронов пучка использует общий для всех нейронов регистр сдвига, в котором хранится текущий фрагмент входной последовательности. Такая реализация (где регистр сдвига стоит на входе) чрезвычайно компактна, в отличие от традиционных импульсных (спайковых) нейронныйх сетей, в которых необходимо запоминать все задержки (от момента возникновения спайка до момента его прихода на следующий нейрон) для всех нейронов сети.
Автоматический анализ изображений. Модель сетчатки. Сверточные сети.
Для того, чтобы информация всех модальностей обрабатывалась в коре однотипно, необходимо ее подготовить соответствующим образом в периферии сенорики. Эта обработка различна для разных сенсорных органов. Наиболее сложна она в сетчатке глаза, которая представляет собой шестислойную нейронную сеть, в которой реализуются два канала обработки информации - точный и грубый. Точный канал осуществляет инструментальное цветовое зрение (цвет является одним из способов заполнения однородных текстурных поверхностей), в процессе которого выявляются однородные текстурные поверхности, ограниченные контурами переходов между точками наибольшей информативности. Сверточные сети являются аналогом, в данном случае, уже корковой обработки изображения, где на разных уровнях сверточной сети формируются словари образов (признаков) разной степени сложности.
Автоматический анализ изображений. Ассоциативная память.
В отличие от сверточных сетей, где в силу необходимости обработки все более сложных образов растет требуемое для такой обработки число нейронов (в реальных сверточных сетях такого роста нет, но исключительно за счет ухудшения качества представления образов событий все более высоких уровней), в корковом конце зрительного анализатора происходит описанное выше выявление образов событий разной степени сложности (детальность описания на всех уровнях остается одной и той же), но увеличение объема информации с повышением уровня не происходит за счет использования на этапе предобработки механизмов зрительно-глазодвигательной системы. Суть ее работы сводится к выбору на изображени точек наибольшей информативности с последующим обходом фокусом внимания (осями глаз) последовательности этих точек (либо по заданному автоматизму, либо по закону, полученному в процессе предварительного обучения). В процессе такого обхода формируются сенсорные последовательности, которые содержат повторы разных уровней сложности, используемые корой для формирования поуровневых словарей. В отличие от сверточных сетей такой механизм позволяет задерживаться на плохо проанализированных участках изображения столько времени (проходить их столько раз), сколько нужно для их точного анализа. Грубый канал сетчатки используется для реализации автоматизмов зрения типа усреднения освещенности по сетчатке, перехода к ярким либо, к быстро перемещающимся объектам в поле зрения, и подобное.
Автоматический смысловой анализ текстов. Тематическое моделирование.
Для анализа работы слухового анализатора удобно рассмотреть так называемый текстовый анализатор. Это некое подобие слухового вербального анализатора, в котором вместо кодовой последовательности, соответствующей устно произнесенному тексту, используется кодовая последовательность, соответствующая тексту письменному. Формально это значит, что в иерархии словарей вместо словаря акустико-фонетического уровня рассматривается словарь графематическ5ого уровня, а фактически это значит, что не требуется редобработка в сенсорном органе, так как текст, как правило, уже представлен в цифровом виде. Анализ автоматической смысловой обработки текстов нагляднее анализа такой же обработки изображений, так как интерпретация текстового анализа в рамках лингвистически обоснованной иерархии языковых уровней оказывается более содержательной. Смысловой анализ текстов предполагает поэтому обработку текстовой информации уровней от морфемного до уровня семантики (и прагматики), формирование смыслового портрета текста (например в виде семантической сети), тематический анализ текста (формирование тематического дерева), и другие полезные вещи.
Формирование семантической сети текста.
Семантический портрет текста в виде однородной (ассоциативной) семантической сети является вполне естественным следствием результатов обработки текста на лингвистических уровнях (до уровня семантики отдельного предложения) как объединение пар слов словаря уровня попарной сочетаемости слов (лексической семантики). Множество пар слов, где пары слов могут объединяться в цепи по принципу объединения одинаковых первых и вторых слов разных пар, уже представляет собой сеть. Переранжирование весовых характеристик вершин сети и ее дуг с учетом синтагматики вершин сети (на n шагов в глубину) с помощью Хопфилдоподобного алгоритма, позволяет перейти от частотного портрета текста (исходной частотной сети) к семантической сети, где выпячиваются наиболее важные вершины сети - наиболее важные ключевые слова.
Автоматическое сравнение текстов. Автоматическая классификация текстов.
Если представить текст семантической сетью, тогда можно сравнивать тексты по смыслу, вычисляя степень пересечения семантических сетей двух текстов. Такое сравнение, которое использует сетевую n-граммную модель текста в отличие от монограммной модели текста (мешка слов), на которой основаны все алгоритмы типа word2vec, оказывается более корректным с лингвистической точки зрения, так как учитывает связность слов в текстах. Сравнение семантической сети текста с сетями корпусов текстов, описывающих предметные области, позволит вычислить степени пересечения смыслов текста и предметных областей, то есть - так можно отнести текст к одной или нескольким наиболее близким предметным областям, то есть - классифицировать текст.
Автоматическое реферирование текстов.
При наличии семантической сети текста с ранжированными вершинами не составляет труда вычислить ранги предложений текста, а сравнение с порогом - выявить наиболее существенные из них. Так формируется реферат текста из выдержек.
Автоматическое распознавание речи. Модель уха.
Автоматическое распознавание речи, к сожалению, в настоящий момент рассматривается скорее на сигнальном, нежели на символьном уровне. Основные усилия разработчиков направлены на увеличение отношения сигнал/шум, на уменьшение вариативности речевого сообщения. На самом деле именно символьный уровень обработки обеспечивает человеку высокую степень защиты от помех. Так как пока не существует способов компактного представления символьной (как языковой, так и экстралингвистической) информации - модели мира - реализовать качественное распознавание речи не представляется возможным. Имеющиеся в настоящий момент системы распознавания речи дают сравнительно высокий результат (до 95%) точности распознавания на ограниченных предметных областях в условиях шума машинного зала. Этот результат резко деградирует (до 50%) при переходе в неизвестную предметную область, и совсем перестают работать при существенном увеличении уровня шума. Тем не менее модель уха в настоящий момент достаточно хорошо проработана. В отличие от сетчатки глаза, она значительно проще, хотя по пути в кору в ней также имеется до шести уровней переключения (столько слоев нейронов в сетчатке глаза). Модель улитки кортиева органа осуществляет тонотопическое представление звукового сигнала в первичной слуховой коре.
Автоматическое распознавание речи. Глубокая нейронная сеть.
Стандартная модель системы распознавания речи в настоящий момент включает в свой состав произносительную модель и модель языка. Модель языка представляется традиционно биграммно-триграммными моделями (для разных языков либо то, либо другое), а модель произносительная ранее представлялась скрытыми Марковскими моделями и Гауссовскими смесями, а теперь вместо гауссовских смесей используются глубокие нейронные сети. Известно, что нелинейноразделимые образы, каковыми являются звуки речи (почему Гауссовские смеси использовались для их представления) требуют для распознавания один и более более промежуточных слоев нейронов (как бы они ни были устроены).
Автоматическое распознавание речи. Модель языка.
Модель языка в системах распознавания речи представляется традиционно биграммно-триграммными моделями (для разных языков либо то, либо другое) .Модели большей граммности не могут быть использованы, так как для формирования статистики соответствующей граммности требуется корпус обучающей выборки соответствующего размера. В мире не существует необходимого количества текстов для формирования n-граммных моделей граммности более 2-3 (в зависимости от языка). Решение задачи символьной обработки в задаче распознавания речи предполагает использование всех языковых уровней (уровней описания языка, и уровней описания модели мира в терминах языка), а также использование экстралингвистических знаний (многомодальной модели мира). Чем хуже условия распознавания, тем более широкий контекст требуется для улучшения точности распознавания. Пока подобных представлений не разработано.
Интегральный робот. Интеграция анализа-торных и эффекторных систем. Многомодльаная модель мира робота.
Пока единственной системой, где используется в той или иной степени многомодальная модель мира, является интегральный робот. Он называется интегральным именно потому, что в нем интегрируются сенсорные и эффекторные подсистемы. Основой для интеграции в многомодальной модели мира является семантическая сеть, которая натягивается на план помещения. В ее вершинах помещается информация интегрируемых модальностей: зрительная, слуховая вербальная.
Информационная модель личности. Целенаправленное поведение.
Личность может быть представлена ее текстами. Это наиболее информативное на настоящий момент представление. На основе этих текстов может быть сформирована семантическая сеть, являющаяся навигационной основой гипертекстового представления исходного множества текстов, в котором каждой вершине сети соответствуют предложения, это понятие содержащие. Эти предложения адресуют в исходный текст. Таким образом, при наличие вопросно-ответной системы несложно обращаться к информационной модели с целью получения релевантной информации. Такая модель может быть и других модальностей, и многомодальная. Интеграция осуществляется с использованием семантической сети - модели личности. Целенаправленное поведение рассматривается как выбор из множества слов-образов ситуаций, хранящихся в иерархии передней коры цепочки ситуаций, соединяющих текущую и целевую ситуации. Передняя кора управляет контролем перехода по цепочке с учетом восприятия текущего состояния внешнего мира, с необходимой коррекцией этого перехода в случае расхождения запланированной и реальной последовательностей ситуаций.

Элементы контроля

Выступление с презентацией (ВП1)
Выступление с презентацией (ВП2)
Экзамен (Э)
Оценка за дисциплину выставляется в соответствии с формулой оценивания от всех пройденных элементов контроля.

Промежуточная аттестация

Промежуточная аттестация (3 модуль)
0.3 * Выступление с презентацией (ВП1) + 0.3 * Выступление с презентацией (ВП2) + 0.4 * Экзамен (Э)

Программа дисциплины