Информационный поиск и извлечение данных

Бакалавриат 2020/2021

Статус: Курс по выбору (Фундаментальная и прикладная лингвистика)

Направление: 45.03.03. Фундаментальная и прикладная лингвистика

Кто читает: Кафедра прикладной математики и информатики (Нижний Новгород)

Где читается: Факультет гуманитарных наук (Нижний Новгород)

Когда читается: 4-й курс, 3 модуль

Формат изучения: без онлайн-курса

Преподаватели: Пономаренко Александр Александрович

Язык: русский

Кредиты: 4

Контактные часы: 22

Полная версия программы учебной дисциплины Задать вопрос

Аннотация

Дисциплина относится к блоку специальных дисциплин подготовки по данному направлению. В рамках данного курса учащийся получит представление о подходах к построению поисковых и рекомендательных систем.

Цель освоения дисциплины

Знать методы ранжирования
Понимать и уметь применять алгоритм word2vec
Понимать технологии SemanticWeb
Понимать методы измерения семантической близости

Планируемые результаты обучения

Знать принципы построения современных поисковых систем
Понимать модель Vector Space Model
Понимать и уметь использовать алгоритм word2vec, doc2vec. Понимать чем они отличаются. Знать их свойства.
Знать основные алгоритмы ранжирования

Содержание учебной дисциплины

Архитектура и общие принципы работы поисковых систем
Архитектура и общие принципы работы поисковых систем: краулеры, процесс индексирования, ранжирование
Vector Space Model
Vector Space Model. Мера семантической близости на основе косинуса угла между векторами частот слов
Латентно семантический анализ
Латентно семантический анализ. Сингулярное разложение матриц. Модель скрытых тем. Физическая интерпретация сингулярного разложения. Понижение размерности с минимальной потерей информации
WordNet и SemanticWeb
WordNet. Меры семантической близости слов. Базовые смысловые единицы – синсеты. Различные типы связей между синсетами. Меры близости основанные на структуре сети WordNet
Вложения текстов в векторные пространства: Word2Vec, Doc2Vec
Алгоритмы ранжирования на основе топологии сети
Ранжирование результатов запроса на основе топологии графа WEB. Понятие важности страницы. Алгоритм Page-Rank. Алгоритм Hits.

Элементы контроля

лабораторная работа "Обучить на корпусе текстов модель word2vec"
Самостоятельная работа "Посчитать PageRank для небольшой сети"

Промежуточная аттестация

Промежуточная аттестация (3 модуль)
0.5 * лабораторная работа "Обучить на корпусе текстов модель word2vec" + 0.5 * Самостоятельная работа "Посчитать PageRank для небольшой сети"

Программа дисциплины