Методы автоматического извлечения информации в приложении к типологическим базам данных

2024 год перспективен для разработок в области zero-shot машинного перевода, поскольку результаты последних исследований позволяют большим языковым моделям (LLM) принимать в качестве промпта длинные последовательности токенов: более 2 миллионов токенов – (Ding et al. 2024), потенциально бесконечный контекст – (Munkhdalai et al. 2024). Для малоресурсных языков, не имеющих не только параллельных, но и монолингвальных данных в Интернете, единственным источником информации являются книги, написанные лингвистами – описательные грамматики. Подход, связанный с подачей целых книг – грамматик – в качестве инструкций в промпт для LLM с целью zero-shot машинного перевода для малоресурсных языков, был описан в (Tanzer et al. 2023) и (Zhang et al. 2024). Однако вариативность и двусмысленность терминологии, используемой в грамматиках, а также разрозненный характер информации создают проблемы. Возможное решение этих проблем – создание масштабируемого пайплайна для обработки и систематизации грамматик. В данной работе представлены два бенчмарка для оценки метода генерации ответа с учетом дополнительно найденной релевантной информации (Retrieval Augmented Generation, RAG). Бенчмарки состоят из абзацев, извлеченных из грамматик и размеченных в соответствии с релевантностью 9 типологическим характеристикам. Тестирование на представленных бенчмарках демонстрирует, что наиболее оптимальным подходом к RAG на лингвистическом домене как с точки зрения качества, так и с точки зрения предсказуемости, является следующий набор шагов: передача типологических характеристики в RAG-пайплайн по очереди, а не одновременно, с использованием одновременно реранкера и промпта Chain-of-Thought.