"Пробинг" больших языковых моделей в задаче генерации описания молекулы

В последнее время задачи для больших языковых моделей далеко не ограничиваются обработкой естественных языков. Такие модели также используются в био- и хемоинформатике в связи с их способностью запоминать длинный контекст, что удобно для последовательностей: цепочка генома, молекула и белок могут быть представлены в виде длинной строки текста – фактически, это запись на искусственном языке. Именно по этой причине большие языковые модели успешно используются для совершенно разных задач, далеких от первоначальной цели их создания в задаче обработки естественного языка: от генерации описания молекулы до предсказания результата взаимодействия двух веществ. На первый взгляд, большие языковые модели справляются с этими задачами хорошо, однако насколько модель «знает» химический язык? Способна ли она соотнести две разных записи, относящихся к одной молекуле? Восстанавливает ли она структуры молекул где-то в скрытых слоях? В этой работе мы предлагаем возможные методы для проверки того, способна ли модель восстанавливать какие-либо структуры во внутренних слоях и ориентироваться в большей степени на химические признаки, чем на текстовые