Разработка метода разложения векторов эмбеддингов с использованием Гауссовской смеси

Статические векторы отражают связи между словами, однако высокая размерность этих пространств затрудняет непосредственную интерпретацию закодированных в них семантических отношений. В работе предлагается метод интерпретации пространства, образуемого векторами эмбеддингов слов с использованием моделей Гауссовых смесей, которые строят интерпретируемые тематические кластеры слов и позволяют анализировать полученные компоненты. Для оценки использовались предобученные вектора Word2Vec. Модели Гауссовской смеси позволили получить близкое к интроспективному деление пространства на компоненты. Для анализа использовались визуализация компонент на плоскости, а также анализ матриц ковариации полученных гауссиан и рейтингa измерений на основе дисперсии. В результате удалось построить смежные семантические компоненты и найти набор интерпретируемых признаков, которые в отдельных случаях правдоподобно описывали лексические отношения, но вопрос масштабирования подхода остался открытым.