Тензорные методы для эффективного обучения квантовых и оптических нейронных сетей

В данной работе исследуется развитие и оптимизация квантовых и оптических вычислений в применении к трансформерным моделям. С помощью суррогатного моделлирования мы тестируем различные квантовые архитектуры наряду с оптическими. Наше исследование демонстрирует возможность значительного сокращения числа параметров, необходимых для больших линейных слоев в трансформаторах, сохраняя при этом большую часть выразительности модели. Для решения проблемы обучения непосредственно на квантовом или оптическом устройстве мы предлагаем метод обучения, включающий оптимизацию «черного ящика». Наши смешанные классические и нулевого порядка методы обучения демонстрируют потенциал, но требуют дальнейшей доработки для повышения их практической применимости. ности. Мы также представили новый метод оптимизации нулевого порядка, предназначенный для решения высокоразмерных задач. и протестировали его в сравнении с сильными бейзлайнами. В целом, данная работа вносит вклад в области оптимизации нулевого порядка и оптических вычислений, представляя подход, направленный на аппроксимацию классических линейных слоев, а не на их полный перенос. Хотя наши результаты закладывают основу для создания более эффективных систем искусственного интеллекта, решение практических проблем необходимо для реализации всего потенциала этих инноваций.