Использование больших языковых моделей для поиска архитектуры нейронных сетей

NAS (Neural Architecture Search) это набор методов, созданных для автоматизации поиска оптимальной архитектуры нейронной сети. Интерес в таком подходе мотивируется следующими соображениями: разработка архитектуры нейронной сети для какой-либо задачи это медленный трудоёмкий процесс, который требует участия высококвалифицированных специалистов и существенных денежных затрат. К сожалению, классические методы NAS страдают от высокой вычислительной сложности и имеют ряд общих недостатков, которые накладывают проблематичные ограничения на искомые архитектуры. Последние несколько лет мы наблюдаем невероятные темпы прогресса в области искусственного интеллекта в целом и больших языковых моделей (Large Language Model - LLM) в частности, связанные с развитием архитектуры Transformer[17]. Большие языковые модели обучаются на огромных наборах данных из интернета, которые в том числе содержат научные знания, статьи и программы. Это позволяет выходить за рамки классических задач обработки естественного языка и демонстрировать способности в математике, научных дисциплинах и написании кода. Эксперименты показывают, что лучшие языковые модели (к примеру GPT-4) могут быть использованы для выбора архитектуры нейронной сети, достигая state-of-the-art результатов и избегая основных недостатков классических методов NAS. В этом исследовании мы: 1. Разрабатываем собственный алгоритм для применения LLM в задачах NAS. 2. Проводим анализ производительности разных языковых моделей, от крупных до компактных и доступных всем, в рамках NAS. 3. Проверяем, объясняется ли поведение языковых моделей их способностью узнавать распространённые наборы данных при валидации.