Внедрение знаний в распределённых агентов на основе библиотеки Petals

Наше исследование сосредоточилось на разработке стратегий для улучшения работы распределенных агентов, опирающихся на языковые модели. Основная цель заключалась в обогащении их функциональности через интеграцию специализированных доменных знаний. В ходе работы применялись различные подходы, такие как методы машинного обучения, обработка естественного языка и дообучение генеративных моделей, с акцентом на использование метода Retrieval-Augmented Generation (RAG). Задача исследования заключалась в анализе и сравнении различных методов интеграции знаний для выявления новых стратегий повышения эффективности агентов. В результате экспериментов мы установили, что метод Prompt-Tuning (PT) показывает более перспективные результаты по сравнению с RAG. Модели, дообученные с использованием PT, демонстрировали более высокую производительность, а их комбинация с RAG дополнительно улучшала показатели. Полученные результаты подтверждают, что применение методов интеграции знаний с использованием Prompt-Tuning значительно улучшает работу распределенных агентов. Это открывает новые перспективы для их применения в различных областях, таких как финансы, и способствует повышению точности и качества решаемых задач. Кроме того, исследование показало, что комбинация PT и RAG особенно перспективна. Этот подход эффективно интегрирует доменные знания в модели и обогащает контекст генерируемых ответов релевантной информацией, что значительно повышает производительность распределенных агентов в специфических областях знаний.