Ортогональные свертки для Few-shot Learning

В работе исследуется потенциал ортогональных сверток в моделях с few-shot обучением —— области, где ограниченный объем данных на этапе инференса усложняет задачу классификации. Ортогональные свертки известны своей способностью к уменьшению Липшицевой константы нейросети, что приводит к более стабильному обучению и повышению робастности. Кроме того, ортогональные свертки потенциально могут улучшить обобщающую способность модели, что особенно важно в подходе few-shot learning, когда модели должны делать прогнозы на основе небольшого объема данных. В этом исследовании сравниваются и анализируются три конкретных метода наложения ортогональности на сверточные слои: регуляризация сверток, параметризованных в виде двухблочных Теплицевых матриц; использование косо-симметричных сверток и регуляризация якобиана с помощью приближения нормы Фробениуса на основе оценки Хатчинсона. Основная цель этой работы —— изучить, как методы ортогонализации сверточных сетей влияют на результат обучения моделей few-shot learning. Новизна работы заключается в исследовании влияния методов к ортогонализации сверток, которые никогда не использовались в few-shot learning подходах, на нейросети и последующем сравнении этих подходов между собою. Данная работа приносит свой вклад в область машинного обучения few-shot learning, предоставляя сравнительный анализ техник ортогонализации сверточных слоев, что может помочь в оптимизации обучения и улучшении понимания о поведении и устройстве моделей.