Улучшение 3D детекции объектов с X-Ray учителями.

В этой диссертации рассматриваются значительные проблемы обнаружения 3D объектов: разреженность и окклюзия. Существующие подходы часто зависят от дополнительных модулей или специфических архитектурных решений, что может ограничивать их адаптируемость к новым и развивающимся архитектурам. Эта работа первой представляет гибкую технику, которую можно легко интегрировать в любой существующий метод для 3D-обнаружения на основе LiDAR, представляя собой первый случай обобщения Weak-to-Strong в 3D компьютерном зрении. Мы представляем новую структуру, X-Ray Distillation с Object-Complete Frames, подходящую как для контролируемых, так и для полу-контролируемых сценариев, которая использует временной аспект последовательностей облаков точек. Этот метод извлекает критическую информацию из как предыдущих, так и последующих кадров LiDAR, создавая Object-Complete кадры, которые отображают объекты с различных ракурсов, таким образом решая проблемы окклюзии и разреженности. В связи с ограничением на невозможность создания Object-Complete кадров во время онлайн-вывода, мы используем Knowledge Distillation в рамках модели Teacher-Student. Этот подход мотивирует надежную модель Student имитировать поведение более слабой модели Teacher, которая обрабатывает простые и информативные Object-Complete кадры, эффективно предоставляя всесторонний обзор объектов, как будто сквозь рентгеновское зрение. Наш подход превосходит существующие методы в полу-контролируемом обучении на 1-1.5 mAP и улучшает пять проверенных моделей контролируемого обучения на 1-2 mAP на стандартных наборах данных для автономного вождения, даже с использованием стандартных гиперпараметров. Эта работа была принята на конференцию Computer Vision and Pattern Recognition (CVPR 2024) \cite{weak2strongxray}.