Разработка системы распознавания (ML) и интеллектуального контроля ручных операций в промышленном производстве

Данная работа посвящена внедрению алгоритмов трекинга в интеллектуальную систему контроля ручных операций в промышленном производстве. Цель работы — повышение качества работы приложения, которое в режиме реального времени следит за действиями оператора сборщика и своевременно уведомляет его об ошибках. Исследовательский стенд, использованный для тестирования системы, представляет собой автоматизированное рабочее место, включающее компьютер, монитор, проектор и промышленные камеры Basler. Стенд позволяет контролировать правильность выполнения операций, выявлять типовые ошибки и нарушения, такие как неправильная последовательность действий, ошибки в выборе компонентов и нарушение правил техники безопасности. В рамках работы были исследованы и интегрированы алгоритмы трекинга объектов, такие как MOSSE, KCF, DeepSRDCF, AutoTrack, SiamRPN, SiamRPN++ и SiamBAN, в сочетании с моделью детекции YOLOv8. Алгоритмы трекинга были внедрены в разработанные сценарии контроля сборки, включающие перенос винтов в зону сборки, исправление ошибок классификации, контроль за сборкой шасси и моторов, а также исправление ложных детекций. Полученные результаты показали высокую точность и скорость работы алгоритмов KCF, AutoTrack, SiamRPN и SiamBAN в применении к задаче интеллектуального контроля ручных операций. Улучшенная версия приложения успешно протестирована на стенде и готова к использованию на реальных предприятиях.