Компьютерное зрение и глубокое машинное обучение в анализе снимков твердых сплавов

Введение: Исследование касается свойств микроструктуры сплава карбида вольфрама с кобальтом (WC-Co) с точки зрения пространства признаков нейронной сети. Такие признаки называют скрытыми и их часто получают при помощи нейронных сетей-автокодировщиков. Особенность этих признаков в том, что они хранят в себе значительно больше инфомрации, чем человеческий глаз может увидеть на изображении. Наша работа работа заключается в том, чтобы проанализировать пространство признаков, а также создать методологии для классификации сплавов на основе полученных данных. Методы: Мы применили методы из глубокого машинного обучения, в частности применили модификацию классического вариационного автокодировщика (VAE) под названием VQ-VAE-2. Нейронные сети с архитектурой VQ-VAE-2 показывают высокие результаты в задаче извлечения скрытых признаков и одновременно являются не до конца изученными. Также мы применили классические методы из линейной алгебры и статистики. Результаты: Анализ применения VQ-VAE-2 показал, что признаки top и bottom несут в себе разную информацию о входных данных. В частности, top отвечает за передачу цвета, а bottom за структуру изображения. Эксперименты с понижением размерности показали, что алгоритм Umap способен эффективно формировать структуры в двухмерном пространстве признаков VQ-VAE-2. При определенных параметрах мы получаем структуры с хорошими кластерами, по которым можно провести классификацию классов сплава. Матрица скрытых признаков имеет случайный спектр значений, а также при SVD разложении имеет случайное распределение сингулярных чисел. Какой-либо закономерности обнаружить не удалось. Были рассмотрены способы генерации новых изображений при помощи VQ-VAE-2, ресемплирования и обратного преобразования Umap. Все они не показали высокое качество генерации, но дали хорошее понимание о генерации изображений. Обсуждение: Результаты нашей работы могут быть полезны материаловедам и инженерам. Мы надеемся дать больше информации о поведении и свойствах сплава, что в свою очередь поможет специалистам эффективнее работать с ним.