Методы машинного обучения для контроля качества данных в научных экспериментахMachine learning methods for data quality monitoring in natural sciences

В современных экспериментах контроль качества данных играет ключевую роль. С ростом сложности экспериментальных установок контроль качества данных все сильнее и сильнее опирается на методы машинного обучения. В данной диссертации рассматриваются главные свойства систем контроля качества данных и связанные с ними задачи машинного обучения. Во-первых, рассматривается краеугольный камень контроля качества данных - детектирование аномалий. Показано, что существующие методы не полностью покрывают весь спектр задач детектирования аномалий и предлагается новое семейство методов, которые устойчивы к новым видам аномалий и несбалансированным обучающим выборкам. Во-вторых, предлагается алгоритм определения источников аномалий, который увеличивает возможности систем контроля качества данных. Дополнительно рассматриваются задачи сбора обучающих выборок для тренировки алгоритмов контроля качества данных, а именно: ручная разметка и генерация данных средствами компьютерных симуляций. Продемонстрировано, что активное обучение способно значительно снизить нагрузку на экспертов при ручной разметке данных. Чтобы гарантировать корректность обучения на сгенерированных данных, рассматривается задача тонкой настройки компьютерных симуляций и предлагается новое семейство состязательных дивергенций, позволяющих значительно ускорить процедуры тонкой настройки.