Обнаружение новизны и анамалий

Данная магистерская диссертация направлена на совершенствование методов обнаружения аномалий в процессе кредитного скоринга. Обнаружение аномалий имеет решающее значение для минимизации времени реакции на сбои и предотвращения потенциальных убытков. Основная цель исследования – разработка автоматизированной системы, способной в реальном времени выявлять аномалии и уведомлять соответствующий персонал о возможных проблемах. Исследование включает всесторонний обзор существующих методов обнаружения аномалий, особенно в данных временных рядов, и их применимость к кредитному скорингу. Оно включает разработку и реализацию алгоритмов и моделей обнаружения, их тщательное тестирование на реальных данных и оценку эффективности системы. Исследование начинается с обзора связанных работ и определения ключевых понятий, таких как аномалии и обнаружение новизны. Аномалии, значительные отклонения от типичных данных, могут проявляться как отдельные точки данных, в определенных контекстах или по всему набору данных. Обсуждаются различные алгоритмы обнаружения, включая статистические, на основе ближайших соседей и классификационные методы. Методология включает понимание данных, сосредоточение на метриках, связанных с частотой определенных причин отказов. Исследование исключает технические метрики, чтобы сосредоточиться на аномалиях бизнес-процессов, которые влияют на решения о выдаче кредитов. Данные агрегируются в различных временных интервалах для выявления паттернов, указывающих на аномалии. Раздел реализации подробно описывает построение модели, рассматривая такие вопросы, как количество метрик и ограничения системы. Модель Isolation Forest используется из-за ее надежности в обнаружении аномалий. Модель тестируется через обратное тестирование и обработку данных в реальном времени, результаты показывают значительные улучшения в обнаружении аномалий. В заключение подчеркивается практическая значимость разработанной системы для банковского сектора. Способность системы быстро обнаруживать аномалии снижает риски и потенциальные убытки. Предлагаются будущие усовершенствования, такие как включение дополнительных данных о взаимосвязях систем и информации о релизах связанных приложений, для повышения точности и надежности обнаружения.