ETL для обработки персональных данных работников

Современные задачи требуют современных решений, особенно когда речь идет об автоматизируемых рутинных задачах. В последнее время для решения множества бизнес-задач популярность обретают подходы глубокого обучения (DL). Эти методы становятся все более изощренными, и могут справиться со все более сложными задачами. Некоторые модели глубокого обучения могут даже превосходить людей в задачах обнаружения объектов на изображениях и исправлении ошибок в тексте, распознавании настроений в тексте или давая ответы на всевозможные вопросы. Более того, некоторые модели работают быстрее человеческого мозга и могут обрабатывать большие объемы информации. В данной дипломной работе мы приводим результаты проекта, посвященного обработке персональных данных. Сам проект представляет собой ETL-процесс (извлечение, преобразование, загрузка), в котором используется несколько тонко-настроенных моделей глубокого обучения для исправления правописания, обнаружения и упорядочивания элементов имен и адресов, а также традиционные методы, основанные на правилах и критериях, для исправления формата дат. Для тонкой настройки моделей мы сгенерировали наборы данных, похожие на содержимое формы. В результате проекта мы разработали ETL для обработки персональных данных, предоставленных на формах MS Excel на русском языке. ETL сочетает в себе как реализации, основанные на критериях, так и глубокое обучение для решения задач форматирования и проверки орфографии.