Программный комплекс для пересчета потоковых данных с помощью распределенной вычислительной системы YT

Настоящая работа посвящена разработке улучшенного решения для пересчета данных в контексте потоковой обработки с целью облегчения масштабирования процесса и минимизации нагрузки на дата-инженеров при его подготовке. В современном цифровом мире потоковая обработка данных активно применяется для аналитики и принятия решений в реальном времени. Apache Flink, известный движок и фреймворк для потоковой обработки, широко используется дата-инженерами для создания и исполнения преобразований данных. Однако при эксплуатации этих преобразований зачастую возникает необходимость в их пересчете, вызванная ошибками или новыми требованиями. Такой пересчет, известный как backfill, требует значительно больших вычислительных ресурсов по сравнению с обычным преобразованием из-за возросшего объема данных. В настоящей работе представлен новый метод осуществления процесса пересчета, который использует пакетную обработку с частичным задействованием модели MapReduce в распределенной вычислительной системе YT и выполняет пользовательское Flink преобразование. Предлагаемый подход является масштабируемым и требует минимального объема дополнительного кода от дата-инженеров, что снижает нагрузку на них и минимизирует вероятность возникновения ошибок. Работа содержит: 45 страниц, 3 главы, 10 иллюстраций, 5 таблиц, 24 источника и 3 приложения. Ключевые слова: распределенные вычислительные системы, обработка данных, потоковая обработка данных, MapReduce, обработка в реальном времени