Улучшение масштабируемости сервисов Метрики

Данная работа посвящена проблеме ограниченной масштабируемости сервиса в распределенной отказоустойчивой системе, которая была вызвана кросс-партиционными запросами в базу данных хранящую состояние шардов сервиса. Масштабирование системы и производительность стали значительно ограничены в условиях возросшей нагрузки на БД, возникешей из-за конкуренции за ресурсы между шардами. Для обхода этого ограничения был разработан и внедрен новый протокол, основанный на подходе Event-carried state transfer. Протокол позволяет шардам сервиса взаимодействовать в асинхронной среде через передачу сообщений, избегая прямых запросов к стейту других шардов. Это решение обеспечивает эксклюзивное владение каждым шардом своими партициями, что уменьшает конкуренцию за ресурсы и повышает общую производительность системы. Особое внимание в работе уделено составлению протокола и сложности общения между шардами в условиях асинхронной модели обработки данных. Ключевые слова: распределенные системы, масштабируемость, консистентность, Event-carried state transfer, Кросс-Девайс, атрибуции, асинхронность.