Переход на нетранзакционную модель в сервисе единого офферного хранилища Яндекс Маркета

Объем данных, которые необходимо обрабатывать, растет с каждым днем. Разработчики программного обеспечения создают новые инструменты, упрощающие обработку требуемых данных, однако возможности оптимизации ограничены. Если ваша цель - увеличить объем данных, которые способен обрабатывать ваш сервис, есть два распространенных решения: вертикальное и горизонтальное масштабирование, но они требуют увеличения затрат на обслуживание вашего сервиса. Именно поэтому иногда лучше взглянуть на задачу с другой стороны и изменить идею, лежащую в основе используемого решения. Переосмысление компонентов функционирующего сервиса всегда требует больших усилий, чтобы не нарушить их работоспособность. В этом и заключается суть данного проекта: максимально безопасно внедрить подход к обработке потоковых данных, отличающийся от решения, которое наш сервис использует на постоянной основе уже более 5 лет. Благодаря добавлению в используемый пайплайн потоковой обработки данных микросервиса, шардирующего поступающие данные, получилось снизить количество конфликтов транзакций в 5 раз, что в свою очередь снизило нагрузку на обработчики данных на 10%.