Переконфигурация состава селлов в кластере без длительного даунтайма

Современные компании для хранения и обработки больших данных используют специализированные сервисы, которые должны быть надежными, отказоустойчивыми и предоставлять быстрый доступ к хранимой информации, поскольку именно такие сервисы дают возможность производить необходимую деятельность с большими данными: обрабатывать логи, строить статистику, выполнять агрегации данных, хранить датасеты для обучения сложных моделей. Объемы данных в современном мире стремительно растут и для того, чтобы оставаться востребованной на рынке, любой компании требуется справляться с этим. В Яндексе для хранения и обработки больших объемов информации используется система YTsaurus, которая имеет механизмы масштабирования для того, чтобы увеличивать объемы вмещаемых данных и соответствовать современным нуждам компании. И тогда как наращивание вместительности системы по данным можно осуществлять в процессе ее штатной работы, текущий способ расширения кластеров по метаданным требует длительной недоступности, ведущей к снижению вычислительных мощностей, которые система может предоставлять для обработки данных. Моя работа описывает недостатки текущего метода масштабирования кластера платформы YTsaurus и предлагает алгоритм, модифицирующий механизм расширения кластера по метаданным, позволяющий скомпенсировать недостатки текущего способа и повысить уровень доступности и надежности критически значимого для Яндекса сервиса.