Улучшение аналитической СУБД ClickHouse

Работа посвящена улучшению и расширению возможностей компрессии данных в колоночной СУБД ClickHouse. Разработанные модули станут частью open source проекта ClickHouse и позволят пользователям специфицировать методы сжатия для отдельных колонок в таблицах. Кроме того, разработанное решение позволяет последовательно применять несколько кодеков к одному блоку данных, что позитивно сказывается на качестве сжатия данных и, как следствие, повышает пропускную способность СУБД за счёт уменьшения количества операций с жёстким диском. Решение дополнит существующую систему сжатия, которая в данный момент является единой для всех колонок всех таблиц, а также не предлагает возможности комбинировать алгоритмы сжатия и фильтры. Также, текущее решение не позволяет изменить алгоритм сжатия без перезагрузки сервера ClickHouse, что учтено в работе и доступно средствами языка определения данных. Помимо этого, проведена работа по изучению конкурирующих систем колоночных баз данных, учтены как внутренние тесты производительности, так и независимые исследования. Предложенное решение основано на опыте других компаний и учитывает их лучшие стороны, при этом расширяя и обобщая их подход в применении кодеков к данным. Ключевые слова: колоночные базы данных, СУБД, open source, алгоритмы компрессии, фильтры, OLAP.