Реализация непрерывных запросов в ClickHouse

В современном мире приложения ежесекундно генерируют множество данных, которые необходимы для аналитиков. Традиционные методы обработки заключаются в выполнении аналитических запросов на исторических данных, партиционированных по определённому ключу, например, данные, собранные за последний месяц. Сами же аналитические запросы исполняются в специализированных для этой задачи колоночно-ориентированных системах управления базами данных, например, ClickHouse, или с использованием Map-Reduce пайплайнов. Однако в последнее время всё больше компаний и проектов начинают переходить на обработку данных по мере их поступления - обработку данных в режиме реального времени. Этот метод позволяет визуализировать и обрабатывать данные мгновенно после их появления, что помогает сократить расходы на хранение данных, а также быстрее получать результаты. В этой работе мы представляем реализацию основных модулей для непрерывных запросов в ClickHouse, позволяющих пользователям как определять SQL-запросы, которые выполняются бесконечно, так и получать обновления по мере поступления новых данных.