Исследование существующих решений консенсуса на устойчивость к отказам в fsync

Современные жесткие диски не идеальны, и даже дорогие корпоративные решения могут давать сбои в работе, приводящие к повреждению или недоступности данных. Чтобы не нарушить гарантии консистентности и/или доступности, любая работающая с дисками система должна иметь механизмы для обнаружения и реакции на ошибки ввода/вывода. Однако, в связи с непредсказуемой природой возникающих ошибок, написать такие механизмы и протестировать их очень сложно. А файловые системы, имеющие различные оптимизации для работы с дисками, могут скрывать и искажать возникающие ошибки, что делает эту задачу еще сложнее. Системы, использующие в своей работе несколько дублирующих друг друга узлов, имеют большой потенциал для восстановления от подобных отказов. Однако, для этого узлам нужно решить задачу консенсуса, и даже незначительные ошибки в ее работе могут привести к нарушению инвариантов, на которых построена система. В данной работе мы исследовали, как популярные современные решения консенсуса обнаруживают отказы в fsync, как они на них реагируют и к каким последствиям это приводит. В процессе работы были обнаружены критические ошибки в обработке ошибок ввода/вывода в системах Zookeeper и Hadoop, исправление которых сделает их более отказоустойчивыми. Кроме того, в работе описаны механизмы и приемы, с помощью которых многим системам удается избежать серьезные последствий от таких ошибок.