Влияние форматов файлов и методов сжатия на скорость записи, чтения и их размер на HDFS

ФИО студента: Беклемышева Екатерина Кирилловна

Руководитель: Бурова Маргарита Борисовна

Кампус/факультет: Факультет компьютерных наук

Программа: Магистр по наукам о данных (Магистратура)

Оценка: 8

Год защиты: 2024

В данной работе я провожу исследование влияния различных форматов файлов (ORC, Parquet, Avro) и алгоритмов сжатия (zstd, zlib, snappy, lzo, deflate) на производительность распределенной файловой системы Hadoop (HDFS). Актуальность данной работы заключается в важности оптимизации скорости записи, обработки, чтения и хранения больших объемов данных. Это критически важно для современных компаний с большими объемами данных, поскольку помогает снизить затраты на оборудование и повысить производительность баз данных.

Текст работы (работа добавлена 4 июня 2024 г.)

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ