Исследование и разработка метода ускорения операции соединения распределенных массивов данных по заданному критериюResearch and development of a method for accelerating the operation of joining distributed datasets according to a given criterion

Диссертационное исследование посвящено разработке метода ускорения операции соединения (слияния) данных по заданному критерию, которая представляет собой одну из тяжелых аналитических вычислительных задач. Выявлены две ранее до конца не изученные лимитирующие стадии выполнения операции соединения распределенных массивов данных по заданному критерию: стадия сортировки и стадия перемещения данных по вычислительному кластеру. Разработан метод ускорения операции соединения массивов данных отличающийся от известных тем, что данные одного из объединяемых наборов данных не сортируются и не перемещаются внутри кластера. Для подтверждения работоспособности разработанного метода создана методика, отличающаяся от известных тем, что использует приемы партиционирования и частичной передачи наборов на вычислительные узлы кластера. Выполнены компьютерные эксперименты, показавшие адекватность и эффективность разработанного метода ускорения операции соединения распределенных массивов данных. Алгоритм, разработанный на основе предлагаемого в работе метода, был разработан во фреймворке Apache Spark.