Аннотация:
Apache Spark является одним из наиболее производительных распределенных фреймворков для обработки больших данных в парадигме Map-Reduce. С распространением облачных технологий и предоставления ресурсов по запросу все более актуальной становится задача построения виртуальных вычислительных кластеров для конкретной задачи. В работе представлен краткий обзор разработанного решения для создания виртуальных кластеров Apache Spark в облачной среде Openstack и подведение итогов исследования о способах создания виртуальных кластеров Apache Spark в открытых облачных средах. Решение построено с использованием системы оркестрации Ansible. В работе будет проведено качественное сравнение разработанных в ИСП РАН подходов к решению задачи.
Работа выполнена при поддержке гранта РФФИ No14-07-00602 А «Исследование и разработка методов автоматизации масштабирования и разворачивания виртуальных кластеров для обработки сверхбольших объёмов данных в облачной среде Openstack».
Реферативные базы данных:
Тип публикации:
Статья
Образец цитирования:
О. Д. Борисенко, Р. К. Пастухов, С. Д. Кузнецов, “Создание виртуальных кластеров Apache Spark в облачных средах с использованием систем оркестрации”, Труды ИСП РАН, 28:6 (2016), 111–120
\RBibitem{BorPasKuz16}
\by О.~Д.~Борисенко, Р.~К.~Пастухов, С.~Д.~Кузнецов
\paper Создание виртуальных кластеров Apache Spark в облачных средах с использованием систем оркестрации
\jour Труды ИСП РАН
\yr 2016
\vol 28
\issue 6
\pages 111--120
\mathnet{http://mi.mathnet.ru/tisp88}
\crossref{https://doi.org/10.15514/ISPRAS-2016-28(6)-8}
\elib{https://elibrary.ru/item.asp?id=27679173}
Образцы ссылок на эту страницу:
https://www.mathnet.ru/rus/tisp88
https://www.mathnet.ru/rus/tisp/v28/i6/p111
Эта публикация цитируется в следующих 1 статьяx:
I. Bychkov, A. Feoktistov, I. Sidorov, R. Kostromin, “Job flow management for virtualized resources of heterogeneous distributed computing environment”, Procedia Engineering, 201 (2017), 534
Цитирование в формате AMSBIB
Обратная связь: