Национальный цифровой ресурс Руконт - межотраслевая электронная библиотека (ЭБС) на базе технологии Контекстум (всего произведений: 634620)
Контекстум
.
Системы анализа и обработки данных  / №2 2014

Особенности развёртывания, настройки и применения инструментария apache hadoop на windows и unix-подобных операционных системах (150,00 руб.)

0   0
Первый авторБотыгин
АвторыЗабейворота А.В.
Страниц8
ID410991
АннотацияАктуальность работы обусловлена необходимостью обработки больших объемов разнородных данных. Цель работы: выявить особенности настройки и применения свободно распространяемого инструментария проектирования распределенных систем для хранения, анализа и обработки данных на базе проекта Apache Software Foundation – Apache Hadoop. Методы исследования: экспериментальный анализ отладки и тестирования разработанных программных кодов в средах специализированных фреймворков. Результаты: описаны алгоритмические схемы формирования инфраструктур, необходимых для функционирования Apache Hadoop, и процесс настройки Apache Hadoop для ОС Windows (Cygwin) и Ubuntu. Процесс управления осуществлялся через FS shell-интерпретатор, запускаемый из консоли операционной системы. Исследована базовая схема взаимодействия компонентов архитектуры Apache Hadoop при организации распределенной обработки данных. Показана возможность формирования кластера компьютеров с неограниченным горизонтальным масштабированием и параллельным выполнением заданий. Проведено сравнение способа конфигурирования приложений на основе Java-классов и подхода на основе xml-конфигураций с использованием Spring Hadoop-фреймворка, который комбинирует возможности Spring Framework с возможностью Apache Hadoop. Показывается возможность платформы Spring Hadoop обеспечить слабую связанность компонентов и поддержку всестороннего доступа к данным HDFS, тем самым делая решение более гибким и модульным. Предложена и апробирована технологическая схема создания приложения, реализующего парадигму MapReduce.
УДК004.75
Ботыгин, И.А. Особенности развёртывания, настройки и применения инструментария apache hadoop на windows и unix-подобных операционных системах / И.А. Ботыгин, А.В. Забейворота // Системы анализа и обработки данных .— 2014 .— №2 .— С. 91-98 .— URL: https://rucont.ru/efd/410991 (дата обращения: 20.04.2024)

Предпросмотр (выдержки из произведения)

97–104 СОВРЕМЕННЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ УДК 004.75 Особенности развёртывания, настройки и применения инструментария apache hadoop на windows и unix-подобных операционных системах* И. <...> Цель работы: выявить особенности настройки и применения свободно распространяемого инструментария проектирования распределенных систем для хранения, анализа и обработки данных на базе проекта Apache Software Foundation – Apache Hadoop. <...> Методы исследования: экспериментальный анализ отладки и тестирования разработанных программных кодов в средах специализированных фреймворков. <...> Результаты: описаны алгоритмические схемы формирования инфраструктур, необходимых для функционирования Apache Hadoop, и процесс настройки Apache Hadoop для ОС Windows (Cygwin) и Ubuntu. <...> Процесс управления осуществлялся через FS shell-интерпретатор, запускаемый из консоли операционной системы. <...> Показана возможность формирования кластера компьютеров с неограниченным горизонтальным масштабированием и параллельным выполнением заданий. <...> Проведено сравнение способа конфигурирования приложений на основе Java-классов и подхода на основе xml-конфигураций с использованием Spring Hadoop-фреймворка, который комбинирует возможности Spring Framework с возможностью Apache Hadoop. <...> Показывается возможность платформы Spring Hadoop обеспечить слабую связанность компонентов и поддержку всестороннего доступа к данным HDFS, тем самым делая решение более гибким и модульным. <...> Предложена и апробирована технологическая схема создания приложения, реализующего парадигму MapReduce. <...> Ключевые слова: Apache Hadoop, фреймворк Spring Hadoop, MapReduce-вычисления, параллельные вычисления, хранилища данных, масштабируемость, распределенная файловая система Hadoop, большие данные, управление кластером Apache Hadoop, мониторинг кластера Apache Hadoop, развертывание кластера Apache Hadoop ВВЕДЕНИЕ В настоящее время получают широкое распространение системы распределенного хранения и обработки больших объемов данных [1, 2]. <...> Не вдаваясь в анализ существующих решений в области распределенных <...>