Одной из самых привлекательных особенностей фреймворка Hadoop является его использование товарного оборудования . Однако это приводит к частым сбоям DataNode в кластере Hadoop. Еще одна поразительная особенность Hadoop Framework - это простота масштабирования в соответствии с быстрым ростом объема данных . По этим двум причинам одна из наиболее частых задач администратора Hadoop - комиссия (Добавить) и вывод из эксплуатации (Удалить) Узлы данных в кластере Hadoop.
что такое абстракция в java с примером
Ввод в эксплуатацию и вывод из эксплуатации узлов в кластере Hadoop:
На приведенной выше диаграмме показан пошаговый процесс вывода из эксплуатации узла данных в кластере.
Первая задача - обновить ‘ исключить ‘Файлы для обоих HDFS (hdfs-site.xml) и Уменьшение карты (mapred-site.xml).
Файл 'exclude':
- для поисковика содержит список хостов, которые должны быть исключены системой отслеживания вакансий. Если значение пусто, хосты не исключаются.
- для Namenode содержит список хостов, которым не разрешено подключаться к Namenode.
Вот пример конфигурации для файла исключения в hdfs-site.xml и mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ home / hadoop / исключает
правда
mapred-site.xml
mapred.hosts.exclude
/ home / hadoop / исключает
правда
Заметка: Необходимо указать полный путь к файлам.
Точно так же у нас есть 'включаемые' файлы:
- для поисковика содержащий список узлов, которые могут подключаться к JobTracker. Если значение пусто, разрешены все хосты.
- для Namenode содержащий список хостов, которым разрешено подключаться к Namenode. Если значение пусто, разрешены все хосты.
‘ dfsadmin ' и ' мрадмин ’Обновляют конфигурацию, добавляя изменения, чтобы они знали о новом узле.
‘ рабы ’На главном сервере содержит список всех узлов данных. Это также должно быть обновлено, чтобы гарантировать любые проблемы при запуске / остановке демона hadoop в будущем.
Важным шагом в процессе ввода в эксплуатацию узла данных является запуск Cluster Balancer.
> балансировщик hadoop -порог 40
Балансир пытается обеспечить баланс между узлами данных до определенного порога путем копирования данных блока со старых узлов на новые узлы, введенные в эксплуатацию.
Итак, вот как вы можете сделать - Введение в эксплуатацию и Вывод из эксплуатации Узлы в кластере Hadoop.
Есть вопрос к нам? Пожалуйста, укажите это в комментариях, и мы свяжемся с вами.
Ссылки по теме: