В связи с более широким применением Hadoop в традиционных корпоративных ИТ-решениях и увеличением числа реализаций Hadoop в производственной среде потребность в экспертах по эксплуатации и администрированию Hadoop для работы с большими кластерами Hadoop становится жизненно важной.
Обязанности администратора Hadoop:
- Отвечает за внедрение и текущее администрирование инфраструктуры Hadoop.
- Согласование с командой системных инженеров для предложения и развертывания новых аппаратных и программных сред, необходимых для Hadoop, и расширения существующих сред.
- Работа с группами доставки данных для настройки новых пользователей Hadoop. Эта работа включает настройку пользователей Linux, настройку участников Kerberos и тестирование доступа HDFS, Hive, Pig и MapReduce для новых пользователей.
- Обслуживание кластера, а также создание и удаление узлов с помощью таких инструментов, как Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage и других инструментов.
- Настройка производительности кластеров Hadoop и подпрограмм Hadoop MapReduce.
- Просмотр производительности заданий кластера Hadoop и планирование емкости
- Мониторинг подключения и безопасности кластера Hadoop
- Управляйте файлами журналов Hadoop и просматривайте их.
- Управление и мониторинг файловой системы.
- Поддержка и обслуживание HDFS.
- Тщательное взаимодействие с командами инфраструктуры, сети, базы данных, приложений и бизнес-аналитики, чтобы гарантировать высокое качество и доступность данных.
- Сотрудничество с группами разработчиков для установки обновлений операционной системы и Hadoop, исправлений и обновлений версий при необходимости.
- Контактное лицо для эскалации запросов к поставщику
Администрирование Hadoop - это полезная и прибыльная карьера с множеством возможностей для роста. Если перечисленные выше должностные обязанности вас интересуют, то пора повысить квалификацию в области администрирования Hadoop и начать карьеру администратора Hadoop.
смешивание данных таблицы не работает
Обязанности администратора баз данных, выполняемые администратором Hadoop:
- Моделирование, проектирование и реализация данных на основе признанных стандартов.
- Установка и настройка программного обеспечения.
- Резервное копирование и восстановление базы данных.
- Связь с базой данных и безопасность.
- Мониторинг и настройка производительности.
- Управление дисковым пространством.
- Программные исправления и обновления.
- Автоматизируйте ручные задачи.
Обязанности по разработке DWH, выполняемые администратором Hadoop:
В обязанности администраторов DWH входит разработка, тестирование и мониторинг пакетных заданий для следующих задач:
- Обеспечьте ссылочную целостность.
- Выполните выполнение первичного ключа.
- Выполните пересмотр данных.
- Своевременно загружайте большие объемы данных.
Теперь, когда вы знаете об обязанностях администратора Hadoop, давайте взглянем на навыки, необходимые для этого.
Навыки, необходимые для того, чтобы стать администратором Hadoop:
- Общий опыт эксплуатации, такой как хорошие навыки поиска и устранения неисправностей, понимание емкости системы, узких мест, основы памяти, ЦП, ОС, хранилища и сетей.
- Навыки Hadoop, такие как HBase, Hive, Pig, Mahout и т. Д.
- Наиболее важные требования: они должны иметь возможность развертывать кластер Hadoop, добавлять и удалять узлы, отслеживать задания, контролировать критически важные части кластера, настраивать высокую доступность именных узлов, планировать и настраивать его, а также делать резервные копии.
- Хорошее знание Linux, поскольку Hadoop работает в Linux.
- Знакомство с инструментами управления конфигурацией и развертыванием с открытым исходным кодом, такими как Puppet или Chef, и сценариями Linux.
- Знание устранения неполадок основных приложений Java является плюсом.
Edureka специально разработала курс по администрированию Hadoop. Нажмите кнопку ниже, чтобы начать работу с администрированием Hadoop и узнать, как этот курс поможет вам стать администратором Hadoop.
Похожие сообщения:
как проверить палиндром в Java