Hadoop Job Tacker
Job Tracker - это главный демон для управления ресурсами заданий и планирования / мониторинга заданий. Он действует как связующее звено между Hadoop и вашим приложением.
Процесс
Пользователь сначала копирует файлы в распределенную файловую систему (DFS), прежде чем отправить задание клиенту. Затем клиент получает эти входные файлы. Пользователь получит разбиения или блоки на основе входных файлов.Клиент могсоздать расколы или блоки в человекеNer it prefers, поскольку за этим стоят определенные соображения. Если анализ проводится на полных данных, вы разделите данные на части. Файлы не копируются через клиент, а копируются с помощью flume, Sqoop или любого внешнего клиента.
После того, как файлы скопированы в DFS и клиент взаимодействует с DFS,при разделении будет запущен MapReduce jоб. Работа отправляется через систему отслеживания вакансий. Счетчик заданий - это главный демон, который работает на том же узле, что ибежитэти множественные задания на узлах данных. Эти данные будут лежать на различных узлах данных, но ответственность за это несет трекер вакансий.
После того, как клиент отправиттрекер заданий, задание инициализируется в очереди заданий, а средство отслеживания заданий создает карты и сокращает. На основе программы, которая содержится в функции карты и функции сокращения, она создаст задачу карты и задачу сокращения. Эти два будут работать на входных разделениях. Примечание. При создании клиентами это разделение входных данных содержит все данные.
как создать приложение в Salesforce
В каждом разбиении ввода выполняется задание карты, а выходные данные задачи карты передаются в задачу уменьшения. Трекер заданий отслеживает определенные данные. Это может быть несколько репликаций, поэтому он выбирает локальные данные и запускает задачу на этом конкретном трекере задач. Трекер задач - это тот, который фактически запускает задачу на узле данных. Трекер вакансий пройдетИнформацияв средство отслеживания задач, и средство отслеживания задач запустит задание на узле данных.
После того, как задание было назначено на трекер задач, с каждым трекером задач и трекером заданий связан пульс. Он отправляет сигналы, чтобы узнать, живы ли узлы данных. Эти два часто синхронизированы, так как есть вероятность, что узлы постепенно исчезнут.
как установить php 7
Есть вопрос к нам? Упомяните их в разделе комментариев, и мы свяжемся с вами.
Похожие сообщения: