Когда я был моложе, я любил сериалы «Звездные войны». Мне так понравилось, что у меня были видеокассеты с каждым из них. Я смотрел их снова и снова. Затем пришло время DVD-плееров, и мне пришлось снова получить эти фильмы на DVD. У меня не было сомнений в том, что я снова купил весь набор на DVD, так как я хотел испытать новую технологию и продолжить наслаждаться своими любимыми фильмами. Все было хорошо, пока не появилась еще одна новая технология - Blu-ray. Купив фильмы уже дважды, я не собирался покупать их снова и снова. Некоторое время я не предпринимал никаких усилий, чтобы «обновить» себя, думая, что у меня все будет хорошо и без этой технологии. И я справился. Все равно на мою жизнь это не повлияло. Но я видел изменение тенденции и не мог делиться своими фильмами с друзьями, как они делали друг с другом. Я действительно чувствовал себя обделенным.
Наконец-то я пошел и взял фильм на Blu-ray. Я запомнил это не потому, что люблю этот фильм, а потому, что качество видео просто потрясающее. И в довершение ко всему, у меня есть весь набор фильмов на одном диске Blu-ray.
Потребность или стремление оставаться в курсе событий сильнее всего, когда речь идет о нашей профессии, поскольку риски выше. Стало важным оставаться на вершине своей игры.
Четыре практических причины для изучения Hadoop 2.0:
Каким бы неизбежным это ни было, быть в курсе дел в нашей профессии стало важной частью нашей жизни. Как бы устрашающе это ни звучало, не стоит волноваться, поскольку технологии на самом деле не меняются так быстро и радикально. Но разговоры и информация об этих технологиях и о том, что мы можем с ними делать, становятся все более заметными. Вот несколько причин, по которым вам следует оставаться в курсе:
# 1: не попасться
Если вы не обращаете внимания на последние обновления технологий, вы можете выглядеть как олень, попавший в свет фар. Не совсем яркая картина ваших профессиональных способностей. Если вы будете в курсе, ваши коллеги будут уважать вас за ваши профессиональные навыки. Возможно, нет необходимости внедрять все новое, что вы изучаете, но осознавать обновления обязательно.
Например, во время разговора о Hadoop вы можете сообщить своим партнерам, что Hadoop 2.5.0 имеет улучшения аутентификации при использовании прокси-сервера HTTP. А также в той же версии Hadoop есть возможность записи непосредственно в Graphite.
Когда организации задумываются о переходе на Hadoop, важно быть в курсе последних обновлений. А «знание» может иметь огромное значение для вашей карьеры.
# 2: конкурентное преимущество
Уважают профессионалов своего дела. А оставаться в курсе событий - лучший способ быть на высоте. Ваша потребность быть в курсе событий отражает вашу страсть к работе. Развивая опыт в своей работе и своей отрасли, вы заслужите доверие и уважение окружающих. С точки зрения лидерства это бесценно!
Даже если ваша организация все еще работает с Hadoop 1.0, знание всех последних функций Hadoop 2 поможет вам не сбиться с пути, поскольку он относительно новый и определенно лучше. Если вы первый, кто научится этому, вы получите преимущество перед своими сверстниками.
# 3: Новые возможности
Печальная реальность, что наша нынешняя роль постоянно меняется. Со временем появляются дополнительные обязанности и возможности для выполнения новых задач. Если вы будете в курсе отраслевых тенденций, вы сможете воспользоваться этими возможностями.
Такие компании, как Macy's, Lockheed Martin, California Creative Solutions, Capital One, CSpring, CACI International Inc., Oracle, Yahoo !, American Express, BlueHawk, Aetna, Ливерморская национальная лаборатория Лоуренса и многие другие, ищут специалистов, обладающих знаниями в области новейших функций Hadoop 2, как и YARN.
# 4: принимайте лучшие решения
Дополнительная информация позволит вам делать осознанный выбор и принимать более обоснованные решения. Это поможет вам распознать возможности и повысить ценность стратегии вашей организации.
для чего используется нагиос
Hadoop 2 имеет функции, повышающие скорость, а также снижающие стоимость. Предложение вариантов повышения производительности и увеличения скорости определенно может повысить продуктивность организации. Вот некоторые функции Hadoop 2, которые принесут пользу организации, а их использование поможет вам в вашей карьере.
Поддержка запуска Hadoop в Microsoft Windows
Упрощенное распространение двоичных файлов MapReduce через HDFS в распределенном кэше YARN.
Расширенная поддержка новых приложений в YARN с помощью Application History Server и Application Timeline Server.
Полная поддержка HTTPS в HDFS
Интеграция Kerberos для хранилища временной шкалы YARN.
Поддержка гетерогенной иерархии хранилищ в HDFS.
Кэш в памяти для данных HDFS с централизованным администрированием и управлением.
Упрощенное распространение двоичных файлов MapReduce через HDFS в распределенном кэше YARN.
Есть не только практические причины для того, чтобы оставаться в курсе, есть и технические причины. Hadoop имеет множество полезных для организаций функций. Если вы внимательно посмотрите на них, вы получите четкое представление о преимуществах.
Какое последнее обновление в Hadoop?
Каждый продукт проходит различные стадии выпуска и предлагает различные версии самого себя. Hadoop не является исключением и предлагает Hadoop 2.0. Фонд Apache предложил следующие версии Hadoop, такие как Hadoop 2.1.0, Hadoop 2.4.0, и достиг Hadoop 2.5.1, последней версии, выпущенной в сентябре 2014 года.
Почему был выпущен Hadoop 2?
В новой версии добавлены новые функции и исправлены ошибки. Поэтому каждый раз, когда вы используете определенную версию Hadoop и думаете, что можно добавить определенную функцию или исправить какие-то ошибки, вы сообщаете об этом ребятам из Apache Foundation. Эти ребята, в свою очередь, работают над этим и дадут вам лучший продукт в следующей версии.
Hadoop 2 - не просто число
Hadoop 2 - это не просто последняя версия Hadoop. По большому счету, это архитектура второго поколения. Арун Мурти, основатель и архитектор компании Hortonworks, дистрибьютора Hadoop, настаивает на том, что это различие важно, потому что для перехода Hadoop от пакетной обработки в мир аналитики в реальном времени потребовался значительный объем модернизации.
Давайте обсудим, чем Hadoop 2.0 отличается от своего предшественника Hadoop 1.0. Очевидно, что более поздняя версия будет лучше, чем предыдущая. Ниже перечислены четыре основных улучшения Hadoop 2.0 по сравнению с Hadoop 1.x:
Федерация HDFS - горизонтальная масштабируемость NameNode
NameNode High Availability - NameNode больше не является единственной точкой отказа
YARN - Возможность обрабатывать терабайты и петабайты данных, доступных в HDFS, с использованием приложений, отличных от MapReduce, таких как MPI, GIRAPH
Диспетчер ресурсов - разделяет две основные функции перегруженного JobTracker (управление ресурсами и планирование / мониторинг заданий) на два отдельных демона: глобальный диспетчер ресурсов и ApplicationMaster для каждого приложения.
Существуют дополнительные функции, такие как Планировщик емкости (включение поддержки многопользовательской среды в Hadoop), моментальный снимок данных, поддержка Windows, доступ по NFS, что позволяет более широко использовать Hadoop в отрасли для решения проблем с большими данными.
Hadoop 2.X против Hadoop 1.X
Давайте проведем небольшое сравнение и посмотрим, чем Hadoop 2.0 лучше и отличается от Hadoop 1.0.
Почему Hadoop 2 предпочтительнее Hadoop 1.0?
Hadoop 2.0 предлагает улучшения производительности, которые приносят пользу связанным технологиям в экосистеме Hadoop. Помимо новаторских функций HDFS и архитектуры второго поколения (YARN), существует еще больше причин для предпочтения Hadoop 2 перед Hadoop 1.0:
Hadoop 2 больше не имеет языковых ограничений. Это означает, что теперь Hadoop может использовать широкий круг профессионалов.
С Hadoop 2 преодолеваются препятствия, такие как нехватка кодеров MapReduce.
В 2 раза быстрее, чем Hadoop 1.0
В 2 раза выше рентабельность инвестиций с существующим оборудованием
Благодаря YARN интерфейс прикладного программирования стал намного более открытым и гибким.
Hadoop 2 расширяет возможности использования Hadoop в проектах Big Data.
С Hadoop 2 разработчики теперь могут выполнять огромное количество задач по обработке данных, выходящих за рамки предыдущей области пакетной обработки Hadoop.
Предлагает новые возможности для информационных менеджеров и устраняет недостатки предыдущих версий.
Этот новый выпуск обладает уникальной функцией запуска нескольких рабочих нагрузок в одном кластере Hadoop.
Hadoop больше не ограничивается одной функцией. Его применение теперь выходит за рамки HDFS и MapReduce.
Ключевые преимущества ПРЯЖИ
Мы знаем, что YARN - это архитектура второго поколения, давайте посмотрим, что делает ее такой замечательной.
Масштаб
Новые модели программирования и сервисы
Расширенное использование кластера
Ловкость
Намного больше, чем Java
И многое другое
Спрос на навыки Hadoop 2
Организации сейчас запускают или экспериментируют с Hadoop 2. Следовательно, возникает потребность в специалистах, обладающих навыками работы с Hadoop 2. Многие организации уже начали искать сотрудников для работы с Hadoop внутри компании. Есть явные признаки того, что YARN находится на подъеме и в конечном итоге вытеснит спрос на навыки MapReduce.
Вот некоторые мнения о текущем и прогнозируемом спросе на навыки Hadoop:
По мнению аналитиков Gartner, Hadoop 2 является жизненно важным событием, поскольку крупные предприятия по всему миру обнаружили, что Hadoop изменил правила игры в их управлении большими данными.
По словам Эрика Кавана (Eric Kavanagh) из Bloor group, Hadoop 2.0 завоевал популярность среди информационных работников, стремящихся бороться с большими данными.
Внедрение Hadoop 2.0 продолжает расти и сейчас вступает в стадию зрелости.
Организации знают о преимуществах YARN и рады этому.
Вот снимок вакансий по Hadoop 2.0 / YARN в Indeed.com
Кто переходит на Hadoop 2 или уже перешел?
Yahoo:
Yahoo! , лидер во всем, что реализовал Hadoop YARN (0.23.x). По словам Мерти, кластер Yahoo из 35 000 узлов в настоящее время обрабатывает 130–150 заданий в день по сравнению с 50–60 до YARN.
Говоря о выдающейся производительности, Мурти цитирует: «Когда у вас в 2 раза больше 35 000–40 000 узлов, это феноменально». Он также добавил: «Довольно убедительно сказать ИТ-директору, что если вы просто обновите свое программное обеспечение с Hadoop 1 до Hadoop 2, вы увидите двукратное повышение производительности ваших рабочих мест».
eBay:
eBay имеет один из крупнейших кластеров Hadoop в отрасли, где данные хранятся в петабайтах. Они также перевели свои кластеры на Hadoop 2.
Заключение:
Поскольку Hadoop 2 является зрелым и простым в реализации, они убеждают даже скептиков, и все больше и больше организаций переходят на Hadoop 2.0. Есть веские причины избегать версий 1.x. Но с Hadoop 2 даже неверующие думают о нем, так как его можно использовать для самых разных целей. Изучив Hadoop 2.0 и внедрив его для выполнения вычислений с большими данными, вы откроете ворота в технически продвинутую и финансово выгодную карьеру.
Есть вопрос к нам? Укажите их в комментариях, и мы свяжемся с вами.
Похожие сообщения: