Apache Falcon: новая платформа управления данными для экосистемы Hadoop



Apache Falcon - это новая платформа управления данными для экосистемы Hadoop, которая упрощает обработку каналов и управление потоками в кластерах Hadoop. Узнайте, как его настроить.

Apache Falcon - это платформа для управления жизненным циклом данных в кластерах Hadoop. Он устанавливает взаимосвязь между различными данными и элементами обработки в среде Hadoop, а также предоставляет услуги управления потоками, такие как сохранение каналов, репликация между кластерами, архивирование и т. Д.





Давайте сначала обсудим, как настроить Apache Falcon. Выполните приведенную ниже команду, чтобы загрузить git-репозиторий Falcon:

Команда: git clone https://git-wip-us.apache.org/repos/asf/falcon.git сокол



git-command-apache-falcon

Чтобы запустить сокола, вам нужно сначала построить его.

Команда: cd сокол



Команда: export MAVEN_OPTS = ”- Xmx1024m -XX: MaxPermSize = 256m -noverify” && mvn clean install -DskipTests

Команда: mvn чистая сборка: сборка -DskipTests -DskipITs

После того, как вы построили Falcon, вы найдете пакет Falcon в каталоге / falcon / distro / target /.

как сделать файл на java

Команды для создания сокола выглядят очень простыми, но вы столкнетесь с множеством проблем, прежде чем увидите сообщение об успехе сборки. Я столкнулся с множеством проблем при его создании для Hadoop-2.2.0

Итак, чтобы избавиться от боли при сборке Falcon, я даю вам успешно созданный пакет Falcon, который вы можете скачать по ссылке ниже.

https://edureka.wistia.com/medias/xw5cfzqmho/download?media_file_id=124642564

Разархивируйте файл, чтобы получить каталог falcon-0.10.

Команда: разархивировать falcon-0.10-SNAPSHOT.zip

Установите переменные среды flacon в файле .bashrc.

Команда: sudo gedit .bashrc

Команда: источник .bashrc

Вы можете перейти в каталог Falcon и увидеть файлы и каталоги внутри него.

Команда: cd falcon-0.10-SNAPSHOT /

Команда: ls

Вы можете найти скрипты сокола внутри каталога bin.

Выполните команду ниже, чтобы запустить Falcon.

Команда: ./bin/falcon-start

Вы увидите запущенный новый демон FalconServer.

Команда: jps

Команда: ./bin/falcon admin -версия

Откройте браузер и перейдите в локальный: 15000 . Вы можете увидеть веб-интерфейс Falcon.

Есть вопрос к нам? Упомяните их в разделе комментариев, и мы свяжемся с вами.

Похожие сообщения:

Детализация Apache Drill