В этом блоге давайте посмотрим, как собрать Spark для конкретной версии Hadoop.
Мы также научимся создавать Spark с помощью HIVE и YARN.
установить php на windows 8
Учитывая, что у вас есть Hadoop, jdk, mvn и идти предустановлен и предварительно настроен в вашей системе.
Открыто Браузер Mozilla и скачать Искра используя ссылку ниже.
https://edureka.wistia.com/medias/k14eamzaza/
Открыть терминал.
Команда: tar -xvf Downloads / spark-1.1.1.tgz
Команда: ls
Откройте каталог spark-1.1.1.
Вы можете открыть pom.xml файл. Этот файл содержит информацию обо всех зависимости тебе нужно.
Не редактируйте его, чтобы избежать неприятностей.
Команда: cd spark-1.1.1 /
Команда: sudo gedit sbt / sbt-launch-lib.bash
Отредактируйте файл, как показано ниже, сохраните и закройте.
Мы уменьшаем объем памяти, чтобы избежать проблемы с пространством кучи объектов, как указано на снимке ниже.
Теперь запустите следующую команду в терминале, чтобы создать искру для Hadoop 2.2.0 с HIVE и YARN.
Команда: ./sbt/sbt -P пряжа -П улей -Phadoop-2.2 -D hadoop.version = 2.2.0 -D skipTests сборка
Примечание. Моя версия Hadoop - 2.2.0, вы можете изменить ее в соответствии с вашей версией Hadoop.
Для других версий Hadoop
# Apache Hadoop 2.0.5-альфа
-Dhadoop.version = 2.0.5-альфа
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0,23 -Dhadoop.version = 0,23,7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
На компиляцию и упаковку уйдет некоторое время, пожалуйста, дождитесь ее завершения.
Две банки искра сборки-1.1.1-hadoop2.2.0.jar и искры примеры-1.1.1-hadoop2.2.0.jar создается.
Путь искра сборки-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Путь искры-примеры-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Поздравляем, вы успешно создали Spark для Hive & Yarn.
Есть вопрос к нам? Укажите их в комментариях, и мы свяжемся с вами.
Похожие сообщения:
Apache Spark с Hadoop - Почему это важно?