Мы научились Постройте улей и пряжу на Spark . Теперь давайте попробуем примеры Hive и Yarn на Spark.
Java - это отношения
Пример Hive на Spark
Мы запустим пример Hive on Spark. Мы создадим таблицу, загрузим данные в эту таблицу и выполним простой запрос. При работе с Hive необходимо построить HiveContext который наследуется от SQLContext .
Команда: cd spark-1.1.1
Команда: ./bin/spark-shell
Создать входной файл 'образец' в вашем домашнем каталоге, как показано ниже (разделены табуляцией).
Команда: val sqlContext = новый org.apache.spark.sql.hive.HiveContext (sc)
Команда: sqlContext.sql («СОЗДАТЬ ТАБЛИЦУ, ЕСЛИ НЕ СУЩЕСТВУЕТ test (имя СТРОКА, ранг INT) ФОРМАТ. СТРОКИ РАЗДЕЛЕННЫЕ ПОЛЯ, ЗАКОНЧЕННЫЕ« СТРОКАМИ, ЗАКЛЮЧЕННЫМИ »
‘”)
Команда: sqlContext.sql («ЗАГРУЗИТЬ ДАННЫЕ ЛОКАЛЬНЫЙ INPATH‘ / home / edureka / sample ’INTO TABLE test»)
Команда: sqlContext.sql («SELECT * FROM test WHERE rank<5”).collect().foreach(println)
Пример пряжи на Spark
Мы запустим пример SparkPi на Yarn. Мы можем развернуть Yarn на Spark в двух режимах: кластерном и клиентском. В режиме кластера пряжи драйвер Spark запускается внутри основного процесса приложения, которым управляет пряжа в кластере, и клиент может уйти после запуска приложения. В режиме yarn-client драйвер запускается в клиентском процессе, а мастер приложения используется только для запроса ресурсов у Yarn.
Команда: cd spark-1.1.1
Команда: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master yarn –deploy-mode cluster –class org.apache.spark.examples. SparkPi –число-исполнителей 1 –драйвер-память 2g –executor-memory 1g –executor-cores 1 examples / target / scala-2.10 / spark-examples-1.1.1-hadoop2.2.0.jar
После выполнения указанной выше команды подождите некоторое время, пока не получите УСПЕШНО сообщение.
Просматривать локальный: 8088 / кластер и щелкните приложение Spark.
что такое неизменяемый объект в Java
Нажмите на журналы .
Нажмите на стандартный вывод чтобы проверить вывод.
Для развертывания Yarn на Spark в клиентском режиме просто выполните –Deploy-mode так как «Клиент». Теперь вы знаете, как построить Hive and Yarn на Spark. Мы также провели с ними практические занятия.
Есть вопрос к нам? Укажите их в комментариях, и мы свяжемся с вами.
Похожие сообщения
Apache Spark с Hadoop - Почему это важно?
Улей и пряжа наэлектризованы от искры