В этом посте я расскажу о Установка Apache Pig в Linux . Начнем с основного определения Apache Pig и Pig Latin.
Апачская свинья это инструмент / платформа для создания и выполнения программы Map Reduce, используемой с Hadoop. Это инструмент / платформа для анализа больших наборов данных. Можно сказать, что Apache Pig - это абстракция по сравнению с MapReduce. Программисты, не очень хорошо разбирающиеся в Java, с трудом работали над Hadoop, в основном при написании заданий MapReduce.Итак, это важная тема, которую нужно изучить и освоить для .У Apache Pig есть свой язык Свинья на латыни что является благом для плохих программистов.
Базовое введение в Pig Latin поможет вам лучше понять:
Процедурный язык высокого уровня, используемый в платформе Apache Pig, называется Свинья на латыни . Apache Pig поддерживает «Pig Latin», относительно более простой язык, который может работать с распределенными наборами данных в файловой системе Hadoop (HDFS). В Apache Pig вам нужно писать скрипты Pig на языке Pig Latin, который преобразуется в задание MapReduce, когда вы запускаете скрипт Pig.. В Apache Pig есть различные операторы, которые используются для выполнения таких задач, как чтение, запись и обработка данных. Чтобы узнать об операторах Apache Pig, перейдите в наш блог « Операторы в Apache Pig: Часть 1 - Операторы отношения ».
Теперь, когда у вас есть базовые представления об Apache Pig, давайте начнем с установки Apache Pig в Linux.
Установка Apache Pig в Linux:
Ниже приведены шаги по установке Apache Pig в Linux. (ubuntu / centos / windows с использованием виртуальной машины Linux). Я использую Ubuntu 16.04, как показано ниже.
Шаг 1: Скачать Свинья деготь файл.
Команда: wget http://www-us.apache.org/dist/pig/pig-0.16.0/pig-0.16.0.tar.gz
Шаг 2: Извлеките деготь файл с помощью команды tar. В приведенной ниже команде tar Икс означает извлечь архивный файл, с участием означает фильтровать архив через gzip, ж означает имя файла архива.
Команда: tar -xzf свинья-0.16.0.tar.gz
Команда: ls
Шаг 3: Отредактируйте ' .bashrc », Чтобы обновить переменные среды Apache Pig. Мы устанавливаем его так, чтобы мы могли получить доступ к pig из любого каталога, нам не нужно переходить в каталог pig для выполнения команд pig. Кроме того, если какое-либо другое приложение ищет Pig, оно узнает путь к Apache Pig из этого файла.
Команда: sudo gedit .bashrc
Добавьте в конец файла следующее:
# Установить PIG_HOME
экспорт PIG_HOME = / home / edureka / свинья-0.16.0
экспорт PATH = $ PATH: /home/edureka/pig-0.16.0/bin
экспорт PIG_CLASSPATH = $ HADOOP_CONF_DIR
логистическая регрессия в коде Python
Кроме того, убедитесь, что также указан путь хадупа.
Выполните команду ниже, чтобы изменения обновлялись в том же терминале.
Команда: источник .bashrc
Шаг 4: Проверить версию свиньи. Это необходимо для проверки правильности установки Apache Pig. Если вы не получили версию Apache Pig, вам необходимо проверить, правильно ли вы выполнили указанные выше действия.
Команда: свинья версия
Шаг 5 :Проверьте справку pig, чтобы увидеть все параметры команды pig.
Команда: свинья-помощь
Шаг 6 :Запустите Pig, чтобы запустить оболочку grunt. Оболочка Grunt используется для запуска скриптов Pig Latin.
Команда: свинья
Если вы правильно посмотрите на изображение выше, Apache Pig имеет два режима, в которых он может работать, по умолчанию он выбирает режим MapReduce. Другой режим, в котором вы можете запустить Pig, - это локальный режим. Позвольте мне рассказать вам об этом подробнее.
Режимы выполнения в Apache Pig:
- Режим MapReduce - Это режим по умолчанию, который требует доступа к кластеру Hadoop и установке HDFS. Поскольку это режим по умолчанию, указывать флаг -x необязательно (можно выполнить свинья ИЛИ свинья -x mapreduce ). Вход и выход в этом режиме присутствуют в HDFS.
- Локальный режим - Имея доступ к одной машине, все файлы устанавливаются и запускаются с использованием локального хоста и файловой системы. Здесь локальный режим указывается с помощью ‘-x flag’ ( свинья -x местный ). Ввод и вывод в этом режиме присутствуют в локальной файловой системе.
Команда: свинья -x местный
Вы можете просмотреть видео ниже, чтобы посмотреть установку Apache Pig в Linux:
Установка Apache Pig | Установка Pig в Linux | Эдурека
Теперь, когда вы закончили установку Apache Pig в Linux, следующим шагом будет опробовать некоторые реляционные операторы Pig в оболочке Pig Grunt. Следовательно, следующий блог « Операторы в Apache Pig: Часть 1 - Операторы отношения »Поможет освоить свиней-операторов.
преобразовать из double в int
Теперь, когда вы установили Apache Pig в Linux, ознакомьтесь с от Edureka, надежной компании онлайн-обучения с сетью из более чем 250 000 довольных учащихся по всему миру. Учебный курс Edureka Big Data Hadoop Certification Training помогает учащимся стать экспертами в области HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume и Sqoop, используя примеры использования в реальном времени в области розничной торговли, социальных сетей, авиации, туризма, финансов.
Есть вопрос к нам? Пожалуйста, укажите это в комментариях, и мы свяжемся с вами.