Apache Hive - одна из самых важных платформ в экосистеме Hadoop, что, в свою очередь, делает ее очень важной для . В этом блоге мы узнаем об установке Apache Hive и Hive в Ubuntu.
Что такое Apache Hive?
Apache Hive - это инфраструктура хранилища данных, которая упрощает запросы и управление большими наборами данных, которые хранятся в распределенной системе хранения. Он построен на основе Hadoop и разработан Facebook. Улей предоставляет способ запроса данных с помощью языка запросов, подобного SQL, который называется HiveQL (язык запросов Hive).
Внутренне компилятор переводит HiveQL заявления в Уменьшение карты вакансии, которые затем отправляются Фреймворк Hadoop для исполнения.
Разница между Hive и SQL:
Улей выглядит очень похоже на традиционную базу данных с SQL доступ. Однако, поскольку Улей основывается на Hadoop и Уменьшение карты операций, есть несколько ключевых отличий:
Поскольку Hadoop предназначен для длительного последовательного сканирования и Улей основывается на Hadoop , можно ожидать, что запросы будут иметь очень большую задержку. Это означает, что Улей не подойдет для тех приложений, которым требуется очень быстрое время отклика, как можно ожидать от традиционной базы данных СУБД.
В заключение, Улей основан на чтении и поэтому не подходит для обработки транзакций, которая обычно включает большой процент операций записи.
основы sql server для новичков
Установка Hive в Ubuntu:
Для установки выполните следующие действия. Apache Hive в Ubuntu:
Шаг 1: Скачать Улей дегтя.
Команда: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
Шаг 2: Извлеките деготь файл.
Команда: tar -xzf apache-hive-2.1.0-bin.tar.gz
Команда: ls
Шаг 3: Отредактируйте «.Bashrc» файл для обновления переменных среды для пользователя.
Команда: sudo gedit .bashrc
Добавьте в конец файла следующее:
# Установить HIVE_HOME
экспорт HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
экспорт PATH = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin
Кроме того, убедитесь, что также указан путь хадупа.
Выполните команду ниже, чтобы изменения работали в том же терминале.
Команда: источник .bashrc
Шаг 4: Проверить версию улья.
что такое scipy в Python
Шаг 5: Создайте Улей каталоги в HDFS . Каталог 'склад' - это место для хранения таблицы или данных, относящихся к улью.
Команда:
- hdfs dfs -mkdir -p / пользователь / улей / склад
- hdfs dfs -mkdir / tmp
Шаг 6: Установите права чтения / записи для таблицы.
Команда:
В этой команде мы даем группе разрешение на запись:
- hdfs dfs -chmod g + w / пользователь / улей / склад
- hdfs dfs -chmod g + w / tmp
Шаг 7: Набор Hadoop путь в час ive-env.sh
Команда: компакт-диск apache-hive-2.1.0-bin /
Команда: gedit conf / hive-env.sh
Установите параметры, как показано на снимке ниже.
Шаг 8: редактировать hive-site.xml
Команда: gedit conf / hive-site.xml
javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = true Строка подключения JDBC для хранилища метаданных JDBC. Чтобы использовать SSL для шифрования / аутентификации соединения, укажите в URL соединения флаг SSL для конкретной базы данных. Например, jdbc: postgresql: // myhost / db? Ssl = true для базы данных postgres. hive.metastore.warehouse.dir / user / hive / Warehouse расположение базы данных по умолчанию для хранилища hive.metastore.uris Thrift URI для удаленного хранилища метаданных. Используется клиентом хранилища метаданных для подключения к удаленному хранилищу метаданных. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Имя класса драйвера для хранилища метаданных JDBC javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory класс, реализующий класс javax.jdo.PersistenceManagerFactory
Шаг 9: По умолчанию Hive использует дерби база данных. Инициализировать базу данных Derby.
Команда: bin / schematool -initSchema -dbType derby
Шаг 10 :Запуск Улей.
Команда: улей
Шаг 11 :Выполните несколько запросов в оболочке Hive.
Команда: показать базы данных
Команда: создать таблицу сотрудников (строка идентификатора, строка имени, строка отдела), формат строки, разделенные поля, заканчивающиеся символом «‘, сохраненные как текстовый файл
Команда: показать таблицы
Шаг 12: Чтобы выйти из Улей:
Команда: выход
Теперь, когда вы закончили установку Hive, следующим шагом будет опробовать команды Hive в оболочке Hive. Следовательно, наш следующий блог « Лучшие команды Hive с примерами в HQL »Поможет вам освоить команды Hive.
Похожие сообщения:
как сортировать числа в c ++