Apache HBase - это распределенная нереляционная база данных с открытым исходным кодом, созданная по образцу Google Bigtable и написанная на Java. Он предоставляет возможности, аналогичные Bigtable, поверх Hadoop и HDFS (распределенная файловая система Hadoop), то есть обеспечивает отказоустойчивый способ хранения больших объемов разреженных данных, что часто встречается во многих случаях использования больших данных. HBase используется для доступа для чтения / записи в реальном времени к большим данным.
Архитектура HBase Storage состоит из множества компонентов. Давайте посмотрим на функции этих компонентов и узнаем, как записываются данные.
HFiles:
HFiles формирует нижний уровень архитектуры HBase. HFiles - это файлы для хранения, созданные для быстрого и эффективного хранения данных HBase.
HMaster:
зачем нам сериализация в java
HMaster отвечает за назначение регионов каждому серверу HRegionServer при запуске HBase. Он отвечает за управление всем, что связано со строками, таблицами и их координационными действиями. Hmaster также имеет подробную информацию о метаданных.
Компоненты HBase:
HBase состоит из следующих компонентов:
- Таблица - содержит регионы
- Регион - диапазон строк, хранящихся вместе
- Серверы регионов - обслуживают один или несколько регионов
- Главный сервер - демон отвечает за управление кластером HBase
HBase хранит данные непосредственно в HDFS и во многом зависит от высокой доступности и отказоустойчивости HDFS.
Архитектура хранилища HBase:
Обычно клиент сначала связывается с Zookeeper, чтобы найти конкретный ключ строки. Для этого он получает имя сервера из Zookeeper. Обладая этой информацией, он теперь может запросить этот сервер, чтобы получить сервер, содержащий метатаблицу. Обе эти детали кэшируются и просматриваются только один раз. Наконец, он может запросить метасервер и получить сервер, на котором есть строка, которую ищет клиент.
Как только он узнает, в каком регионе находится строка, он также кэширует эту информацию и напрямую связывается с HRegionServer. Таким образом, со временем у Клиента будет полная информация о том, откуда брать строки, без повторного запроса метасервера. Когда HRegion открывается, он устанавливает экземпляр Store для каждого HColumnFamily для каждой таблицы. Данные записываются, когда Клиент отправляет запрос к HRegionServer, который предоставляет детали соответствующему экземпляру HRegion. Первым шагом является то, что мы должны решить, следует ли сначала записывать данные в «Write-Ahead-Log» (WAL), представленный классом HLog. Решение основывается на флаге, установленном клиентом.
Как только данные записываются в WAL, они помещаются в MemStore. В то же время Memstore проверяется, заполнен ли он, и в этом случае запрашивается сброс на диск. Затем данные записываются в HFile.
новейшие технологии в области искусственного интеллекта
Есть вопрос к нам? Упомяните их в разделе комментариев, и мы свяжемся с вами.
Похожие сообщения
Информация об архитектуре HBase