Apache Storm популярен благодаря функциям обработки в реальном времени, и многие организации внедрили его как часть своей системы именно по этой причине. Давайте посмотрим, как организации интегрируют Apache Storm.
Примеры использования Apache Storm:
Storm используется для поддержки различных систем Twitter, таких как аналитика в реальном времени, персонализация, поиск, оптимизация доходов и многое другое. Apache Storm ассимилируется с остальной частью инфраструктуры Twitter, которая включает системы баз данных, такие как Cassandra, Memcached и т. Д., Инфраструктуру обмена сообщениями, Mesos и системы мониторинга и оповещения. Планировщик изоляции Storm позволяет использовать один и тот же кластер как для производственных, так и для разрабатываемых приложений. Это эффективный способ планирования мощности.
что такое Apache Spark против Hadoop
Yahoo!
Yahoo! работает над платформой следующего поколения, которая позволяет объединить большие данные и обработку с малой задержкой. Хотя Hadoop является основной технологией, используемой здесь для пакетной обработки, Apache Storm позволяет выполнять потоковую обработку пользовательских событий, каналов контента и журналов приложений.
Инфошимпы
Infochimps использует Apache Storm в качестве источника для одной из трех своих облачных служб данных - Службы доставки данных (DDS), которая использует Storm для обеспечения отказоустойчивого и линейно масштабируемого корпоративного сбора, передачи данных и комплексной облачной обработки в потоке. . Подобно Hadoop, который обеспечивает пакетный ETL и крупномасштабную пакетную аналитическую обработку, DDS также обеспечивает ETL в реальном времени и крупномасштабную обработку в реальном времени.
Флипборд
Flipboard - это единое место для изучения, сбора и обмена интересующими вас новостями. Flipboard использует Storm для широкого спектра услуг, таких как поиск контента, аналитика в реальном времени, настраиваемые каналы журналов и т. Д. Apache Storm интегрирован с инфраструктурой, включающей такие системы, как ElasticSearch, Hadoop, HBase и HDFS, для создания высокомасштабируемой платформы данных.
Оояла
Ooyala - это частная компания с венчурным капиталом, которая предоставляет продукты и услуги в области видеотехнологий в Интернете для некоторых крупнейших мировых сетей, брендов и медиа-компаний. У Ooyala есть аналитический движок, который ежедневно обрабатывает более двух миллиардов аналитических событий, создаваемых почти 200 миллионами зрителей по всему миру, которые смотрят видео на плеере на базе Ooyala. Ooyala использует Apache Storm для предоставления своим клиентам потоковой аналитики в реальном времени о поведении пользователей при просмотре и тенденциях цифрового контента. Storm позволяет быстро извлекать из своих наборов видеоданных в Интернете, чтобы предоставлять текущую бизнес-аналитику, такую как просмотр шаблонов в реальном времени, персонализированные предложения контента, руководства по программированию и ценные сведения о способах увеличения доходов.
Taobao
Taobao с помощью Apache Storm создает статистику логов и извлекает полезную информацию из статистики в режиме реального времени. Журналы считываются из постоянных очередей сообщений в носики, обрабатываются и затем передаются в топологии для вычисления требуемых результатов. Количество входных журналов Taobao колеблется от 2 миллионов до 1,5 миллиардов каждый день.
Klout
Klout - это приложение, которое использует аналитику социальных сетей для ранжирования своих пользователей на основе социального влияния в Интернете с помощью «Klout Score», который представляет собой числовое значение от 1 до 100. Klout использует встроенную абстракцию Trident Apache Storm для создания сложных топологий, передающих данные из сетевых сборщиков через Kafka, затем обрабатывается и записывается в HDFS.
Мы идем
Wega - всемирная система метапоиска путешествий, работающая по всему миру и используемая бесчисленным количеством путешественников, чтобы получить больше возможностей, чтобы платить меньше и путешествовать больше. Wego сравнивает и отображает в режиме реального времени расписание рейсов, наличие отелей, цены и отображает другие туристические сайты по всему миру. Здесь Apache Storm передает данные метапоиска в реальном времени от аффилированных лиц конечным пользователям. Концепции топологии в Storm решают проблемы параллелизма и в то же время помогают им безостановочно интегрировать, анализировать и очищать данные. Кроме того, инструменты, представленные в Storm, позволяют выполнять инкрементное обновление для улучшения своих данных.
Ракетное горючие
Rocket Fuel представляет собой ведущую платформу для закупок средств массовой информации в масштабе больших данных, которая использует возможности искусственного интеллекта (ИИ) для увеличения рентабельности инвестиций в маркетинг в цифровых медиа. Они создают платформу реального времени на основе Storm, которая имитирует критичные по времени рабочие потоки, уже существующие в конвейере ETL на основе Hadoop. Эта платформа отслеживает показы, клики, конверсии, запросы ставок и т. Д. В режиме реального времени.
Навсайт
Navsite использует Apache Storm как часть своей системы мониторинга и аудита журналов событий сервера. Сообщения журнала с тысяч серверов отправляются в кластер RabbitMQ, и Storm используется для сравнения каждого сообщения с набором регулярных выражений. Если есть совпадение, то сообщение отправляется на болт, который хранит данные в MongoDB. В настоящее время обрабатывается 5-10 тыс. Сообщений в секунду, однако существующие кластеры RabbitMQ + Storm были протестированы со скоростью примерно 50 тыс. В секунду.
Многие другие организации внедряют Apache Storm, и ожидается, что еще больше организаций присоединятся к этой игре, поскольку Apache Storm продолжает оставаться лидером в области аналитики в реальном времени.
реализация сортировки слиянием с ++
Ознакомьтесь с нашими .