Если вы уже из IT индустрия , вы должны знать, что Большое количество данных это разговоры дня. Будь то новые стартапы, предлагающие инновационные бизнес-модели, или ваши коллеги, которые по какой-то причине присоединяются к этим стартапам, сегодня более зеленые пастбища кажется Большое количество данных промышленность.
Если вам интересно, почему, то я рекомендую вам прочитать это до самого конца, потому что это может быть блог для самостоятельного изучения, который приведет вас к тому, для чего вы предназначены.
Итак, почему все этоHYPEокружающий БОЛЬШОЕ КОЛИЧЕСТВО ДАННЫХ?
Это просто еще один домен, на который на временной основе будут прибывать беженцы из всех других областей? Или он будет здесь надолго?
Если бы я мог предположить, я бы сказал, что не только он будет здесь надолго, но и индустрия больших данных окажется в эпицентре технологического прогресса.
Потому что все оДАННЫЕ!
Как солнцеподнимаетсяотВостокинаборывЗапад, постоянное использование вычислительных / не вычислительных устройств приведет к выбросу неуправляемых данных.
Когда эти данные превышают пороговое значение, когда их обрабатывает Excel или какая-либо система управления базами данных, мы называем это БОЛЬШОЕ КОЛИЧЕСТВО ДАННЫХ .
Подумайте, какой товар вы купили на Amazon в последний раз? Какой продукт вы можете приобрести в следующий раз на основании прошлой активности? Ответы на такие вопросы хранятся в Big Data.
Есть ли за продуктом растущая тенденция? Или есть тенденция к снижению? Будет ли покупатель покупать «чулки», когда он покупает «обувь»? Это вопросы для решения бизнес-задач.
И эти вопросы можно легко ответил используя Аналитика больших данных .
В конце концов, какой толк в данных, когда ты не анализируя Это?
Итак, большие данныеполностью оАналитика?Не полностью, но главный приз - это аналитика.
Другие основные потоки в больших данных:Место храненияиУправление.
Вот где вы, как профессионал, можете внести свой вклад. Вы можете взять на себя роль:
- Инженер по большим данным
- Архитектор решений для больших данных
И убедитесь, что генерируемые большие данные всегда доступны и могут быть использованы для аналитики в будущем. Итак, это подводит нас к вопросу & hellip
Где хранятся большие данные?
Можно ли хранить вФайл Excel? Можно ли хранить всистема реляционных баз данных?
Конечно нет!
Если бы могло быть, значит, было бы!
И все вместе называться как-то иначе. Может что-то вродеExcel-данныеилиРСУБД-Данные: D
И это вернет нас к ШАГ 1 : - Почему нельзя управлять большими данными с помощью Excel? Потому чтоБольшие данные слишком популярны для Excel. И даже другие системы управления базами данных, собственно говоря.
Итак, какая альтернатива?
Для работы с большими данными у нас есть HADOOP . Возможно, вы тоже знаете это слово. Но вам может быть интересно, как именно это работает?
синхронизация потоков в примере java
Во-первых, HADOOP является продуктомФонд APACHE. Apache - американская некоммерческая организация, поддерживающая разработку программного обеспечения с открытым исходным кодом.
Hadoop определяется как среда программирования на основе Java с открытым исходным кодом, которая поддерживает обработку и хранение чрезвычайно больших наборов данных в распределенной вычислительной среде.
Что Hadoop может, а Excel - нет?
Обработка и понимание неструктурированных данных!Структурированные данные в табличном формате или иным образом могут быть легко обработаны. Excel может это сделать, как и любая другая СУБД.
Но когда читаемость снижается и данные становятся неструктурированными, именно здесь большие данныетакие инструменты, как HadoopГол. Пример неструктурированных данных: системный журнал . Образец изображения ниже.
Такие журналы определенно нельзя запрашивать с помощью Excel.
Hadoop, как и инструменты для работы с большими данными, может понимать данные как есть, выявляя закономерности и формируя связи между различными полями. И как только данные имеют реляционный характер, ониГотовность к аналитике.
Аналитика - это то, что окажет влияние на бизнес в организации! Ваша карьера во многом выиграет от его участия в этой области больших данных.
' Могу ли я сделать это как Hadoop-er? '
… Возможно, следующий вопрос у вас на уме. И правильно подумать, большие данные - это рынок, который как никогда горяч и важен как никогда.
Без Hadoop компаниям будет нелегко иметь дело с большими данными. А без таких квалифицированных специалистов, как вы, компаниям будет нелегко иметь дело с Hadoop.
Есть отчет, в котором говорится, что в этой области наблюдается дефицит талантов. Дефицит календаря означает меньше профессионалов, но высокий спрос. И это в глобальном масштабе, а не в какой-то конкретной географии.
Вам нужны числа?
К Глобальный институт McKinsey В исследовании говорится, что к 2018 году США столкнутся с нехваткой около 190 000 специалистов по обработке данных и 1,5 миллиона менеджеров и аналитиков, которые могут понимать и принимать решения с использованием больших данных.
Карьерный совет вам? Занимайтесь серфингом во время отлива!
Но ты ограниченный только Hadoop ?
На самом деле, нет. Существует ряд инструментов для обработки больших данных, и Hadoop считается одним из лучших. Но не всегда!
Бывают случаи, когда Hadoop не подходит. Например, если вы нетехнический человек, который не очень хорошо умеет писать программы MapReduce.
В таких случаях вы можете использоватьТаленд, который дает вам графический пользовательский интерфейс, позволяющий делать все, что вы в противном случае сделали бы с MapReduce.
Для написания более простых кодов Java вы можете использоватьСвинья.
Если вы хотите запускать SQL-подобные запросы к большим данным, тогдаУлейможет быть использован.
Если вы хотите использовать данные, хранящиеся в базе данных NoSQL, тогдаHBaseможет быть использован.
Для выполнения аналитики в реальном времени вы можете использоватьИСКРА.
Это инструменты для работы с большими данными, которые идут рука об руку с Hadoop, но ни в коей мере не заменяют Hadoop. Это надстройки Hadoop для больших данных.
Кроме того, есть еще несколько инструментов, таких как SQOOP, FLUME, OOZIE и т. Д., Которые можно интегрировать с фреймворком Hadoop для решения различных бизнес-задач.
Чего отрасль ожидает от вас как от эксперта по большим данным?
Отрасль остро нуждается в БОЛЬШИЕ ДАННЫЕ АРХИТЕКТОРОВ которые могут создать для своих организаций комплексное решение для работы с большими данными. Архитекторы больших данных - это специалисты, обладающие опытом использования всех упомянутых выше инструментов.
Вот свидетельство ученика Эдурека о курс:
Стать начиная с сертификационного тренинга Edureka по большим данным и Hadoop, который помогает учащимся стать экспертами в области HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume и Sqoop с использованием примеров использования в реальном времени в области розничной торговли, социальных сетей, авиации, туризма, финансов. .