Биг Дата — что это такое простыми словами

Термин Big Data, наверняка, слышали многие. Он появился еще в 2008 году и с тех пор постоянно на слуху. Сегодня мы попробуем объяснить простыми словами, что же такое Биг Дата и как технологии «больших данных» помогают нам каждый день. 

Технология big data — как работает

Все мы оставляем за собой «цифровой след» в Сети – постим фото, совершаем онлайн-покупки, просматриваем сайты, ведем переписку и т. д. Биг Дата, простыми словами – массив этих цифровых следов, всех данных, которые регулярно поступают. Вот основные источники Big Data:

• Соцсети, блоги, СМИ – это фото, публикации, данные о просмотре страниц и многое другое;
• Интернет вещей – сбор данных о работе устройств и систем;
• Корпоративная информация – заказы, транзакции, клиентские профили, базы данных;
• Статистические и медицинские данные – рождения, смерти, передвижения, данные о состоянии здоровья и т. д;
• Показания устройств – данные о геолокации, метеорологические измерения, показания регистраторов и др. 

Все эти данные сохраняются в огромных объемах, поэтому для их обработки нужны специальные технологии. Такие технологии также называют «Биг Дата». 

Обратите внимание! Чтобы не запутаться с терминами, дадим небольшое пояснение. Под Big Data за рубежом понимают и весь объем данных, и технологии по их обработке. На постсоветском пространстве – чаще всего только технологии обработки.

Для хранения информации используют как физические сервера, так и облачные хранилища. Сейчас облачные технологии применяются всё чаще, так как объем данных растет по экспоненте. Все неструктурированные данные, которые поступают из одного источника, составляют так называемые «data lake» — «озера данных». 

У Биг Дата есть три основные характеристики. Их называют еще «правило трех V» — по первым буквам признаков:

1. Volume – объем. Компании, которые используют big data, работают с разными объемами информации. Именно от объема данных часто зависит результат работы;
2. Velocity – скорость. Данные поступают с огромной скоростью в реальном времени и так же быстро их можно обрабатывать;
3. Variety – разнообразие. Собирается информация разных типов – структурированная, неструктурированная или структурированная только частично. Например, посты в соцсетях – неструктурированные данные. А базы данных – яркий пример структурированной информации. 

По мере развития Big Data стали выделять еще два признака:

4. Veracity – достоверность. Одна из задач аналитика биг дата – выделять достоверные и недостоверные данные;
5. Value – ценность. Значимость данных определяется тем, для какой именно задачи они используются. 

Иногда выделяют и шестой признак – viability (жизнеспособность), и некоторые другие. Ключевое в этих характеристиках – в Биг Дата важен не только объем. Специалисты по big data должны уметь определять значимость данных, их актуальность и т. д. О других навыках, которыми обязан владеть специалист биг дата, мы расскажем чуть позже. 

Какие задачи решает биг дата

Биг Дата помогает решать множество задач в разных сферах:

1. Промышленность – помогает спрогнозировать спрос и планировать производство;
2. Медицина – сейчас это в первую очередь борьба с пандемией;
3. Банковская сфера – для управления банками, борьбы с мошенничеством, таргетирования связи с клиентами. 

Например, Сбербанк использует данные сотовых операторов для борьбы с мошенничеством. Много сим-карт, работающих недолгое время, подозрительные пополнения счета, сомнительная география – маркеры потенциального мошенничества. Заявки на кредитование от таких лиц вряд ли будут одобрены.

4. Бизнес-аналитика – анализ информации, конкурентная разведка, создание отчетности;
5. Онлайн-маркетинг – предпочтения пользователей анализируются, и на основании этого показываются рекламные блоки, предлагаются товары или услуги;. 
6. Интернет вещей – собираются данные о сбоях и производится отладка систем;
7. Транспорт – отслеживается информация о пробках, о состоянии железных дорог, погодных условиях и т. д;
8. Управление персоналом – на основе собранных данных оптимизируется график работы сотрудников, выстраивается система бонусов.

Это только часть примеров работы Big Data. А глобальная задача использования биг дата – прогнозная и описательная аналитика. Это сбор, обобщение данных и создание прогностических моделей. Предписательная же аналитика помогает найти уязвимости и избежать их. 

Так, по словам директора департамента Big Data компании МТС , благодаря полученным данным можно спрогнозировать, когда именно клиент захочет сменить смартфон. Можно предугадать и какие модели будут пользоваться наибольшим спросом. Таким образом, Биг Дата позволяет буквально узнавать о желаниях клиентов раньше их самих.

Преимущества биг дата

Сейчас можно с уверенностью говорить, что за технологиями Big Data – будущее. У них есть много плюсов в сравнении с привычным сбором и обработкой информации. 

Классическая аналитика	Технологии Биг Дата
Информация собирается некоторое время и предварительно обрабатывается. Анализ идет постепенно, «пакетами» данных.	Данные поступают в реальном времени с огромной скоростью. Аналитика выполняется моментально.
Возможны погрешности из-за «человеческого фактора».	Все метрики получают с помощью алгоритмов и нейросетей. Погрешность из-за предвзятого мнения или ошибки в расчетах исключается.
Данные нужно сортировать и упорядочить для обработки.	Технологии биг дата работают с информацией разного типа – даже неструктурированной.
Объем информации существенно ограничен.	Объем данных практически неограничен – можно работать с любыми потоками информации.

И еще одно преимущество Биг Дата – выявление неочевидных закономерностей и связей (инсайды). Технологии «больших данных» позволяют открывать скрытые связи, которые при помощи классической аналитики невозможно быстро обнаружить и использовать. 

Например, еще в 2014 году с помощью аналитики погодных условий и данных о задержке рейсов в аэропортах, американская гостиничная сеть Red Roof Inn смогла не только выйти из кризиса, но и увеличить прибыль на 10%. Пользователям отправлялась таргетированная реклама на основе данных о передвижениях и купленных билетах.

Что должен уметь специалист big data

Есть две основные профессии, связанные с биг дата – дата-инженер и дата-аналитик. Инженеры отвечают за хранение данных, их преобразование и возможность быстрого доступа.  У дата-аналитика задачи другие – это сбор и анализ данных, а также выработка эффективных решений на их основе. 

Специалист по работе с аналитикой биг дата должен владеть целым рядом навыков. Вот самые главные:

• Аналитика и статистика – это и навыки количественного анализа, и построение математических моделей, и владение аналитическими инструментами;
• Интерпретация – специалист по big data должен уметь качественно интерпретировать полученный результат;
• Визуализация данных и моделирование результатов – этот навык необходим, чтобы донести результат исследования;
• Знание языков программирования – для создания скриптов, которые помогут автоматизировать задачи;
• Знание английского языка – одно из безусловных требований. Специалист по Big Data должен владеть английским, как минимум, на уровне понимания документации. 

Для дата-инженера есть свои, отдельные требования:

• Умение анализировать алгоритмы и внедрять новые, проектировать целостные системы;
• Понимание принципов работы с облачными платформами;
• Владение Python, опционально – SAP, Oracle, MySQL, Redis. 

Специалисты по «большим данным» должны стремиться понимать суть процессов и видеть главное. Если вы хотите работать с Биг Дата, самое полезное качество – желание и умение учиться. 

Примеры, где можно встретиться с big data

Если вам кажется, что Биг Дата – что-то далекое, связанное только с миром программирования, спешим разуверить: это далеко не так. Реклама на сайтах и в соцсетях, которую мы видим каждый день – тоже результат аналитики Big Data. Специальные алгоритмы анализируют поведение пользователя и принимают решение, какие блоки ему показывать. Мы встречаемся с биг дата, когда:

• Скроллим ленту в соцсетях – новости показываются на основе предпочтений пользователя;
• Пользуемся Google.maps или Яндекс.Картами – все спутниковые снимки, информация о транспорте и пробках тоже часть big data;

• Включаем музыку на стриминговых сервисах или смотрим YouTube – плейлисты формируются в зависимости от наших вкусов. Все данные анализируются с помощью биг дата;
• Смотрим рекомендованные товары в интернет-магазинах – лента тоже формируется на основе просмотренных товаров и наших действий. 

Кстати: Если вы занимаетесь арбитражом трафика и вручную настраиваете таргет на показ рекламы – вы тоже работаете с биг дата. Данные о пользователях используются в интересах вашей рекламной кампании. Любые сервисы аналитики, поиска креативов или мониторинга соцсетей – также часть технологий Big Data.

Биг Дата помогает регулировать движение в крупных городах. Например, в Лондоне данные о загруженности дорог используются для того, чтобы вовремя переключать светофоры – так водители могут объехать пробки. Еще один «автомобильный» пример – обучение беспилотных авто. 

С помощью Биг Дата даже ищут пропавших людей. Для этого применяются системы распознавания лиц, данные о геолокации и перемещениях. Подробнее – в видео. 

https://www.youtube.com/embed/5ABAT7Cvs3w

А в медицине Big Data сейчас помогает узнать, как обстоят дела с пандемией в том или ином регионе, а также предотвратить новые вспышки. Когда вы читаете о вспышке коронавируса в Индии или смотрите статистику заболеваемости – это тоже результат сбора данных в биг дата.

Заключение 

Хотим мы этого, или нет – мы уже стали частью Big Data. Но не стоит относиться к этому с предубеждением. Биг Дата помогает сделать лучше нашу жизнь – ориентироваться в незнакомых местах, уменьшить пробки на дорогах, находить именно те товары и услуги, которые нам подходят. А для арбитражника или специалиста по онлайн-маркетингу технологии биг дата – незаменимый инструмент.