BigData. Новая ступень в развитии анализа данных

Неимоверное ускорение в росте массы объема данных стало незаменимым компонентом нынешней реальности. Многообразие источников собирающих такие данные поистине широко: мобильные сети, разного рода измерительные приборы, производство, маркетинг исследования и тд. И генерировать они могут по-настоящему колоссальные объемы данных для анализа.

BigData. Новая ступень в развитии анализа данных

BigData или же "Большие данные" пришло к нам из английского языка. Явного определения у него нету, так же как и нет точной цифры измерения-это 100 терабайт или же 100 гигабайт. Все же, есть четкое мнение, которое подразумевает под этим понятием сумму трех функций: собирать и анализировать по-настоящему большие данные, учиться обрабатывать собираемую информацию (объем которой постоянно прогрессирует) и уметь обрабатывать плохо структурированные данные одновременно в разных направлениях (дело в том, что данные не всегда поступают четко сформировавшимися). Исходя из этого, определение термина BigData может звучать как-получаемая информация, объемы которой проанализровать классическими способами не представляется возможным.

Когда речь заходит о термине BigData, то многие специалисты в этой области характеризуют термин тремя "V":

  • Volume – объем получаемых данных;
  • Velocity – скорость обработки информации;
  • Variety – вариации данных (беспорядочные либо структурированные).

Как работает BigData

Логика алгоритма Больших данных проста-чем больше у вас полученной информации о чем-либо, тем точнее вы сможете спрогнозировать будущее. Анализ полученных данных и выявление некоторых связей поможет также выявить закономерности. Это дает представление о самой проблеме и о том, как можно управлять разными процессами.

Процесс изучения собранных данных автоматизирован и в большинстве своем представляет собой генерацию моделей. В основу которых входит собранная информация и дальнейшая симуляция событий с непрерывно меняющимися настройками. Где алгоритм непрерывно сканирует, как изменение настроек повлияли на исход событий.

Полученные данные с помощью BigData принимаются в неструктурированном виде и человеку не под силу их вставить в таблицы для анализа. По формату своему данные могут быть разнообразными: email, фотографии, переписки в чатах и тп. Для того, чтобы хоть как то структурировать хаотичные данные в Больших данных используются самые актуальные и современные методы анализа информации, а именно ИИ (Искусственный интеллект) и машинное обучение.

Области применения BigData

Сферы использования Больших данных могут быть самыми разнообразными. Например, аэро-космическое агенство NASA при помощи BigData отрывает новые планеты, прогнозирование болезней у пациентов в медицине, предотвращение террактов, помочь бизнесу выявив желание клиентов и тп.

На сегодняшний день существует множество идей для применения BigData и как один из вариантов решения проблем предложил стартап Micromoney.

На нашей планете более 2 миллиардов людей не имеют возможности пользоваться услугами банков. Проблема в том, что банки не выдают кредиты лицам без кредитных историй. А как обзавестись кредитной историей, если банк не дает кредит? Тупик. Компания Микромани предлагает делать скоринг таких таких людей используя передовые технологии в области BigData основываясь на информации полученной с мобильных телефонов заемщиков.

Ни для кого не секрет, что мобильный телефон в наше время неотъемлемая часть коммуникаций каждого человека. Больше того, ваш телефон может предоставить куда больше информации о вас нежели паспорт.

Проанализировав Большие данные путем прогона через нейронные сети компания выдает людям кредиты и одновременно повышает доверие банков к кредитополучателю путем прозрачной кредитной истории. В технологии заинтересованы обе стороны. Банк не рискует собственными средствами. А заемщик получает кредит и повышает доверие банков.
Как видите, проникновение Больших данных в современном мире может занимать не последнее место в плане получения и анализа информации. Остается только надеяться, что собираемые данные не будут использовать во вред. Однако, в эпоху развития децентрализованных приложений такое трудно представить.

Автор Андрей Авчинников. ТГ @coingimp

Категория: 
Общество
5
Средняя: 5 (2 оценок)
0
Ваша оценка: Нет
922 / 0
Аватар пользователя admin
Публикацию добавил: admin
Дата публикации: пт, 07/21/2017 - 09:47

Что еще почитать:

Добавить комментарий