Неимоверное ускорение в росте массы объема данных стало незаменимым компонентом нынешней реальности. Многообразие источников собирающих такие данные поистине широко: мобильные сети, разного рода измерительные приборы, производство, маркетинг исследования и тд. И генерировать они могут по-настоящему колоссальные объемы данных для анализа.
BigData или же "Большие данные" пришло к нам из английского языка. Явного определения у него нету, так же как и нет точной цифры измерения-это 100 терабайт или же 100 гигабайт. Все же, есть четкое мнение, которое подразумевает под этим понятием сумму трех функций: собирать и анализировать по-настоящему большие данные, учиться обрабатывать собираемую информацию (объем которой постоянно прогрессирует) и уметь обрабатывать плохо структурированные данные одновременно в разных направлениях (дело в том, что данные не всегда поступают четко сформировавшимися). Исходя из этого, определение термина BigData может звучать как-получаемая информация, объемы которой проанализровать классическими способами не представляется возможным.
Когда речь заходит о термине BigData, то многие специалисты в этой области характеризуют термин тремя "V":
- Volume – объем получаемых данных;
- Velocity – скорость обработки информации;
- Variety – вариации данных (беспорядочные либо структурированные).
Как работает BigData
Логика алгоритма Больших данных проста-чем больше у вас полученной информации о чем-либо, тем точнее вы сможете спрогнозировать будущее. Анализ полученных данных и выявление некоторых связей поможет также выявить закономерности. Это дает представление о самой проблеме и о том, как можно управлять разными процессами.
Процесс изучения собранных данных автоматизирован и в большинстве своем представляет собой генерацию моделей. В основу которых входит собранная информация и дальнейшая симуляция событий с непрерывно меняющимися настройками. Где алгоритм непрерывно сканирует, как изменение настроек повлияли на исход событий.
Полученные данные с помощью BigData принимаются в неструктурированном виде и человеку не под силу их вставить в таблицы для анализа. По формату своему данные могут быть разнообразными: email, фотографии, переписки в чатах и тп. Для того, чтобы хоть как то структурировать хаотичные данные в Больших данных используются самые актуальные и современные методы анализа информации, а именно ИИ (Искусственный интеллект) и машинное обучение.
Области применения BigData
Сферы использования Больших данных могут быть самыми разнообразными. Например, аэро-космическое агенство NASA при помощи BigData отрывает новые планеты, прогнозирование болезней у пациентов в медицине, предотвращение террактов, помочь бизнесу выявив желание клиентов и тп.
На сегодняшний день существует множество идей для применения BigData и как один из вариантов решения проблем предложил стартап Micromoney.
На нашей планете более 2 миллиардов людей не имеют возможности пользоваться услугами банков. Проблема в том, что банки не выдают кредиты лицам без кредитных историй. А как обзавестись кредитной историей, если банк не дает кредит? Тупик. Компания Микромани предлагает делать скоринг таких таких людей используя передовые технологии в области BigData основываясь на информации полученной с мобильных телефонов заемщиков.
Ни для кого не секрет, что мобильный телефон в наше время неотъемлемая часть коммуникаций каждого человека. Больше того, ваш телефон может предоставить куда больше информации о вас нежели паспорт.
Проанализировав Большие данные путем прогона через нейронные сети компания выдает людям кредиты и одновременно повышает доверие банков к кредитополучателю путем прозрачной кредитной истории. В технологии заинтересованы обе стороны. Банк не рискует собственными средствами. А заемщик получает кредит и повышает доверие банков.
Как видите, проникновение Больших данных в современном мире может занимать не последнее место в плане получения и анализа информации. Остается только надеяться, что собираемые данные не будут использовать во вред. Однако, в эпоху развития децентрализованных приложений такое трудно представить.
Автор Андрей Авчинников. ТГ @coingimp