Когда данные стали большими

Когда данные стали большими

Виталий Сараев

Долгое время информация была редким ресурсом. Однако дефицит сменился взрывным ростом. Человечество научилось генерировать и хранить данные. Сейчас учится анализировать. И конкурентное преимущество получат те, кто первыми научатся извлекать из них выгоду

Рисунок: Константин Батынков

На Большом адронном коллайдере в ЦЕРНе соударения частиц происходят с частотой 20 млн в секунду. За день получается количество данных, сопоставимое с объемом всего интернета.

Термин Big Data появился несколько лет назад. Им обозначают работу с данными, соответствующими трем непривычно большим V: Variety, Velocity, Volume, то есть структурированными и неструктурированными, с высокой скоростью поступления и обработки и больших объемов.

Масштабы научных задач поражают, но бизнес требует еще и быстроты обработки. При принятии взвешенного решения о выдаче кредита за пятнадцать минут нужно проанализировать серьезный массив данных. У интернет-магазинов время измеряется уже секундами. Пока клиент задумался, нужен ли ему тот или иной товар, Amazon должен успеть проанализировать историю его поведения в интернете, сравнить с поведением аналогичных клиентов и подсунуть наиболее заманчивые альтернативы из ассортимента более чем в миллион позиций. А компания ComScore, крупнейший поставщик профилей интернет-пользователей, обрабатывает в день 30 млрд событий — просмотров страниц, длительности сеансов, демографических сведений. У поисковых систем времени на работу — доли секунды, в течение которых они должны не просто найти подходящие варианты ответов на запрос, но и сопоставить их с актуальностью профиля конкретного юзера.

Линейный рост данных куда в большей степени отражается на требуемых ресурсах обработки: «Например, возьмем не самого большого сотового оператора, с 50 миллионами абонентов, каждый из которых совершает несколько звонков в день. Сами по себе это данные небольшие, но если мы захотим сравнить каждого абонента с каждым, то для хранения такой матрицы потребуется приблизительно 10 петабайт, и это уже достаточно большая величина», — объясняет Юрий Чехович , генеральный директор компании «Форексис».

Нагенерировали

«Революционного скачка в технологиях хранения и обработки не произошло, — продолжает Юрий Чехович. — Шло их эволюционное развитие и наращивание мощностей. И в этом смысле Big Data — прежде всего маркетинговый ход разработчиков, продвигающих свою продукцию. Стоимость сбора данных как минимум на порядок превышает стоимость анализа. Поэтому ограничителем роста data science, по крайней мере в ближайшее время, будут источники данных, а не возможности их анализа».

В основе информационного взрыва лежит цифровизация нашей жизни. Практически все документы создаются в электронном виде, число цифровых камер давно превысило число аналоговых, движение почти каждого из нас можно отследить по GPS, а слово «игры» уже мало ассоциируется с чем-то настольным.

По данным Cisco, только мобильный трафик данных в мире к концу 2012 года достиг 885 петабайт в месяц, а к 2016-му ежегодный объем глобального IP-трафика составит 1,3 зеттабайта (один зеттабайт равен триллиону гигабайт). К 2016 году каждую секунду через интернет будет передаваться столько видеоматериалов, что их просмотр занял бы 1,2 миллиона минут, или 833 дня.

По прогнозам IDC, объемы информации будут удваиваться каждые два года в течение следующих восьми лет. Один из основных факторов этого роста — увеличение доли автоматически генерируемых данных: с 11% их общего объема в 2005 году до более чем 40% в 2020-м. При этом используется лишь менее 3% из 23% потенциально полезных данных. К 2020 году общий объем цифровых данных достигнет 40 зеттабайт. Для понимания масштаба: если записать 40 зеттабайт данных на самые емкие современные диски Blue-ray, общий вес дисков без упаковки будет равен весу 424 авианосцев.

Подводная часть айсберга — бум производства датчиков и сенсоров: от носимых кардиодатчиков до систем контроля трубопроводов, от бытовых сигнализаций до орбитальных телескопов. В 2015 году планируется запустить радиотелескоп SKA с площадью антенн один квадратный километр, с которых будет передаваться сигнал со скоростью несколько петабайт в секунду, что на два порядка больше нынешнего трафика глобального интернета.

Революция происходит не в технологиях хранения, а в генерации данных и попытках использовать их в неочевидных решениях. Большие массивы данных — лишь вспомогательный инструмент в давно существующих задачах маркетинга, управления запасами, оптимизации производства. «Работа с данными велась всегда, но сейчас можно говорить о переходе количества в качество. Сравнительно недавно появилось умение понимать, осмысливать данные и принимать решения на их основе. Произошло это за счет того, что данные и методы их анализа стали высокотехнологичными, — считает Андрей Себрант , директор по маркетингу сервисов “Яндекса”. — Пока за аналитику все чаще выдают статистику. Если вы загрузили данные, а в ответ получили лишь построенную по ним кривую и вынуждены сами ломать голову над причинами изменений и над тем, что с ними делать, — это статистика. Data science — это наука о работе с данными, умении вытягивать из больших объемов информации не просто тренды, а их объяснение и обоснование возможных решений».

«Научные задачи, которые data science ставит перед математикой, лежат скорее в инженерной сфере. Это связано с тем, что при работе с большими данными мы вынуждены отказываться от большого числа методов, которые перестают удовлетворять нас по скорости работы. Например, приходится отказываться от квадратичных методов, от линейного поиска. Взамен приходится идти на различного рода ухищрения и компромиссы. Изобретаются приближенные методы, которые не дают абсолютно точных результатов с научной точки зрения, но достаточные по качеству с точки зрения бизнеса», — считает Юрий Чехович. И это приносит свои плоды: например, после внедрения на «Балтике» решения по оптимизации управления цепочками поставок, позволяющего обрабатывать по 90 тыс. прогнозов в час, один человек стал справляться с объемом работ, который раньше выполнялся 30 сотрудниками, при этом точность прогнозирования возросла на 18,6%.

В работе с большими данными используется кластеризация — выделение однородных групп элементов, например потребительских сегментов или клиентов банков с нетипичным поведением, что сигнализирует о повышенном риске мошенничества. Оценки корреляций позволяют вычленить взаимосвязи между различными процессами — скажем, спросом на подгузники и сейсмической активностью. Экстраполяция и регрессионные методы используют для формирования прогнозов. Контент-анализ для вычленения интересов объектов наблюдения: например, при росте числа поисковых запросов на определенную марку автомобиля можно скорректировать производственные планы, а в ответ на поиск рецепта сборки бомбы в скороварке рекомендовать ассортимент подходящей посуды.

Работа с большими данными востребована в бизнесе для анализа поведения клиентов, автоматизации принятия решений в режиме реального времени, оптимизации запасов, оценки рисков, построения прогнозов рынка.

Если проблемы скорости и объема данных решаются прежде всего техническими методами, то анализ неструктурированных данных и их применение в бизнес-практике — задача уже интеллектуальная. Прежде компаниям приходилось иметь дело лишь с четко структурированными данными своей финансовой отчетности и такими же сведениями о клиентах и поставщиках. Теперь значительная часть представлена в форматах, мало соответствующих привычным форматам корпоративных баз данных, — это страницы в социальных сетях, видеозаписи, веб-журналы, логи многочисленных устройств, геолокационные данные. Но именно из них можно извлечь дополнительную информацию для принятия решений: если анкета заемщика кажется идеальной, но контент-анализ его поведения в интернете установил, что он с вероятностью 95% является неимущим, — это повод пересмотреть риски.

Подобные технологии намного эффективнее, чем может показаться на первый взгляд. В марте были опубликованы результаты работы алгоритма, характеризующего пользователей Facebook по оставляемым ими лайкам. Расовая принадлежность была угадана в 95% случаев, пол — в 93%, политические взгляды (демократ или республиканец) — в 85%, гомосексуальность — в 88%, религиозные убеждения — в 82%, наличие отношений — в 67%. При этом анализ ведется не по очевидным лайкам-маркерам, а по большим объемам менее информативных, но более популярных лайков. Например, гомосексуальность коррелирует с лайками Бритни Спирс и сериалу «Отчаянные домохозяйки», высокий IQ — с фильмом «Властелин колец» и музыкой Моцарта, а одиночество — с Марией Шараповой.

Data science требует видеть в данных отображение реальных процессов и уметь вычленять закономерности. Например, при панике, связанной с птичьим гриппом, карту его распространения построила компания Google, весьма далекая от медицины. Она обработала данные запросов о симптомах на разных стадиях развития болезни, что помогло ответить на вопросы, когда, где и в каком количестве люди заболеют.

Рентабельные головоломки

Пока анализ больших массивов данных стал неотъемлемой частью операционной деятельности в немногих отраслях, таких как телекоммуникации, интернет-реклама, социальные сети, страхование. «На наших технологиях моделируется геном человека, на них же работают, например, Skype, NYSE, NASDAQ, Euronext, T-Mobile, Fox Interactive Media. Но это все уникальные клиенты, тиражными пока стали лишь решения для работы с большими данными для сотовых операторов и банков. И те и другие работают на массовых рынках в условиях очень жесткой конкуренции, что вынуждает постоянно искать новые решения для сохранения доходности. Например, на основе данных об абонентах, их звонках, местоположении можно легко построить профиль каждого клиента, его реальную социальную сеть. Это помогает формировать программы лояльности, защиты от оттока клиентов, подбора оптимальных продуктов», — объясняет Сергей Золотарев , руководитель направления «Большие данные» в «EMC Россия и СНГ».

По оценке IDC, в 2012 году объем рынка систем хранения данных составил 8,6 млрд долларов, при этом за год в мире было сгенерировано 2,43 зеттабайта информации, что в два раза больше, чем в 2010 году (1,2 Зб). И перспективы у рынка заманчивые: «В корпоративной практике пока используется лишь 15–20 процентов доступных данных, прежде всего те, что имеются в табличной форме. Остальное — неструктурированные данные, но именно они растут в мире опережающими темпами. Среди них много информационного мусора: фото, видео, не применимые в бизнес-практике. Но важную часть неструктурированных данных составляют цифровые следы деятельности электронных устройств. Каждое из них имеет свой протокол работы и формат log-файла, что затрудняет их анализ. Но из них можно извлечь рациональное зерно», — считает Сергей Золотарев.

Действительно, устройства, незаметно окружившие нас, способны рассказать намного больше, чем может представить себе незадачливый обыватель. Например, многое можно вычислить, имея лишь доступ к показателям обычных квартирных счетчиков электричества и воды. Этого достаточно не только для того, чтобы узнать, сколько людей живет в квартире и когда их не бывает дома (уже одно это может заинтересовать многих — от воров до проповедников). По данным этих двух счетчиков можно диагностировать диарею и запоры, уровень дохода, бессонницу и телевизионные пристрастия.

Но пока рано ждать от жэков событийно обусловленной доставки слабительных и свежей прессы по технологии «точно в срок». Хотя технических проблем с использованием больших данных нынче нет даже в среднем бизнесе. Стопором является нехватка кадров и непонимание руководством компаний возможностей их применения. На большинстве российских рынков еще не настолько сильна конкуренция, чтобы data science стала фактором выживания для многих. Но ситуация быстро меняется. «Когда два года назад я рассказывал о больших данных, то видел серьезный скепсис. Российские компании считали это уделом западных интернет-гигантов. Сейчас уже вся тройка сотовых операторов, крупнейшие банки и телеком-компании либо уже внедрили, либо внедряют подобные решения. Это как с визитом к стоматологу: пугает, но, как ни откладывай, жизнь заставит, — убежден Сергей Золотарев. — Рынок больших данных начинался с закрытых решений — “черных ящиков” для клиента, включающих в себя как железо, так и софт. На наш взгляд, будущее за открытыми платформами, которые могут быть развернуты на любом стандартном сервере. Кроме того, меняется сама парадигма работы с данными. Прежде в фокусе внимания были приложения, выполняющие какую-то одну законченную функцию, но из-за этого компания оказывалась вооружена рядом несовместимых программ, а передача данных из одной в другую, например чтобы сопоставить геолокационные данные клиента с историей его покупок, оказывалась затруднительной. В ближайшее время стоит ожидать серьезного прорыва по мере перехода к парадигме, ориентированной на хранение и организацию данных. Подбор конкретного специализированного приложения становится вторичным».

Мнение о том, что большие данные — это адронный коллайдер и интернет-гиганты, все еще распространено. Хотя данные для анализа можно найти и в небольшом магазинчике. «Веб-мастерам давно известны “тепловые карты” сайтов, позволяющие оптимизировать удобство пользовательского интерфейса. Но эта история была перенесена и в офлайн. Почти каждый торговый центр сейчас оснащен камерами слежения. Был написан софт, распознающий передвижение покупателей и составляющий карты их движения с учетом времени, которое они провели у каждой полки, — в итоге получаются “тепловые карты” торгового зала. Пропустив через этот софт сотни гигабайт видеозаписей, можно выявить “слепые зоны” магазина, временные закономерности, а также оценить эффективность изменений в выкладке товара, — рассказывает Андрей Себрант. — Истории о том, что неявные данные будут неожиданным образом интерпретироваться для предложения новых товаров клиентам, будут только множиться. По мере того как мы все больше оцифровываем нашу жизнь, офлайновые магазины научатся вести себя так же адаптивно, как и веб-страницы, меняя выкладку по дням и часам. Этот мир, возможно, консерваторам будет не очень приятен — слишком адаптивные системы многих пугают».

Большие данные идут к вам

Легендой о точном попадании стала история про американскую школьницу, которой местная торговая сеть присылала скидочные купоны на детскую одежду и кроватки. Ее отец устроил скандал, но потом ему пришлось извиниться перед торговцами. Оказывается, он не знал о предстоящем пополнении семейства. Зато торговцы по перемене вкусов покупательницы могут предсказать не только беременность, но и примерные сроки рождения ребенка.

Не каждому хочется оказаться в прицеле таргетирования. Поэтому регулярно в общественном поле возникают скандалы с очередным нарушением приватности. И чаще всего в фокусе гнева оказываются интернет-компании, собирающие информацию о посещении сайтов при помощи специальных log-файлов — куков. «Куки имеют давнюю офлайновую предысторию. Только в России не особо вдумчивые торговые сети пытаются использовать карты лояльности именно для поддержания лояльности, рассчитывая, что скидки в пять процентов будет достаточно для удержания клиентов. Во всем остальном мире карточки постоянных покупателей появились как инструмент сбора информации и отслеживания поведения клиентов. Database marketing возник еще в 70–80-е годы прошлого века, когда интернета не было, для оптимизации работы крупных торговых сетей. Но весь анализ куков аналогичен математике, связанной с отслеживанием карт лояльности. Например, стиранию куков в браузере соответствует потеря карты в офлайновом мире. Именно из-за вытеснения конкурирующими методами по мере распространения оплаты банковскими картами и онлайн-торговли популярность карт лояльности как маркетингового инструмента снижается», — рассказывает Андрей Себрант.

Data science в ее нынешнем виде — лишь временный суррогат, результат технических ограничений. Пока приходится ограничиваться анализом отдельных сегментов и групп, сами методы еще весьма грубы: раз спросив в поисковике про летние шины, приходится наблюдать объявления о них до следующей зимы. Но идеал data science — тотальная слежка и анализ поведения каждого потребителя для манипуляции его выбором.

Наш мир и дальше будет покрываться сенсорами, оцифровывающими нашу жизнь. Вскоре каждый мобильник может оказаться оснащенным датчиками, фиксирующими параметры нашего здоровья: пульс, давление, кожные реакции. Когда это станет стандартом обеспечения здравоохранения и каждый из нас будет включен в постоянный мониторинг, скрыть имитацию оргазма уже не удастся никому. Но куда больше, чем физиология, человека индивидуализируют его тексты и мысли. Если с мыслями работать только учатся, то методы анализа любых по объему массивов текста уже отработаны. В потоке электронных писем пока фильтруют только спам и потенциальных террористов. Министерство внутренней безопасности США даже раскрывает длинный перечень ключевых слов, по которым осуществляется мониторинг интернета: от «Аль-Каиды» и «теракта» до «исламистов» и «свинины».

Скорее всего, культурные нормы, определяющие границы личного, и дальше будут постепенно размываться во благо торжества общества потребления, в котором удастся прогнозировать индивидуальное поведение каждого. Мы уже заплатили приватностью за безопасность и удобство: камеры слежения, мобильные телефоны, банковские карты. С большой вероятностью мы расстанемся и с ее остатками в обмен на здоровье и экономическое благополучие. Ведь тотальный контроль и прогнозирование не только ускорят рост ВВП, но и позволят практически свести на нет структурные кризисы. А самое главное, позволят окончательно выстроить совершенное общество потребления. Безусловно, статистические методы далеко не так совершенны с точки зрения качества прогнозирования, как понимание причинно-следственных связей. Но в чуть более отдаленной перспективе бурный рост нейронаук сможет компенсировать этот недостаток, даже если не удастся смоделировать работу мозга, — первые попытки читать мысли уже можно считать удачными.

В марте 2012 года администрация Барака Обамы объявила о программе поддержки исследований и разработок в области Big Data стоимостью более чем 200 млн долларов, приходящихся на Национальный научный фонд, Национальный институт здоровья, министерство обороны и энергетики, Геологическую службу США. В числе поддержанных — проект создания открытого доступа к 1000 расшифрованных геномов общим объемом 200 терабайт.   

График 1

Общий объем цифровых данных в мире

График 2

Доля автоматически сгенерированных данных