Дальнейшее развитие науки о данных

О науке о данных мы уже говорили. Это наука о методах анализа данных и извлечения из них ценной информации, знаний. Она тесно переплетена с такими областями как машинное обучение, наука о мышлении (cognitive science) и, конечно, с технологиями работы с большими данными. В свою очередь, большие данные – это огромные объемы неструктурированной информации: например, метеоданные за какой-то период, статистика запросов в поисковых системах, результаты спортивных состязаний, базы данных геномов микроорганизмов и многое другое. Для работы с такими данными используют математическую статистику и методы машинного обучения. Итог работы ученого по данным– прогнозная модель, некий программный алгоритм, который находит оптимальное решение поставленной задачи. Стоит отметить, что незаменимый помощник ученого по данным – специалист по машинному обучению, который выбирает архитектуру и обучающие алгоритмы.

В науке о данных слились воедино консервативные стратегические подходы, предметный анализ, приемы поиска шаблонов и аномалий данных, а также те алгоритмы поиска совпадений, нормализации, которые упоминались на страницах этой книги.

Наука о данных будет все больше использоваться в самых разных направлениях бизнеса. Приведем несколько примеров ее использования на практике. Для задач маркетинга эти технологии могут прогнозировать спрос на услуги компании. Для транспортных компаний – использоваться для выстраивания оптимального маршрута. Для производства – прогнозировать сроки выхода из строя оборудования и обнаружение дефектов продукции. В ИТ-сфере специалист в области науки о данных может разрабатывать ботов, поисковые алгоритмы, системы искусственного интеллекта. В сельском хозяйстве алгоритмы дают прогноз по урожаю, подбирают оптимальные системы землепользования. В страховом бизнесе – оценивают вероятность страхового случая. В медицине появляется все больше приборов, ставящих диагноз на основании данных, например, программа может указать поврежденные органы на рентгеновских снимках. Прогнозы погоды, которыми пользуемся, и те готовятся с помощью науки о данных.

Можно выделить три основных типа концепций, с которыми работает наука о данных[548]:

1. Представления о том, как наука о данных вписывается в организацию и конкурентную среду, включая способы привлечения, структурирования и развития команд, занимающихся наукой о данных; способы осмысления того, как наука о данных ведет к конкурентному преимуществу; и тактические концепции успешного выполнения проектов.

2. Общие способы анализа данных. Они помогают в определении соответствующих данных и рассматривают соответствующие методы. Эти концепции включают в себя процесс интеллектуального анализа данных, а также набор различных высокоуровневых задач интеллектуального анализа данных.

3. Общие представления о реальном извлечении знаний из данных, лежащие в основе огромного массива задач науки о данных и их алгоритмов.

Фундаментальное понятие здесь – сходство двух объектов, описываемых данными. Способность определять сходство лежит в основе различных конкретных задач. Ее можно использовать, например, для поиска клиентов, похожих на данного клиента. Все это составляет основу нескольких алгоритмов прогнозирования, которые оценивают целевое значение, такое как ожидаемое использование ресурсов клиентом или вероятность того, что клиент ответит на предложение.

Сходство также составляет основу поиска информации, при котором извлекаются документы или веб-страницы, соответствующие поисковому запросу. Наконец, именно это понятие лежит в основе нескольких общих алгоритмов рекомендаций. Грубо говоря, когда мы посещаем интернет-магазин в поисках товаров и он рекомендует нам «посмотреть что-то еще», – это наука о данных в действии.

Здесь стоит привести очень интересный пример противостояния двух компаний-гигантов в области производства персональных компьютеров, Dell и Compaq, в 1990-е годы. К середине 1990-х Compaq была лидером американского рынка, но потеряла все, вовремя не отреагировав на угрозу со стороны Dell, которая использовала технологии науки о данных и получила важнейшие конкурентные преимущества. Речь идет о введении веб-сервиса по кастомизации компьютера, исходя из личных предпочтений заказчика. Compaq не смогла ответить еще и потому, что у нее была другая бизнес-стратегия продаж. В то время как Dell продавала PC напрямую через интернет, Compaq отгружала компьютеры через розничные магазины. И когда Compaq попыталась скопировать веб-стратегию Dell, она столкнулась с жесткой реакцией от своих розничных продавцов, потому что модель продаж не подходила для этой стратегии. Compaq вынесла из этой ситуации жесткий урок, который заключается в том, что на этапе понимания бизнеса нам необходимо тщательно подумать о том, как данные и наука о данных могут обеспечить ценность в контексте нашей бизнес-стратегии, а также будут ли они делать то же самое в контексте стратегий наших конкурентов. Через какое-то время Compaq стало лихорадить, некогда процветающий бренд купил другой конкурент, Hewlett-Packard, и вскоре после этого компания исчезла с рынка.

Есть и другой громкий пример – противостояние Amazon и Borders. Когда-то обе сети конкурировали в области книжных продаж, но введение Amazon персонализированных рекомендаций отправило Borders на покой. О компании сейчас никто даже не вспомнит, а детище Джеффа Безоса – одна из крупнейших ИТ-компаний в мире.