Чрезмерный акцент на том, что можно измерить

В марте 2012 года Зои Чанс, профессор маркетинга^{176} из Йельского университета, получила по почте маленький белый шагомер. Она решила изучить, как это устройство, измеряющее количество шагов, которое вы делаете в течение дня, и начисляющее за это баллы, может вдохновить вас больше заниматься спортом.

То, что произошло дальше, стало настоящим кошмаром больших данных. Чанс оказалась настолько одержима этим устройством и зависима от увеличения числа шагов, что стала ходить с ним везде – от кухни до гостиной, до столовой, до подвала, до своего кабинета. Она шагала рано утром, поздно ночью, почти целый день – 20 тысяч шагов за 24 часа. Она смотрела на шагомер сотни раз в день, и от ее человеческого общения остались только разговоры онлайн с другими пользователями шагомера – они обсуждали стратегии для улучшения результатов. Зои вспоминала, как положила шагомер на свою трехлетнюю дочь, когда та зашагала – потому что была одержима повышением результата.

Чанс стала настолько одержимой, что забыла, с чего все началось. Она забыла об основной цели достижения самого высокого результата – обретении хорошей физической формы, поэтому не позволяла дочери пройти даже несколько шагов без шагомера. При этом она не выполнила ни одного научного исследования. В конце концов она избавилась от этого устройства – после того, как однажды поздно вечером упала обессиленная при попытке сделать еще несколько шагов. Хотя Зои и является специалистом по обработке и управлению данными, этот опыт очень сильно повлиял на нее. «Это заставило меня начать скептически относиться к возможности получить дополнительную информацию и понять, что лишние данные – это не всегда хорошо», – сказала Чанс.

Эта история, конечно, крайность, но она указывает на потенциальные проблемы, которые могут возникнуть у людей, использующих данные для принятия решений. Цифры могут оказаться соблазнительными^{177}. Мы можем зациклиться на них и упустить из виду более важные вещи. Например, Зои практически перестала замечать все остальное в жизни.

Даже менее навязчивая влюбленность в цифры может иметь свои недостатки. Рассмотрим акцент на тестировании, которому в XXI веке в американских школах стали уделять особое внимание. На основе тестов учителя судят об успеваемости учеников. Конечно, стремление получить более объективные показатели успеваемости вполне понятно, но есть многое, что нелегко передать цифрами. Более того, все эти тесты заставляют многих учителей просто целенаправленно готовить учеников к ним. Некоторые даже, как было доказано в статье Брайана Джейкоба и Стивена Левитта, мошенничают при прохождении этих тестов^{178}.

Проблема заключается в следующем: то, что можно измерить – зачастую не совсем то, что нас интересует. Мы можем оценить, как студенты отвечают на вопросы, выбирая из нескольких ответов. Но мы не можем измерить критическое мышление, любопытство или развитие личности. Попытка увеличить один легко измеряемый показатель – результаты теста или количество шагов в день – не всегда помогает достичь того, чего мы пытаемся добиться.

В попытках самоулучшения этой ошибки не избежал и Facebook. Компания обладает тоннами информации о том, как люди используют сайт. Легко увидеть, сколько лайков имеет конкретный пост, сколько раз по нему кликнули, сколько раз им поделились. Но, по данным Алекса Пейсаховича, специалиста по информации Facebook, которому я уже писал об этих важных моментах, ни один из этих параметров не дает ответ на более важные вопросы: на что похож опыт использования сайта? Соединяет ли тот или иной пост пользователей с их друзьями? Способен ли он чему-то научить? Заставил ли смеяться?

Или рассмотрим информационную революцию в бейсболе в 1990-х годах. Многие команды стали использовать все более сложные виды статистики вместо того, чтобы полагаться на старомодный человеческий метод – принимать решения. Легко было измерить количество атак и подач, но не работу на поле, поэтому некоторые команды стали недооценивать важность обороны. В своей книге «The Signal and the Noise» («Сигнал и шум») Нейт Сильвер указал, что, например, «Окленд Эйс», увлекшаяся данными, занесенными в «Moneyball», в середине 1990-х проигрывала от восьми до десяти игр в год именно из-за паршивой обороны.

Решение не всегда принимается благодаря увеличению объема информации. Чтобы большие данные работали лучше, нужна особая приправа: решение человека и небольшие исследования, которые мы могли бы назвать малыми данными. В интервью с Сильвером генеральный менеджер и главный персонаж «Moneyball» Билли Бин заявил, что уже приступил к увеличению своего бюджета на сбор информации.

Чтобы заполнить пробелы в гигантском пуле данных, Facebook тоже должен был использовать старомодный подход: спрашивать людей о том, что они думают. Каждый день при загрузке новостей сотням пользователей Facebook задавались вопросы о том, что они там прочитали. Иными словами, Facebook теперь автоматически собирает данные (лайки, клики, комментарии) и дополняет их малыми данными («вы действительно хотите увидеть этот пост в своей Ленте новостей? Почему?»). Да, даже такой невероятно успешной и большой компании, как Facebook, иногда приходится использовать источник информации, всячески принижавшийся в этой книге ранее – небольшой опрос.

Действительно, из-за этого сбора малых данных в дополнение к основному массиву информации – огромному количеству кликов, лайков и постов – команда специалистов Facebook может взглянуть на статистику иначе, чем можно было предположить. В Facebook работают социальные психологи, антропологи и социологи – для поиска того, что не могут предоставить нам голые цифры.

Некоторые педагоги тоже становятся внимательнее к слепым пятнам в больших данных. Растет уровень национальных усилий по дополнению тестирования информацией, полученной из малых данных. Теперь стали широко распространены опросы студентов, возрос интерес к опросам родителей и наблюдениям за учителями (другими опытными преподавателями) во время урока.

«Руководство школьных округов понимает, что не следует сосредотачиваться исключительно на результатах тестов», – говорит Томас Кейн^{179}, профессор из Гарварда. Трехлетнее исследование Фонда Билла и Мелинды Гейтс подтверждает значение в образовании как больших, так и малых данных. Авторы проанализировали, что именно модель, основанная на оценках тестов, опросы учеников или наблюдения педагогов, является наилучшим вариантом оценки качества обучения школьников. Максимальный результат получается при объединении всех трех компонентов. «Каждый элемент вносит свой вклад в общую картину^{180}», – заключают авторы доклада.

Как я выяснил в Окале, штат Флорида, на встрече с Джеффом Седером, на самом деле многие операции с большими данными используют малые данные – чтобы заполнить пробелы. Напомню, Седер, получивший образование в Гарварде – гуру в мире лошадей. Он использовал уроки, извлеченные из огромного числа экспериментов, что позволило ему правильно спрогнозировать успех Американского Фараона.

Поделившись со мной информацией, а также компьютерными файлами и расчетами, Седер признался, что у него было и секретное оружие – Пэтти Мюррей.

Мюррей, как и Седер, имеет высокий интеллект и элитарное образование – диплом Брин Маур. Она также переехала из Нью-Йорка в глубинку. «Я люблю лошадей больше, чем людей», – признается Пэтти. Но Мюррей немного более традиционна в плане подхода к выбору лошадей. Она, как и многие агенты-лошадники, лично осматривает их, наблюдает, как они двигаются, проверяет их на наличие шрамов и синяков, а также беседует с их владельцами.

Затем Мюррей связывается с Седером, и они принимают окончательное решение относительно лошадей, которых будут рекомендовать. Мюррей вынюхивает проблемы коней – проблемы, которые Седер со всеми своими самыми инновационными и важными данными не отлавливает.

Я предсказываю революцию, основанную на открытиях больших данных. Но это не значит, что мы можем просто прошерстить информацию и получить ответ на любой вопрос или игнорировать этические соображения. И большие данные не исключают необходимости использования всего того, что люди развивали в течение тысячелетий, стремясь понять окружающий мир. Они просто дополняют друг друга.

Глава 8
Больше данных – больше проблем? Чего нам не стоит делать?

Иногда возможности больших данных настолько впечатляют, что становится страшно. Это ставит перед нами этические вопросы.