Жестокие, но проливающие свет натурные эксперименты

22 января 2012 года «Нью-Инглэнд Пэтриотс» играли полуфинал чемпионата НФЛ^[34] с «Балтимор Рэйвенс».

Оставалась минута игры. «Рэйвенс» проигрывали, но мяч у них. Следующие 60 секунд определят, какая команда сыграет в Суперкубке. Следующие 60 секунд смогут вознести футболистов на вершину славы. И последняя минута этой игры сделает то, что для экономиста гораздо важнее: эти последние 60 секунд помогут наконец понять раз и навсегда – работает ли реклама?

Информация о том, что реклама повышает продажи, очевидно, имеет решающее значение для нашей экономики. Но это безумно трудно доказать. По сути, это хрестоматийный пример того, как сложно различать корреляцию и причинно-следственные связи.

Нет никаких сомнений в том, что продукты, рекламируемые больше всего, и продаются лучше всего. Кинокомпания «20th Century Fox» потратила 150 миллионов долларов на промоушн фильма «Аватар», ставший в итоге самым кассовым фильмом всех времен. Но сколько из 2,7 миллиарда долларов, вырученных от продажи билетов, было получено благодаря мощному маркетингу? Отчасти причина этих безумных затрат на раскрутку проста: «20th Century Fox» точно знала, что продукт будет востребован.

Фирмы считают, что знают, насколько эффективна их реклама. Экономисты в этом сомневаются. Профессор экономики Чикагского университета Стивен Левитт, сотрудничая с компанией по разработке и продаже электроники, был далеко не в восторге, когда фирма попыталась убедить его, что знает, насколько хорошо работает ее реклама. Левитта интересовало, почему руководство компании было настолько уверенно.

Ему пояснили, что каждый год накануне Дня отца расходы на телевизионную рекламу увеличиваются. И конечно, каждый год накануне Дня отца случаются самые высокие продажи. Но, возможно, это происходит просто потому, что множество детей покупают своим папам в подарок именно электронику, и особенно часто – именно в День отца, независимо от рекламы.

«Они вывернули наизнанку причинно-следственную связь», – говорил Левитт на лекции^{149}. Конечно, реклама могла работать. Мы этого пока не знаем. «Это очень серьезная проблема», – добавляет он.

Поскольку очень важно решить эту проблему, фирмы хотят провести тщательные исследования. Левитт попытался убедить компанию провести контролируемые эксперименты, чтобы точно узнать, насколько эффективными были рекламные ролики. Поскольку А/B-тестирование на телевидении невозможно, нужно было понять, что происходит в некоторых регионах без использования рекламы.

Но представители фирмы ответили: «Ты с ума сошел? Мы не можем давать рекламу на двадцати рынках. Генеральный директор нас убьет». На этом сотрудничество Левитта с компанией закончилось.

Что возвращает нас к игре «Пэтриотс» с «Рэйвенс». Как результат футбольного матча поможет нам определить воздействие рекламы? Ну, он не в состоянии показать влияние той или иной конкретной рекламной кампании. Но он может продемонстрировать средний эффект рекламы многих крупных компаний.

Оказывается, в подобных играх проводится скрытый эксперимент с рекламой. Вот как это происходит. Ко времени проведения полуфинала компании уже купили и произвели рекламу для Супербоула. При этом когда фирмы решают, какую именно рекламу запустить, они еще не знают, какие команды сыграют в финале.

Но результаты полуфинала очень сильно повлияют на состав аудитории Супербоула. Каждая из двух команд привлечет огромное количество зрителей. Если победят «Пэтриотс», базирующиеся недалеко от Бостона, смотреть Супербоул будет гораздо больше людей из Массачусетса, чем из Мэриленда. И наоборот.

Для компаний это эквивалент подбрасывания монеты для определения, будут ли подвергнуты воздействию рекламы дополнительные десятки тысяч людей – в Балтиморе или в Бостоне. Это будет известно уже после того, как рекламные места куплены и реклама создана.

Теперь вернемся на поле, где Джим Нантц из CBS объявил окончательные результаты этого эксперимента.

Билли Кандифф из «Рэйвенс» готовится сравнять счет ударом с поля и, по всей вероятности, перевести игру в овертайм. 32 ярда до ворот. Удар! Берегись! Берегись! Ой, как плохо… И «Пэтриотс» отправляются в Индианаполис на 46-й Супербоул.

Спустя две недели на Супербоуле доля аудитории в Бостоне составила 60,3, а в Балтиморе – 50,2. В Бостоне рекламу 2012 года будут смотреть 60 тысяч человек.

В следующем году в полуфинале встретятся те же две команды. На сей раз победит Балтимор. Дополнительная реклама на Супербоуле-2013 окажется в Балтиморе.

 

Мы с главным экономистом Google Хэлом Варианом и экономистом университета Карнеги-Меллон Майклом Д. Смитом использовали эти два матча, а также все остальные Супербоулы в период с 2004 по 2013 год, чтобы проверить, работает ли – и если да, то насколько – реклама на Супербоуле. В частности, мы проверяли: когда компания рекламирует фильм во время этого события, происходит ли существенное увеличение продаж билетов в городах, представленных повышенным количеством зрителей?

Да, так и есть. Люди в городах команд-финалистов чемпионата посещают рекламируемые во время этого матча фильмы в значительно большем количестве, чем в других регионах. Там просто большее число людей увидело рекламу и решило пойти в кино.

Одно из альтернативных объяснений этого явления заключается в том, что, если ваша любимая команда участвует в Супербоуле, возрастает вероятность того, что вы пойдете посмотреть кино. Тем не менее мы протестировали группу фильмов, имевших аналогичные бюджеты в аналогичные периоды, но не рекламировались во время Супербоула. Увеличения посещаемости в городах команд – участниц финала не наблюдалось.

Ладно, как вы уже догадались, реклама работает. Это не удивительно.

Но дело не только в том, что она работает. Реклама оказалась невероятно эффективна. В самом деле, когда мы впервые увидели результаты, то дважды, трижды и четырежды перепроверили их, чтобы убедиться в их подлинности – отклик получился невероятно высоким. Прокатчики в нашей выборке заплатили за рекламное место во время Супербоула в среднем около 3 миллионов долларов за фильм. А получилии 8,3 миллиона долларов от увеличения продаж билетов – то есть отдача от инвестиций составила 2,8:1.

Этот результат был подтвержден Уэсли Р. Хартманном и Дэниелом Клэппером, двумя другими экономистами, самостоятельно и раньше нас пришедшими к этой идее. Эти специалисты изучали рекламу пива и безалкогольных напитков во время Супербоула^{150} – тоже учитывая тот факт, что ее могут чаще посмотреть в городах команд, претендовавших на победу. Эта реклама была очень дорогой, но и наши, и их результаты позволили предположить: она настолько эффективна с точки зрения повышения спроса, что на самом деле компании значительно недоплачивают за нее.

И что все это значит для наших друзей из компании по продаже электроники, с которой работал Левитт? Вполне возможно, реклама во время Супербоула более эффективна, чем где-либо еще. По крайней мере, наше исследование позволяет предположить, что реклама на День отца – хорошая идея.

 

Один из позитивных моментов эксперимента с Супербоулом заключается в том, что не надо специально назначать кого-либо в рабочую и контрольную группы. Все произошло совершенно естественно, поэтому такие исследования и назвали натурными. Откуда возникло это преимущество? Дело в том, что произвольные контролируемые эксперименты, какими бы результативными и простыми они ни были, в эпоху цифровых технологий по-прежнему не всегда можно осуществить.

Иногда мы не можем совместить действия во времени. Иногда, как в случае с компанией по продаже электроники, у владельцев нет желания проводить эксперимент со своей рекламной кампанией, потому что они слишком сильно вложились в результат, чтобы проверять его.

Иногда исследования просто невозможны. Предположим, вас интересует, как страна реагирует на потерю своего лидера. Дойдет ли дело до войны? Перестанет ли функционировать экономика? Или ничего не изменится? Очевидно, мы не можем убить значительное количество президентов и премьер-министров и посмотреть, что произойдет. Это было бы не только невозможно, но и аморально. На протяжении многих десятилетий университеты накопили институциональные обзорные списки (IRBs), которые определяют, является ли предложенный эксперимент этическим или нет.

Поэтому если мы хотим узнать причинно-следственные связи в определенном сценарии, а проведение исследования неэтично или иначе неосуществимо, что мы можем сделать? Мы можем использовать то, что экономисты, рассматривая понятие природы достаточно широко – вплоть до футбольных матчей, – назвали натурными экспериментами.

Хорошо это или плохо (ладно, явно плохо), в жизни часто есть место для значительной доли случайности. Никто не знает наверняка, что или кто руководит Вселенной. Но ясно одно: кто бы ни стоял во главе этого шоу – законы квантовой механики, Бог, прыщавый парень в трусах^{151}, моделирующий Вселенную на своем компьютере, – все они выходят за рамки того, что допускает IRB.

Природа постоянно экспериментирует с нами. Двух человек подстрелили. У одного пуля проходит в миллиметрах от жизненно важного органа. Другой погибает. Жизнь несправедлива. Но, если это вас утешит, плохие результаты позволяют экономистам учиться. Экономисты используют случайности для проверки причинно-следственных связей.

Из 43 американских президентов^{152} 16 стали жертвами серьезных покушений, четверо были убиты. Причины того, что некоторые выжили, были, в основном, случайными.

Сравните Джона Кеннеди и Рональда Рейгана^{153}. У обоих пули летели в наиболее уязвимые части тела. Пуля Кеннеди взорвалась в его мозгу, убив его. В случае Рейгана пуля остановилась в сантиметрах от сердца, что позволило врачам спасти ему жизнь. Рейган выжил, в то время как Кеннеди умер – просто повезло.

Эти покушения на жизнь руководителей и случайности, позволяющие одним выжить, а другим умереть, происходят во всем мире. Сравните Ахмата Кадырова в Чечне и Адольфа Гитлера в Германии. Оба были в сантиметрах от взорвавшейся бомбы. Кадыров умер. Гитлер изменил свое расписание^{154}, вышел из заминированной комнаты на несколько минут раньше, чтобы успеть на поезд, и таким образом выжил. Кадыров умер мгновенно^{155}.

Мы можем использовать лишь случайность – убийство Кеннеди, но не Рейгана, – дабы увидеть, что, в среднем, происходит после гибели лидера страны. Это и сделали два экономиста – Бенджамин Джонс и Бенджамин Олкен. Контрольная группа здесь – любая страна в годы сразу после покушения на президента. Например, США в середине 1980-х годов. А рабочей группой является любая страна в первые годы после убийства. Например, США в середине 1960-х годов.

В чем же проявляется следствие гибели лидера? Джонс и Олкен обнаружили, что такие убийства кардинально меняют мировую историю, поскольку страны сворачивают на принципиально иной путь развития. Новый лидер принуждает ранее мирные страны вступать в войну, а ранее воюющие – мириться. Новый лидер вызывает разорение экономически развивающихся стран и резкий старт экономического развития разоренных стран.

На самом деле результаты натурного эксперимента с убийством опрокинули существовавшие несколько десятилетий общепринятые представления о том, как функционируют страны. Многие экономисты ранее склонялись ко мнению, что президенты в основном являлись бессильными марионеточными правителями, действующими по указке внешних сил. Но натурный эксперимент Джонса и Олкена показал, что это совсем не так.

Многие не считают это исследование покушений на мировых лидеров примером работы больших данных. Число убитых или раненых президентов было, конечно, невелико – равно как число войн, возникших и прекращенных в результате этого. Велик был объем данных, необходимых для определения параметров траектории развития экономики, но, по большей части, время, к которому они относились, предшествовало цифровой эпохе.

Тем не менее такие натурные эксперименты – хотя сейчас они используются почти исключительно экономистами – это мощное оружие, которое обретает все более важное значение в эпоху точных и больших наборов данных. Это инструмент, которым ученые, занимающиеся сбором и анализом информации, будут пользоваться еще очень долго.

И да, как должно быть уже ясно, экономисты играют важную роль в развитии науки о данных. По крайней мере мне бы хотелось так думать, потому что и я приложил к этому свою руку.

 

Где еще можно найти натурные эксперименты – или ситуации, когда случайный ход событий помещает людей в рабочую или контрольную группы?

Ярчайший пример – лотереи. Именно за это экономисты так любят их – не участвовать, что нерационально, а изучать. Если вылетит шарик с цифрой три, мистер Джонс разбогатеет. Если это будет шарик с цифрой шесть, мистер Джонсон проиграет.

Для проверки причинно-следственных связей возникновения денежной лавины экономисты сравнивают тех, кто выиграл в лотерею, с теми, кто купил билеты, но проиграл. Подобные исследования, как правило, обнаруживают, что выигрыш в лотерею сделает вас счастливым в краткосрочной перспективе^{156}, но не в долгосрочной^[35].

Экономисты также могут использовать вероятностный характер лотерей для наблюдения за изменением жизни человека, чей сосед вдруг разбогател. Данные свидетельствуют: выигрыш вашего соседа в лотерею может повлиять на вашу собственную жизнь^{157}. Например, если ему и вправду так повезло, вы с большей вероятностью купите дорогой автомобиль вроде BMW. Почему? Экономисты утверждают, что почти наверняка причиной является ваша ревность к ставшему богаче соседу, купившему дорогую машину. Спишем это на человеческую природу. Если г-н Джонсон видит г-на Джонса за рулем совершенно нового BMW, г-н Джонсон захочет такой же.

К сожалению, г-н Джонсон зачастую не может позволить себе BMW: экономисты обнаружили, что у соседей выигравших в лотерею людей значительно больше шансов обанкротиться^{158}. Идти в ногу с Джонсом в данном случае невозможно.

Но натурные эксперименты не обязательно должны иметь такую же явно случайную природу, как лотерея. Едва вы принимаетесь выискивать случайности, как начинаете видеть их повсюду – и можете использовать их, чтобы понять, как действует наш мир.

Врачи являются частью натурного эксперимента. Время от времени правительство – по сути, по совершенно произвольным причинам – меняет формулы, использующиеся для вычисления оплаты работы врачей с пациентами, имеющими медицинскую страховку. Врачи в некоторых штатах обнаружили, что их оплата за определенные процедуры увеличилась. А их коллеги в других штатах констатировали уменьшение своих гонораров.

Два экономиста – Джеффри Клеменс и Джошуа Готлиб, бывшие одноклассники – проверили последствия этого произвольного изменения. Всегда ли врачи прописывают пациентам одинаковое лечение – такое, которое они считают наиболее необходимым? Или ими движут материальные стимулы?

Данные ясно показывают, что врачи могут быть мотивированы денежными стимулами^{159}. В округах с более высоким возмещением за процедуры некоторые доктора постоянно назначают самые дорогие процедуры – например выполняют больше операций по удалению катаракты, колоноскопий и МРТ.

А затем встает главный вопрос: становится ли их пациентам лучше после выполнения всех этих лишних процедур? Клеменс и Готлиб сообщили только о «небольших улучшениях». Авторы не обнаружили их статистически значимого влияния на уровень смертности. Этот натурный эксперимент показывает: создание более сильных финансовых стимулов для врачей к назначению определенных процедур приводит к тому, что некоторые доктора начинают назначать лечение, не оказывающее существенного влияния на здоровье пациентов и не помогающее им продлить или улучшить свою жизнь.

Натурные эксперименты способны помочь ответить на вопросы жизни и смерти. Они также могут помочь с ответами на вопросы, важные для некоторых молодых людей.

 

Stuyvesant High School (известная как «Стай») расположена в построенном за 150 миллионов долларов^{160} 10-этажном бежевом кирпичном здании с видом на реку Гудзон – в нескольких кварталах от Всемирного торгового центра в Нижнем Манхэттене. Одним словом, «Стай» впечатляет. Она предлагает 55 углубленных программ^{161} (AP, Advanced Placement) на семи языках, а также факультативы по еврейской истории, научной фантастике и азиатско-американской литературе. Примерно четверть выпускников^{162} принимают в университеты Лиги плюща^[36] или в какой-либо престижный колледж. В «Стайвесанте» преподает^{163} профессор Гарварда физик Лиза Рэндалл, стратег Обамы Дэвид Аксельрод, лауреат премии Оскар актер Тим Роббинс, а также писатель Гари Штейнгарт. На церемонии вручения дипломов выступали^{164} Билл Клинтон, Кофи Аннан и Конан О’Брайен.

Единственное, что впечатляет здесь еще сильнее, это стоимость обучения – 0 (ноль) долларов. Это государственная школа – наверное, лучшая в стране. Действительно, в недавнем исследовании по ранжированию всех государственных школ США было изучено 27 миллионов отзывов от 300 тысяч учеников и их родителей. В этом исследовании «Стай» заняла первое место^{165}. Неудивительно, что амбициозные нью-йоркские родители среднего класса и их не менее амбициозные потомки одержимы стремлением попасть сюда.

Для Ахмета Йилмаза^[37], сына страхового агента и учителя в Квинсе, «Стай» был «ТОЙ САМОЙ средней школой».

«Рабочий класс и семьи иммигрантов видят в «Стае» возможность подняться по социальной лестнице, – объясняет Йилмаз. – Если ваш ребенок ходит в «Стай», он попадет в один из лучших двадцати университетов страны. Семье будет хорошо».

Итак, как можно попасть в школу «Стайвесант»? Вам придется поселиться в одном из пяти определенных районов Нью-Йорка и набрать больше определенного числа баллов на вступительных экзаменах. Вот и все. Никаких рекомендаций, эссе, унаследованного признания или прочих подкрепляющих действий. Один день, одно испытание, одна оценка. Если ваш результат выше определенного порога, вы приняты.

В ноябре каждого года около 27 тысяч нью-йоркских малышей садятся за парты, чтобы сдавать вступительные экзамены. Конкуренция серьезная. Изо всех детей, пришедших на экзамены, в «Стае» окажется меньше 5 %^{166}.

Йилмаз объясняет, что его мама «работала как проклятая» и все свои деньги отдавала на подготовку сына к тесту. Проведя несколько месяцев подряд каждый будний день и все выходные за подготовкой к экзамену, Йилмаз был уверен, что попадет в «Стай». Он до сих пор помнит тот день, когда получил конверт с результатами. Он ошибся в ответах на два вопроса.

Я спросил его, что он чувствовал. «Как вы думаете, каково это, когда ваш мир разваливается на осколки, а вы всего лишь школьник?» – ответил он.

Утешительный приз казался ему убогим – Bronx Science, другая эксклюзивная и достаточно престижная государственная школа. Но это был не «Стай». Кроме того, Йилмаз чувствовал, что Bronx Science была более специализированной школой, предназначенной для будущих технических специалистов. Четыре года спустя его не приняли в Принстонский университет. Он поступил в университет Тафтса, а после него попробовал несколько вариантов развития карьеры. Сегодня он является достаточно успешным сотрудником в одной из компаний, хотя говорит, что у него «отупляющая» работа, и платят ему не так, как хотелось бы.

Более чем десятилетие спустя Йилмаз признался, что иногда думает о том, как бы сложилась его жизнь, попади он в «Стай». «Все было бы по-другому, – говорит он. – Буквально у каждого, кого я знаю, жизнь сложилась иначе». Он считает, что попадание в среднюю школу «Стайвесант» обеспечило бы ему более высокие результаты вступительных экзаменов в университетах Принстона или Гарварда (он уверен, что оба этих вуза значительно лучше Тафтса) и, возможно, более высокооплачиваемую работу.

Люди любят перебирать гипотезы, и это может быть что угодно – от развлечения до самоистязания. Какой бы была моя жизнь, если бы я сделал шаг к той девочке или к тому мальчику? Если бы я согласился на эту работу? Если бы я пошел в эту школу? Но на эти «что если» нет ответа. Жизнь – это не видеоигра. Вы не можете воспроизводить ее в различных сценариях до получения желаемого результата.

Известный писатель Милан Кундера замечательно сказал об этом в своем романе «Невыносимая легкость бытия»: «Жизнь человека происходит только один раз, и поэтому мы не можем определить, какие решения являются хорошими, а какие плохими. В каждой конкретной ситуации мы можем принять только одно решение; мы не получим второй, третьей или четвертой жизни, в которых смогли бы сравнивать различные варианты решений».

Йилмаз никогда не проживет жизнь, в которой ему удалось бы набрать на экзамене на два пункта больше.

Но, возможно, есть способ получить некоторое представление о том, насколько иной могла (или не могла) бы быть его жизнь – изучить большое число выпускников «Стайвесанта».

Тупой, наивный метод – сравнивать всех учеников, поступивших в «Стайвесант», и всех, кто не смог это сделать. Мы можем проанализировать результаты их тестов AP и экзаменов, а также в какие вузы они были приняты. Сделав это, мы бы обнаружили, что ученики, попавшие в «Стай», показали значительно более высокий результат в стандартизированных тестах и были приняты в существенно более престижные университеты. Но, как мы уже видели в этой главе, свидетельства такого рода сами по себе не убедительны. Может быть, причина гораздо более высоких результатов выпускников «Стайвесанта» в первую очередь заключается в том, что «Стай» привлекает самых лучших учеников? Корреляция не доказывает причинность.

Для проверки причинно-следственных связей в средней школе «Стайвесант» мы должны сравнить две практически идентичные группы: тех, кто учился в «Стае», и тех, кто не учился там. Нам нужен натурный эксперимент. Но где мы можем найти данные?

Ответ: благодаря ученикам – таким, как Йилмаз, – показавшим результат, очень близкий к необходимому для поступления в «Стайвесант»^[38]. Школьники, немного не дотянувшие до проходного балла, станут контрольной группой, а набравшие его – рабочей.

Нет никаких оснований подозревать, что ученики по обе стороны от проходного балла значительно отличаются по таланту или трудоспособности. От чего, в конце концов, зависит то обстоятельство, что один человек набирает на экзамене всего на один или два пункта больше, чем другой? Может быть, тот, кто недобрал пару баллов, просто поспал на десять минут меньше или съел недостаточно питательный завтрак? Может быть, тот, кто набрал более высокий балл, на тесте вовремя вспомнил особенно сложное слово, услышанное в разговоре с бабушкой, случившемся за три года до экзамена?

По сути, эта категория физических экспериментов (использование четкого численного ограничения) настолько результативна, что получила у экономистов собственное название – «разрыв непрерывности». В любое время существует точное число, разделяющее людей на две разные группы – разрыв (экономисты могут сравнить) или регресс (результаты людей очень, очень близки к точке разрыва).

Два экономиста, Кит Чен и Джесси Шапиро, воспользовались этим методом в федеральных тюрьмах, чтобы испытать влияние тяжелых условий заключения на вероятность будущих преступлений^{167}. Федеральным заключенным в США присваиваются баллы в зависимости от характера их правонарушения и криминальной истории. Сумма баллов определяет условия их содержания. Те, у кого достаточно высокий балл, отправятся в исправительные колонии, что означает меньше контактов с другими людьми, меньше свободы передвижения и, скорее всего, больше насилия со стороны охранников или других заключенных.

Опять же, было бы несправедливо сравнивать заключенных, отправленных в тюрьмы строгого режима, с теми, кого определили в тюрьмы с большим уровнем свободы. Среди первых будет больше убийц и насильников, среди вторых – наркоманов и мелких воришек.

Но те, кто находится чуть выше и чуть ниже разграничительного значения, оказались практически идентичны по причинам судимостям и истории. Однако эта незначительная разница приводит к получению совсем иного тюремного опыта.

Результат? Экономисты обнаружили, что заключенные, живущие в более суровых условиях, в большей степени склонны к рецидивизму. Жесткие условия содержания в тюрьмах не столько сдерживали их от преступлений, сколько закаливали и делали более жестокими.

Итак, как «разрыв непрерывности» применяется к условиям средней школы «Стайвесант»? Команда экономистов из Массачусетского технологического института и университета Дьюка – Атила Абдулкадир-оглу, Джошуа Энгрист и Параг Патхак – провела исследование. Ученые сравнили жизнь школьников из Нью-Йорка – как попавших в «Стай», так и недобравших немного баллов на экзамене. Иными словами, они изучили судьбы сотен учеников, как и Йилмаз, не сумевших ответить на экзамене в «Стайвесанте» на один-два вопроса. А затем сравнили их с жизнями сотен школьников, показавших лучший результат и превысивших проходной балл на пункт-другой. Показателями успеха были AP-баллы^[39], SAT-баллы^[40] и рейтинги колледжей, в которые они в итоге попали.

Потрясающие результаты этих ученых очень точно были обозначены в названии написанной по итогам исследования статьи: «Иллюзия элиты». Результаты средней школы «Стайвесант»^{168}? Никаких. Nada. Ноль. No. Ученики, стоящие по обе стороны проходного балла, в итоге набрали практически одинаковые AP-баллы, неразличимые SAT-баллы и в равных пропорциях поступили в престижные вузы.

Ученые пришли к выводу: единственной причиной лучших жизненных достижений выпускников «Стая» является то, что в эту школу попадают самые одаренные дети. Само по себе обучение в «Стае» не является причиной того, что его ученики лучше сдают экзамены или попадают в лучшие колледжи.

«Для большого числа учеников острая конкуренция на экзамене за место в школе, – писали экономисты, – не представляется оправданной для улучшения обучения».

Почему не важно, в какую школу ты ходишь? Ответ на этот вопрос могут дать несколько историй. Рассмотрим еще двух учеников – двух молодых жительниц Нью-Йорка Сару Кауфман и Джессику Энг. Обе с раннего возраста мечтали попасть в «Стай». Результат Кауфман оказался на единицу выше проходного балла. Добиться этого ей позволил ответ всего на один вопрос. «Я не думаю, что может быть еще что-то столь же захватывающее», – вспоминает Сара. Результат Энг оказался на один балл ниже проходного. Кауфман пошла в школу своей мечты, а Энг – нет.

Так как же сложилась их жизнь? Они обе сделали успешную и полезную карьеру – как и большинство людей, набравших на экзаменах наивысшие 5 % баллов. По иронии судьбы, Энг с большим удовольствием вспоминает свои школьные годы. Bronx Science, где она училась, была единственной средней школы с музеем Холокоста. Джессика обнаружила, что ей нравится курирование, а затем она изучала антропологию в Корнелле.

Кауфман же чувствовала себя немного потерянной в «Стае», где все ученики уделяли чрезмерное внимание рейтингам. Ей казалось, что слишком большой акцент делается на тестировании, а не на обучении. Она назвала свой опыт «натуральной сборной солянкой». Но это был опыт обучения. В школе она поняла, что будет учиться только в гуманитарном вузе, где бы делался больший акцент на обучение. И поступила в вуз своей мечты – Уэслианский университет. Там Сара обнаружила в себе страсть помогать другим людям, и сегодня она – адвокат по общественным делам.

Люди умеют приспосабливаться к обстоятельствам, и те, кто собираются стать успешными, найдут преимущества в любой ситуации. Факторы, приводящие вас на вершину – ваш талант и ваша энергия. Вам не нужны напутственные речи или другие преимущества, предоставляемые самыми лучшими модными школами.

Это только одно исследование. И его выводы, вероятно, ослабляет тот факт, что большинство учеников, не поступивших в «Стайвесант», оказались в другом отличном учебном заведении. Но появляется все больше доказательств того, что обучение в хорошей школе очень важно, хотя учеба в самой лучшей из них мало что добавляет к вероятности достижения успеха.

Возьмем колледж. Важно ли попасть в один из лучших университетов мира, такой, как Гарвард, или в серьезную школу, такую, как при университете штата Пенсильвания?

Опять же, есть четкая корреляция между экзаменационными данными в школе и тем, сколько денег люди будут зарабатывать. Спустя 10 лет после начала карьеры средний выпускник Гарварда зарабатывает 123 тысячи долларов^{169}. А средний выпускник другого университета – 87 800 долларов.

Но эта корреляция не подразумевает причинно-следственной связи.

Два экономиста, Стейси Дейл и Алан Крюгер, нашли гениальный способ проверить причинно-следственную связь влияния элитных вузов на будущий заработок своих выпускников. У ученых был большой набор данных о старшеклассниках, в том числе такие, где они подавали документы в колледж, где они были приняты в колледж, учились в колледже, их семьи, их доходы во взрослом возрасте.

Чтобы собрать рабочую и контрольную группы, Дэйл и Крюгер сравнили студентов с похожими историями, которые были приняты одной и той же высшей школой, но выбрали другие. Некоторые студенты, которых готовы были принять в Гарвард, отправились в университет Пенсильвании. Возможно, чтобы быть ближе к девушке или к парню. Или потому, что там работал преподаватель, у которого они хотели учиться. Другими словами, эти студенты, по данным приемных комиссий, были столь же талантливы, как и те, кто учился в Гарварде. Но в итоге у них оказался разный опыт обучения.

Итак, нашлись два студента с похожими историями, но один поступил в Гарвард, а другой выбрал университет штата Пенсильвания. Что было дальше? Результаты исследователей оказались столь же впечатляющими, как и данные исследования о средней школе «Стайвесант». Эти студенты закончили карьеру с более или менее одинаковым достатком. Если будущая зарплата – это мерило, то похожие студенты, принятые в престижные школы, но желающие учиться в разных университетах, заканчивают на примерно одинаковых ступенях карьерной лестницы.

Наши газеты пестрят статьями о чрезвычайно успешных людях, учившихся в вузах Лиги плюща. Это, например, основатель Microsoft Билл Гейтс и основатели Facebook Марк Цукерберг и Дастин Московиц – они все учились в Гарварде. (Кстати, все они бросили учебу, что ставит дополнительные вопросы о ценности образования в Лиге плюща).

Есть также истории людей, которые были достаточно талантливы для поступления в университет Лиги плюща, но решили пойти в менее престижный вуз^{170} и позже стали крайне успешны в жизни. Это, например, Уоррен Баффет^{171}, начавший карьеру в Уортонской школе бизнеса Пенсильванского университета, входящего в Лигу плюща, но переведшийся в университет Небраска-Линкольн, потому что тот был дешевле. Кроме того, он ненавидел Филадельфию и считал занятия в Уортоне скучными. Исследования показывают, что с точки зрения заработка выбор менее престижного учебного заведения – это прекрасное решение. По крайней мере для Баффета и ему подобных.

Эта книга называется «Все лгут». Это означает, что все люди врут – друзьям, в опросах и самим себе, – чтобы выглядеть как можно лучше.

Но и мир обманывает нас, предоставляя неверные, вводящие в заблуждение сведения. Мир показывает нам огромное количество успешных выпускников Гарварда, но меньше успешных выпускников государственных вузов вроде университета штата Пенсильвания. В результате мы верим, что поступление в Гарвард дает огромное преимущество.

Придумав правильный натурный эксперимент, мы можем верно интерпретировать данные, предоставляемые миром, и разобраться, что действительно полезно, а что – нет.^{172}

 

Натурные эксперименты также применимы к задачам, о которых говорилось в предыдущей главе. Они часто требуют большей детализации, разделения на рабочую и контрольную группы: на города в случае с Суперкубком; на графства при исследовании цен на медицинские процедуры; на учеников, немного не дотянувших до проходного балла и набравших чуть больше, в эксперименте со школой «Стайвесант». И детализация, как обсуждалось в предыдущей главе, часто требует намного больших – всеобъемлющих – наборов данных, которые становятся все более доступными по мере того, как мир оцифровывается. Поскольку мы не знаем, когда природа намерена провести очередные натурные эксперименты, то не можем устроить небольшой опрос, чтобы измерить результаты. Для вычленения того, что нас интересует, нам нужно много уже существующих данных. Нам нужны большие данные.

Есть еще один важный момент, о котором следует упомянуть, говоря о натурных экспериментах (либо наших собственных, либо тех, которые устроила сама природа), подробно описанных в этой главе. Большая часть этой книги была сосредоточена на обучении пониманию окружающего мира – с каким количеством расизма пришлось столкнуться Обаме, сколько человек действительно являются геями, насколько мужчины и женщины не уверены в своем теле. Но эти контролируемые или натурные эксперименты имеют и практическое применение. Они нацелены на улучшение процесса принятия решений, на помощь в понимании, какие действия полезны, а какие – нет.

Компании могут узнать, как заполучить больше клиентов. Правительства могут узнать, как использовать компенсацию для лучшей мотивации врачей. Студенты могут узнать, какие школы окажутся наиболее полезными. Эти эксперименты демонстрируют потенциал больших данных, способных заменить догадки, житейскую мудрость и ненадежные корреляции тем, что на самом деле работает правильно – причинно-следственной связью.

Часть III
Большие данные: обращаться с осторожностью

Глава 7
Большие данные-шманные: Чего они не могут?

«Сет, Лоуренс Саммерс хотел бы встретиться с вами», – получил я несколько загадочное письмо. Оно было от Лоуренса Каца, одного из моих ученых-советников. Кац не сказал, почему Саммерс заинтересовался моей работой, хотя позже я узнал, что ему это было известно.

Я сидел в приемной возле офиса Саммерса. После некоторой задержки бывший министр финансов США, бывший президент Гарвардского университета и лауреат крупнейших премий в области экономики предложил мне войти.

Саммерс начал встречу, зачитав мою статью о влиянии расизма на деятельность Обамы, которую распечатал для него его секретарь. Саммерс владеет методом скоростного чтения. В процессе он иногда высовывает кончик языка вправо, в то время как его глаза стремительно мечутся влево-вправо и вниз по странице. Саммерс, читающий текст научной работы, напоминает мне великого пианиста, исполняющего сонату. Он так сосредоточен, что, кажется, забывает обо всем остальном. Меньше чем за пять минут он прочел статью в 13 страниц.

«Вы говорите, что поисковые запросы в Google со словом «ниггер» предполагают расизм, – сказал Саммерс. – Это похоже на правду. Они предсказывают, где Обама получит меньшую поддержку, чем Керри. Это интересно. Мы действительно можем сказать, что Обама и Керри похожи?»

«Они были классифицированы политологами как имеющие подобные идеологии, – ответил я. – Кроме того, нет никакой связи между расизмом и изменениями в Белом доме. Результат остается неизменным, даже если мы добавляем элементы демографии, посещение церкви и владение оружием». Так говорим мы, экономисты. Я был весьма воодушевлен.

Саммерс остановился и уставился на меня. Он ненадолго повернулся к настроенному на канал CNBC телевизору. Затем снова посмотрел на меня, потом на телевизор, потом опять на меня. «Ладно, мне нравится эта статья, – сказал Саммерс. – Над чем вы еще работаете?»

Следующие 60 минут были, возможно, самыми интеллектуально головокружительными в моей жизни. Мы с Саммерсом поговорили о процентных ставках и инфляции, о поддержании порядка и о преступности, о бизн