Анализ данных, статистика и шарлатанство

Каковы ваши шансы дважды выиграть в лотерею Нью‑Джерси? Один на 17 триллионов. Но это произошло с Эвелин Адамс, которая, как может решить читатель, должна чувствовать себя особенно обласканной фортуной. Используя описанный выше метод, исследователи Мерси Уоррен Диаконис и Чарльз Фредерик Мостеллер оценили как 30 к 1 вероятность того, что кто‑то где‑то вообще окажется столь же везучим!

Некоторые люди превращают глубинный анализ данных в занятия теологией – в конце концов, древние жители Средиземноморья находили убедительные послания, наблюдая внутренности птиц. Интересное расширение анализа данных в направлении толкования Библии содержится в книге Майкла Дроснина «Библейский код»[41]. Бывший журналист Дроснин (явно невинный в смысле знаний статистики) при помощи работ некоего «математика» помог «предсказать» покушение на бывшего премьер‑министра Израиля Ицхака Рабина, расшифровав библейский код. Он проинформировал Рабина, который, очевидно, не отнесся к предупреждению серьезно. В книге «Библейский код» описываются необычные статистические фрагменты в Библии, помогающие предсказывать некоторые подобные события. Нет нужды говорить, что книга продавалась довольно хорошо, поэтому гарантировала выход продолжения, ретроспективно предсказывающего еще больше таких событий: «Библейский код. Обратный отсчет»[42].

Тот же самый механизм лежит в основе формирования теорий заговора. Как и «Библейский код», они могут казаться совершенно логичными и покорять в остальном вполне умных людей. Я могу создать еще одну, изучив сотни картин одного или нескольких художников и обнаружив что‑то общее между всеми ними (среди сотен тысяч мазков). Потом состряпаю теорию заговора вокруг тайного послания, которое якобы содержат все эти картины. Примерно это и сделал Дэн Браун, автор бестселлера «Код да Винчи»[43].

Лучшая книга, которую я когда‑либо читал!

Больше всего я люблю время, проведенное в книжных магазинах в бесцельном переключении с книги на книгу в попытке принять решение, стоит ли инвестировать время в их прочтение. Я часто совершаю импульсивные покупки, основанные на поверхностных, но гипнотизирующих мелочах. Нередко основанием для решения служит только обложка книги. На обложку нередко помещают фразу кого‑то известного или не очень известного или цитаты из книжных обзоров. Сказанное уважаемым человеком или напечатанное в популярном журнале склоняет меня к покупке.

В чем же проблема? Я склонен путать книжные обзоры, предназначенные для оценки качества книг, с обзорами лучших книг, совершая ту же самую ошибку выживаемости. Я ошибочно принимаю распределение переменных за распределение максимумов этих переменных. Издатель никогда не поместит на обложку книги ничего, кроме лучшей фразы о ней. Некоторые авторы идут еще дальше, обращаясь к прохладному или даже нелицеприятному отзыву и выбирая оттуда слова, которые, кажется, восхваляют книгу. Один такой пример показал Иол Уилмотт (на редкость яркий и непочтительный финансовый математик из Англии), который ухитрился объявить, что я «написал ему первый плохой отзыв», но использовал цитаты из него на обложке ради собственной выгоды (позже мы стали друзьями, что позволило мне, в свою очередь, использовать в этой книге его слова).

Впервые я был одурачен этой ошибкой в шестнадцать лет, купив книгу американского писателя Джона Дос Пассоса «Манхэттен»[44] из‑за фразы на обложке, которая принадлежала французскому писателю и философу Жан‑Полю Сартру, заявившему что‑то вроде того, что Дос Пассос был величайшим писателем нашего времени. Эта простая ремарка, возможно, вылетевшая в состоянии интоксикации или чрезмерного энтузиазма, привела к тому, что книги Дос Пассоса стали обязательными для прочтения в европейских интеллектуальных кругах, поскольку фразу Сартра по ошибке приняли за всеобщую оценку качества творчества Дос Пассоса, а не за то, чем она была, – просто яркую фразу. (Несмотря на такой интерес к его работам, Дос Пaccoc канул в безвестность.)

Бэктестер

Один программист помог мне разработать бэктестер. Это компьютерная программа, позволяющая на основе базы данных с историческими котировками проверять гипотетические прошлые результаты любой торговой стратегии средней сложности. Я могу применять только механические правила заключения сделок, например, покупать акции NASDAQ, если цена закрытия превысит среднее значение предыдущей недели на 1,83 %, и немедленно получать представление об их доходности в прошлом. На экране отражаются гипотетические результаты выполнения этой стратегии. Если они мне не нравятся, я заменяю пороговое значение, скажем, на 1,2 %. Можно усложнять правила. Я продолжаю попытки, пока не обнаружу то, что работает.

Что же я делаю? Это в точности та же задача поиска выжившего среди множества правил, поиска стратегии, которая, возможно, могла бы сработать. Я подгоняю правило под данные. Эта деятельность называется «отбор данных». Чем больше попыток, тем больше вероятность, что я по чистой случайности найду правило, работающее на прошлых данных. В случайной последовательности всегда есть закономерность, которую можно обнаружить. Я убежден, что на западных рынках существует ценная бумага, котировки которой на 100 % коррелируют с изменениями температуры в Улан‑Баторе, столице Монголии.

В техническом плане последствия даже хуже. Ученые Салливан, Тиммерман и Уайт в своей недавней выдающейся работе приходят к выводу, что правила, которые успешно применяются сегодня, могут быть результатом ошибки выживаемости.

Предположим, что некоторое время инвесторы экспериментировали с техническими торговыми правилами очень широкого спектра в принципе, с тысячами параметров правил различных типов. Постепенно правила, которые, как оказалось, исторически дают хорошие результаты, начинают привлекать больше внимания и считаются инвестиционным сообществом «серьезными кандидатами», а неудачные, скорее всего, забываются… Если за какое‑то время рассмотрено достаточно торговых правил, некоторые из них по чистой случайности, даже при очень большой выборке, покажут превосходные результаты, несмотря на то что на самом деле они не обладают возможностями предсказывать доходность. Конечно, в таком контексте выводы, сделанные исключительно на подмножестве «выживших» торговых правил, могут вводить в заблуждение, поскольку не учитывают полный набор изначальных торговых правил, большинство из которых, скорее всего, показывают низкую результативность.

К сожалению, я неумеренно использовал бэктестинг в своей собственной карьере. Десятки тысяч трейдеров применяют продукт под названием Omega TradeStation, специально созданный для бэктестинга. Для него разработан даже специальный язык программирования. Страдая от бессонницы, дневные трейдеры становятся ночными бэктестерами, вспахивая данные и изучая их свойства. Усаживая своих обезьян за пишущие машинки и не определяя, какую книгу им нужно написать, в итоге они найдут свои гипотетические золотые прииски. Многие из них слепо верят в это.

Один из моих коллег, человек с престижным дипломом, так развил в себе веру в этот виртуальный мир, что абсолютно потерял всякое чувство реальности. То ли последние остатки здравого смысла быстро исчезли под курганом симуляций, то ли он изначально отсутствовал, что и привело к таким занятиям, – я сказать не могу. Близко наблюдая за коллегой, я понял, что природный скептицизм, который имелся у него когда‑то, растворился без следа под весом данных, – он был большим скептиком, но, видимо, не там, где нужно. Ах, Юм!

Более тревожное расширение

Исторически медицина развивается методом проб и ошибок – иначе говоря, статистически. Теперь мы знаем, что между симптомами и лечением возможна совершенно неожиданная связь и что некоторые препараты успешны в лечении болезней по чистой случайности. Не могу похвастаться опытом в медицине, но в последние пять лет я постоянно читаю медицинскую литературу (достаточно долго для того, чтобы ознакомиться со стандартами, что мы увидим в следующей главе). Медицинские исследователи редко являются статистиками, а статистики – медицинскими исследователями. Многие врачи даже отдаленно не слышали об ошибках анализа данных. Правда, такие ошибки могут играть лишь небольшую роль, но она, конечно, есть. Одно недавнее медицинское исследование связало курение с сокращением риска заболевания раком молочной железы, что вступает в конфликт со всеми предыдущими данными. Логика подсказывает, что этот результат подозрителен, что это просто совпадение.