Эксперименты на принудительный выбор

 

Первый вид экспериментов на предвидение, известный как «эксперимент с принудительным выбором», был популяризирован Джозефом Б. Райном и его коллегами в Университете Дьюка еще в 1930-е годы[249]. Обычно испытуемый просматривал пять карточек. На каждой изображался один из следующих символов: крест, волнистые линии, круг, квадрат и треугольник. Эти карточки, известные как карточки Зенера (по имени придумавшего их психолога Карла Зенера), Райн широко применял в ранних исследованиях.

В этом эксперименте, состоящем из ряда повторяющихся заданий, участника просят выбрать ту из пяти карточек, которая, как ему кажется, выпадет далее в результате случайного выбора. Принцип действия эксперимента напоминает стрельбу по мишеням, когда серия простых шагов совершается с намерением попасть в цель, поэтому в обоих случаях типичны такие слова, как попасть, промахнуться, цель и попытка.

Если участник угадал верно, считается, что он попал в цель, в противном случае он промахнулся. Для эксперимента с пятью возможными целями среднестатистическая случайность выбора должна составить 20 % от общего числа попыток. Если же после множества попыток участник получает результат, превосходящий 20 %, тогда есть основания предполагать, имея полную уверенность в отсутствии подсказок со стороны, что он использовал свой дар предвидения. После этого применяется простой статистический подсчет, чтобы определить степень проявления дара предвидения.

В ранних экспериментах на предвидение в качестве цели использовались, как правило, карточки Зенера или обычные игральные карты, а случайный выбор совершался путем тасования колоды или бросания игральной кости. По мере развития компьютерных технологий для подобных экспериментов стали применять специальные программы на основе квантово-механических событий (считается, что предугадать их невозможно в принципе), с автоматической записью результата каждой попытки.

Между 1935 и 1987 гг. было проведено около 309 экспериментов с принудительным выбором на предвидение под руководством 62 исследователей, опубликовавших 113 статей в серьезных профессиональных журналах. Более 50 000 людей приняли участие примерно в 2 миллионах индивидуальных экспериментов, при временном интервале от нескольких миллисекунд до года между выбором карточек и установкой новых целей[250].

 

Метаанализ

 

Для оценки того, содержит ли в себе тот или иной набор результатов факт предвидения, психологи Чарльз Хонортон и Дайен Феррари провели систематизированный количественный обзор соответствующих публикаций, назвав его метаанализом. Метаанализ широко используется в медико-биологических науках – экологии, биологии, психологии и медицине. Он оперирует точно выверенными методиками, позволяющими совмещать данные множества экспериментов, каждый из которых исследовал одно и то же явление. Это создает статистический эквивалент единого, гигантского исследования.

Причина популярности метаанализа объясняется большим разнообразием биологических систем и тем, что исследуемые эффекты часто бывают так незначительны, что убедительное доказательство не может быть получено на основании нескольких экспериментов. Кроме того, в науке убедительность того или иного положения требует его успешной повторяемости независимыми исследователями. Таким образом, метаанализ одновременно показывает, какова вероятность существования предполагаемого явления и обнаруживает ли оно периодическую повторяемость со стороны различных исследователей.

Среди 309 экспериментов с принудительным выбором общий результат показывает малый, но устойчивый эффект с коэффициентом исключения случайности 1025 к одному. То есть десять миллионов миллиардов миллиардов к одному[251]. Это означает, что в цель попадали слишком часто, чтобы можно было говорить о случайном совпадении, и, следовательно, исследуемая группа людей продемонстрировала реальное владение своим навыком – в данном случае, предвидением.

Почему же предвидение не принимается официальной наукой, раз его реальность была доказана экспериментальным путем? Одна из возможных причин состоит в том, что исследователи склонны публиковать результаты своих успешных исследований и умалчивать об остальном, что приводит к дилемме избирательности результатов, известной как «проблема картотеки». Эта проблема выражается в обесценивании статистической оценки метаанализа, и ее решение требует адекватной оценки того, сколько неудачных результатов исследований могут скрываться где-то «в глубинах картотеки», а также то, насколько могут эти гипотетические исследования снизить вероятность известного результата.

Для данного случая было подсчитано, что гипотетическая картотека требует 46 неопубликованных исследований на каждый известный эксперимент для снижения фактора случайности. Тогда как эмпирическое правило для оценки уместности принципа картотеки определяет соотношение неопубликованных исследований к опубликованным как 5 к 1. В данном случае кажется крайне маловероятным, чтобы подсчитанное число неопубликованных исследований могло бы перевесить имеющиеся результаты. Дальнейший анализ показал, что 23 из 62 исследователей (37 %) сообщили об успешных результатах, так что общие результаты были получены не просто на основании пары чрезвычайно успешных и оттого вызывающих подозрение экспериментов.

Другое опасение по поводу достоверности метаанализа связано с тем, что эксперименты, показавшие положительные результаты, могли проводиться без должной тщательности, в то время как отрицательные результаты были получены благодаря тщательной подготовке. Если бы дела обстояли подобным образом, тогда при оценке качества методов, использованных в каждом исследовании, и последующем сравнении с подлинными результатами исследований мы должны были бы обнаружить отрицательное соотношение (то есть чем лучше подготовка, тем хуже результаты).

Среди экспериментов с принудительным выбором, взятых для этого метаанализа, 246 были описаны достаточно подробно, чтобы сделать возможным анализ их качества. И вместо обнаружения отрицательного соотношения было обнаружено малое положительное соотношение между качеством исследования и величиной эффекта, так что полученные результаты не определялись различиями в качестве экспериментов.

Еще один часто применяемый способ проверки состоит в сравнении величины измеряемого эффекта по результатам малых и больших исследований. Такая проверка призвана подтвердить, что если исследуемый эффект является подлинным, то исследования с большим числом испытаний или участников должны будут показать большую подлинность данного эффекта.

Отступление о важности статистики: Для наглядности представим, что мы подбрасывали монету и заподозрили, что она слегка искривлена. Мы считаем, что из-за этого искривления вероятность выпадения орла составит 51 % вместо 50 %. Если мы подбросим монету 100 раз, мы можем рассчитывать, что в случае нашей правоты орел выпадет на один раз больше, чем решка. Этот перевес на 1 % подтвердит наше подозрение, но способны ли 100 подбрасываний монеты обеспечить твердую уверенность в том, что она на самом деле искривлена?

Выясняется, что этого недостаточно. При 100 подбрасываниях исключение случайности для выпадения 51 орла вместо 50 составляет лишь 2 к 1. Это не очень убедительно. Поэтому мы продолжаем экспериментировать, подбрасывая монету снова и снова – и так 100 000 раз. И опять, при сложении результатов мы обнаруживаем тот же перевес в сторону орла на 1 %, что в данном случае означает на 1000 орлов больше, чем решек. Но теперь при вычислении коэффициента исключения случайности этого 1 % мы получаем соотношение 7,8 миллиарда к 1. Это обеспечивает очень убедительное доказательство того, что монета действительно искривлена. Почему же коэффициент соотношения случайности так изменился? Потому что, когда вы повторяете эксперимент множество раз, достоверность исследуемого эффекта постепенно повышается.

Этот пример с подбрасыванием монеты показателен в отношении малых эффектов, обычно наблюдаемых в экспериментах с принудительным выбором на достоверность психических феноменов. Но если эффект достоверен, тогда мы можем ожидать, что эксперименты с большим числом повторений обеспечат более убедительное обоснование. То есть мы можем ожидать положительного соотношения между величиной исследования и его статистическими результатами. Вот что позволил установить метаанализ экспериментов на достоверность предвидения с принудительным выбором.

Так достаточно ли всех этих подтверждений, чтобы признать существование предвидения? С точки зрения безнадежного скептика – нет, недостаточно. Некоторые ученые думают, что сама идея предвидения нелепа, а некоторые философы считают, что предвидение логически невозможно, так что оно не может существовать, каковы бы ни были факты.

Таким образом, для демонстрации убедительного эффекта сверхнормальных сил нам нужно нечто большее, чем простое свидетельство – нам нужно суперсвидетельство. Для этого нужно рассмотреть другие типы экспериментов на предвидение, чтобы понять, ведут ли различные подходы к тем же заключениям. Но перед этим имеет смысл коснуться темы «величины эффекта», поскольку она возникнет еще не раз в ходе обсуждения нашей темы.

 

Величина эффекта

 

Существует представление о том, что чем меньше проявлен эффект, тем выше вероятность того, что он возник случайно и не может считаться аргументом в пользу реальности какого-то явления. Кому какое дело до чего-то настолько ничтожного, что это почти невозможно увидеть или измерить? Возможно, перед Белым домом каждый день приземляются инопланетяне, но если они меньше муравьев, кому какое до них дело? Что ж, в следующий раз, когда подхватите грипп и будете сотрясаться от приступов кашля, вам стоит пересмотреть этот вопрос. Когда мы имеем дело с вопросом «реально ли это», размер не имеет значения.

И все же, когда речь идет о малых эффектах и маломасштабных экспериментах, обнаружить искомое может быть очень непросто, ведь это похоже на попытку настроиться на радиостанцию с очень слабым сигналом, заглушаемым шумовыми помехами. Именно поэтому была разработана техника метаанализа. Она позволяет получать большую уверенность в малых эффектах, при условии, разумеется, что эти эффекты реальны. Метаанализ не поможет вам создать волшебным образом несуществующий эффект.

Значение понятия «величина эффекта» варьируется в зависимости от масштаба измерений. В случае примера с подбрасыванием искривленной монеты величина эффекта в 1 % означает выпадение 51 % голов вместо 50 %, как было бы с прямой монетой. Другие виды экспериментов могут означать другие соотношения – например, при использовании четырех-пяти целей вместо одной монеты, предполагающей только два возможных варианта. Это делает значение величины эффекта в 1 % различным для разных исследований. В случае мета-анализа это может представлять проблему, если происходит совмещение исследований разных типов. Как если бы мета-анализ был применен одновременно к исследованию яблок и апельсинов – в каких-то свойствах он бы привел к ошибкам, хотя это не помешало бы установить, что оба объекта исследования имеют общее определение, то есть являются фруктами.

Для надежного измерения величины эффекта были разработаны различные формулы, не принимающие в расчет специфику экспериментальных методов. Величина эффекта для исследований с принудительным выбором на достоверность предвидения составляет 0,02, где сам эффект обычно варьируется от —1 до +1, а 0 означает, что эксперимент не дал ощутимого результата. Так что величина эффекта 0,02 довольно мала. Но важно знать, как мы можем быть уверены, что этот малый эффект не равен нулю? Это зависит от неопределенности величины эффекта, и именно для этого применяется статистический анализ.

Одним из способов интерпретации значения величины эффекта является анализ влияния одной переменной величины на другую. Например, нас интересует соотношение между уровнем интеллекта и популярностью или между активностью социальных служб и уровнем здоровья населения. Величины эффектов для этих двух примеров соотношений составляют 0,10 и 0,11 соответственно[252]. Для того чтобы выяснить, насколько эти величины объясняют взаимосвязь популярности и уровня интеллекта или насколько социальные службы влияют на уровень здоровья населения, статистический анализ требует возвести эти величины в квадрат.

Таким образом, в нашем примере мы получаем приблизительно 0,10 х 0,10 = 0,01, или один к сотне, то есть 1 %. Это означает, что в то время, как соотношение между популярностью и уровнем интеллекта вполне реально, наблюдаемый эффект объясняет лишь малую долю реальной картины. Остальной объем искомого эффекта, 99 %, объясняется множеством других факторов (таких как привлекательность, телосложение, половая принадлежность, личностные качества, образование и т. п.).

В некоторых областях, таких как фармакотерапия, даже крайне малые величины эффекта воспринимаются предельно серьезно из-за возможных последствий для здоровья человека. Например, соотношение величины эффекта между приемом тамоксифена, препарата, применяемого при лечении рака груди, и образованием крупных тромбов в венах, составляет всего лишь 0,01. То есть объяснительная сила этого соотношения очень мала и означает, что менее 1 % людей, принимающих тамоксифен, могут столкнуться с такой проблемой. Но риск этого так серьезен, что дает основания для противопоказаний при анализе риск-выгода.

Теперь давайте вспомним, что средняя величина эффекта экспериментов с принудительным выбором на достоверность предвидения составляет 0,02. Это довольно небольшой эффект, но статистическое сравнение показывает, что он вполне реален.