Отсутствие единого стандарта

Все измерения должны быть стандартны. Должны существовать прозрачные, воспроизводимые, точные способы сбора данных, чтобы все, кто проводит исследования, формировали выборки одинаково. Возьмем шкалу Глисона17 — она весьма условна, а значит, вы можете получить разные заключения от разных патологов и, следовательно, диагностировать разные степени рака (образец ткани предстательной железы изучается под микроскопом и оценивается по шкале Глисона от двух до десяти — на основе этих данных можно высчитать вероятность развития рака)[73]. Психиатры расходятся во мнении относительно одного пациента: есть ли у него шизофрения или нет. Статистики не согласны с тем, что составляет суть психического феномена. Патология, психиатрия, парапсихология и другие сферы стараются создать определенные процедуры, проведение которых приводило бы к определенным результатам. Но почти все тесты дают неоднозначные ответы, из-за чего возникает несогласованность в диагнозах специалистов. Если вас попросят взвеситься, вы будете это делать в одежде или без нее, оставив кошелек в кармане или вытащив его? Если вам нужно будет проверить температуру стейка на гриле, вы остановитесь на одном результате или померяете температуру несколько раз и вычислите среднее значение?

Ошибки в измерениях

Участники опроса могут неправильно понять вопрос интервьюера; поставить не там галочку в анкете; дать не тот ответ, который собирались. Ошибки в измерениях могут возникнуть в любой научной дисциплине. По сообщениям физиков Conseil Européen pour la Recherche Nucléaire (Европейский совет по ядерным исследованиям, ЦЕРН), им удалось измерить скорость нейтрино, которая оказалась больше скорости света, — факт, который мог занять достойное место среди величайших открытий последнего столетия. Позже, однако, ученые признали, что в их измерениях был обнаружен недочет[74].

Ошибки измерения возникают, когда мы пытаемся выразить что-либо количественно. Президентские выборы, проходившие в 2000 году в Америке, свелись к ошибке измерения (и неверному фиксированию намерений избирателей): у разных комиссий, занимавшихся подсчетом голосов, получились разные результаты. Отчасти так вышло из-за отсутствия согласованности в способе подсчета бюллетеней — но даже когда ясность была внесена, результаты все равно были неоднозначными.

Или вот еще пример. Всем известно, что когда мы подсчитываем монетки в банке с мелочью, то всякий раз получаем разные результаты. Если встать на весы в ванной три раза подряд, мы получим разные результаты. Измеряя длину комнаты, мы можем каждый раз получать новые цифры. И это объяснимо: пружины в ваших весах — несовершенное в плане механики устройство. Пользуясь сантиметром, вы всякий раз держите его по-разному, он каждый раз располагается немного по-разному или просто недостаточно длинный, чтобы можно было измерить всю комнату, — и вам приходится помечать место на полу и делать измерения в два или три приема, что только увеличивает вероятность ошибки. Даже сам инструмент, с помощью которого вы проводите измерение, может быть неточным (конечно, у измерительных приборов есть класс точности, и чем дороже прибор, тем этот класс выше). Напольные весы в ванной могут иметь погрешность в несколько десятков граммов, а у почтовых весов она составляет унцию (почти 30 граммов).

Во время переписи населения США в 1960 году было зафиксировано 62 молодых женщины в возрасте от 15 до 19, у которых было по 12 детей и больше, а также огромное количество 14-летних вдов[75]. Здравый смысл уверяет нас, что не может такого быть, уж очень это все необычно. Видно, кто-то тут ошибся. Наверное, кто-то из респондентов случайно или специально отметил не ту графу, чтобы поскорее закончить с трудоемким опросом. А может, проказливые участники опроса навыдумывали диковинных историй, а исследователи и не заметили.

В 2015 году профессиональный клуб по американскому футболу New England Patriots был обвинен в обмане, так как якобы приспустил свои мячи, чтобы их было легче ловить. Защищаясь, представители клуба заявили, что была допущена ошибка измерения[76]. Давление в мячах обеих команд, Patriots и Indianapolis Colts, в тот день проверяли в перерыве после первой половины матча. Первыми проверяли мячи команды Patriots. Мячи Colts пролежали дольше в теплой раздевалке, из-за чего нагрелись, и потому давление в них было выше. Суд федерального округа принял эту информацию, равно как и другие показания, к сведению и заявил, что не видит в поступках команды злонамеренности.

Ошибки в измерениях возникают и тогда, когда ваш измерительный инструмент — весы, рулетка, анкета или тест — не предназначен для того, что вы собирались измерить, например когда вы рулеткой меряете толщину человеческого волоса или предлагаете респонденту анкету с вопросами о депрессии, когда на самом деле изучаете вопрос мотивации. Подсчитать кандидатов, получивших финансовую поддержку от избирателей, совсем не то же самое, что знать, как последние проголосуют, — ведь многие поддерживают сразу нескольких кандидатов.

Огромное количество чернил уже было потрачено на исследования, предполагавшие показать одно, но показавшие в результате другое. Тест на IQ — как раз из тех, что чаще всего получает неверную трактовку. Его используют, чтобы оценить умственные способности человека, как будто это какое-то одно качество. На самом деле, конечно, это не так — способности проявляются в самых разных формах: ориентировании в пространстве, знании искусства, математики и т. д. Как известно, в тестах на IQ есть некий перекос в сторону белых людей среднего класса. По результатам такого теста мы хотим понять, насколько человек подходит для усвоения определенной школьной программы или выполнения работы. Тесты на IQ могут предсказывать успешность испытуемых в таких ситуациях, но, вероятно, не потому, что человек с высоким IQ гораздо умнее, а потому, что у него много других преимуществ (экономических, социальных), которые и выявил тест.

Если в основе статистических данных, которые вы держите в руках, лежит исследование, постарайтесь выяснить, какие вопросы задавались, и посмотрите, достаточно ли они разумны и непредвзяты. Постарайтесь также понять, как проводили измерение исследуемого предмета и был ли тот, кто собирал данные, достаточно квалифицирован.

Определения

То, как понятия определяются и распределяются по категориям, влияет на статистические данные, которые вы получите в результате. С этой проблемой часто сталкиваются в естественных науках, например когда диагностируют стадию рака или описывают количество осадков. А в общественных науках такое случается, когда у респондентов спрашивают об их мнении или опыте.

Был ли сегодня дождь в Большом Сент-Луисе? Все зависит от того, что вы называете дождем. Если упала одна-единственная капля на территории в 8846 квадратных миль, входящих в состав Большого Сент-Луиса (согласно Административно-бюджетному управлению США), можно ли сказать, что шел дождь? Сколько капель должно упасть, над какой по размеру территорией и за какой период, чтобы мы считали, что в этот день выпали осадки?

В зависимости от выбранного рабочего определения у Бюро статистики труда США есть два разных способа замерить уровень инфляции: личные потребительские расходы (ЛПР) и индекс потребительских цен (ИПЦ) могут давать разные результаты. Если вы сравниваете два года или два региона страны, вам, конечно, нужно убедиться, что вы в обоих случаях используете один и тот же индекс. Если же вы просто хотите продемонстрировать, как сильно изменилась инфляция в последнее время, то, будь вы недобросовестным пользователем статистики, вы выбрали бы из двух тот, что производит большее впечатление, а не тот, что кажется более подходящим, — вы бы руководствовались пониманием их различий.

Или вот еще пример: что значит «бездомный»? Это тот, кто спит на тротуаре или в машине? Ведь у человека, может, и есть дом, но он не хочет туда идти. А как быть с женщиной, которая временно живет у подруги, потому что потеряла свою квартиру? Или с семьей, которая продала свой дом и теперь живет несколько недель в отеле, ожидая, пока в новом доме закончится ремонт? Или со сквоттером, который счастливо живет на заброшенном складе? При сравнении такого явления, как бездомность, в разных городах и штатах мы будем иметь дело с разными — с юридической точки зрения — определениями[77]. И даже если они будут стандартизированы, то могут отличаться от того, что вы вкладываете в это понятие. Отсюда и невозможность решить проблему в больших городах — мы просто не понимаем, кто подходит под этот критерий.

Всякий раз, сталкиваясь с новостным репортажем, в котором упоминаются новые исследования, нужно быть внимательным с определениями, которые получили те или иные элементы исследования, и решать для себя, приемлемы ли они и разумны ли. Это особенно важно, когда речь идет о таких острых темах, как аборты, брак, война, изменения климата, минимальная заработная плата, жилищная политика.

Нет ничего более политизированного, чем политика. Любое определение можно перекрутить и переиначить согласно тем целям, которые вы преследуете. Представьте, что кандидат на какой-то политический пост нанял вас, чтобы собрать информацию о своем оппоненте, Алисии Флоррик[78]. Если только ей не удалось покорить сердца абсолютно всех избирателей, они так и будут чем-нибудь недовольны. Вам нужно задать вопрос: «Есть ли что-нибудь, с чем вы не согласны или чего вы не одобряете в ее словах и поступках, даже при условии, что вы ее поддерживаете?» Теперь почти у всех найдутся хоть какие-нибудь претензии, и вы сможете ответить своему работодателю: «81 % опрошенных не одобряют действия Флоррик». Вы собрали данные по одной детали (пусть это было всего лишь небольшое недовольство) и создали некий массив однотипных жалоб, назвав его на новый лад — «неодобрение». А что, звучит почти справедливо.