Как говорить о статистике и графиках

 

Большинству из нас сложно подсчитать вероятности и статистические показатели в уме, равно как и распознать тонкие закономерности, глядя на сложные таблицы, полные цифр. Мы предпочитаем живые картинки, четкие изображения и истории. Однако, принимая решение, мы придаем подобным материалам слишком большое значение по сравнению со статистическими данными. А также часто недопонимаем или неверно интерпретируем графики.

Многие боятся цифр — а значит, принимают на веру те данные, которые получают от кого-то. Подобное поведение может привести к неверным выводам и решениям. У нас есть тенденция мыслить критически только в отношении тех вещей, с которыми мы не согласны. В нашу эпоху информации псевдофакты часто маскируются под факты, дезинформация прячется под личиной информации, а цифры лежат в основе любого важного утверждения или решения. Статистические искажения встречаются повсеместно. Как говорит социолог Джоэл Бест, обман в статистике возникает не просто потому, что все вокруг — пронырливые лгуны[95]. За плохой статистикой стоят живые люди — часто искренние, не имеющие в виду ничего дурного, — просто порой они не думают критически о том, что говорят.

Тот же страх цифр, мешающий многим анализировать статистику, не дает порой возможности внимательно изучить цифры в графиках, названия осей и ту историю, которая за ними кроется. В мире полным-полно совпадений и могут происходить самые странные вещи — но тот факт, что с двумя вещами происходят изменения в одно и то же время, не означает, что одна из них вызвала другую или что они как-то взаимосвязаны скрытым третьим фактором х. Те, кто думает подобным образом и верит в такие ассоциации и совпадения, часто имеют в корне неверное представление о том, что такое вероятность, причина и результат, а также какую роль играет случай в том, как разворачиваются события. Вы можете, конечно, выдумать историю о том, что уменьшение количества пиратов за последние 300 лет и совпавшее с этим глобальное потепление непременно говорят о том, что пираты были просто необходимы для поддержания температурного баланса в мире. Но это результат недисциплинированного мышления и неверного истолкования фактов. Иногда бывает так, что распространители подобного рода ложных умозаключений знают больше вас и скрывают факты, надеясь, что вы ничего не заметите. Иногда они и сами попадают в ловушку собственных умозаключений. Но теперь-то вы знаете, что к чему.

 

ЧАСТЬ 2. ОЦЕНКА СЛОВ

 

Ложь, которая наполовину правда, — самая грязная ложь.

Лорд Альфред Теннисон

 

Откуда мы знаем?

 

Человек — существо социальное, мы любим рассказывать истории, и мнение другого человека легко может сбить нас с толку. У нас есть три способа получить информацию: мы можем ее найти сами, можем воспринять неосознанно или нам ее сообщат явно. Многое из того, что нам известно о мире, подпадает под последнюю категорию — кто-то когда-то нам рассказал о каком-то факте, и вот теперь мы знаем о нем из вторых уст. Мы часто полагаемся на экспертов в том или ином вопросе.

Я никогда не видел атом кислорода или молекулу воды, но есть огромное количество литературы, подробно описывающей проводимые эксперименты, — и это приводит меня к мысли, что все это существует. Или вот еще пример. Я не проверял самостоятельно, что американцы высадились на Луне, или что скорость света равна 300 тысячам километров в секунду, или что пастеризация действительно уничтожает бактерии, или что у здорового человека 23 пары хромосом. Я не проверял самостоятельно, что лифт в моем доме сконструирован по всем правилам и поддерживается в рабочем состоянии или что мой доктор на самом деле учился медицине, — мы просто доверяем специалистам, сертификатам, лицензиям, энциклопедиям и учебникам.

Однако нельзя забывать и о собственном мнении, банальной логике и силе рассуждения. Ловкачи и пройдохи, желающие содрать побольше денег или заставить нас голосовать себе во вред, попытаются завалить нас псевдофактами, сбить с толку необоснованными цифрами или отвлечь нас от сути информацией, которая при ближайшем рассмотрении окажется нерелевантной. Они будут маскировать факты.

Как мы можем противостоять этому? Анализировать то, что нам сообщают, — так же, как мы анализируем статистику и графики. Необходимые для этого навыки есть у любого 14-летнего подростка. Им обучают будущих юристов и журналистов, иногда о них говорят в бизнес-школах или на курсах повышения квалификации, но редко им обучают остальные категории граждан — тех, кому эти знания нужны больше всего.

Если вы любите смотреть детективные фильмы или читать статьи, написанные в жанре расследовательской журналистики, многие из необходимых навыков вам уже знакомы — ведь все эти истории напоминают слушания в суде. Судьи и присяжные оценивают конкурирующие заявления и стараются найти, где же в них правда. Существуют кодифицированные нормы права, касающиеся того, что считать настоящим доказательством. В Соединенных Штатах ни документы с неустановленной подлинностью, ни свидетельские показания, основанные на слухах и домыслах, таковыми не являются, хотя из любого правила есть исключения.

Представим, что кто-то посоветовал вам сайт, где написано, что вы станете умнее, если будете слушать Моцарта по 20 минут в день. На другом сайте утверждают, что это не так. И тут мы сталкиваемся с большой проблемой: человеческий мозг часто принимает решения, основываясь на эмоциях и пытаясь их затем оправдать. И ему это удается. Конечно, было бы здорово поверить, что если слушать красивую музыку по 20 минут в день, вы вдруг обнаружите себя в списке людей с самым высоким уровнем IQ. Поэтому для оценки подобного рода утверждений требуется время, может, даже больше, чем нужно, чтобы прослушать «Маленькую ночную серенаду», но необходимо избегать неверных выводов. Даже самых умных из нас можно обвести вокруг пальца. Стив Джобс отложил лечение своего рака поджелудочной железы, потому что следовал совету (взятому из книг и из интернета), что изменение диеты вылечит его[96]. К тому моменту, как он понял, что диета не работает, его болезнь уже не подлежала лечению.

Не всегда, однако, возможно определить правдивость и точность источника информации. Вспомните эпиграф, открывавший часть 1:

Проблемы вам создает не то, чего вы не знаете, а скорее то, в чем вы абсолютно уверены, тогда как на самом деле заблуждаетесь.

Я слышал эту фразу в начале художественного фильма The Big Short24, в котором ее приписали Марку Твену. У меня тогда возникло ощущение, будто я до этого где-то с ней встречался. Эл Гор тоже ее использовал в своем фильме An Inconvenient Truth25 девятью годами ранее и тоже приписывал ее Марку Твену. Но готовя к публикации свою книгу и проверяя факты, я не смог найти ни одного упоминания Марка Твена в связи с этой фразой. Установление авторства и сама цитата — главные примеры того, против чего она нас предостерегает. Режиссеры, сценаристы и продюсеры обоих фильмов не удосужились сделать свое домашнее задание — то, в чем они были так уверены, оказалось неправдой.

Поискав информацию на эту тему, я обнаружил статью в Forbes, где говорилось, что авторство установлено неверно[97]. Автор статьи, Найджел Рис, ссылался на Respectfully Quoted — словарь цитат, составленный Библиотекой Конгресса США. В этой книге собраны самые различные формулировки фразы, упомянутой в книге Джоша Биллингса26 Everybody’s Friend, or Josh Billing’s Encyclopedia and Proverbial Philosophy of Wit and Humor, написанной в 1874 году[98],[99]. «Вот так-то, — пишет Рис. — Марк Твен гораздо более популярный юморист, нежели Джош Биллингс, а значит, слова эти скорее принадлежат ему». Рис продолжает:

Давайте рассмотрим еще один случай. В президентских дебатах 1984 года Уолтер Мондейл27 заявил, что помнит слова Уилла Роджерса28 о Гувере29. Роджерс сказал: «Меня беспокоит не то, чего тот не знает. А скорее то, в чем он абсолютно уверен, тогда как на самом деле он заблуждается».

Так кто же прав? Когда имеешь дело с такими сложными вопросами, лучше всего обратиться к эксперту. Я спросил Гретхен Либ, сотрудника научно-исследовательской библиотеки колледжа Вассар, работающую в тесном сотрудничестве с кафедрой английского языка. Она предоставила мне этот анализ, который многое объяснил:

Цитаты — вещь сложная. Они эквивалентны статистике в том, что касается лжи, наглой лжи и т. д., — только выражены буквами. Старые цитаты выглядят как перевод с другого языка, в том смысле, что они скорее интерпретируют старые тексты, чем передают их дословно, потому что те авторы писали на выдуманном языке, это было что-то вроде языка Гекльберри Финна, который сейчас сложно читать и почти невозможно понять.

Я могла бы проверить и другие словари цитат, например Оксфордский, но это уже был бы абсолютно XX век.

Вам доводилось работать с HathiTrust? Это книжный корпус, собранный из научно-исследовательских библиотек, который стоит за Google Books, и это просто золотая жила, особенно если говорить о материалах, напечатанных до 1928 года.

И вот вам цитата, приписываемая Джошу Биллингсу в словаре Respectfully Quoted (у нас он есть в электронном виде; мне даже не пришлось вставать из-за стола!). Он ссылается на Оксфордский словарь цитат, которым я, как показывает практика, пользуюсь чаще, чем словарем Джона Бартлетта:

«Основная проблема людей заключается не в том, что они чего-то не знают, а в том, что они знают столько всего, что знанием не является». Фраза приписывается Джошу Биллингсу Оксфордским словарем цитат, 3-е издание. С. 491 (1979). Этому, однако, нет подтверждений в его бумагах, хотя нечто похожее можно найти в его книге Everybody’s Friend, or Josh Billing’s Encyclopedia and Proverbial Philosophy of Wit and Humor. Изначальное написание этой фразы было исправлено: «Как же мало из того, что я знаю, на самом деле является знанием» (с. 502). «Мудрость заключается не в том, чтобы узнавать как можно больше нового, а в том, чтобы узнавать меньше того, что истиной не является» (с. 430). «Я искренне убежден в том, что лучше не знать ничего, нежели знать то, что не является истиной» (с. 286).

Кстати, говоря об упоминании Уолтером Мондейлом Уилла Роджерса, словарь Respectfully Quoted отмечает, что эту цитату не нашли в бумагах Роджерса. Кроме того, если вы поищете информацию о Марке Твене, то обнаружите, что Биллингс называет юмориста и острослова Марка Твена своим самым верным корреспондентом, они предавались беседам и обменивались афоризмами, или, как бы назвал это Биллингс, «аффуризмами». Но как теперь разобрать, кто что сказал? Я обычно закатываю глаза, когда люди, особенно политики, цитируют Марка Твена или Уилла Роджерса, и думаю: «Генри Луис Менкен, мы вас почти не знаем». Критически мыслящий ум, подобный тому, что был у Менкена, сегодня редко встретишь. Бедный Джош Биллингс. Положение второго по популярности юмориста спустя столетие ставит авторство под сомнение.

Так что это случай, когда цитата оказывается полностью поддельной и по смыслу, и в том, что касается авторства. Основная идея приписывается Биллингсу, хотя не совсем ясно, принадлежала оригинальная мысль ему, Твену или, может, их приятелю Брету Гарту. Уилл Роджерс тоже фигурирует в этом списке, потому что цитата звучит так, как мог бы выразиться именно он.

Цитату, открывающую часть 2, я услышал от одного своего знакомого, который по ошибке запомнил ее следующим образом:

Самая грязная ложь — отчасти правда, которая ведет вас к неверным заключениям.

Прозвучало это правдоподобно. И было похоже на Теннисона, который мог бы придать красок абстрактному понятию и смешать метафизическое с практическим. Вот только когда я готовил книгу в печать и проверял факты, то нашел оригинальную цитату: «Ложь, которая наполовину правда, — самая грязная ложь». Вполне в стиле Курта Воннегута.

Столкнувшись с новыми или противоречивыми утверждениями, мы со знанием дела можем решить, что есть правда, а что нет, если будем располагать доказательствами. Мы тщательно изучаем все утверждения самостоятельно и принимаем решение, будучи и судьей, и присяжными в одном лице. Важная часть этого процесса — поиск экспертного мнения. Как же найти таких специалистов?

 

Поиск экспертов

 

Первым делом, пытаясь получить оценку утверждения каким-нибудь экспертом, нужно понять, кто решил, что это мнение экспертное. Если человек оказался свидетелем какого-то события, то насколько его показания заслуживают доверия?

Даже самые авторитетные эксперты могут ошибаться. В начале 2000-х правительство США сильно заблуждалось насчет наличия у Ирака оружия массового поражения. Если приводить примеры из других, менее политизированных сфер, то можно вспомнить о том, что ученые годами считали, что у человека 24 пары хромосом, а оказалось 23[100]. Конечно, мнение признанных экспертов — не последнее дело в оценке какого-то утверждения, но не стоит считать их истиной в последней инстанции, это лишь начало пути.

У экспертов два способа представлять свое мнение, и нам очень важно уметь отличить один от другого. В первом случае они рассматривают факты и доказательства, обобщают информацию и делают выводы, основываясь на этих данных. Они сообщают вам, какие имеются доводы, почему они имеют значение и как они помогли сделать соответствующие выводы. Именно таким и должен быть научный подход — так проходят судебные заседания, таким образом принимают решения в бизнесе, медицине и при разработке военных стратегий.

Во втором случае эксперты просто делятся своим мнением. Они такие же люди, как и мы. И так же, как и мы, могут придумывать истории, увязывать воедино собственные разрозненные наблюдения, гипотетические ситуации и непроверенные факты. Тут нет ничего постыдного — из такого ассоциативного мышления могут рождаться хорошие рабочие идеи, но их нельзя путать с логическими аргументами, в основе которых лежат доказательства. В книгах и статьях, написанных учеными и рассчитанных на широкую аудиторию, часто содержатся подобного рода домыслы — и мы ведь покупаем их, потому что нас впечатлили знания и красноречие автора. Но если делать все по правилам, автор должен снять с себя маску эксперта, позволить вам заглянуть на «кухню» и своими глазами увидеть какие-то доказательства.

Под словом «эксперты» обычно подразумеваются люди, прошедшие специальную подготовку, посвятившие много времени развитию своих профессиональных навыков и умений (например, обладатели ученой степени, пилоты, музыканты или атлеты), чьи знания и умения считаются высокими относительно уровня других людей. Как таковая профессиональная компетентность — это оценка, данная обществом, ведь мы сравниваем навыки одного специалиста с профессиональным уровнем другого. Компетентность относительна. Эйнштейн был экспертом в области физики 60 лет назад. Будь он жив — возможно, и не считался бы таким докой и не смог бы понять то, что известно на сегодняшний день Стивену Хокингу и другим физикам. Компетентность гарантирует некоторый уровень. Хотя астронавт Джон Янг — один из 12 людей, ходивших по поверхности Луны, было бы неверно сказать, что капитан Янг — эксперт по лунным прогулкам, хотя он, определенно, знает об этом больше, чем почти кто бы то ни было.

Специалисты со схожей квалификацией и уровнем знаний не обязательно всегда соглашаются друг с другом. А если даже и соглашаются, то не всегда правы. Тысячи и тысячи финансовых аналитиков делают свои прогнозы относительно биржевого курса, которые получаются совершенно неверными, а пара абсолютных новичков в этом деле как раз оказываются правы. В свое время все британские звукозаписывающие компании отвергли демозапись Beatles, а Джордж Мартин, молодой продюсер, не разбиравшийся в поп-музыке, записал их на EMI. Научно-исследовательский центр Xerox PARC, создавший графический интерфейс для компьютера, не видел никакого будущего для PC. Стив Джобс, у которого не было совершенно никакого опыта ведения бизнеса, был уверен, что они ошибаются. Успех, который демонстрируют новички в этих областях, обычно объясняют тем, что курс акций на фондовой бирже, так же, как и вкусы людей, — дело непредсказуемое. Всякое бывает. Не то чтобы эксперты никогда не ошибаются, просто чисто статистически у них больше шансов оказаться правыми.

Многим изобретателям и новаторам говорили, что «это не будет работать», и часто это говорили эксперты. Отличным примером может служить история братьев Райт и их соратников-изобретателей, претендовавших на создание летающего аппарата с мотором. Братья Райт были исключены из школы и, так вышло, не имели никаких знаний в области воздухоплавания или физики. Многие тогдашние эксперты, знания которых были довольно формальными, уверяли, что полет на аппарате тяжелее воздуха невозможен. Братья были самоучками, и их воля к победе сделала свое дело — они де-факто стали экспертами, когда построили функционирующий самолет тяжелее воздуха, тем самым доказав несостоятельность бытовавшего экспертного мнения. Менеджер бейсбольной команды «Окленд Эйс» Билли Бин собрал достойную команду, использовав при этом показатели эффективности игроков, которые недооценивали другие, — он два года подряд приводил своих ребят к плей-офф, существенно увеличив благосостояние команды.

Эксперты — часто дипломированные специалисты с ученой степенью, признанные в деловом мире. Сертифицированный механик завода, где собирают Toyota, может считаться экспертом по Toyota. А какой-нибудь независимый механик, работающий в сервисе за углом, возможно, даже самоучка, может быть таким же хорошим специалистом, а то и лучше, но его услуги обойдутся дешевле. Просто шансы на это будут меньше, и, конечно, довольно сложно самому определить квалификацию этого механика. Тут все дело в среднем уровне: средний сертифицированный механик с завода Toyota будет лучше знать, как починить ваш автомобиль, нежели какой-нибудь средний механик-самоучка. Но из всех правил бывают исключения, и чтобы принять правильное решение, вам придется просто включить логику. Знавал я одного механика, 25 лет проработавшего в дилерском центре Mercedes, где он был на хорошем счету и все его очень ценили. Однажды он захотел стать самому себе начальником и открыл собственный магазин. Благодаря 35-летнему рабочему стажу (на тот момент, как мы познакомились) его квалификация была гораздо выше, чем у молодых механиков, работающих в компании дилера. Или вот еще пример: независимый эксперт может специализироваться на определенных видах ремонта, в то время как дилер не так часто имеет с ними дело (например, переборка коробки передач или перетяжка сидений). В таком случае вам лучше обратиться к независимому механику, который проделывает все это по пять раз в месяц, в то время как официальный дилер сталкивался с этим лишь однажды, и то пока учился на механика. Это все равно что с хирургами: если вдруг вам понадобится операция, вы скорее обратитесь к врачу, который провел их несколько сотен, а не одну и не две. И не важно, как прошли эти две операции.

Достижения экспертов в области науки, технологии, медицины освещаются в специализированных журналах (сейчас поговорим об этом) или подтверждаются патентами и дипломами. Они могут быть признаны профессиональным сообществом, о чем свидетельствуют различные награды, как то Нобелевская премия, орден Британской империи или Национальная научная медаль США. Если говорить о бизнесе, то эксперты могут иметь опыт ведения или создания компании, знать, как сделать состояние (Уоррен Баффетт, Билл Гейтс). Конечно, существуют и менее значительные достижения (продавец месяца, автомеханик года, лучший мексиканский ресторан, лучший подрядчик-кровельщик).

Если говорить об искусстве и гуманитарных науках, эксперты могут работать в университетах, их знания могут быть признаны теми, кто занимает такие же академические или правительственные должности, а также экспертными комиссиями. Подобные комиссии обычно формируются из бывших победителей конкурсов или хорошо подготовленных сотрудников университетов — подобные принципы лежат в основе выдвижения на Нобелевскую премию и стипендию Макартура для гениев.

Если человек из области искусств или гуманитарных наук получил награду, например Нобелевскую или Пулитцеровскую премию, награду вашингтонского Центра Кеннеди30, музыкальную премию Polaris Music Prize31, премию Джуно32, Национальную книжную премию33, премию Нью-бери34, Букеровскую премию, — мы приходим к заключению, что он эксперт в своем деле[101]. Награды от коллег особенно важны для оценки квалификации. ASCAP (Американское общество композиторов, авторов и издателей) вручает награды тем, за кого проголосовали его же члены. Особенно важно, что те, кто присуждает премию, как раз и входят в состав экспертной комиссии. В случае с «Грэмми» или «Оскаром» процесс выбора номинантов происходит так же.

Вы можете поймать себя на мысли: «Погодите-ка. В случае с такими наградами всегда есть элемент политической игры и личного отношения. Мой любимый актер (певец, танцор) никогда не получал эту премию — готов поспорить, есть тысячи людей, которые думают, что он ничем не хуже победителя этого года». Но это совсем другое дело. Система вознаграждения устроена таким образом, чтобы в первую очередь убедиться, что каждый победитель заслуживает награды, а это не то же самое, что сказать, будто каждый, кто заслуживает, и будет победителем (вспомните наш разговор об асимметрии). Те, чьи заслуги были когда-либо отмечены достойными наградами, обычно дорастают до уровня экспертов (опять же, бывают исключения, например вручение «Грэмми» в 1990 году, когда приз получила группа Milli Vanilli, но позднее ее участники добровольно вернули награду; или вручение Пулитцеровской премии репортеру Washington Post Джанет Кук, которая была отозвана два дня спустя, когда обнаружили, что победившая в конкурсе история была сфабрикована; Габриэль Гарсия Маркес язвительно заметил тогда, что Кук нужно было присудить Нобелевскую премию в области литературы). Если оказалось, что эксперт виноват, компрометирует ли это его как специалиста? Возможно. Во всяком случае, это точно подрывает к нему доверие — зная, что эксперт солгал однажды, вы теперь должны быть начеку — это может повториться.