Санне Блау

Во власти цифр. Как числа управляют нашей жизнью и вводят в заблуждение

Посвящается моей маме

Sanne Blauw

THE NUMBER BIAS

How numbers lead and mislead us

The Number Bias создана на основе новостных материалов издания The Correspondent (http://www.thecorrespondent.com, unbreaking news)

Авторы инфографики: Леон де Корт и Леон Постма – для The Correspondent

© Sanne Blauw, 2018

© Прокофьев Д. А., перевод на русский язык, 2022

© Издание на русском языке. ООО «Издательская Группа «Азбука-Аттикус», 2022

КоЛибри®

* * *

Статистика и данные могут говорить правду, а могут и лгать, как объясняет эта знаковая книга. Основные утверждения Блау нужно перечитывать как можно чаще.

Дэниел Финкельштейн, обозреватель The Times, экс-председатель Policy Exchange

Превосходное исследование того, как числа влияют на нашу жизнь и как важно верно интерпретировать ту статистику, которую нам предоставляют. Даже те, кто совершенно далек от математики, с помощью этой книги сумеет обрести компас для ориентации в нашем мире, заполненном всевозможными данными.

Анджела Саини, научный журналист, телеведущий

Провокационное, живое, чрезвычайно полезное произведение, написанное бойким пером.

Irish Times

COVID-19, табачная промышленность, климатический кризис… эффектная, занимательная история намеренных злоупотреблений статистикой… Та легкость, с которой написана книга Блау, послужит на благо общества, позволив многим прочесть ее и получить прививку от вируса численной дезинформации.

Стивен Пул, обозреватель The Guardian

Сочетая живое изложение с серьезным анализом, автор этой книги рассказывает о том, как числа могут вводить нас в заблуждение, если дать им волю.

Тим Харфорд, экономист, автор книг, колумнист Financial Times, ведущий программ BBC

Предисловие

Пандемия чисел

Президент Дональд Трамп взял со стола пачку бумаг и передал ее своему гостю:

– Посмотрите на эти графики.

Это происходило в Белом доме. Напротив Трампа сидел Джонатан Суон, политический обозреватель новостного сайта Axios, получивший в конце июля 2020 года возможность взять у президента получасовое интервью. Вот уже почти пятнадцать минут они говорили о коронавирусе и о кризисе, который пришел вместе с ним.

– Вот, например, – сказал Трамп, досконально изучив одну из страниц. – Тут видно: Соединенные Штаты ниже всех во многих категориях. Мы ниже всего мира.

– Ниже всего мира?

Суон нахмурился, сильно сощурив глаза. Озадаченное выражение его лица впоследствии стало популярным мемом в интернете.

– Мы ниже Европы.

– Что это значит? В чем именно?

Трамп передал листок Суону:

– Смотрите. Вот тут. Это случаи смерти.

Пока Трамп искал следующий график, Суон смотрел на страницу, которую дал ему президент.

– А, так вы о смертях среди всех заболевших! А я говорю о смертности в пропорции к численности населения, – поднял брови Суон. – И по этому параметру у США очень плохие показатели – хуже, чем у Южной Кореи, у Германии, у многих других.

– Нет, так нельзя, – покачал головой Трамп.

В 2018 году, когда эта книга вышла в свет в Нидерландах, я и понятия не имела, что ждет нас в будущем. Я подумать не могла, что к 2020 году некий вирус сокрушит не только Соединенные Штаты, но и весь мир и что десятки миллионов заразятся, а более 1,8 миллиона – и это число все еще растет – умрут.

Через полтора года после первой публикации моей книги числа неожиданно оказались в центре внимания. Все только и говорили, что про экспоненциальный рост, коэффициент воспроизводства и выход на плато. В группах WhatsApp публиковались расчеты, цифры фигурировали в каждом выпуске новостей, а знание статистики могло сделать вас знаменитостью.

Числа господствуют в современных обществах уже довольно давно. Собственно, об этом я и писала. Будь то экономическая статистика, результаты экзаменов, опросы общественного мнения, «большие данные» – числа влияют на мир. Я надеялась, что из моей книги станет предельно ясно: даже если числа вам не интересны, они правят вашей жизнью.

В 2020 году все и так уже это понимали. Влияние чисел на нашу жизнь никогда не было очевиднее, чем во время пандемии. Численные данные, связанные с коронавирусом, определяли, позволят ли вам встречаться с родными, покупать алкоголь, работать в офисе, ходить в школу, приглашать гостей, путешествовать, участвовать в футбольных матчах, ходить в театр, присутствовать на похоронах… Жизнь стала совершенно иной, и причиной тому были числа. Точнее, причиной, конечно, стал вирус, а цифровизация была совершенно необходима для того, чтобы держать вирус в поле зрения. Представьте себе мир без чисел. Сколько остается свободных коек в реанимации? Помогают ли принимаемые властями меры предотвратить распространение инфекции? Действуют ли вакцины? Мы бы не знали ответов на эти вопросы без чисел. Они приобрели жизненно важное значение.

Вот почему так важно уметь в них разбираться. Роль чисел в обществе велика настолько, что возникает соблазн злоупотреблений.

Обвинять Дональда Трампа во лжи – в этом нет ничего оригинального. За годы своего президентского срока он высказал более 30 000 ложных утверждений. Одно из особенно памятных – что инъекции дезинфицирующих средств якобы могут помочь в борьбе с последствиями COVID-19. А еще Трамп говорил, что при его администрации американская экономика стала лучшей за всю мировую историю, и уверял, что стена на границе с Мексикой уже практически построена.

Не будем забывать и о том, что, едва став президентом, он уже солгал о количестве зрителей на инаугурации. «Там, кажется, был миллион или даже полтора миллиона», – сказал Трамп в первый же день своего президентства. Трудно сказать точно, сколько людей пришло на Национальную аллею[1] – фотографии со спутников не получились из-за плотных облаков, – но специалисты согласны, что там и близко не было ни миллиона, ни тем более полутора. А советник президента Келлиэнн Конуэй, защищавшая его ложь по телевидению, произнесла при этом историческую фразу. Это не ложь, заявила она, а «альтернативные факты».

Как обозреватель по вопросам числовой грамотности я нечасто сталкивалась с подобными злоупотреблениями – когда числа просто выдумывают. Но некоторым хватает дерзости оперировать цифрами «с потолка» и – что еще серьезнее – утверждениями, которые всегда обладают большей убедительностью, если кажутся научными. Тут-то и пригождаются числа.

Это можно увидеть в разговоре Трампа с Джонатаном Суоном. Очевидно, кто-то в Белом доме распечатал пачку графиков статистической платформы Our World in Data[2] при Оксфордском университете, известной своими превосходными данными, и положил их на стол рядом с креслом Трампа. И даже Дональд Трамп, олицетворение «альтернативных фактов», подкрепляет свою позицию числами – реальными числами.

Числа помогают нам убеждать других в том, что мы правы. С ними наши суждения обретают впечатление научной обоснованности. Числа же не лгут, не правда ли? Измерить – значит познать. Слова подвержены предвзятости, а числа, как нам кажется, отражают реальность как она есть. Но какими бы важными ни оказались те или иные числа, моя книга показывает, что они никогда не бывают объективными. Число утрачивает свою объективность уже в момент измерения. Решения о том, что и как вы измеряете, субъективны по определению.

Взять, к примеру, действия нидерландского правительства по борьбе с коронавирусом. 19 мая 2020 года министр здравоохранения Уго де Йонг объявил о создании сводной панели численных данных по коронавирусу, которая должна была служить «основой для принятия решений». Регистрировать следовало все – положительные результаты тестирования, факты госпитализации, случаи заражения в домах престарелых… Исходя из такой медицинской статистики, принимались новые меры – закрывались магазины, торгующие товарами не первой необходимости, рестораны и школы. И борьба с коронавирусом приводила к тому, что жители Нидерландов начинали больше курить, теряли работу и впадали в депрессию.

В сводной панели не отражались цифры, описывающие образ жизни, уровень занятости или психическое здоровье. Предпочтение отдавалось другим числам, чтобы избежать перегрузки системы здравоохранения и обеспечить защиту наиболее уязвимых. Выбор понятен – но все же это лишь выбор. И речь здесь не только о статистике, но и об этике.

Это не значит, что числа – лишь чье-то мнение. Они подобны законам: это субъективные соглашения, которые можно подвергнуть тщательным испытаниям. Если договориться о том, что прогресс, интеллект или здоровье можно измерить, и о том, как это следует делать, то мы можем рассматривать изменения этих измерений с течением времени, факторы, которые на них влияют, и результаты, которых достигает наша страна по сравнению с другими.

Если числа используются правильно, они помогают нам познавать мир и изменять его. Но что означает «правильно используются»? Здесь в дело вступает статистика – методы стандартизации, сбора и анализа численных данных.

В этой книге я надеюсь убедить вас в том, что случайная выборка лучше, чем опрос пользователей твиттера; что корреляция – это не причинно-следственная связь; что погрешности необходимо учитывать и что утверждение Трампа о смертности от коронавируса в США было абсолютно неверным.

– Почему так нельзя? – спросил президента Суон.

– Нужно смотреть по… Вот, глядите. – Трамп протянул журналисту другую страницу. На ней была диаграмма с ярко раскрашенными столбцами. – Вот Соединенные Штаты. Нужно смотреть по случаям заболевания. Вот эти случаи.

Трамп продолжал говорить, но Суон попытался спросить еще раз:

– А почему не в пропорции к численности населения?

Утверждение Трампа не было чистой выдумкой, как полтора миллиона присутствовавших на его инаугурации. Он смотрел на коэффициент летальности (Case Fatality Rate, CFR), то есть на процентную долю умерших от болезни среди всех тех, кто получил положительные результаты тестирования. Это хорошо известный эпидемиологический параметр, позволяющий приблизительно оценить смертность от того или иного заболевания. К концу июля 2020 года, когда состоялось это интервью, значение CFR для Европы составляло 7,0 процента, а для всего мира – 3,9 процента. А для Соединенных Штатов? 3,5 процента – действительно «ниже», как и утверждал Трамп.

И все же что-то в его рассуждениях было не так. К счастью, Суону хватило проницательности сразу же это заметить. Низкое значение CFR не означало, что в США все в порядке. Даже если эта доля мала, количество умерших будет большим, если большим будет количество инфицированных. Поэтому Суон хотел увидеть, как соотносится число умерших с численностью всего населения. В конце июля смертность в Европе находилась на уровне 264 случая на миллион жителей, а в среднем по миру – 84. В США смертность составляла 453 случая на миллион человек. Она превышала европейскую более чем в полтора раза, а общемировую – более чем в пять раз. Если вкратце, то ситуация была прямо противоположной тому, что подразумевает слово «ниже».

Эта книга разоблачает злоупотребления именно такого рода. Если лучшая ложь содержит крупицу истины, то и числовой обман точно так же труднее всего раскрыть, если он связан с реальными цифрами. Такая фальшь бывает достаточно тонкой, чтобы остаться незамеченной, и достаточно убедительной, чтобы ее можно было распространять.

В своей книге я предложу вам средства, позволяющие распознать такой обман. Для этого вам не понадобится ученая степень по статистике – хватит и толики любопытства и здравого смысла. Не помешает и готовность признать свои недостатки.

– А некоторые говорят, что слишком много тестировать вредно. Вы ведь знаете об этом? – сказал Трамп Суону несколько раньше в том же интервью.

– Кто так говорит?

– Да почитайте книги, почитайте учебники.

– Учебники?

Через несколько минут Трамп сформулировал ту мысль, которую хотел высказать:

– Дело в том, что мы тестируем гораздо лучше, чем любая другая страна. Поэтому у нас больше случаев заболевания.

Здесь Трамп сделал с темой тестирования на коронавирус то же, что и с темой смертности: он начал подбирать доводы, которые подтверждали его точку зрения. Числа связаны не только со статистикой, но и с психологией. И этим грешит не один Трамп. Все мы так делаем.

Возможно, вы с надеждой ловите каждую новость о количестве вакцинированных, мечтая, чтобы все это наконец закончилось; может быть, вас раздражает исследование эффективности масок, потому что вам кажется, что это ограничение вашей свободы; или же вас печалит статистика смертности от коронавируса в вашей стране, потому что вы привыкли гордиться своим отечеством.

Все мы встречаем и такие факты, которые радостно принимаем на веру, и такие, которые мы предпочли бы немедленно отвергнуть.

Даже если уловки Трампа в этом интервью вас не обманули, вполне вероятно, что в каком-нибудь другом случае вы на них попадетесь. В марте 2020 года в Нидерландах получила широкое распространение статистическая таблица, в которой смертность от коронавируса в Италии, сильно пострадавшей в то время, сравнивалась с аналогичными данными по Нидерландам. Вывод ужасал: мы идем тем же путем, что и Италия!

Однако при анализе данных оказалось, что они отобраны и подогнаны именно к такому выводу. Каждый из двух наборов чисел начинался с некой произвольной даты, выбранной так, что при экстраполяции итальянских данных и их сравнении с положением в Нидерландах картина действительно получалась тревожной. Но стоило взять данные с другими, более логичными начальными датами, как траектория развития пандемии в Нидерландах оказывалась совершенно отличной от итальянской и менее пугающей. Именно такой тенденциозный подбор данных и использовал Трамп в своем интервью.

А как же довод о том, что число выявленных заболеваний увеличивается из-за более интенсивного тестирования? Он был широко распространен в Нидерландах летом 2020 года, когда пришла вторая волна пандемии коронавируса. Этот довод был не уловкой, а вполне обоснованным аргументом: то, как проводится тестирование, действительно влияет на статистику. Однако это не причина не принимать вторую волну всерьез; просто нужно быть еще осторожнее в истолковании данных. Я сама писала об этом в своих статьях. Но, услышав подобное из уст Трампа, я просто рассмеялась и не стала разбираться в его доводах. Ох уж этот мне чудак со своими учебниками! Мне тоже нужно держать себя в руках.

Пандемия показала нам числа как с лучшей, так и с худшей стороны, еще раз продемонстрировав и то, насколько они важны, и то, как ими можно злоупотреблять ради личной выгоды. Я привожу ряд примеров в этом дополненном издании.

Числа дают нам опору и уверенность в собственных силах. Это подбадривает, особенно в такие неопределенные времена. Но у чисел есть и границы: они не могут ни точно предсказывать будущее, ни говорить нам, какие принимать решения. Надеюсь, эта книга поможет вам увидеть цифры в истинном свете, поскольку они играют важную роль в нашей жизни сегодня и будут играть ее завтра и еще долго после окончания пандемии.

Утрехт, декабрь 2020 года

Вступление

Плененные числами

Она зашла в пыльный кабинет сквозь раздвижные двери и пожала мне руку:

– Хуанита[3].

Полинявший свитер был ей велик, отчего она, и без того невысокая, казалась еще меньше. Когда Хуанита села на складной стул напротив меня, я объяснила по-испански, что приехала в Боливию по заданию нидерландского университета, провожу исследование уровня счастья и имущественного расслоения и хочу задать ей несколько вопросов о ее собственной жизни и стране, в которой она живет.

Я произносила эту заученную речь уже не в первый раз. Десять дней я беседовала с жителями боливийского города Тарихи, расположенного недалеко от аргентинской границы. Я разговаривала с рыночными торговками, пила пиво с фермерами, выращивающими клубнику, ходила на семейные барбекю – лишь бы собрать как можно больше данных. Теперь я добралась со своей пачкой анкет до офиса женской организации, руководство которой предложило связать меня с empleadas domésticas – домработницами. Женщинами вроде Хуаниты.

– Начнем, – сказала я. – Сколько вам лет?

– Пятьдесят восемь.

– К какой этнической группе вы принадлежите?

– Аймара.

«Ага, – подумала я, – значит, она из одного из индейских племен». С такими людьми я раньше не встречалась.

– Семейное положение?

– Не замужем.

– Вы умеете читать?

– Нет.

– А писать?

– Нет.

Я продолжила задавать вопросы в том же духе – профессия, образование, есть ли у нее мобильный телефон, холодильник или телевизор.

– Я зарабатываю двести боливиано в месяц, – ответила она, когда я спросила о ее зарплате. Это было гораздо меньше минимальной заработной платы – 815 боливиано, которую установил незадолго до того президент Эво Моралес.

– Я боюсь, что, если попрошу добавить мне денег, начальник меня уволит. Я живу в carpita.

Я записала это слово, но не знала, что оно означает, пока не посмотрела в словаре. Оказалось, она жила в палатке.

В конце концов я добралась до главной темы своего исследования – уровня счастья и имущественного расслоения. Еще сидя за своим столом на одиннадцатом этаже в Роттердамском университете Эразма, я подготовила в PowerPoint пять диаграмм. Они соответствовали разным вариантам распределения доходов.

В первый же день исследовательской работы в Боливии я заметила, что мои вопросы об имущественном расслоении подходят не всем. Рыночные торговки, с которыми я беседовала, не понимали, что означают мои диаграммы. Могла ли я ожидать, что Хуанита, которая не умела ни читать, ни писать, поймет мой вопрос? Я решила пропустить эту часть анкеты.

Однако она, опередив меня, заговорила.

– Знаете, что не так с Боливией? – Хуанита выпрямилась на стуле. – Есть очень большая группа бедных и очень маленькая группа богатых. И разница между ними только растет. Неужели вас удивляет, что в этой стране больше никто никому не доверяет?

Сама того не зная, моя собеседница описала диаграмму А. При этом она еще и ответила на два других моих вопроса – о ее прогнозах на будущее и уровне доверия в ее стране. Я очень сильно недооценила ее. Я покраснела, но продолжила разговор как ни в чем не бывало. Мы дошли до последнего вопроса.

– Оцените по шкале от одного до десяти, насколько вы счастливы.

– Один.

– А насколько, как вы считаете, вы будете счастливы через пять лет?

– Один.

Мне кажется, именно во время этого разговора в 2012 году у меня зародились первые сомнения относительно чисел. До тех пор я в основном была потребителем чисел. Они встречались мне, когда я читала газеты или смотрела телевизор. Когда я училась в университете и преподаватели давали мне задания по эконометрике, я получала файлы с числами или скачивала официальные данные с сайтов разных организаций, например Всемирного банка.

Но на этот раз у меня не было заранее заполненной таблицы. Теперь данные собирала я. У меня уже был за плечами первый год аспирантуры; числа стали моей специальностью. Но разговор с Хуанитой поколебал мою уверенность. Я занималась исследованием уровня ее счастья, но обнаружила, что никакое число не может описать ее жизнь в палатке. Я слушала ее рассуждения об имущественном неравенстве, но могла только выбрать одну из диаграмм, A, B, C, D или E. Значительную часть того, что она мне рассказала, нельзя было подсчитать, но было необходимо учесть.

Хуанита помогла мне понять и еще одну вещь. Я сильно влияла на то, как выглядели мои числа. Это я решила, что уровень счастья – важный параметр и его можно выразить в числах. Это я придумала задавать этот абстрактный вопрос, используя диаграммы. Это я подумала, что Хуанита недостаточно умна, чтобы сказать что-нибудь полезное относительно имущественного неравенства. Я, я, я. Кто-нибудь другой, используя те же исследовательские вопросы, но придерживающийся другого мировоззрения или мнения, вероятно, получил бы другие результаты. Считается, что числа объективны, но я внезапно поняла, насколько сильно они связаны с личностью исследователя.

После разговора с Хуанитой я внесла ее данные в 80-ю строку своей таблицы в Excel: возраст – 58, зарплата – 200, уровень счастья – 1. Таблица выглядела такой же ясной и аккуратной, как все остальные таблицы, с которыми я работала целыми годами. Но я внезапно осознала, насколько обманчивы мои упорядоченные строки и столбцы чисел.

Я пристрастилась к числам еще в раннем детстве. Едва научившись считать, я особенно полюбила книжки, где нужно было соединять пронумерованные точки. Одно из моих первых воспоминаний относится к каникулам, на которые мы поехали в немецкий Шварцвальд: я проводила бессчетные часы, соединяя точки, чтобы из них получались бесконечные снеговики и облачка. Несколько лет спустя дедушка с бабушкой подарили мне будильник с радиоприемником. По ночам я лежала в кровати, глядя на светодиодный дисплей часов и составляя в уме всевозможные арифметические операции с этими четырьмя цифрами. В школе математика была моим любимым предметом; потом я продолжила заниматься ею и в конце концов защитила диссертацию по эконометрике. Я узнала все что можно о статистических основах экономических моделей. Я вычисляла, анализировала, программировала. И, как оказалось, я снова занималась тем же, что делала в свое время, соединяя точки: выискивала закономерности.

Но числа играли в моей жизни и другую роль. Они помогали мне найти мое место. С пяти до двадцати шести лет, в школе и в университете, мне ставили оценки. Они служили мне мерой моих успехов. Если я получала низкую оценку, я вешала нос. Высокая оценка приводила меня в восторг. Меня не беспокоило, что всего через несколько дней я забывала выученное, если только у меня получался достаточно хороший средний балл. Числа помогали мне ориентироваться и вне школы. Вернувшись из Боливии, я встала на весы: 56 килограммов. Я знала, что это соответствует индексу массы тела, равному 18,3, – и была очень довольна собой.

Не я одна опиралась в жизни на числа. Мои коллеги по университету продвигались по службе, если им удавалось напечатать в научных журналах много статей. Персонал больницы, в которой работала моя мама, с трепетом ожидал публикации ежегодного рейтинга 100 лучших больниц. А моего папу отправили на пенсию в тот самый день, когда ему исполнилось шестьдесят пять.

Лишь потом я поняла, что разговор с Хуанитой открыл мне нечто важное относительно чисел такого рода. Если я оказываю влияние на те числа, которые я собираю, то и другие точно так же влияют на числа, которыми руководствуются в жизни окружающие меня люди. Учителя рассчитывают проходной балл для экзаменов, врачи вычисляют оптимальное значение ИМТ[4], власти определяют, в каком возрасте вам следует перестать работать.

В 2014 году, окончив аспирантуру, я решила заняться журналистикой, потому что из разговора с Хуанитой я вынесла еще один урок: узнала, что истории, скрывающиеся за числами, еще интереснее, чем сами числа. Я начала работать корреспондентом сетевой новостной и издательской платформы Correspondent, специализируясь на материалах по числовой грамотности. Я хотела не только объяснять читателям, как рассчитываются числа, но и исследовать их значение в нашем обществе. Не следует ли положить конец господству чисел?

Вскоре стало ясно, что мои идеи близки многим. Читатели присылали мне однобокие опросы, сомнительные научные статьи, обманчивые графики. Многие из встречавшихся в них ошибок допускала и я, когда работала над своей диссертацией. Из выступлений на конференциях и рецензий на мои статьи мне становилось ясно, что мои выборки не репрезентативны, что я путаю корреляции с причинно-следственными зависимостями. Теперь я находила в точности те же ошибки в числах, которые журналисты используют для описания мира, депутаты парламента – для решения политических вопросов, а врачи – для принятия решений о состоянии нашего здоровья. Мир оказался переполнен ложными числами.

Меня беспокоили и сообщения другого рода. Я узнавала о родителях, которые получают из яслей табели с оценками своих годовалых детей, о полицейских, которые выписывают штрафы, чтобы выполнить план, о водителях Uber, которых увольняют за низкие рейтинги.

Мне становилось все яснее, что числа – от пенсионного возраста до количества кликов в фейсбуке, от ВВП до зарплат – управляют миром. Причем кажется, что могущество чисел только возрастает. В государственных и частных организациях как грибы вырастают алгоритмы обработки «больших данных». Все чаще и чаще решения принимают не люди, а математические модели.

Создается такое впечатление, что числа держат нас в состоянии какого-то массового гипноза. Если к словам придираются при каждом удобном случае, числам предоставлена значительная «свобода действий». Проработав несколько лет в журналистике, я пришла к выводу, что числа слишком сильно влияют на нашу жизнь. Они стали настолько могущественными, что мы уже не можем не обращать внимания на злоупотребления ими. Пора покончить с господством чисел.

Поймите меня правильно: эта книга не направлена против засилья чисел. Числа, как и слова, ни в чем не виноваты. Ошибаются люди, которые используют числа. Эта книга – о таких людях, об ошибках в их рассуждениях, об их интуиции, их пристрастности. Мы встретимся с психологами, которые маскируют статистикой свой расизм, со всемирно известным сексологом, который использовал сомнительные методы сбора данных, с табачными магнатами, которые манипулируют цифрами, губя тем самым миллионы жизней.

Кроме того, эта книга – о нас, потребителях чисел. Потому что мы позволяем числам ориентировать и дезориентировать нас. Числа влияют на то, что мы пьем, что едим, где работаем, сколько зарабатываем, где живем, с кем вступаем в брак, за кого голосуем, как решаем вопрос, брать ли ипотеку, как оплачиваем страховку. Более того, они влияют даже на то, заболеваем ли мы или выздоравливаем, живем или умираем.

У нас нет выбора; даже если мы не интересуемся числами, числа управляют нашей жизнью.

Цель этой книги – сделать мир чисел менее таинственным, чтобы каждый мог различать, когда числа используются корректно, а когда ими злоупотребляют. Чтобы все мы могли спросить: какую роль мы хотим отвести числам в своей жизни?

Числам пора знать свое место. Не на пьедестале, не на свалке, но там, где они и должны быть: рядом со словами. Но, прежде чем мы придем к этому, нам нужно начать с самого начала. Где и когда зародилась наша одержимость числами? Позвольте представить вам самую знаменитую медсестру в истории – Флоренс Найтингейл.

1

Цифры могут спасать

Она так и не смогла избавиться от воспоминаний об этих живых скелетах[5]. О британских солдатах – изможденных, покрытых вшами, мучившихся на гнилых деревянных койках и умиравших один за другим.

Переполненные госпитали, в которых Флоренс Найтингейл работала во время Крымской войны между Россией и Великобританией, Францией, Сардинией и Турцией, были настоящими бойнями. В конце 1854 года Найтингейл возглавила сестринскую службу военного госпиталя в Скутари[6], к востоку от нынешнего Стамбула. Но британская военная медицина была настолько плохо организована, что Флоренс приходилось заниматься множеством дел, не входящих в обязанности медсестры: готовкой, стиркой, реквизицией запасов. В некоторые дни она работала по двадцать часов. Через несколько недель она обрезала свои густые каштановые косы, не имея времени ухаживать за длинными волосами. Ее черные платья пачкались все сильнее, в белом чепце появилась дыра. Даже поесть ей удавалось не всегда, но, выкроив хотя бы несколько минут, она писала письма во внешний мир – и делала все, что могла, чтобы ее солдаты смогли выжить.

Но этого было недостаточно. Умирали слишком многие. «Мы хороним каждые сутки», – писала она в одном из своих многочисленных отчаянных писем Сидни Герберту, британскому государственному секретарю по вопросам войны. В самом страшном месяце, феврале 1855 года, умерло больше половины солдат, поступивших в госпиталь. Большинство скончалось не от ран, а от болезней, которые можно было предотвратить. Канализация была забита настолько, что земля под зданием госпиталя превратилась в одну большую выгребную яму. Испражнения стекали из отхожих мест прямо в водяные цистерны. Нужно было что-то менять.

Тем временем в Британии пало правительство, которое критиковали за некомпетентное ведение военных действий в Крыму. Новый премьер-министр Генри Джон Темпл решил взять другой курс. Он организовал Санитарную комиссию, призванную добиться того, чтобы в Скутари не умирало столько солдат. Помощь наконец подоспела 4 марта 1855 года, через четыре месяца после того, как в госпиталь прибыла Найтингейл.

Комиссия нашла положение дел «убийственным» и принялась за дело. С территории госпиталя убрали более двадцати пяти трупов животных (в том числе давно разложившийся труп лошади, который закупоривал водопровод). В крыше просверлили отверстия для лучшей вентиляции, стены побелили, заменили сгнившие полы. К концу войны, в 1856 году, госпиталь в Скутари изменился до неузнаваемости. В нем воцарились порядок и чистота, уровень смертности резко снизился. В этой метаморфозе сыграла решающую роль не только королевская комиссия, но и Флоренс Найтингейл. Без инициатив с ее стороны комиссия, вероятно, так и не добралась бы до Скутари. Когда Флоренс вернулась в Британию, ее встречали как героиню, «ангела-хранителя».

Но сама она считала, что не справилась со своей задачей. «Бедные мои солдаты, такие выносливые и терпеливые, – писала она в дневнике после отъезда. – Я чувствую, что была вам дурной матерью: я вернулась домой, а вы остались лежать в крымских могилах».

Ее преследовали видения бессмысленных смертей, переполненных палат, вшей. Хотя в госпитале в Скутари положение улучшилось, армейская организация ухода за больными и ранеными военнослужащими оставалась глубоко несовершенной. Расплачиваться за это приходилось человеческими жизнями.

Найтингейл решила добиваться реформ. Используя свой опыт, знакомства и недавно обретенную славу, она собиралась убедить власти в острой необходимости улучшить санитарно-гигиенические условия. И в этой борьбе у нее было острое как бритва оружие – числа.

Истоки нашей страсти к числам

Флоренс Найтингейл родилась в 1820 году и выросла в состоятельной британской семье. Ее отец, сторонник прогресса, считал, что девочки не меньше мальчиков достойны получать образование. Поэтому Флоренс и ее сестру Партенопею – обеих назвали в честь мест, в которых те родились[7], – учили физике, итальянскому, философии и химии.

А Флоренс учили еще и математике, в которой она показывала блестящие успехи. С самого раннего детства она любила считать и классифицировать. С семи лет она начала писать письма, которые часто сопровождала списками и таблицами. Кроме того, она обожала книги с головоломками и задачами вроде такой: «Если в мире шестьсот миллионов язычников, сколько потребуется миссионеров, чтобы приходилось по одному на каждые двадцать тысяч?»

Интерес к числам сохранился у нее на всю жизнь. И когда в 1856 году государственный секретарь по вопросам войны спросил у нее о положении в Крыму, она воспользовалась возможностью. В течение двух лет она работала над 850-страничным докладом, в котором при помощи цифр показала, чем именно плоха существующая армейская система медицинской помощи[8]. Самый важный ее вывод сводился к следующему: многие солдаты умирали от предотвратимых причин, в том числе раневых инфекций и заразных заболеваний. Даже в мирное время британские военные, которые лечились в военных госпиталях, умирали чаще, чем больные из числа гражданских. В два раза чаще. Это было не меньшим преступлением, считала Найтингейл, «чем выводить по 1100 человек в год на Солсберийскую равнину и расстреливать».

«Диаграмма причин смертности в армии на Востоке», опубликованная Флоренс Найтингейл в 850-страничном докладе о медицинском обслуживании в британской армии

Источник: Notes on Matters Affecting the Health, Efficiency, and Hospital Administration of the British Army (1858)

Но каким бы мрачным ни казался этот вывод, Найтингейл опасалась, что он затеряется среди сотен страниц слов и статистических данных. Поэтому она решила представить свою статистику в виде цветных графиков для наглядности. На самой знаменитой из ее иллюстраций мы видим две диаграммы – два года Крымской войны. Найтингейл показывает, по каким причинам каждый месяц умирали солдаты – прежде всего они гибли от болезней, которые можно было предотвратить.

Она разослала эти и другие графики влиятельным людям, среди которых был и бывший государственный секретарь Сидни Герберт, к тому времени председатель Королевской военно-медицинской комиссии. Кроме того, Флоренс намеренно допустила утечку своих результатов в печать[9] и попросила писательницу Гарриет Мартино написать для широкой общественности статью о необходимости реформ[10].

В конце концов Найтингейл удалось убедить власти при помощи чисел. В 1880-х годах многие из проблем были решены: солдаты стали лучше питаться, чаще мыться, казармы стали чище[11]. Положение вещей улучшилось настолько, что вновь построенные госпитали вскоре оказались слишком большими. «Если число больных сократилось настолько, что [Медицинская служба армии] не может заполнить свои госпитали, в этом, право же, нет нашей вины», – иронически замечала Найтингейл[12].

Флоренс Найтингейл одной из первых в мире использовала графики для внедрения перемен[13]. Несомненно, она была умна, трудолюбива и упорна, но, кроме того, она была человеком своего времени. В XIX веке впервые в истории началось широкое использование статистики, и эта тенденция сохраняется до сих пор. Именно тогда возникли национальные государства, и их растущие бюрократические системы требовали от своих граждан все больше информации. Кто умер, кто родился, кто с кем вступил в брак – сведения такого рода впервые стали регистрироваться в широких масштабах[14]. Философ Ян Хакинг назвал это событие «лавиной печатных чисел»[15], а исследовательница технологий Мег Лета Амброз считает его «первой волной больших данных»[16].

Систематизация численных данных о бедности и преступности; учреждение отделов записей актов гражданского состояния; публикация средних значений и графиков в ежедневной прессе – все это началось в XIX веке, менее двухсот лет назад, и возникло не на пустом месте. Чтобы понять, почему Найтингейл и ее современники начали широко использовать числа (и получили возможность это делать), нам нужно еще сильнее углубиться в историю и рассмотреть три важных события, предшествовавшие численной мании XIX века.

Начинаем стандартизацию

Человек считает с незапамятных времен[17]. Самое древнее из сохранившихся письменных сообщений содержит символы, обозначающие числа. На глиняной табличке из города Урука, который существовал на территории нынешнего Ирака, записано: «29 086 мер ячменя 37 месяцев Кушим». Эта запись сделана между 3400 и 3000 годами до н. э. Текст, вероятно, означает, что некий Кушим получил за период 37 месяцев чуть менее 30 000 мер ячменя.

Как предполагает историк Юваль Ной Харари, Кушим – это первый человек, чье имя дошло до нас. «Характерно, что первое в истории записанное имя принадлежало не пророку, поэту или завоевателю, а бухгалтеру»[18]. Несомненно, это обстоятельство говорит о многом, потому что числа были жизненно важны для развития общества.

Охотник-собиратель был способен запомнить всю информацию, в которой нуждался. Где водится дичь, какие ягоды ядовиты, кому можно доверять. Крестьянин, живущий в малочисленной общине, хранил все необходимые знания у себя в голове. Но после сельскохозяйственной революции люди начали сотрудничать в более крупных масштабах, на уровне поселений, городов и даже целых стран. Экономика усложнялась; вместо натурального обмена появились деньги; развивалась сеть экономических отношений, все более сложная для понимания. Человек был в долгу у одного, ждал возвращения долга от другого, платил за аренду жилья третьему. Так наш вид столкнулся с препятствием: мы уже не были способны запомнить все необходимое.

Особенно остро эта проблема стояла в государствах, собирающих налоги с большого числа людей. Чиновникам нужен был метод, позволяющий регистрировать все входящие и исходящие платежи. Этим методом стала письменность. Благодаря записи соглашений – законодательству – и отчетов о действиях людей – административной документации – можно было уже не полагаться только на человеческую память. И во многих из этих записей – как в случае с ячменем Кушима – присутствовали числа.

В развитии роли чисел имел важное значение не только сам тот факт, что мы начали их записывать, но и то, что именно мы записывали. Вернемся к существенному моменту в записи Кушима: «29 086 мер». В этом случае мы должны договориться не только о числе, 29 086, но и о том, что означает слово «мера».

На протяжении большей части истории человечества договоренности о единицах измерения носили сугубо локальный характер[19]. Скажем, во Франции площадь земельного участка измерялась в «бишере» (bicherées) – количестве «бише» (bichets), то есть бушелей зерна, необходимых, чтобы засеять эту пашню, или в «журналье» (journaliers[20]) – эта мера соответствовала площади, с которой сборщик винограда мог собрать урожай за один день[21]. В английском языке до сих пор сохранились следы таких старинных единиц измерения: a stone’s throw (букв. «камень добросить», то есть рукой подать), within earshot («в пределах слышимости»). Даже если в разных регионах использовали одни и те же единицы измерения, их точное значение могло варьироваться чрезвычайно широко. К примеру, в XVIII веке пинта во французской деревне Преси-су-Тиль была в три с лишним раза больше, чем пинта в Париже, всего в двух сотнях километров[22]. По имеющимся оценкам, во Франции XVIII века использовали до четверти миллиона разных мер длины и веса[23].

Два человека не смогут понять друг друга, если будут говорить на разных языках. Точно так же невозможно договориться, если по-разному использовать числа[24]. В 1999 году произошел инцидент, показавший, насколько опасным может быть отсутствие общего числового языка. В то время космический зонд Mars Climate Orbiter должен был достичь Марса. Однако 23 сентября 1999 года связь с зондом прекратилась. Впоследствии его так и не смогли найти. Как такое могло произойти? Для управления зондом требовалось взаимодействие двух компьютерных программ. Одна из них измеряла импульс в фунт-сила-секундах в соответствии с американо-британской системой, а другая использовала принятые во всем мире единицы – ньютон-секунды. В результате этого недоразумения зонд оказался на 170 километров ниже, чем планировалось, и, вероятно, разрушился в атмосфере Марса[25].

По счастью, в наши дни такие проблемы бывают скорее исключением, чем правилом, потому что почти все страны мира используют теперь Международную систему единиц. Но этот переход произошел не без трудностей – для него даже потребовалась революция. После Великой французской революции (1789–1799) революционеры решили отбросить все местные единицы измерения. Они предложили нечто новое: метрическую систему. Такие единицы, как метр и килограмм, хорошо согласовывались с идеями ученых того времени, а кроме того, что немаловажно, с их помощью страну предстояло сделать более управляемой[26].

Как государство может собирать налоги, если все используют разные меры длины? Разумеется, никак, но решение этой проблемы было найдено. На это ушло немало времени, но в конце концов метрическая система – впоследствии Международная система единиц – распространилась из Франции почти по всему миру. Всего три страны – Соединенные Штаты, Либерия и Мьянма – используют другие официальные единицы измерения, такие как фунты и мили[27].

Таким было первое из новшеств, которые легли в основу мышления Найтингейл: мы начали стандартизацию. Другими словами, мы договорились о том, как следует измерять определенные величины. Метр и килограмм были лишь началом. Во времена Найтингейл, полвека спустя, числа стали увлекать нас еще сильнее. Люди мигрировали из сел в города; переполненные, они трещали по швам; в них накапливались всевозможные проблемы – бедность, преступность, болезни[28]. Откуда взялись эти беды? И как с ними бороться? Этими вопросами задавалось все больше людей, как в правительстве, так и вне его.

Чтобы оценить серьезность этих проблем, предстояло разработать четкие категории: кого считать бедняком, преступником или больным? Например, знаменитый статистик Уильям Фарр, помогавший Флоренс Найтингейл в работе над ее отчетом, и его коллеги составили перечень заболеваний, который в конце концов взяла на вооружение Всемирная организация здравоохранения (ВОЗ). Найтингейл и сама использовала в своих графиках категории, показывая, сколько человек умерло 1) от предотвратимых болезней, 2) от военных ран и 3) по всем остальным причинам.

На первый взгляд определение таких концепций, как «заболевание» или «причина смерти», не имеет ничего общего с числами, но на самом деле это совершенно не так. Нечто можно выразить численно, только если дать ясное определение. Говоря словами философа Яна Хакинга, «подсчет жаждет категорий»[29].

Стандартизация привела к тому, что мы наконец-то стали общаться на одном и том же языке чисел. Сегодня люди во всем мире говорят о метрах и килограммах, о росте ВВП и уровнях IQ, о выбросах CO_2 и гигабайтах. Самым распространенным языком стал не китайский, не английский и не испанский, а язык чисел[30]. А он, в свою очередь, сделал возможным появление следующего новшества: мы начали собирать числа «по-крупному».

Мы начинаем собирать числа

Как мы видели на примере глиняной таблички Кушима, числа собирались и записывались на протяжении тысячелетий. Но в случае Кушима речь шла всего лишь о мелкомасштабных измерениях (историки полагают, что он мог отвечать за сырьевой склад при пивоварне)[31]. В последующие тысячелетия власти начали собирать числа в более широких масштабах. Одна из самых известных в западной культуре историй, история рождения Иисуса Христа, не произошла бы в Вифлееме, если бы римляне не захотели узнать, сколько жителей в их империи. Переписей населения в мировой истории было очень много – их проводили от Древнего Египта до империи инков, от Китая династии Хань до средневековой Европы[32].

В 1085 году Вильгельм Завоеватель сделал следующий шаг. Он захотел переписать имущество всех жителей Англии. В «Книгу Судного дня» (Domesday Book) должны были войти данные более чем о 13 000 населенных пунктов Англии и Уэльса. Каждое из этих мест посещала группа чиновников, которые записывали более 10 000 данных о каждом графстве: имя владельца имения, число сервов – крестьян, работающих в поместье, число мельниц и рыбных прудов и т. д.[33]. Трудно представить себе, сколько времени должно было занять такое предприятие.

Масштабы сбора сведений для «Книги Судного дня» оставались исключительными еще много веков. Экспоненциальный рост объема имеющихся данных начался только в XIX столетии[34]. В это время появилось множество организаций для их сбора. Зачастую эти организации создавало государство (в конце концов, и английское слово statistics – «статистика» – происходит от слова state – «государство»). В 1836 году было создано Генеральное управление регистрации по Англии и Уэльсу, которое отвечало за регистрацию рождений и смертей, но вскоре начало проводить переписи населения[35]. Начали собирать численные данные и организации, не связанные с правительством. К примеру, Британская Ост-Индская компания вела учет данных приблизительно двух с половиной тысяч своих сотрудников: кто заболел, кто умер, кто прекратил работать в компании[36].

Стремление улучшить военную медицину, проявленное Найтингейл в середине XIX века, соответствовало духу времени: численные данные тогда собирали все и повсюду. Но для действительных перемен не хватало еще одного, последнего новшества. Одно дело – собрать горы чисел; понять, что они означают, – совсем другое.

Мы начинаем анализировать числа

В наше время невозможно раскрыть газету и не встретить в ней какого-нибудь графика. Но концепция представления чисел в виде изображений появилась сравнительно недавно. Гистограммы и линейчатые графики были изобретены Уильямом Плейфэром только в конце XVIII века. Впоследствии Найтингейл использовала его идеи, чтобы привлечь внимание к ужасающему положению в медицинском обслуживании в армии, потому что графики позволяли объяснить смысл огромного массива чисел в одно мгновение.

В начале XIX века собиралось все больше чисел, так что возрастала и потребность в их анализе. Вместе с графиками приобрело популярность понятие «среднее значение». Найтингейл широко использовала методику усреднения в своем объемистом отчете – например для расчетов среднемесячного числа пациентов во время Крымской войны.

Хотя сегодня идея «среднего» кажется совершенно привычной, во времена Найтингейл эта концепция еще была в новинку. Точнее, так обстояло дело с данными, касающимися людей, – астрономы оперировали средними величинами начиная с конца XVI века. «А что, если применить этот метод не к небесным телам, а к людям?» – задумался в XIX веке Адольф Кетле[37]. Этот бельгийский астроном был одним из кумиров Флоренс Найтингейл; она называла его «создателем статистики»[38]. В свои ранние годы он занимал пост директора Брюссельской обсерватории, но во время Бельгийской революции 1830 года здание захватили борцы за свободу[39]. Это происшествие заставило Кетле задуматься: в чем причины поступков, совершаемых людьми? На первый взгляд казалось, что в обществе царит хаос; ситуация в Бельгии, родной стране ученого, показывала это особенно ясно. Но он предполагал, что в человеческом поведении все же можно найти некую закономерность.

Кетле придумал революционную концепцию «среднего человека», l’homme moyen[40]. Он лихорадочно вычислял средние значения роста, веса, уровня преступности, уровня образования, числа самоубийств… и разработал индекс Кетле, более известный сейчас как индекс массы тела (ИМТ), – величину, показывающую, находится ли вес человека в пределах «нормального» диапазона. Врачи, страховщики и диетологи до сих пор используют его, оценивая, насколько здоровым можно считать вес того или иного человека.

Вслед за графиками и средними значениями к концу XIX века стали появляться все более сложные методы анализа чисел. Историк Стивен Стиглер назвал период с 1890 по 1940 год «эпохой статистического Просвещения»[41]. В то время ученые изобрели оригинальные способы поиска закономерностей в числах, в том числе выявление корреляций и разработка экспериментов.

К сожалению, Флоренс Найтингейл не увидела большей части этих достижений: она умерла в 1910 году. Тем не менее ее вклад в дело обработки численных данных был революционным. Почти столетие спустя после Крымской войны один шотландский врач пошел по ее стопам и еще раз доказал, что при помощи чисел можно спасать жизни.

В августе 1941 года военнопленный Арчи Кокран собирался с духом, чтобы рассказать немцам о своем секретном эксперименте[42]. Врач-шотландец с длинной рыжей бородой и изможденным лицом, должно быть, имел довольно дикий вид. Из-под его форменных шорт защитного цвета выглядывали распухшие от жидкости колени.

Он был не единственным военным с опухшими коленями. В лагере военнопленных в греческом городе Салоники заключенные один за другим начали жаловаться на отеки. Кокран, которого немцы назначили главным врачом лагеря, отмечал по двадцать новых случаев заболевания в день. Он даже немного приуменьшал эти цифры, чтобы не вызывать у своих товарищей по плену лишнего беспокойства. Но теперь настало время прервать молчание. Он решил просить немцев о помощи, чтобы спасти жизнь своим пациентам. Не то чтобы он ожидал от них многого. Совсем недавно один из часовых бросил в уборную ручную гранату, потому что услышал verdächtiges Lachen – «подозрительный смех».

У Кокрана были подозрения относительно того, почему могла накапливаться жидкость: речь шла о «мокрой бери-бери», заболевании, вызываемом недостатком витамина B. Он решил последовать примеру своего кумира Джеймса Линда, жившего почти за два века до него. В 1747 году Линд, флотский врач, провел одни из первых в истории клинических испытаний. Он разделил двенадцать матросов, страдавших цингой, на группы по двое, и прописал каждой группе свою диету. Одна пара получала ежедневно по шесть ложек уксуса, другая – по 250 мл морской воды, третья – апельсины и лимоны, и так далее.

Вскоре Линд заметил одну закономерность: через несколько дней состояние моряков, в диету которых входили цитрусы, заметно улучшилось. Так он открыл факт, теперь хорошо известный: цинги можно избежать, если потреблять достаточное количество витамина C[43].

В Салониках Кокран распределил двадцать пациентов по двум группам. В первой трижды в день получали витамин B благодаря дополнительной порции дрожжей, которые Кокрану удалось раздобыть на черном рынке; тем же, кто вошел во вторую, он выдавал по таблетке витамина C из своего неприкосновенного запаса[44]. О его эксперименте никто не знал.

На первое утро он записал, сколько раз пациенты мочились. Между двумя группами не было никакой разницы. Ее не было и на второй день. Но на третий частота мочеиспускания в «дрожжевой» палате оказалась чуть выше. А на четвертый Кокран уже не сомневался: те, кто получал дрожжи, удерживали в своем организме меньше жидкости и больше мочились. Более того, восемь человек из десяти сказали, что чувствуют себя лучше, в то время как состояние второй группы оставалось по-прежнему скверным.

Кокран аккуратно все это записывал, и вот теперь он предстал перед немцами со своим журналом, призывая их принять меры, чтобы помочь больным. Иначе, говорил он, последствия будут ужасными[45]. К немалому удивлению Кокрана, его рассказ, по-видимому, потряс немцев. Молодой немецкий врач спросил, что ему нужно. «Много дрожжей, – отвечал Кокран, – и немедленно». На следующий день привезли много дрожжей, и уже через месяц в лагере не осталось почти ни одного пациента, страдающего от отеков.

Чутье, заблуждения, предвзятость

В истории об исследовании Кокрана речь идет не только об изобретении новых способов анализа чисел. Эта история – еще и об убедительности чисел. Кокрану даже удалось привлечь на свою сторону врагов – немцев. Почему же числа оказываются более убедительными, чем слова? Понять это, возможно, поможет другой эпизод из жизни Кокрана[46].

Вернувшись после войны в Великобританию, Кокран начал агитировать за медицинские исследования, в большей степени основанные на статистике. Медицинские испытания, подобные тем, которые он проводил в лагере военнопленных, в то время все еще были редкостью.

В 1960-х годах в английских больницах был создан ряд крайне дорогостоящих отделений кардиореанимации и интенсивной терапии для больных с острой коронарной недостаточностью. В то время эта мера казалась логичной. За пациентами с коронарными заболеваниями сердца требуется тщательно наблюдать – только так можно избежать сердечной недостаточности. Но Кокран, отъявленный скептик, был не вполне уверен в правильности такого подхода. Если мы действительно хотим узнать, какой эффект дают такие отделения, утверждал он, то следует провести клинические испытания: одну выбранную случайным образом группу пациентов отправить по домам, а другую оставить в кардиологической палате.

Лондонский комитет по этике решительно раскритиковал его предложение, утверждая, что Кокран играет человеческими жизнями. Кокрану все же удалось убедить председателя комитета в целесообразности исследования. Однако, когда он вернулся в свою больницу в Кардиффе, коллеги отказались участвовать в его испытаниях. Они настаивали на том, что сами будут решать, как им лечить своих пациентов. Такая самонадеянность возмущала Кокрана. Медицина того времени ориентировалась не столько на положения науки, сколько на положение в обществе[47]. Репутация врача значила больше, чем научная обоснованность его действий.

Провести испытания сумел в своей больнице коллега Кокрана, врач-исследователь из Бристоля. Полгода спустя они оба отправились в Лондон, чтобы представить результаты комитету. Результаты показывали, что состояние пациентов в кардиологическом отделении отличалось в лучшую сторону. Разница была статистически несущественной, однако, увидев цифры, члены комитета, которые шестью месяцами ранее пытались помешать Кокрану, пришли в негодование. «Арчи, – сказал один из них, – мы всегда считали ваше поведение неэтичным. Вы должны немедленно прекратить исследование».

Кокран терпеливо дождался, пока они закончат его критиковать. Когда же разнос прекратился, он извинился и сообщил, что результаты, которые он показывал, были неправильными. Затем он предъявил отчет с настоящими результатами: цифры остались теми же – поменялись группы, к которым эти цифры относились. Состояние тех пациентов, которых отправили по домам, было немного лучше, чем у тех, кто остался в специализированном отделении. «Не думаете ли вы теперь, – предположил он, – что эти отделения следует закрыть?»

Эта история показывает, какие препятствия Кокрану пришлось преодолевать в исследовательской работе. Сначала был психологический барьер. Врачам попросту казалось, что лучше и безопаснее держать пациентов в больнице. Затем члены комитета сделали ошибочные выводы и интерпретировали информацию в соответствии со своими убеждениями[48]. И наконец, сыграла свою роль личная заинтересованность: если бы создание чрезвычайно дорогостоящих отделений кардиореанимации и интенсивной терапии оказалось ошибкой, это нанесло бы сокрушительный удар по репутации комитета.

Числа успешно преодолели эти три препятствия – чутье, заблуждения и предвзятость. Там, где слова уязвимы для пристрастных оценок, числа могут отразить непредвзятую картину реальности. Если вкратце, то кажется, что числам присуща естественная объективность. Неудивительно, что они приобрели такое могущество в нашем обществе.

В 1993 году, через пять лет после смерти Кокрана, было организовано «Кокрановское сотрудничество» – теперь просто «Кокран», – всемирная сеть специалистов в областях здравоохранения и статистики. Эта организация собирает научные данные почти во всех областях медицинских исследований. В настоящее время ее обзоры (Cochrane Reviews) – один из самых важных источников информации для доказательной медицины.

Призывы Кокрана к более широкому использованию доказательной медицины спасли множество жизней. Взять, например, исследования по подавлению сердечных аритмий (Cardiac Arrhythmia Suppression Trial, CAST) – эксперимент, проводившийся в 1980-х годах. В то время врачи давали пациентам, перенесшим остановку сердца, лекарство для предотвращения аритмии. Это казалось очень логичным: лишние сокращения сердца было принято связывать с внезапной смертью, поэтому от них нужно было избавляться. Но эксперимент CAST – комплексное исследование 1700 пациентов – показал, что вероятность смерти после приема этого лекарства не снижается, а напротив, возрастает[49].

История Кокрана, как и история Найтингейл, показывает числа в самом выгодном свете: они могут спасать. Особенно отчетливо это проявилось во время пандемии COVID-19, охватившей мир в 2020 году. Представьте, что было бы с нами без чисел! Мы бы не смогли подсчитать, насколько заполнены отделения интенсивной терапии. Не сумели бы получить точные данные о том, как много людей заражено. Не смогли бы получить достоверную статистику того, какие вакцины помогали на самом деле. Но числа важны и по другой причине. Они помогают контролировать действия властей. Не случайно цифрами манипулировали многие политики в мировой истории. Правительство Аргентины приказывало искажать данные об уровне инфляции[50]. Еще до того, как Борис Джонсон стал премьер-министром Великобритании, статистики неоднократно и жестко критиковали его за искажения цифр, связанных с Брекситом[51]. А Сталин распорядился казнить одного статистика, который заявил, что численность населения Советского Союза меньше, чем утверждал сам Сталин[52]. Независимое статистическое агентство способно помешать политикам использовать числа в своих интересах и искажать восприятие истины.

Но у чисел есть и обратная сторона. Они могут улучшать жизнь, но могут и разрушать. Три инструмента, играющие самую важную роль в крупномасштабном использовании чисел, – стандартизация, сбор данных и их анализ – вовсе не защищены от злоупотреблений. И иногда их применение наносит вред, причем чрезвычайно большой.

2

Бессмысленный спор об IQ и цвете кожи

Во время Первой мировой войны 1,75 миллиона американских новобранцев прошли тестирование на уровень интеллектуального развития[53]. Это мероприятие придумал гарвардский психолог Роберт Йеркс. Он считал, что психология вполне может стать не менее строгой наукой, чем физика. Но для этого ему и его коллегам-психологам нужно было собрать данные.

Его идея была логическим следствием мании подсчетов XIX века. В то время стандартизировали не только единицы расстояния и веса – исследователи разработали методы измерения более абстрактных величин, например преступности и бедности.

Теперь же пришло время измерить и «интеллект». Йеркс и его коллеги разработали первый тест на уровень интеллектуального развития, подходящий для проведения в крупных масштабах, и в 1917 году устроили поистине историческое исследование. Повсюду в США новобранцам выдавали пачки листков с вопросами, которые должны были измерить их интеллект.

Когда Йеркс закончил сбор данных и смог их проанализировать, получившийся у него образ американского солдата оказался ужасающим[54]. Умственное развитие белых американских мужчин соответствовало тринадцатилетнему возрасту; результаты иммигрантов из Восточной и Южной Европы были еще хуже. А в самом низу спектра – с интеллектуальным возрастом 10,4 года – оказались чернокожие мужчины.

«Мне гораздо больше хотелось бы увидеть, что чернокожие сверхинтеллектуальны»

Сейчас мало кто помнит имя Роберта Йеркса и кем он был, но коэффициент интеллектуального развития – IQ – чернокожих по-прежнему остается темой горячих споров. «У разных наций разные уровни IQ, – заявил в 2016 году в интервью нидерландскому новостному веб-сайту Brandpunt+ блогер-либертарианец Ерназ Рамаутарсинг[55]. – Мне хотелось бы увидеть другое положение вещей… что чернокожие сверхинтеллектуальны… Но это не так». Это его высказывание наделало много шума двумя годами позже, когда он заявил, что собирается выставить свою кандидатуру на местных выборах в Амстердаме.

Рамаутарсинг – далеко не единственный, кто выступал с подобными утверждениями[56]. Дискуссии об интеллекте и цвете кожи возобновляются в каждом поколении со времени появления теста Йеркса. В 1969 году специалист по педагогической психологии Артур Дженсен вызвал негодование во всем мире своим утверждением о том, что причиной разницы в уровне IQ между черными и белыми учениками являются генетические различия[57]. В 1994 году политолог Чарльз Мюррей и психолог Ричард Херрнстейн опубликовали книгу «Колоколообразная кривая» (The Bell Curve), в которой утверждали, что IQ афроамериканцев в среднем ниже, чем у белых американцев, и предположили, что следует отговаривать женщин с низким IQ от рождения детей[58].

В 2014 году разразился еще один скандал: журналист New York Times Николас Уэйд написал бестселлер «Неудобное наследство» (A Troublesome Inheritance). В этой книге он утверждал, что разные «расы» появились в результате эволюции и различия между ними проявляются в разных уровнях интеллекта и других характеристиках[59].

История теста Йеркса показывает, сколь далеко идущие последствия могут иметь такие утверждения. Его исследования даже не отличались особой строгостью. Измерение уровня интеллекта 1,75 миллиона новобранцев может показаться грандиозным проектом, однако на практике данные собирались поспешно и небрежно. Как пишет Стивен Джей Гулд в книге «Ложное измерение человека» (The Mismeasure of Man), помещения, в которых новобранцы проходили тестирование, были лишены мебели, плохо освещены и настолько переполнены, что стоявшие сзади не слышали, что им говорили. К тому же некоторые солдаты не понимали сказанного, так как приехали в Америку лишь незадолго до этого. Другие говорили по-английски, но не умели ни читать, ни писать. Кто-то из мужчин впервые в жизни держал в руках карандаш, а им нужно было написать, сколько кубиков они насчитали или какой символ должен быть следующим в последовательности[60]. Причем все это происходило в спешке, потому что в коридоре уже ждала своей очереди следующая группа.

Казалось бы, имелось достаточно оснований не принимать эти данные всерьез. На деле же произошло нечто прямо противоположное. Вывод Йеркса о том, что некоторые группы обладают меньшим интеллектом, чем другие, придал научный лоск идеям, уже популярным в то время. После Первой мировой войны в Северной Америке и Европе была в большой моде евгеника – наука, ставившая своей целью «улучшение человеческой породы». Цифры Йеркса снова и снова использовались в дебатах по вопросам иммиграционной политики в конгрессе США. Политики считали, что выходцев из Южной и Восточной Европы (именно к ним принадлежали новобранцы, плохо прошедшие тест на интеллектуальное развитие) не следует пускать в страну. Вскоре для этих групп были установлены квоты[61], и в результате в период между 1924 годом и началом Второй мировой войны американская граница оказалась закрыта для миллионов людей[62]. На основании этих квот в праве на въезд в страну отказывали беженцам, нуждавшимся в помощи, в том числе многим евреям.

Численные данные по уровню интеллекта использовались и для оправдания радикальных законов о стерилизации. В 1927 году в Америке была узаконена принудительная стерилизация. «Трех поколений дегенератов вполне достаточно», – заявил Верховный суд США. Эта практика была признана незаконной только в 1978 году, после того как были стерилизованы десятки тысяч американцев[63].

Об этом почти невозможно говорить без возмущения. Но, хотя последствия применения теста на интеллектуальное развитие оказались ужасающими, это не означает, что результаты были ошибочны. Современные тесты показывают, что вывод Йеркса по-прежнему в силе. В среднем люди с черной кожей набирают меньше баллов.

Следует ли из этого, что утверждения о цвете кожи и уровне интеллекта справедливы? Что Рамаутарсинг был прав? Ничего подобного. Дискуссия об IQ и цвете кожи – это один из самых отвратительных примеров некорректного употребления чисел.

Несколько важных оговорок

Прежде чем мы пойдем дальше, давайте спросим: что означает заявление о том, что IQ некоторой группы ниже, чем у другой? Утверждения о цвете кожи и IQ часто бывают основаны на данных, собранных в США. Однако неверно говорить о более низких результатах у всех чернокожих. Можно утверждать лишь, что в конкретной выборке черные американцы набрали меньше баллов, чем белые.

Но этим дело далеко не исчерпывается. Утверждения об интеллекте и цвете кожи всегда касаются средних значений: среднее одной группы оказывается ниже, чем среднее другой. За этими средними значениями скрываются целые спектры результатов, в том числе афроамериканцы с высокими результатами и белые американцы, оказывающиеся в самом низу диапазона. Если взять итоги распространенного теста интеллекта Векслера, мы увидим, что результаты обеих групп в значительной степени перекрываются (см. илл.). Они показывают, что многие афроамериканцы обладают более развитым интеллектом, чем средний белый американец. Справедливо и обратное: результаты многих белых американцев ниже, чем средний результат афроамериканцев. Короче говоря, такого рода средние значения дают очень мало информации об индивидуальных особенностях.

Шкала интеллекта Векслера для взрослых (Wechsler Adult Intelligence Scale, WAIS)

Источник: William Dickens and James Flynn (2006)[64]

Другой важный вопрос: что, собственно говоря, означают слова «черные» и «белые»? В исследованиях эти ярлыки часто присваивают исходя из самоидентификации человека. Но эти категории подвижны. Когда-то итальянцы не считались в Соединенных Штатах белыми[65], в Бразилии к черным относятся все лица неевропейского происхождения[66], а в переписи населения 2010 года миллионы американцев записались в категории, отличные от тех, которые они выбрали в переписи 2000 года[67]. Другими словами, принадлежность к той или иной категории определяется временем и местом не в меньшей степени, чем цветом кожи.

Эти оговорки – о происхождении данных, ограниченности средних значений и смысле слов «черный» и «белый» – важно принять во внимание, когда мы будем рассматривать обоснованные выводы о связи цвета кожи и уровня интеллекта, причем еще до того, как мы обратимся к вопросу о том, что именно измеряет IQ.

Интермеццо

Все пассажиры становятся миллионерами

У средних величин есть еще одна особенность: выбросы, то есть измерения, резко отличающиеся от остальных, могут оказывать на них чрезвычайно большое влияние. В случае IQ это проявляется не слишком сильно, потому что результаты распределены достаточно равномерно – слева от среднего оказывается столько же людей, сколько и справа[68].

Но возьмем, например, доходы. В 2016 году около 7,3 миллиона человек в Нидерландах – более половины всех получающих доходы – имели совокупный доход менее 30 000 евро в год. Но более полумиллиона человек зарабатывали свыше 100 000 евро[69]. Эта группа людей с высокими доходами резко увеличивает среднее значение. У статистиков есть старая шутка: когда Билл Гейтс заходит в автобус, все пассажиры в среднем становятся миллионерами.

С той же проблемой мы столкнулись во время пандемии COVID-19. Важным показателем был коэффициент воспроизводства (R), среднее число людей, зараженных одним заболевшим. Тем не менее вскоре стало ясно, что важную роль в передаче вируса играют так называемые суперраспространители. По некоторым оценкам, от 10 до 20 процентов инфицированных несли ответственность за 80 процентов заражений – словно Биллы Гейтсы пандемии, если можно так выразиться.

Именно поэтому столь важно не позволять среднему себя ослепить. Эпидемиологи смотрят не только на коэффициент воспроизводства, но и на иной показатель, k – то, в какой степени люди отличаются друг от друга по числу вызванных ими заражений. Там, где R превышает среднее значение, k варьируется вокруг последнего. Скажем, если говорить о доходе, то часто можно услышать про наиболее распространенный доход, или «модальный» (от слова «мода» в его «статистическом» значении). Для того чтобы исключить влияние выбросов, используется и «медианный» доход. Представьте, что мы распределили всех жителей Нидерландов по уровню доходов, от низких к высоким, – тогда медианным будет доход человека, который окажется точно в середине списка. Так что остерегайтесь того, что вам показывает среднее – и того, что оно скрывает.

Пять субъективных решений

Теперь пора задать самый главный вопрос: что же именно измеряет IQ? Мы уже видели, что стандартизация, сбор данных и их анализ были самыми важными новшествами на пути к широкомасштабному использованию чисел. Эти же самые шаги проходят и исследователи, когда работают с числами.

Первый шаг – стандартизация – играет важную роль, когда речь идет об IQ. Чтобы стандартизировать такую абстрактную концепцию, как интеллект, исследователям пришлось идти на определенные «жертвы». Числа могут казаться объективными, но за ними часто скрыты субъективные предпочтения. Например, первые ученые, занявшиеся измерением IQ, приняли пять решений, весьма далеких от объективности.

1. Измеряемая величина вымышлена

Роберт Йеркс разработал свой тест, опираясь на другой, созданный Альфредом Бине, основоположником измерения IQ[70]. Мысль о том, что результатами тестирования на уровень интеллектуального развития можно оправдать дискриминацию, заставила бы французского ученого перевернуться в гробу. В 1904 году, когда Бине с помощью своего ученика Теодора Симона сделал интеллект измеримой величиной, он преследовал совершенно иную цель – помочь детям. Министр образования Франции поручил ему разработать методику, позволяющую определить, каким детям требуется коррекционное образование.

Сначала Бине пытался измерять интеллект при помощи методики, уже применявшейся в течение некоторого времени, – краниометрии[71]. В ее основе лежала идея о том, что уровень интеллекта человека можно определить по размеру его черепа. Но когда Бине взялся за дело, вооружившись сантиметровой лентой, он увидел, что разница в размерах черепов успевающих и отстающих учеников оказалась extrêmement petite[72].

Поэтому, получив от министра это задание, он решил подойти к задаче измерения интеллекта по-другому. Он составил тест с заданиями возрастающей сложности: номер последнего вопроса, на который ученику удавалось дать правильный ответ, указывал на его «умственный возраст». Если этот возраст оказывался намного ниже возраста реального, это означало, что ребенку необходимо коррекционное образование. Таким образом Бине изобрел первый тест на уровень интеллектуального развития. По его стопам вскоре пошел психолог Уильям Штерн со своим знаменитым коэффициентом интеллекта (IQ, от англ. Intelligence Quotient), который вычисляется как отношение умственного возраста к истинному.

После успешного внедрения универсального килограмма и универсального метра измеримыми были сделаны и другие величины. В случае расстояния и веса сделать это было сравнительно просто, поскольку все знали, что означают эти концепции: как далеко от одного места до другого; насколько тяжелым оказывается предмет, когда его поднимаешь. Такие стандартные единицы измеряли нечто конкретное.

Но, как мы уже видели, начиная с XIX века начали появляться числа другого рода. Они касались абстрактных концепций: экономики, преступности, образования. Взять, к примеру, концепцию, которая управляет жизнью всех и каждого, – деньги. Наши монеты и банкноты сами по себе ничего не стоят. Их не съешь, из них ничего не построишь, ими никого не вылечишь[73]. Но все согласны в том, что деньги имеют определенную ценность. И мы можем рассчитывать, что все – в том числе правительства – будут придерживаться этого соглашения и в дальнейшем.

Такие соглашения дают нам возможность сотрудничать в гораздо более широких масштабах, чем могли это делать охотники-собиратели. Национальные государства, права человека, религии – всё это конструкты, созданные человеком, чтобы мы могли понимать друг друга. Опасность возникает, когда мы начинаем воспринимать такие соглашения как нечто объективное, когда мы забываем, что сами придумали понятия вроде уровней благосостояния или образования, и когда мы думаем, что они вечны и неизменны. Название этого явления – реификация, от латинского слова res, означающего «вещь». Другими словами, овеществление. Мы придумываем нечто, а потом забываем, что мы это придумали, и начинаем верить, что речь идет о чем-то существующем на самом деле.

Когда абстрактную концепцию измеряют, это придает ей еще более сильный оттенок объективности. Взять хотя бы валовой внутренний продукт (ВВП), главную меру нашей экономики. Когда ВВП снижается, у нас случается рецессия, экономический спад. Если при этом нам приходится затягивать пояса, то лишь потому, что, по мнению политиков, это полезно для ВВП. Таким образом, эта конкретная мера вызывает вполне ощутимые последствия: вы можете потерять работу, платить больше налогов или, возможно, перейти в категорию людей, имеющих право на финансовую помощь. Создается такое впечатление, что ВВП действует как неумолимый закон природы. И тем не менее концепции этой не исполнилось еще и ста лет.

Идея ВВП появилась в Соединенных Штатах незадолго до Второй мировой войны[74]. Страну поразила сильнейшая экономическая депрессия. Но каким в точности было состояние экономики? Этого никто не знал. Имелась некоторая статистика по ценам и перевозкам, но не было единой цифры, которая показывала бы, как чувствует себя американская экономика в целом.

Тогда правительство поручило экономисту и статистику Саймону Кузнецу измерить величину «национального дохода»[75]. Кузнец взялся за дело и методично просуммировал доходы домохозяйств и компаний. Когда он представил первые результаты в 1934 году, следовавший из них вывод был ужасающим: с 1929 по 1932 год национальный доход уменьшился вдвое[76]. Температуру американской экономики измерили впервые в истории, и оказалось, что она намного ниже нуля.

В последующие годы американскому правительству разонравилась предложенная Кузнецом концепция «национального дохода». С учетом надвигающейся войны она была неудобна с политической точки зрения. Правительство предпочитало тратить деньги не на людей, а на вооружение, но в методике Кузнеца такие государственные расходы означали падение национального дохода, а это, в свою очередь, ослабило бы поддержку военной программы. Решение было найдено в изобретении другой величины – валового внутреннего продукта. Она измеряла совокупную ценность всех товаров и услуг, произведенных в стране, в том числе государством. Теперь производство новых бомбардировщиков считалось полезным для экономики.

Кузнец был не в восторге от этого плана. Он был убежден, что показатель состояния экономики должен измерять уровень благосостояния страны. Вооружение, как он считал, не имеет к этому никакого отношения. Однако в этом споре он потерпел поражение, и в 1942 году был впервые опубликован американский ВВП – с учетом оборонных расходов[77]. Вполне ясно, что получившееся число не имело никакого отношения к законам природы, зато имело самое прямое отношение к политике.

В наши дни политики и руководители склонны забывать, что ВВП – это искусственно изобретенная концепция, и использовать его в качестве объективной меры – например когда правительство ссылается на ВВП, обосновывая необходимость сокращения бюджетных расходов[78]. Но ВВП – не конкретная измеримая величина, в отличие, например, от силы тяжести. Обозначение его числом не делает его сколько-нибудь более «реальным».

Вернемся к Йерксу и тестированию солдат: с уровнем интеллекта дело обстоит в точности так же. Это абстрактная концепция, придуманная человеком. И эту-то концепцию мы начали измерять.

Интермеццо

Внезапное исчезновение трех рецессий

Принимать ВВП всерьез может быть опасно, особенно если забыть, что эта величина не всегда так точна, как кажется[79]. В июле 2015 года американское Бюро экономического анализа объявило, что за предыдущий квартал экономика США выросла на 2,3 процента. Месяц спустя эта цифра была скорректирована и превратилась в 3,7 процента. А еще через месяц оказалось, что она равна 3,9 процента.

Значит ли это, что статистики не справились со своей работой или переутомились и нуждались в отдыхе? Нет, корректировка экономических показателей – дело вполне нормальное; она происходит во всех странах, систематически собирающих такие данные. Это и неудивительно, если посмотреть, сколько информации требуется для вычисления такого рода величины. В дело идет все – от налогов до оборонных расходов (да, они по-прежнему учитываются), от импорта до экспорта. Сбор таких данных занимает много времени и никогда не бывает абсолютно полным. Поэтому так странно, что эти цифры публикуются с такой высокой точностью – до одного десятичного разряда. (Я вернусь к вопросу о неточности чисел в главе 3.)

Иногда дополнительные данные могут изменить картину экономического положения самым радикальным образом – например когда речь идет о стране, находящейся в рецессии. В 1996 году экономические данные показывали, что с 1955 по 1995 год британская экономика десять раз переживала рецессию – периоды урезания расходов, высокой безработицы и общего смятения по всей стране. Но современный набор данных, появившийся в 2012 году, явил картину гораздо более оптимистичную: за тот же период экономика страны находилась в рецессии всего семь раз. Три рецессии просто исчезли[80].

2. Измеряемая величина основана на оценочном суждении

В 2007 году два специалиста по искусственному интеллекту (ИИ) – исследователи Шейн Легг и Маркус Хантер – собрали все определения разума или интеллекта, какие только смогли найти[81]. Урожай получился обильным: они нашли более семидесяти разных описаний. Однако они обнаружили в них нечто общее и свели все многообразие разных определений к одной фразе, которая должна была охватить их все: «Интеллект есть мера способности деятеля добиваться целей в широком диапазоне условий».

Хотя формулировка Легга и Хантера, возможно, и учитывает все определения, она все же остается ужасно нечеткой. В этих рамках проявлением интеллекта будет даже способность пробраться ночью по дому и стащить из холодильника бутылку вина. Однако такое задание вряд ли встретится в тесте на уровень интеллектуального развития.

А что в нем встретится? В тест Векслера входят задания, проверяющие словарный запас, способность выстраивать числовые последовательности и пространственное воображение, – способности, имеющие отношение к абстрактному мышлению[82]. Все это уже было и в исходном тесте на уровень развития интеллекта Альфреда Бине, вдохновившем Йеркса: в нем детям предлагалось запомнить последовательность чисел или назвать различия между двумя предметами.

Связь таких абстрактных идей с уровнем интеллекта кажется нам самоочевидной. Но одно исследование, проведенное в начале 1930-х годов, демонстрирует всю ограниченность такой точки зрения.

В автобиографии русского нейропсихолога Александра Лурии описывается его поездка в Узбекистан[83]. Эта страна переживала стремительную модернизацию, и Лурия хотел посмотреть, порождают ли эти перемены новые способы мышления. В какой-то момент он и его коллеги встретились с Рахматом, крестьянином тридцати одного года, жившим в отдаленном районе страны.

Ему показали рисунок, изображавший молоток, пилу, полено и топор. Какой из этих предметов лишний? «Они все похожи, я думаю, что все они нужны, – ответил Рахмат. – Смотрите, если вы собираетесь пилить, вам нужна пила, а если вам нужно разрубить что-нибудь, вам нужен топор. Так что все они нужны»[84].

Исследователи попытались объяснить ему, что он неправильно понял задание. Они привели следующий пример: допустим, мы видим троих взрослых и одного ребенка; тогда ребенок в этой группе лишний. «Нет, мальчик должен остаться с другими! – ответил Рахмат. – Видишь ли, все трое работают, и, если им придется бегать за разными вещами, они никогда не закончат работу, а мальчик может бегать за них…»

Разговор с Рахматом показывает, что категоризацию – стандартную часть теста на уровень интеллектуального развития – можно производить несколькими разными способами. Что, если бы Рахмат придумывал вопросы для нас? Тогда тест, вероятно, определял бы, есть ли у нас навыки, необходимые для жизни в том обществе, в котором живет он. Узбек спрашивал бы, как лучше всего подстрелить птицу или засолить капусту так, чтобы она не испортилась за зиму. Большинство из нас позорно провалили бы такой тест, равно как и тест, который составили бы масаи или эскимосы. По их меркам мы считались бы умственно неполноценными.

Но наш тест на IQ составил не Рахмат. А также не медсестра, не плотник и не коммивояжер. Его составили люди, подобные Бине и Йерксу: мужчины западной культуры, получившие высшее образование и увлекающиеся числами. Способность ухаживать за больными, умение сделать деревянный стол или навыки социального общения – в их тестах эти качества не имеют значения. С их точки зрения, интеллект касается умения завершать последовательности чисел, понимать метафоры и мыслить правильными категориями. (Именно этого я ожидала от своих респондентов, когда проводила исследования в Боливии; именно к такому мышлению я имела глупость считать неспособной Хуаниту.)

Тем временем абстрактное мышление стало господствующим до такой степени, что действительно кажется нам единственной истинной формой интеллекта. Но в выборе лучшего способа мышления нет ничего объективного. Это оценочное суждение.

То же касается и ВВП. Хотя Саймон Кузнец считал, что эта величина не тождественна уровню благосостояния, после Второй мировой войны ее, несомненно, стали использовать в качестве основополагающей меры. Многие правительства считают экономический рост, увеличение ВВП, наивысшим благом. Принимая эту точку зрения, правительство выносит оценочное суждение – ведь тогда то, что входит в ВВП, автоматически становится важным. Но это совершенно не обязательно соответствует тому, что ценно для людей. Например, промышленность, загрязняющая окружающую среду, полезна для ВВП, но вредна для природы. Уменьшение безопасности общества означает экономический рост, если живущие в этом обществе люди начинают устанавливать дополнительные замки и камеры видеонаблюдения[85]. А как быть со всем тем, что не учитывается в ВВП? Жители Нидерландов, например, каждую неделю тратят семьдесят два часа на домашние дела: уборку, уход за другими, присмотр за детьми[86]. Эта деятельность в ВВП не отражается. Ирония заключается в том, что, если бы они платили за нее кому-нибудь другому, она была бы отражена в цифрах ВВП.

Мы измеряем то, что считаем важным, но дело не только в этом. Происходит и обратное: то, что мы измеряем, становится важным. ВВП постоянно используют в качестве основы для политических решений. К примеру, Дональд Трамп ссылался на экономический рост в качестве довода в своих торговых войнах[87], а предоставление той или иной стране возможности вступления в зону евро чрезвычайно сильно зависит от ее ВВП[88].

Результаты тестирования на IQ также имеют далеко идущие последствия. Их часто используют в процессах найма и отбора, а абстрактное мышление, на которое ориентированы эти тесты, до сих пор остается центральным элементом стандартных экзаменов вроде GCSE и A-levels[89], играющих решающую роль в определении будущего человека[90]. Мы находимся в плену мер, которые мы же и создали.

3. Измеряется то, что можно подсчитать

Вопрос по-прежнему остается без ответа: что такое интеллект? Как мы уже видели, многочисленные определения настолько расплывчаты, что прямо перевести эту концепцию на язык чисел невозможно. Чтобы измерить нечто, необходимо предельно четкое разграничение. В 1904 году статистик Чарльз Спирмен изобрел прием, который должен был устранить необходимость определения интеллекта[91]. В самом деле, зачем выражать нечто словами, если можно предоставить цифрам говорить самим за себя?

Спирмен изучил результаты тестирования и увидел, что люди, успешно проходящие один тест, как правило, хорошо справляются и с другими. За всеми этими тестами, видимо, скрывается некая единая структура, подумал он, но в чем она состоит? Он занялся вычислениями и пришел к выводу, что все результаты каждого человека можно преобразовать в единое число[92], которое он назвал g-фактором, так как решил, что оно представляет собой меру общего интеллекта человека (буква g обозначает английское слово general – общий). Как и Йеркс, он стремился превратить психологию в нечто подобное физике. Применение этого метода, казалось, приближало осуществление его мечты. Спирмен был настолько убежден в своей правоте, что назвал свою работу «коперниканским переворотом мировоззрения»[93]. Свои результаты он опубликовал в статье под дерзким заглавием «Объективное измерение и определение общего интеллекта» (General Intelligence Objectively Measured and Determined)[94].

Но была ли его работа настолько объективной, как утверждалось в заглавии? Даже если мы согласимся, что тесты на уровень интеллекта измеряют только способность к абстрактному мышлению и оставляют в стороне многие другие качества, одна проблема остается нерешенной: в качестве исходных данных в методике Спирмена использовались только числа. Он рассматривал только то, что можно было подсчитать. При этом он исключал из рассмотрения самые разнообразные вещи, также имеющие отношение к абстрактному мышлению; то, что трудно выразить в числах – качество сочинений, изобретательность решений, – или то, за чем ученым пришлось бы попросту слишком долго наблюдать – как быстро человек способен выучить новый язык; как он ведет себя, когда ошибается.

В конечном счете тест на IQ никогда не измеряет уровень интеллекта напрямую, только опосредованно. Результат тестирования получается косвенным, приближенным. В этом нет ничего дурного; уровень IQ помогает психологам получить представление о сильных и слабых сторонах индивидуума. Но они не ограничиваются рассмотрением одного этого числа. Они рассматривают результаты по отдельным компонентам теста и сравнивают эти оценки со своими собственными наблюдениями.

Беспокоиться следует, только когда уровень IQ начинает считаться синонимом интеллекта. Именно это и происходит в спорах об интеллекте и цвете кожи. Уровень IQ воспринимается как истина в последней инстанции, а не приближение. Именно об этом говорил в 1923 году психолог Эдвин Боринг: «Интеллект – это то, что тестируют тесты»[95].

В нашем обществе числа то и дело считают тождественными той сложной реальности, которую они должны приближенно отображать. Взять хотя бы вашу работу. Почти в каждой профессии вас оценивают по выразимым в числах величинам. Сколько часов вы работаете, сколько клиентов вы обслуживаете, скольким пациентам вы помогаете. Но иногда по-настоящему важные вещи бывает трудно выразить в числах: насколько устойчивы ваши отношения с клиентами, с какой добротой вы обращаетесь с теми, кого лечите. Вспоминается афоризм, который, по слухам, висел на стене у Альберта Эйнштейна: «Не все то, с чем следует считаться, можно подсчитать, и не со всем тем, что можно подсчитать, следует считаться».

Как и в случае с тестированием на IQ, в численных оценках вашей работы нет ничего дурного. Эти данные дают представление о той работе, которую вы выполняете. Проблемы начинаются, когда количество принимают за качество, когда все остальное, что вы делаете на работе за неделю, исключается из рассмотрения, а все внимание близоруко сосредоточивается на одних лишь цифрах. Например, работу полиции Нидерландов оценивали по числу штрафов, которые выписывали полицейские[96]. В результате организовывались специальные «штрафные дни», в которые полицейские должны были выписать как можно больше штрафов. Внезапно начинали штрафовать за незначительные нарушения – отсутствие фонаря на велосипеде или непристегнутый ремень безопасности, – на которые обычно не обращали внимания. Способствовал ли такой подход безопасности общества на самом деле – это имело лишь второстепенное значение.

Например, британский министр здравоохранения Мэттью Хэнкок в начале апреля 2020 года обещал, что Соединенное Королевство будет ежедневно проводить по 100 000 тестов к концу месяца. 1 мая он объявил о том, что цель достигнута и за 24 часа до дедлайна было проведено 122 347 тестов. Поистине «национальное достижение». Вот только треть этих тестов никто не проводил ни на пациентах, ни на публике – их просто разослали по частным домам и по больницам, и никто даже понятия не имел, будут ли их использовать, и если да, то когда именно[97]. Согласно числам, установленная производительность улучшилась, но реальность, скрытая за этими числами, разочаровала.

Хотя количество штрафов и время ожидания приема в отделении неотложной помощи, возможно, некогда и были адекватным приближением к оценке качества работы полиции или больницы, цифры быстро утратили достоверность. Целью стали не вещи, считавшиеся важными, а их приближение.

В подобных ситуациях люди снова и снова пытаются найти способы манипуляции цифрами. Они подстраивают к ним свое поведение или даже идут на обман. Этот принцип иногда называют законом Гудхарта по имени экономиста Чарльза Гудхарта. «Когда мера становится целью, она перестает быть полезной мерой»[98]. Числа похожи на мыло: если давить на них слишком сильно, они ускользают из рук.

4. Измеряемое в конце концов выражается одним числом

В основе уровня IQ лежит еще одно важное решение, а именно такое: интеллект должен быть выражен одним-единственным числом. Бине, создатель первого теста на IQ, был другого мнения. «Шкала, собственно говоря, не позволяет измерять интеллект, так как интеллектуальные качества не способны накладываться друг на друга […][99].

В последующие годы многие психологи были согласны с Бине. Британский и американский психолог Реймонд Кеттел говорил о двух типах интеллекта. С одной стороны, есть знания и опыт – «кристаллизованный интеллект»; с другой – другие навыки, например логическое мышление, – «подвижный интеллект». Кеттел был одним из авторов теории Кеттела – Хорна – Кэрролла, которая начинается с идеи о существовании нескольких форм интеллекта, то есть «широких способностей» – например знания и распознавания образов[100].

Тем не менее, несмотря на все эти разные способности, эта теория утверждает также, что интеллект может быть выражен одним всеобъемлющим g-фактором. Эта теория оказала влияние на многие из современных тестов на интеллектуальное развитие, в которых баллы, как правило, начисляются по отдельности за каждую из способностей, однако в итоге они выдают единый результат: численное значение IQ.

Даже тест Бине, столь твердо верившего, что интеллект не может быть выражен одним числом, в конце концов приписывал каждому испытуемому единственное число – умственный возраст. Почему? Я не смогла точно установить причину этого, но у меня есть серьезное подозрение: дело в том, что такой результат казался четким и аккуратным.

Когда экономист Саймон Кузнец впервые опубликовал свои цифры по Соединенным Штатам, возможность свести состояние всей национальной экономики к одному-единственному числу была очевидной[101]. Если раньше имелись самые разные несвязанные цифры, теперь можно было с первого же взгляда увидеть, откуда дует ветер. Это не осталось незамеченным. Опубликованный Кузнецом отчет стал бестселлером – в разгар экономического кризиса! – и президент Франклин Рузвельт использовал цифры Кузнеца в качестве довода в пользу своей программы, направленной на вывод Америки из Великой депрессии.

Чтобы описать нечто столь сложное, как экономика, одним числом, всегда приходится оставлять что-нибудь за рамками рассмотрения. В случае цифр ВВП это касается всего того, что нельзя выразить в деньгах. Однако экономист и философ Амартия Сен, удостоенный в 1998 году Нобелевской премии, утверждал, что развитие страны не сводится к одним лишь деньгам[102]. У людей должны еще быть возможности получения хорошего образования и качественного медицинского обслуживания, а также многое другое.

Именно в результате таких рассуждений они вместе с Махбубом уль-Хаком разработали в 1990 году индекс человеческого развития, ставший теперь популярным показателем для измерения уровня развития стран. Этот показатель учитывает следующие три фактора:

1). ожидаемая продолжительность жизни;

2). количество лет, затрачиваемых на получение образования;

3). уровень доходов.

Чем выше численное значение этого показателя, тем более развита страна. В 2018 году на первом месте находилась Норвегия, у которой этот индекс был равен 0,95[103], а на последнем – Нигер с 0,38. Великобритания заняла пятнадцатое место[104].

Хотя использовать несколько факторов для измерения уровня развития страны – идея хорошая, сложную концепцию в очередной раз свели к одному-единственному числу. К числу, которым можно оперировать без всяких усилий. Если каждой стране соответствует всего одно число, легко ранжировать победителей и неудачников – так же, как ранжировать людей, имея одно число, выражающее уровень интеллекта.

Интермеццо

Когда рейтинги – ненастоящие рейтинги

Нидерландское название этой книги[105] означает в переводе «Самый успешный бестселлер всех времен (с таким названием)». Эта фраза отсылает к рейтингам, окружающим нас со всех сторон: самые счастливые страны, самые вкусные пончики, самые лучшие больницы – исчисляется и ранжируется все на свете. Некоторые из этих рейтингов – полная чушь. Когда один пекарь, выпекавший олиболы (oliebollen) – традиционные голландские пончики, – в ток-шоу на нидерландском телевидении посетовал на то, что получил в опубликованном в газете рейтинге всего один балл (низшую из возможных оценок), оказалось, что цифры сфальсифицированы[106]. На самом деле жюри не поставило ни одной оценки ниже трех. «По нашей просьбе эти цифры были пересчитаны по шкале от одного до десяти, – признал главный редактор нидерландской газеты Algemeen Dagblad (AD) Ханс Нейенхёйс. – В таком виде результаты получались более контрастными»[107]. С тех пор Algemeen Dagblad перестала проводить подобные дегустации.

Ежегодный рейтинг больниц, проводимый AD, также дает чрезвычайно мало полезной информации. Каждый год газета выбирает несколько параметров, по которым оцениваются больницы. В 2014 году нидерландский бизнес-эксперт Херм Йостен продемонстрировал, что больницы перемещаются вверх или вниз в среднем на целых двадцать пять мест[108]. Из десяти больниц, занимавших в каком-либо году верхние строчки рейтинга, большинство на следующий год оказались в нижней части таблицы. Если вы решите лечь в «лучшую» больницу, она с большой вероятностью уже не будет лучшей к тому времени, когда вы окажетесь в операционной.

Вернемся к вопросу использования одного-единственного числа в качестве абсолютной оценки такой абстракции, как интеллект. Тут есть еще одно затруднение: как правило, одну и ту же величину можно измерять по-разному. Обратимся снова к индексу человеческого развития (ИЧР). Как сложить вместе ожидаемую продолжительность жизни, уровень образования и доходы? Как поступить с неравенством в той или иной стране? А как насчет различий между мужчинами и женщинами – разве это не важный фактор, который следует учесть? На все эти вопросы нам не найти одного-единственного, совершенно ясного и четкого ответа.

На самом деле эти вопросы придумала не я. В отчете ООН наряду с индексом человеческого развития публикуются ИЧР с поправками на неравенство и гендерный ИЧР. Они показывают результаты каждой страны в разных областях, ограничения параметров и не поддающиеся измерению аспекты[109].

Но такие нюансы редко попадают в газеты. Когда есть одно число, кажется, что оно позволяет легко получить представление о вопросе; когда их становится больше, они только мешают. Вы вскоре оказываетесь в мире «если» и «но». Например, цифры, описывающие голод, сильно зависят от определения голода[110]. По определению продовольственной и сельскохозяйственной организации ООН (ФАО[111]), человек считается недоедающим, если не потребляет на регулярной основе достаточного количества калорий. Но что такое «достаточное количество»? Оно может сильно различаться для человека, проводящего все свое время за письменным столом, и того, кто вспахивает поля вручную.

В 2012 году сама ФАО выполнила альтернативные расчеты, которые показали, что изменение определения голода может привести к радикальному изменению цифр[112]. В одном случае получалось, что голод во всем мире с годами рос, в другом – что он снижался. Кроме того, исследователям нужно было решить, использовать ли абсолютное число людей, страдающих от голода, или их долю в мировом населении. Абсолютное число имеет смысл использовать, когда приоритетом является благополучие каждого человека. Но процентная доля полезнее, если вы полагаете, что важно обеспечить большинство населения достаточным питанием. Здесь речь идет об этических соображениях, а не о статистических выкладках.

Решения исследователей оказывают большое влияние и на результаты тестирования на IQ. В 1984 году психолог Джеймс Флинн изучал показатели предыдущих поколений и пришел к удивительному выводу: на протяжении последнего столетия уровень их IQ становился все выше и выше. Если пересчитать результаты наших предшественников, полученные в 1930-х годах, по современным стандартам тестирования, они наберут примерно 70 баллов и окажутся на грани умственной неполноценности. Если же применить их стандарты к нынешнему поколению, мы получим средний IQ порядка 130 баллов, что соответствует высокой одаренности[113].

Флинн открыл этот эффект через 80 лет после того, как Альфред Бине впервые начал тестировать французских школьников. Почему же столь громадные различия между поколениями так долго оставались незамеченными?[114] Впоследствии вывод Флинна многократно получал научные подтверждения, но его измеримый эффект нельзя заметить невооруженным глазом. Дело в том, что тесты время от времени обновляются.

Например, тест Векслера для детей был впервые использован в 1949 году, а затем изменен четыре раза – в 1974, 1991, 2003 и 2014 годах. При этих пересмотрах обновлялись не только вопросы, но и система начисления баллов. Новые тесты испытывались на ограниченной группе участников, и уровни IQ рассчитывались так, чтобы средний уровень пробной группы оказался равен 100. Испытательные группы – как и общество в целом – показывали все более высокие результаты. Флинн обнаружил, что теперь мы лучше обучены определенному типу абстрактного мышления, который за последнее столетие становился преобладающим во все большем числе учебных заведений и предприятий. Если вы обладаете в точности такими же когнитивными способностями, какие были у ваших предков, ваш нынешний уровень IQ окажется ниже, чем был у них[115].

5. Измеряется то, что вы хотите измерять

Вернемся к Йерксу и его измерениям уровня интеллекта американских новобранцев во время Первой мировой войны. Его группа, исходя из результатов тестирования, установила, что иммигранты явно обладают низким интеллектом, а черные мужчины оказываются в самом низу шкалы, но получила также и целый ряд других результатов[116]. Оказалось, что между результатами тестирования и числом лет, которые испытуемый потратил на образование, существует тесная взаимосвязь.

Однако из этого Йеркс не сделал вывод, что образование порождает более высокий интеллект. Он считал, что зависимость работает в обратную сторону: «Накопленные данные, несомненно, подтверждают теорию о том, что врожденный интеллект является одним из важнейших факторов, обусловливающих продолжение образования». Аналогичным образом, отметив, что чернокожие не столь образованны, он не увидел в этом причины их более низких результатов. То, что они провели в системе образования меньше времени, – следствие их низкого врожденного интеллекта, заключил Йеркс, забыв на мгновение, что дело происходило в эпоху сегрегации.

Йеркс сделал ошибочный вывод. С заключениями такого рода мы встретимся в главе 4, где и поговорим о них подробно. Он огульно решил, что корреляция была причинно-следственной и что цвет вашей кожи определяет вашу способность к мышлению – хотя имевшиеся у него цифры никоим образом не подтверждали этого заключения. Он не позволил цифрам говорить за самих себя, а доверился внутреннему чутью – в духе времени.

Это ясно видно из предисловия, которое Йеркс написал для книги «Исследование американского интеллекта» (A Study of American Intelligence). В основе книги лежали его данные, и на нее часто ссылались приверженцы евгеники в дискуссиях об иммиграции в Соединенные Штаты. «Ни один гражданин не может позволить себе не обращать внимания на угрозу расовой деградации или на очевидное влияние иммиграции на развитие страны», – писал он[117].

Мы снова и снова сталкиваемся с этой тенденцией и будем часто встречать ее и в этой книге: числа интерпретируются в соответствии с убеждениями или потребностями тех, кто их использует.

Еще Альфред Бине, создатель теста на уровень интеллектуального развития, предупреждал, что интеллект не следует считать неизменной величиной[118]. И тем не менее Йеркс решил интерпретировать цифры так, как будто результаты тестирования в самом деле равнозначны врожденным способностям.

Человек, введший в обращение ВВП, – Саймон Кузнец – также предупреждал, что это число не тождественно благосостоянию[119]. И тем не менее на протяжении XX века ВВП снова и снова использовали именно в этом качестве.

Интерпретации такого рода опасны. Если принимать числа всерьез, следует признать, что есть чрезвычайно много такого, о чем они не говорят. Другими словами, они не говорят о том, что ВВП – всего лишь мера «производства», а IQ – не более чем число баллов, набранных при тестировании. Вместо этого убеждения и предубеждения приводят к тому, что в числах видят нечто гораздо большее, чем они собой представляют.

Что мы можем сказать о предложенной Йерксом интерпретации результатов тестирования солдат сейчас, век спустя? Правда ли, что значение IQ измеряет врожденный интеллект? Нет, неправда. Как и подозревал Бине, наш уровень IQ не высечен в камне. Самое веское доказательство этого – эффект Флинна. Тот факт, что уровень IQ рос от поколения к поколению, не означает, что наши предки были глупы как пробка, а мы гениальны. Мы просто стали более способны к абстрактному мышлению, потому что этот навык столь широко используется в современной жизни. Говоря словами Малколма Гладуэлла, «IQ измеряет не столько наш ум, сколько нашу современность»[120].

Психологи согласны, что наш уровень IQ определяется как генами, так и окружающей средой. Условия жизни могут изменить его самым радикальным образом. Например, когда тестирование на IQ проводилось перед сбором урожая – в период голода и финансовых затруднений, – индийские крестьяне, как правило, набирали в среднем на тринадцать баллов меньше, чем при тестировании после сбора урожая[121]. В первом случае бедность настолько занимала их мысли, что это ограничивало их способность к ясному мышлению.

Другое исследование показало, что между 1984 и 1998 годами средний уровень IQ кенийских детей увеличился более чем на двадцать шесть баллов[122]. Как это могло произойти? Исследователи отметили улучшение условий жизни: лучшее образование родителей, улучшение питания, лучшее состояние здоровья детей.

Улучшение условий жизни привело к росту результатов тестирования и у афроамериканцев. Отличие их уровня IQ от уровня их белых сограждан сейчас меньше, чем в прошлом. За последние тридцать лет разрыв между афроамериканцами и белыми американцами уменьшился на 4–7 баллов[123]. В 2006 году экономист Уильям Диккенс и психолог Джеймс Флинн (первооткрыватель статистического феномена, названного эффектом Флинна) заключили: утверждения о том, что разрыв по уровню IQ между черными и белыми американцами остается неизменным, – «миф».

Возвращаясь к Йерксу и его последователям, можно сказать, что считать IQ тождественным интеллекту было неверно, а считать его равнозначным врожденному интеллекту – совершенно абсурдно. Пока условия жизни чернокожих и белых были разными, было бессмысленно утверждать, что различия в их результатах вызваны фундаментальными биологическими различиями между этими двумя группами.

Хотя с тех пор ситуация улучшилась, неравенство между черными и белыми все еще остается очень значительным. В 2016 году медианный доход черных семей в Америке составлял $ 17 600, то есть одну десятую медианного дохода белых семей, который равнялся $ 171 000[124]. Школы в черных, часто более бедных, районах обычно бывают хуже, чем в районах, населенных белыми[125]. Да и дискриминация остается в порядке вещей. Эксперименты с фиктивными резюме снова и снова демонстрируют, что кандидатам с именами, типичными для афроамериканцев, чаще отказывают в приеме на работу[126]. Удивляться, что результаты тестирования получаются разными, – чистый (я не подберу другого слова) идиотизм.

Как мы увидели в этой главе, когда исследователь стандартизирует абстрактную концепцию – например интеллект, – ему всегда приходится принимать некоторые субъективные решения. Возможно, из-за этого может показаться, что числа бесполезны. Это не так. Числа могут помочь нам выявить закономерности, которые без них оставались бы скрытыми.

Однако ложные ожидания, заставляющие нас предполагать, что числа объективны по определению, опасны. Они превращают числа в повод перестать думать. Именно это произошло, когда Ерназ Рамаутарсинг заявил: «Мне хотелось бы увидеть другое положение вещей… что чернокожие сверхинтеллектуальны… Но это не так». Я тут ни при чем, утверждал он; так говорят цифры.

Это извращенное мировоззрение. Если мы хотим принимать числа всерьез, мы должны выявлять все их недостатки – и сознавать, что в них скрыты оценочные суждения; что существуют вещи, не поддающиеся подсчету; что есть много такого, о чем числа не говорят. Что числа – не сама истина, а лишь подспорье в понимании истины.

Числа могут проявить нечто такое, чего мы не увидели бы без них. Мы видели, например, как Арчи Кокран обращался к числам, проверяя действенность лекарств. Численные значения IQ тоже могут быть полезны и помогать людям. Они позволяют психологам получить картину развития ребенка. А уровни IQ, показывающие различия между черными и белыми американцами, могут помочь нам составить представление о глубине неравенства.

Поэтому нужно делать число не завершением разговора, а его отправной точкой. Поводом продолжать задавать вопросы. Какие решения были приняты в ходе исследования? Откуда берутся различия? Как они влияют на наши действия? И самое главное: измеряет ли полученное число то, что мы считаем важным?

3

Что говорит о выборках одно сомнительное сексологическое исследование

На черно-белой фотографии 1948 года изображен мужчина средних лет, обеими руками держащий газету. Можно разобрать на первой странице набранный прописными буквами заголовок: «ДЬЮИ ПОБЕДИЛ ТРУМЭНА». Мужчина на фотографии улыбается так широко, что у него виден выщербленный клык. Он только что стал самым могущественным человеком на Земле.

Эта фотография стала культовой, но не потому, что кандидат в президенты Томас Э. Дьюи действительно «победил Трумэна». Она стала культовой, потому что он его не победил. На ней изображен оппонент Дьюи, Гарри Трумэн[127]. А газета, которую он держит в руках, допустила чудовищную ошибку. Поверив опросам общественного мнения, главный редактор Chicago Daily Tribune был настолько убежден в победе Дьюи, что не стал дожидаться результатов подсчета голосов и напечатал этот крикливый заголовок раньше времени, вечером того дня, когда еще шли выборы[128].

С тем же успехом это могла быть фотография Дональда Трампа в ноябре 2016 года. В его руках была бы одна из множества газет, предсказывавших победу Хиллари Клинтон, а на его лице – широкая улыбка, потому что все они оказались неправы. «Как ему удалось одержать столь поразительную победу? – спрашивала газета New York Times на следующий день после выборов. – Как получилось, что почти никто – ни аналитики, ни социологи, ни мы, сотрудники СМИ, – не предвидели ничего подобного?»[129]

Принстонский профессор Сэм Ванг, исходя из результатов социологических опросов, предсказал победу Клинтон с вероятностью 99 процентов. В случае победы Трампа он обещал съесть какое-нибудь насекомое[130]. Через четыре дня после выборов, съев в прямом эфире CNN сверчка, он сказал, что у того был «ореховый»[131] привкус[132].

Таким образом, почти через семьдесят лет после неожиданной победы Трумэна вопрос о достоверности социологических опросов снова вышел на передний план, причем далеко не в первый раз. Опросы имеют последствия. Они влияют на то, как СМИ пишут о политиках, и на то, кого допускают до участия в теледебатах. Более того, избиратели ориентируются на результаты опросов, когда выбирают, за кого им целесообразнее голосовать, или когда решают, идти ли вообще на избирательный участок. Таким образом, социологические опросы влияют, как прямо, так и косвенно, на результаты выборов. А значит, и на нашу демократию.

Вопрос о достоверности опросов общественного мнения важен далеко не только в контексте выборов. Методика, используемая при проведении таких опросов, – составление выборок – применяется для получения многих чисел, с которыми мы сталкиваемся. Данные выборок используют при измерении уровня бедности, при сборе статистики по сексуальным домогательствам, при испытании лекарств. В опросах такого рода невозможно охватить всех – всех американцев, всех женщин, всех больных раком. Врач Арчи Кокран не исследовал всех страдавших отеками пациентов в лагере военнопленных – только двадцать человек. Психолог Роберт Йеркс не тестировал на уровень интеллектуального развития всех американских мужчин – только военнослужащих.

Таким образом, выборка – это линза, при помощи которой мы понимаем мир.

Выборки, пишет профессор Йелке Бетлехем из Лейденского университета, вероятно, так же стары, как и само человечество[133]. Этот метод, осознанно или неосознанно, используют все. Например, когда вы варите суп, вы пробуете одну ложку и судите по ней о вкусе всего блюда. Слово, обозначающее выборку, – steekproef – веками используется на голландских сырных рынках: чтобы оценить или проверить (proef) сыр, в него втыкают (steekt) специальную ложку.

Идея использовать выборки в опросах общественного мнения впервые появилась в 1824 году, в том столетии, в котором действительно начали усиленно собирать численные данные[134]. Американские президентские выборы этого года были самыми захватывающими с момента провозглашения независимости в 1776 году – не только потому, что за победу боролись четыре кандидата с почти равными шансами, но и потому, что многие американцы лишь недавно получили избирательные права[135].

Избиратели жаждали информации, и, в полном соответствии с духом времени, начались подсчеты. Как часто за этого кандидата произносят тосты? Делают ли на него ставки? Вскоре любознательные избиратели стали подсчитывать число сторонников той или иной партии на военных парадах, празднованиях Дня независимости или в местных барах. Газеты печатали цифры, и в первую очередь благоприятные для тех кандидатов, которых они поддерживали.

Перейдем к тому моменту, когда широко улыбающийся Трумэн выиграл выборы 1948 года. Прошло целое столетие. За это время опросы общественного мнения стали более замысловатыми. Они проводились в масштабах всей страны специальными социологическими агентствами и касались уже не только выборов. Теперь американцы могли высказать свое мнение по любым вопросам – от работающих женщин до войны, от Организации Объединенных Наций до обычной простуды[136].

Но после выборов 1948 года стройная картина выборочных опросов пошла трещинами[137]. Если социологические агентства настолько сильно ошиблись в прогнозе о том, кого выберут президентом – Дьюи или Трумэна, то можно ли доверять другим выборкам? Насколько достоверны их результаты?

Этот зарождающийся скептицизм был направлен на одно скандальное исследование, также опубликованное в 1948 году. Эта книга объемом в целых 804 страницы была посвящена теме, от которой у многих глаза выскочили из орбит, – сексу. Ее написал биолог Альфред Кинси, который вместе со своими коллегами Уорделлом Помроем и Клайдом Мартином опросил 5300 американских мужчин на тему их половой жизни[138]. Книгу «Сексуальное поведение самца человека» (Sexual Behaviour in the Human Male) ждал ошеломительный успех: было продано более 250 000 экземпляров, и она многие месяцы оставалась в списке общенациональных бестселлеров. Не было почти ни одной радиопрограммы, в которой о ней бы не говорили, ни одного карикатуриста, не посвятившего ей карикатуры[139].

И все говорили о статистике, использованной в отчете. Хотя в Соединенных Штатах вроде как должно было господствовать целомудрие, исследование утверждало, что в реальности дело обстоит совершенно иначе. 90 процентов мужчин спали с кем-либо другим до брака, 50 процентов изменяли женам, а у 37 процентов был опыт сексуальных отношений с другим мужчиной. Один из двенадцати мужчин вступал в половые сношения с животными (а среди мужчин, выросших на ферме, – один из шести)[140]. Не менее поразительно и то, что эти цифры используются по сей день. Приходилось ли вам слышать, что каждый десятый мужчина – гомосексуал? Эта цифра тоже происходит из того же отчета[141].

Но справедливы ли эти цифры? Фиаско с выборами 1948 года показало, что к социологическим опросам следует относиться с осторожностью. Журнал Life Today писал: «Какой же осторожности требует в таком случае опрос, обвиняющий 60 000 000 белых мужчин на основе всего 5300 интервью?»[142]

Критика нарастала, как снежный ком, и Фонд Рокфеллера, предоставивший основное финансирование исследований Кинси, забеспокоился. В конце концов, осенью 1950 года три уважаемых статистика принялись разбираться с главным автором сексуального отчета[143].

К профессору сексологии едут три статистика

Три именитых статистика ждали в подвале, набитом книгами о сексе. Честно говоря, у них не было времени на ревизию. У Фреда Мостеллера было достаточно дел на работе в Гарварде, Уильям Кокран был главой кафедры биологической статистики в Университете Джонса Хопкинса, а Джон Тьюки работал в Принстоне и одновременно регистрировал патент за патентом от имени Телефонных лабораторий Белла. Эти трое приехали в Институт исследований секса в Индиане только из чувства долга. Им всем поставили задачу: вынести окончательное решение относительно качества нашумевшего исследования сексуальности.

Не успели они войти во временно отведенный им кабинет, как дверь распахнулась. В сопровождении армии секретарей и других сотрудников явился он. Человек, руководивший институтом, в котором им предстояло работать; человек, чья репутация зависела от их вердикта: Альфред Ч. Кинси.

Профессор Кинси – друзья звали его «Прок» – был высок и всегда носил галстук-бабочку. Его первые исследования были посвящены цинипидам[144]. Стремясь собрать как можно больше образцов, он объездил 36 американских штатов и Мексику. Каждое пойманное насекомое он тщательно накалывал на булавку, измерял и описывал.

Но в 1938 году университет поручил ему работу, пробудившую в нем интерес к совершенно иной области. У него появилась возможность преподавать курс брака и семьи в университете штата Индиана. Считалось, что этот курс должен подготовить студентов к браку; другими словами – к половой жизни.

Кинси вырос в консервативной христианской семье. Когда он не смог перестать мастурбировать, он подумал, что с ним что-то не так. В его доме секс был запретной темой, и Кинси не мог найти никакой информации о нем. Юный Альфред решил, что ему остается только молиться Богу об избавлении от этого греховного пристрастия.

К тому времени, как он начал читать лекции о браке, ему было уже за сорок, и он лучше понимал, что к чему. Но что считать нормальным, когда речь идет о сексуальном поведении? Этого по-прежнему никто не знал. Даже об орехотворках имелось больше данных, чем о сексуальности человека. Поэтому Кинси начал опрашивать своих студентов: «Бывает ли у вас оргазм? Мастурбируете ли вы? Занимались ли вы сексом с проститутками?» Однако ему нужно было собрать больше данных, и для этого он решил опросить 100 000 человек со всей страны[145]. Ему удалось убедить престижный Фонд Рокфеллера обеспечить финансирование этих исследований. В Фонде понимали, что секс – тема скользкая, но кто мог лучше исследовать ее, чем этот счастливо женатый, несколько чудаковатый профессор? Кинси изучал людей так же, как изучал до этого насекомых, – оставаясь нейтральным и отстраненным. «Мы лишь регистрируем факты и сообщаем о них, – утверждал он, – а не судим то поведение, которое мы описываем».

Короче говоря, только факты и никаких мнений.

Через два года после публикации отчета Кинси три статистика должны были оценить качество его работы. Их исследования выявили шесть важнейших ошибок, которые можно совершить при использовании выборок.

1. Некорректные условия или вопросы

– Что вы назвали бы основным источником своих первых знаний о сексе?

– Снится ли вам, как вам причиняют боль, принуждают к чему-либо или как вы принуждаете к чему-либо другого?

– Сколько лет вам было, когда вы впервые заплатили женщине за сношение или другие сексуальные действия?

Во время пребывания в институте три статистика согласились ответить Кинси и его коллегам на вопросы о своей половой жизни. Так они могли почувствовать на собственном опыте, как именно проводились эти опросы.

Собеседование с Кинси длилось в среднем два часа и включало в себя – в зависимости от сексуального опыта респондента – от 350 до 521 вопроса. Интервьюеры заучивали эти вопросы наизусть: были опасения, что, если их будут зачитывать по бумажке, это может нервировать респондентов. Чтобы обеспечить конфиденциальность, ответы записывались сложным секретным шифром. Например, буква P могла означать слова puberty (пубертат), peers (ровесники), petting (петтинг) или Protestant (протестант)[146]. Кроме того, Кинси и двое его сотрудников, проводивших интервью, старались задавать вопросы так, чтобы отвечавшим было легче делиться своими секретами. Они не задавали вопрос: «Изменяли ли вы когда-нибудь жене?», а спрашивали так: «Сколько вам было лет, когда у вас в первый раз во время брака было половое сношение с женщиной, которая не была вашей женой?»[147] Такой вопрос, должно быть, удивил Джона Тьюки, исследователя из Принстона. Он вступил в брак со своей женой Элизабет, с которой познакомился на занятиях народными танцами, совсем незадолго до этого[148].

Условия проведения интервью чрезвычайно важны, особенно когда речь идет о такой деликатной теме, как секс. Практически каждое исследование показывает, что число сексуальных партнеров противоположного пола у мужчин выше, чем у женщин. Например, в британском исследовании, использовавшем данные с 2010 по 2012 год, женщины, по их словам, спали в среднем с семью мужчинами, – а мужчины называли в среднем вдвое большее число женщин[149]. Однако такая ситуация невозможна: откуда взялись эти лишние женщины? Может быть, исследование не было репрезентативным? Возможно, мужчины чаще вступали в сексуальные отношения за границей? Или же они обращались к профессиональным секс-работницам, которых исследователи не опрашивали?

Существует еще одно правдоподобное объяснение: респонденты не говорили правды. Взять, к примеру, эксперимент 2003 года, в котором 200 студентам предложили заполнить анкету об их половой жизни. Некоторые из них были подключены к детектору лжи. Детектор был ненастоящим, но они об этом не знали. Результат: среднее число сексуальных партнеров у женщин увеличилось на 70 процентов – с 2,6 до 4,4[150]. Это лишь одно из множества исследований лжи в социологических опросах, которые снова и снова демонстрируют, насколько сильно условия проведения опроса могут влиять на его результаты.

Каковы же были условия, в которых Кинси проводил свое исследование секса? Были ли они наилучшими из возможных? Трудно сказать. Сравнительное исследование показывает, что единой оптимальной методики изучения секса не существует. Иногда респонденты отвечают честнее, когда им нужно самостоятельно заполнить анкету, но иногда взаимодействие с интервьюером – как это было в случае Кинси – помогает им делиться деликатной информацией[151].

Наряду с условиями проведения в выборочных исследованиях чрезвычайно важны формулировки вопросов. Некоторые вопросы, намеренно или ненамеренно, ориентируют респондентов в определенном направлении. Возьмем опрос индийского премьер-министра Нарендры Моди об одной неоднозначной политической мере. В ноябре 2016 года его правительство объявило, что купюры достоинством 500 и 1000 рупий, бывшие на тот момент в обращении, больше не являются законным платежным средством. Гражданам дали на их обмен срок до конца года, чуть больше двух месяцев[152].

Моди считал, что эта мера поможет в борьбе с коррупцией и уклонением от налогов. Кроме того, она должна была побудить индийскую общественность перейти на электронные платежи, внедрение которых было одним из любимых проектов премьер-министра. Но на деле это решение вызвало сильнейшие протесты. Мера была слишком радикальной, утверждали ее противники: речь шла о 86 процентах всей индийской наличности. Обмен такого гигантского количества денег в течение всего двух месяцев просто не мог пройти успешно.

Чтобы заглушить протесты, Моди решил провести опрос общественного мнения. За тридцать часов на его вопросы ответили полмиллиона человек, и премьер-министр мог быть доволен: более 90 процентов сочли его планы хорошими или даже «превосходными».

Но посмотрите на вопросы, которые он задавал:

• Считаете ли вы, что в Индии существует «черный нал»?

• Считаете ли вы, что следует бороться со злом коррупции и «черного нала» и искоренить его?

• Что вы думаете о действиях правительства по борьбе с «черным налом»?

• Что вы думаете об усилиях правительства Моди по борьбе с коррупцией?

• Что вы думаете о решении правительства Моди изъять из обращения старые 500- и 1000-рупиевые купюры?

Вопросы, звуча один за другим, подталкивали респондентов к мысли, что эта мера была необходима для борьбы с коррупцией. Когда вам задают вопросы, на которые очень трудно ответить «нет», – кто скажет, что «зло» не следует «искоренить»? – вас в конце концов ставят в положение, в котором почти невозможно быть против той или иной инициативы.

Дело дошло до совершенного абсурда, когда респондентам предложили выразить свое отношение к фразе «Демонетизация сделает недвижимую собственность, высшее образование и здравоохранение доступными для простого человека». На выбор предлагались всего три варианта ответа: «полностью соглашаюсь», «частично соглашаюсь» и «не могу сказать». Выразить несогласие было невозможно: «Если вы будете учиться на моем курсе маркетинговых исследований и составите такой опрос, я поставлю вам неуд», – написал в ответ профессор маркетинга из Бангалора Притхвирадж Мукерджи[153].

В хорошем опросе задают нейтральные вопросы. Это бывает легче сказать, чем сделать: даже тонкие различия в формулировках вопросов могут повлиять на результат. В 2014 году медиакомпания CNN и социологическая организация Гэллапа одновременно провели опросы общественного мнения о терроризме[154]. Оба опроса были телефонными, и группы респондентов были приблизительно одинакового размера и в равной степени репрезентативными (о репрезентативности мы еще поговорим ниже). И тем не менее в опросе CNN 14 процентов респондентов считали терроризм серьезной проблемой, а в опросе Гэллапа так думали лишь 4 процента участников. Разница была, вероятно, связана с формулировкой вопросов. В опросе CNN задавался вопрос закрытого типа: «Что из следующего является самой важной проблемой, стоящей сегодня перед страной?» Среди вариантов ответа – наряду с состоянием экономики и изменениями климата – был и терроризм. В то же время в опросе Гэллапа вопрос был открытым: «Какова, по вашему мнению, самая важная проблема, стоящая сегодня перед страной?» Респонденты, не получившие подсказки, по-видимому, были менее склонны думать о терроризме.

В опросе Кинси о сексе была такая же опасность того, что формулировки вопросов повлияют на ответы. Он пытался побудить своих респондентов говорить правду, но его вопросы вполне могли приводить к противоположному результату. Например, вопрос наподобие «Когда вы впервые начали мастурбировать?» может внушить человеку, никогда не мастурбировавшему, мысль, что он отклоняется от нормы и, следовательно, ему будет лучше солгать.

Тем не менее собственные интервью трех инквизиторов Кинси произвели на них благоприятное впечатление, и они признали их оптимальной методикой сбора такого рода деликатной информации. Но их интервью не развеяли имевшихся у них сомнений относительно исследования секса. Их беспокоили не столько вопросы или условия, сколько совершенно другой аспект: состав выборки.

2. Исключение из исследования некоторых групп

Главная претензия статистиков к исследованию Кинси состояла в том, что оно было нацелено на определенные группы людей. Кинси собирал данные в гей-барах, тюрьмах и университетах. Его методы были, мягко говоря, нетрадиционными. «Мы идем с ними на ужин, на концерт, в ночной клуб, в театр… на бильярд, в бар, и там они знакомят нас со своими друзьями»[155]. Кинси опросил даже своих собственных детей. За период около девяти лет более 11 000 человек – около 5300 мужчин и еще 6000 женщин в процессе работы над следующим отчетом, который Кинси опубликовал несколько лет спустя[156], – рассказали о своей половой жизни. Все эти материалы были собраны с помощью всего двух коллег, потому что это были единственные люди, которым Кинси доверял непосредственно проводить интервью. Они работали по много часов в сутки и постоянно были в разъездах.

Какой бы впечатляющей ни была эта работа, в выборочных опросах важно не количество, а репрезентативность. И именно в этом и состоял недостаток методики Кинси. Он не бывал – или почти не бывал – во многих местах: в консервативных религиозных общинах, на фабриках, в сельских населенных пунктах. В его исследовании полностью отсутствовали чернокожие мужчины[157]. Другие группы – гомосексуалы, студенты, выходцы со Среднего Запада – были представлены в непропорционально больших количествах. Короче говоря, его книге больше подошло бы название «Сексуальное поведение преимущественно белого самца человека в основном со Среднего Запада».

До сих пор часто бывает, что опросы охватывают лишь определенные группы людей. Взять хотя бы опрос Моди о его новой мере. Он распространял анкеты через специальное приложение, но в 2016 году доступ к интернету был только у 30 процентов населения Индии[158]. Такой доступ имели представители привилегированных классов, которые, как правило, чаще использовали банковские карты, чем наличные деньги, и в целом придерживались иных политических взглядов, нежели те, у кого не было мобильных средств доступа к интернету. Более того, тем, кто не поддерживал премьер-министра, меньше всего хотелось устанавливать на свой мобильный телефон приложение Нарендры Моди. К тому же вопросы задавались только на хинди и английском, что лишало миллионы людей, не говорящих ни на одном из этих языков, возможности участвовать в опросе.

Часто бывает так, что научные исследования делают похожие общие выводы, исключая из рассмотрения определенные группы. Например, в области психологии преобладают исследования, проводимые в западных странах. В обзорной статье 2008 года было показано, что за предыдущие пять лет 95 процентов работ были выполнены на участниках из западных стран, причем большинство из них – 68 процентов – были из Соединенных Штатов[159]. Мало того, участники исследований происходили из очень конкретной группы: это были студенты психологических факультетов исследовательских университетов. Они всегда были под рукой и охотно соглашались принять участие в исследовании всего лишь за пакетик конфет.

Психолог Джозеф Хенрих и его коллеги утверждают, что в выборки в психологии входят представители обществ типа WEIRD[160]: «Western, Educated, Industrialized, Rich and Democratic» (западных, образованных, индустриальных, богатых и демократических)[161]. Результаты исследований часто обобщают на «всех», в то время как люди WEIRD могут радикально отличаться от других групп.

Эти отличия можно увидеть даже в базовых психологических процессах. Возьмем, к примеру, иллюзию Мюллера-Лайера: вас спрашивают, какая из линий длиннее – A или B (см. левый чертеж на иллюстрации). Большинству из нас кажется, что линия A длиннее. На самом деле, как видно из правого чертежа, эти линии одинаковой длины. Это классический пример оптической иллюзии, но исследования общин, не принадлежащих к обществам типа WEIRD, показывают, что она действует не на всех. Например, члены племени, живущего в пустыне Калахари, не видели между этими линиями никакой разницы[162].

Иллюзия Мюллера-Лайера

Исключение из выборки определенных групп может иметь далеко идущие последствия. До 1990 года большинство лекарств испытывали в первую очередь на мужчинах[163], так как исследователи опасались, что женщины могут забеременеть во время испытаний, и не хотели рисковать. Разразившийся в 1950-х и 1960-х годах скандал с талидомидом – когда тысячи детей родились с физическими недостатками из-за того, что их матери принимали во время беременности этот препарат, – показал, к каким серьезным последствиям это может приводить. Во всяком случае считалось, что женщин исследовать трудно, потому что их гормональный уровень ежемесячно колеблется.

Однако реакция женщин на некоторые лекарства может весьма сильно отличаться от мужской. В 2001 году, когда Счетная палата США расследовала случаи отзыва медикаментов в связи с опасными побочными эффектами, выяснилось, что восемь из десяти таких лекарств влияли на женщин сильнее, чем на мужчин. Четыре препарата из этой группы чаще прописывали женщинам, но другие четыре в равной мере использовали оба пола, и тем не менее от их побочных эффектов пострадало больше женщин. Например, препарат позикор приводил к замедлению или остановке сердцебиения у пожилых женщин, но не у пожилых мужчин[164].

К счастью, за последние несколько лет в этом отношении были приняты меры. И в Соединенных Штатах, и в Европейском союзе появились законы, благодаря которым было урегулировано участие женщин в медицинских испытаниях. Но это не отменяет того факта, что исключение некоторых групп из выборки может быть чрезвычайно опасно.

3. Слишком малая выборка опрошенных

Размер выборки не гарантирует, что исследование будет репрезентативным. Но размер выборки все же имеет значение. Взять, к примеру, исследования Арчи Кокрана в лагере военнопленных. Впоследствии он назвал их самыми успешными своими испытаниями: при содействии немцев ему удалось справиться с отеками. Но эти же исследования он считал и худшими во всей своей практике: он изучал всего двадцать человек, по десять в каждой из двух групп[165].

Недостаток малой группы состоит в том, что она с гораздо большей вероятностью может дать экстремальные результаты. Скажем, вы выходите на улицу и заговариваете с первым встречным. Это оказывается женщина. Затем вы говорите со следующим прохожим, и это тоже оказывается женщина. Было бы нелепо заключить, исходя из этой выборки, что 100 процентов людей – женщины. Чем дольше вы продолжаете свои исследования, тем меньше шанс, что вся выборка будет состоять из женщин, и тем точнее эта выборка будет представлять общий состав популяции. Именно поэтому проводить опрос на малочисленной выборке – это вряд ли хорошая идея: его результаты вполне могут сильно отличаться от параметров той группы, которая вас интересует.

Тот же недостаток проявляется в испытаниях на слишком малочисленных группах. При сравнении двух малых групп достаточно велика вероятность, что одна будет сильно отличаться от другой, потому что в малочисленной группе даже один человек, резко отличающийся от других, легко может исказить результат всей группы. Возьмем, например, исследование, которое проводила психолог Эми Кадди[166]. Вместе с коллегой она изучала, оказывает ли поза, которую мы принимаем, какое-либо воздействие, психологическое или физическое. Оказалось, что поза, выражающая превосходство, – с ногами на столе или разведенными в стороны руками – воздействует очень сильно. Участники исследования не только сообщали, что в такой позе чувствуют себя сильнее; эта поза производила и биологический эффект: уровень тестостерона, гормона доминирования, становился выше, а уровень кортизола, гормона стресса, – ниже. Выступление Кадди на эту тему на конференции TED было одной из самых популярных лекций за всю историю этого формата, а ее книга стала бестселлером.

Но если посмотреть на исходную работу, можно увидеть, что ее выводы были сделаны на основе данных малочисленной группы. В исследовании принимали участие всего сорок два человека. Когда другие исследователи повторили исследование Кадди на группе из двухсот человек, результаты получились менее впечатляющими. Действительно, участники чувствовали себя сильнее, но никаких изменений гормональных уровней зарегистрировано не было[167].

Неудивительно, что исследования на малочисленных группах проводятся до сих пор, особенно в областях, подобных нейробиологии, потому что исследования такого рода обычно бывают чрезвычайно дорогостоящими[168]. Но используя такие исследования для понимания нашей души, нашего здоровья и развития, мы рискуем очень сильно промахнуться.

Решает ли проблему случайная выборка?

Проведя в Институте исследований секса пять дней, три статистика удалились писать отчет о своих выводах. Во время дискуссий с Кинси они выписывали на доске бесконечные формулы и цифры, пытаясь донести до него мысль, что его исследование не было репрезентативным. Профессор яростно сопротивлялся, но – поскольку он не получил никакого образования в области статистики – редко мог привести убедительные контраргументы.

Отчет, который должны были написать статистики, беспокоил Кинси, и он решил отправиться в Нью-Йорк и попросить совета у Джорджа Гэллапа. В то время Гэллап был главным экспертом по части социологических опросов. В 1936, 1940 и 1944 годах он правильно предсказал победителя американских президентских выборов[169]. Но в 1948 году он ошибся в выборе фаворита. Именно исследования Гэллапа и других социологов придали газете Chicago Daily Tribune решимости напечатать заголовок о победе Дьюи.

С тех пор Гэллап осознал вероятную причину своего провала: квотные выборки. Он отправлял своих социологов по всей стране со списками «типов» опрашиваемых, например «женщины среднего класса, живущие в сельской местности». Интервьюеры должны были собрать минимальное число анкет по каждому типу.

Методика Гэллапа казалась логическим решением проблем, которые мы видели выше: никто не исключался из выборки, а квоты обеспечивали сбор достаточного количества данных. Ту же идею до сих пор используют компании, занимающиеся маркетинговыми исследованиями. Они часто стараются опросить жителей всех округов или провинций и получить картину, сбалансированную по полу и возрасту. После сбора данных их дополнительно корректируют, если оказывается, что некоторые группы представлены недостаточно или чрезмерно. Например, если было опрошено слишком мало женщин, ответам респондентов женского пола придается большее значение. Такая корректировка может помочь сделать данные более репрезентативными.

Однако у метода квот Гэллапа есть один неустранимый недостаток. Его ясно иллюстрирует отчет одного социолога о его работе. В 1937 году этот интервьюер набрал свою квоту мужчин с низким уровнем образования, опрашивая строительных рабочих. Он подходил к ним во время обеденного перерыва. «Вы одобряете или не одобряете договор с Германией? – спрашивал он. – А вы? А вы? А как насчет вас?»[170]

Он отмечал, что эта «методика» не применима к представителям более состоятельных классов. «Пришлось бы набраться храбрости и ходить по фешенебельным районам города, пытаясь сообразить, какой дом выглядит наиболее доступным».

А как насчет домов, к которым интервьюер даже подойти не мог из-за сторожевых собак? Или мужчин с низким уровнем образования, которые уходили обедать домой? Возможно, их мнения отличались от мнений их более доступных коллег, но они так и не попали в набор данных этого интервьюера.

Порок метода квот – а также методов взвешивания многих нынешних социологических компаний – заключается в предположении, что на мнение человека влияет лишь небольшое количество (легко измеримых) факторов, например уровень доходов, пол и возраст. Но помимо этих факторов на человека могут влиять особенности его личности, его мечты о будущем, его молодость, его сексуальные предпочтения, его лучшие друзья… Где этому конец? Пока что совершенно неясно, что именно влияет на мнение человека и – внимание! – какие факторы следует учитывать при проведении социологического опроса.

Поэтому квотные выборки не помогли бы Кинси. Как же ему следовало проводить исследование? У трех статистиков был ответ на этот вопрос: с использованием случайной выборки. Джон Тьюки утверждал, что Кинси было бы лучше воткнуть в телефонную книгу вязальную спицу и опросить всех тех, в чьих именах она проткнула бы дырки. «Я обменял бы ваши 18 000 анкет на 400, образующих вероятностную выборку», – сказал он[171].

Случайная выборка до сих пор остается Святым Граалем выборочных опросов. Считается, что, если дать всем равные шансы принять участие в исследовании, это позволит получить достоверный срез популяции[172]. У организаций типа статистических бюро часто бывают досье с данными граждан, позволяющие выбрать из этого набора данных случайную группу. После унизительного провала 1948 года Гэллап и другие социологи начали использовать случайные выборки. Об этом теперь и хотел узнать Кинси, попавший в трудное положение. Действительно ли случайные выборки настолько лучше?

В Нью-Йорке Гэллап в течение долгих часов обучал встревоженного Кинси этой методике. Гэллап заверил его, что критика статистиков не так страшна, как кажется. Дело в том, что случайным выборкам присущ один крупный недостаток: не все смогут или захотят принять участие в опросе.

4. Слишком мало желающих участвовать

Когда Гэллап и его коллеги-социологи попытались использовать случайные выборки, вскоре стало ясно, что люди порой не желают участвовать в опросе – или их может просто не оказаться дома. Хотя случайная выборка целесообразна с научной точки зрения, терпение тех, кто проводит опрос общественного мнения – таких как Гэллап, – не безгранично. Им нужно зарабатывать на жизнь, так что они могут удовлетвориться и несколько менее репрезентативной методикой.

Даже если опрашивается репрезентативная группа, проблема «отказов от ответа» приводит к тому, что группа, действительно принявшая участие в опросе, может и не быть репрезентативной. С учетом той темы, которой занимался Кинси, – секс – вероятность, что опрашиваемые откажутся сотрудничать, была особенно высокой. К примеру, в университете юноши ждали под дверью его кабинета, когда он опрашивал студенток. Они знали, что дополнительные вопросы задаются только тем, у кого уже есть сексуальный опыт. Поэтому, если девушка оставалась в кабинете больше часа, это значило – ура! – что она уже не девственница[173]. Неудивительно, что студентки не всегда соглашались принять участие в исследовании Кинси.

Следовательно, если слишком многие участники откажутся отвечать на вопросы, случайную выборку можно сразу выкинуть в помойку. Например, в газете New York Times в 2015 году появился такой заголовок: «В университетских городках насилуют каждую четвертую!» (1 in 4 Women Experience Sex Assault on Campus)[174]. Двадцать пять процентов студенток! Такой результат ужасает. Но, по счастью, он, скорее всего, завышен. Взглянем на исходный отчет об исследовании, 288-страничный том[175]. Оказывается, участвовали всего двадцать семь высших учебных заведений, малая доля от их общего числа в Соединенных Штатах. Более того, исследователи обратились к 779 170 студенткам, но лишь 150 072 из них согласились заполнить анкету. Другими словами, лишь 19,3 процента реально приняли участие в исследовании.

Само по себе это не страшно: если бы те, кто отказался отвечать, не сильно отличались от тех, кто все же принял участие в опросе, беспокоиться было бы не о чем. Однако может существовать множество причин, по которым они отличались: возможно, женщины, не ставшие жертвой сексуального насилия, не сочли необходимым даже тратить время на заполнение такой анкеты. Что, если те 80 процентов, которые не стали участвовать в опросе, – это действительно те, кто никогда не подвергался сексуальному насилию или домогательствам? Тогда доля жертв упала бы с 25 до 5 процентов. С другой стороны, если предположить, что все они ответили бы «да» – они подвергались насилию, – итоговая цифра увеличилась бы до целых 85 процентов[176]. Когда речь идет о таких серьезных темах, как сексуальное насилие, к цифрам тоже следует относиться серьезно. Исследователи очень ясно высказали эти оговорки, однако газета New York Times предпочла броский заголовок.

Таково было бы возражение Кинси против требований проведения опроса на случайной выборке, которое выдвигали три статистика: слишком немногие согласились бы принять участие. Тем не менее не обращаться к тем, кто может отказаться отвечать, тоже нельзя, так как необходимо понять, какое влияние оказывает на результат группа не согласившихся участвовать – как это было в опросе о сексуальном насилии. Отсутствие этой информации не только сделало исследование сексуальности Кинси недостоверным, но и лишило нас возможности определить, насколько недостоверным оно было.

5. Пренебрежение погрешностями

Неправильные вопросы, исключение, слишком маленькие выборки и отказы от ответов – это четыре причины, по которым опросы отражают реальность не так точно, как кажется. Но, даже когда вопросы нейтральнее Швейцарии, а выборка репрезентативна и достаточно велика, остается проблема, которая не будет решена никогда: опрашивают не всех. На вопросы отвечает лишь часть целой группы – в этом и состоит идея выборки. Такая меньшая группа редко выглядит в точности так же, как вся популяция. Если бы Кинси использовал случайную выборку, он получил бы в некоторых случаях чуть большее количество гомосексуалов, чем в других. Или меньше неверных супругов. Просто потому, что конечный состав группы случаен.

Поэтому у любого опроса всегда есть погрешность. Ее величина показывает, насколько результат может отклоняться от реальности[177]. Вообще говоря, чем крупнее выборка, тем меньше погрешность. Точную величину погрешности можно вычислить по формуле, но еще легче использовать онлайн-калькулятор на сайте вроде goodcalculators.com, рассчитывающий погрешности для случайных выборок.

Предположим, Кинси действительно формировал свою выборку случайным образом. Когда он заключил, что 50 процентов его респондентов изменяли своим супругам, какова была бы погрешность его результата? Если он опросил всего 100 мужчин, доля неверных мужей могла быть выше или ниже на величину до 10 процентных пунктов[178]. Величина погрешности – целых 20 процентных пунктов. Но, поскольку в его выборке было около 5300 мужчин, погрешность составляла бы всего 1,3 процентного пункта.

СМИ часто упускают из виду погрешности опросов, что особенно заметно, когда речь идет о выборах. Предвыборные опросы могут ошибаться на пару процентных пунктов, но даже незначительным колебаниям в газетных колонках и на диванах ток-шоу иногда придается огромное значение.

Поэтому, когда многочисленные газеты утверждали в 2016 году, что опросы общественного мнения относительно американских выборов дали катастрофически ошибочные результаты, они были не столь ошибочными, как казалось, если учесть погрешности. В некоторых штатах интервьюеры, проводящие опрос, несомненно, сели в лужу. В штате Висконсин Трамп получил на шесть процентных пунктов больше, чем предсказывали опросы юридического факультета Университета Маркетта; в пригородах Милуоки – на целых десять процентных пунктов больше[179].

Но в общем и целом предсказания опросов были достаточно точными. В конечном счете Трамп набрал в «народном голосовании» – по числу голосов всего населения Соединенных Штатов[180] – всего лишь на 1–2 процентных пункта больше, чем предсказывали опросы, то есть в пределах погрешности авторитетных служб общественного мнения вроде ABC News/Washington Post, которые сообщали о погрешности в 4 процентных пункта[181]. Таким образом, если учесть погрешность, в победе Трампа нет ничего удивительного. Более того, разрыв между опросами и результатом был даже меньше, чем в 2012 году, когда выборы выиграл Обама, а тогда на цифры никто не жаловался[182]. В 2016 году неправы были не исследователи общественного мнения, а СМИ.

Какой из этого следует урок? При сборе численных данных результаты почти никогда не могут быть абсолютно точными. Их следует считать не точным представлением истины, а чем-то подобным виду сквозь матовое стекло: контуры различить можно, но то, что находится по ту сторону стекла, никогда не удастся увидеть во всех подробностях.

Интермеццо

Телеведущая Дион Стакс говорит о процентах

«Маленькое замечание, – сказала Дион Стакс в передаче нидерландского телевидения 18 марта 2015 года[183]. – На самом деле, если говорить точно, я должна сказать “процентные пункты”, но сегодня мы этого делать не будем. У меня будут проценты. Так и знайте».

Это работает как часы: на каждых выборах люди сетуют на неправильное использование слова «проценты». Та же история случилась и на нидерландских региональных выборах. Когда Стакс обсуждала их результаты в телеэфире, на нее вскоре посыпались критические замечания в твиттере. Причина: она путала «проценты» и «процентные пункты».

В чем разница между этими двумя понятиями? Предположим, некая партия получила на предыдущих выборах 5 процентов голосов, а на нынешних – целых 10. Стакс назвала бы это ростом на 5 процентов. Но на самом деле это неверно: доля партии удвоилась, то есть увеличилась на 100 процентов. Если вам захочется сказать что-нибудь а-ля Стакс, следует назвать этот рост увеличением на 5 процентных пунктов.

6. Исследователю важен определенный результат

В 1954 году, через четыре года после посещения Института Кинси, статистики Мостеллер, Кокран и Тьюки опубликовали 338-страничный критический отчет о его исследовании сексуальности. Кинси проделал впечатляющую работу, заключили они, но его выборка не была беспристрастным изображением американских мужчин. Тем временем Кинси опубликовал исследование о половой жизни женщин, в котором использовал ту же самую методику. Поскольку выборка снова была нерепрезентативной, это исследование тоже давало искаженное представление. Но это никого не волновало. «Большинство американцев совершенно не интересовала научная мысль. Им хотелось услышать, что Кинси узнал об американских женщинах», – писал в 1997 году биограф Кинси, Джеймс Джонс[184].

Исследование сексуальности Кинси до сих пор порождает яростные споры. По большей части они касаются не репрезентативности, а четырех таблиц в главе 5 отчета о мужчинах. В сопроводительном тексте говорится, что эти данные были собраны девятью разными людьми. Но в 2005 году выяснилось, что это ложь: все эти данные поступили из одного-единственного источника[185]. Кинси утверждал, что использовал несколько источников, чтобы скрыть личность своего респондента, мистера X[186]. Один из коллег Кинси впервые написал об этом человеке в 1972 году. Мистер X вел подробные записи о своих разнообразных встречах, Кинси увидел в этих записях «настоящую золотую жилу» для науки. Мистер X был государственным служащим и часто ездил в командировки; он просверливал дыры в стенах гостиничных номеров, чтобы следить за соседями, и вел заметки обо всех сексуальных практиках, с которыми он сталкивался. «[Меня] очень интересуют ваши отчеты о гостиничных наблюдениях», – писал Кинси. Он не видел никаких препятствий к использованию этих данных. Долг исследователя, считал он, – собирать факты, а не выносить этические суждения.

Кинси не понимал главного: исследователь всегда выносит этическое суждение. Он решает, какая тема важна, как обращаться с респондентами, что в конечном счете делать с собранной информацией. Кинси солгал, будто данные поступили от нескольких человек, и это было научной ошибкой; а то, что он принял данные бесспорно преступного характера – о насилии над детьми, – было ошибкой этической. Общаясь с мистером X как с коллегой, Кинси выражал молчаливое одобрение его поведения.

Но эта загвоздка не была единственной. Кинси был одержим некой идеей. За внешностью «объективного» профессора в галстуке-бабочке скрывался человек, на протяжении десятилетий боровшийся с собственной сексуальной идентичностью. Кинси считал, что консервативные сексуальные нормы того времени не позволяли людям быть самими собой.

В 2004 году, когда на экраны вышел фильм «Кинси» (Kinsey) с Лиамом Нисоном в главной роли, дискуссия об исследовании сексуальности 1948 года вспыхнула с новой силой. Поборники сексуальной свободы утверждали, что Кинси проложил путь сексуальной революции, противозачаточным таблеткам, абортам и признанию прав гомосексуалов. Оппоненты обвиняли его в том, что он сделал приемлемыми отвратительные сексуальные практики. Однако бесспорно одно: данные Кинси не были объективными. На них влияло его стремление разрушить рамки сексуальных норм. Поэтому никогда не ограничивайтесь вопросом о том, как были собраны данные; спрашивайте также, кем они были собраны.

Что касается Кинси, его нерепрезентативные цифры подтвердили именно то, что подсказывало ему чутье: реальное поведение людей очень сильно отличается от предписанного нормами. Его исследование было пропагандой, облаченной в научную мантию графиков и таблиц.

4

Курение вызывает рак легких (но аисты детей не приносят)

В 1953 году табачная промышленность переживала трудный период[187]. Курс акций Philip Morris & Co., United States Tobacco Company и других производителей табака резко и неожиданно упал. Непосредственным поводом к этому послужила публикация Эрнеста Виндера и его коллег, занимавшихся исследованием рака. Они наносили кисточками из верблюжьего волоса смолу от сигарет на выбритые спины белых мышей[188].

Результат этого эксперимента был ужасающим: у 44 процентов мышей из опытной группы развился рак. Через двадцать месяцев в живых оставались лишь 10 процентов из 81 мыши, на спины которых нанесли смолу. В контрольной группе, где мышей смолой не мазали, не было ни одного случая рака, а через год и восемь месяцев 53 процента мышей еще были живы. Об этом эксперименте встревоженно писали New York Times, Life и чрезвычайно популярный журнал Reader’s Digest. Публикация в последнем вышла под мрачным заголовком «Рак целыми блоками» (Cancer by the Carton).

Табачные магнаты уже не могли не обращать внимания на поднявшийся шум и собрались в декабре того же года под высокими потолками Дубового зала (Oak Room) в отеле «Плаза» у нью-йоркского Центрального парка[189]. В этом прославленном ресторане они попытались разработать план обороны отрасли от критически настроенных исследователей. Никто не мог помочь им в этом лучше, чем тот самый человек, который присоединился к ним за столом, – Джон Хилл. Хилл был генеральным директором агентства Hill and Knowlton, одной из самых могущественных PR-фирм в США. С его помощью табачные магнаты хотели убедить общественность, что обвинения Виндера и его коллег не имеют под собой никаких научных оснований. Нужно было продемонстрировать всю смехотворность беспокойства по поводу вреда сигарет.

4 января 1954 года крупные производители табака[190] учредили Исследовательский комитет табачной промышленности (Tobacco Industry Research Committee). В объявлениях, занимавших по целой полосе в четырех с лишним сотнях разных газет, они заверяли общественность, что их продукция безвредна[191]. За те сотни лет, в течение которых люди наслаждаются табаком, утверждали они, критики называли его причиной «практически всех болезней человеческого организма». Такие обвинения снова и снова опровергались отсутствием медицинских доказательств, заявлял комитет. Но в объявлениях говорилось, что производители глубоко озабочены даже подозрениями на малейший вред. Объединенный отраслевой комитет позволит внести вклад в исследования «всех стадий потребления табака и его медицинских аспектов».

Так возник заговор, просуществовавший почти пятьдесят лет и стоивший бесчисленных жизней. Впоследствии Департамент юстиции США заявил, что в тот злополучный декабрьский день магнаты решили «ввести американскую общественность в заблуждение относительно медицинских последствий курения»[192].

Однако этот обман не был делом рук одной лишь табачной промышленности. Соучастниками в нем стали и тысячи ученых.

Ложь при помощи статистики

В том же году, когда в газетах появились полностраничные объявления от табачных магнатов, Даррелл Хафф опубликовал книгу «Как лгать при помощи статистики» (How to Lie with Statistics)[193]. Эта 142-страничная книжка стала одной из самых популярных книг о цифрах за всю историю. Хафф был не статистиком, а журналистом, отличавшимся ненасытным любопытством[194].

Его предыдущие книги были посвящены фотографии, карьерному росту и собакам, а теперь он запустил когти в злоупотребление числами. «Мошенникам эти приемы уже известны; порядочные люди должны узнать о них для самозащиты». Книга имела ошеломительный успех: одна только английская версия была распродана тиражом более чем 1,5 миллиона экземпляров.

Это моя любимая книга о числах. Пересыпая свое повествование шутками, Хафф пишет об ошибках, которые совершаются до сих пор, – например о нерепрезентативных опросах и обманчивых графиках. Говорит он и еще об одной классической ошибке: смешении корреляции с причинно-следственной зависимостью. Ошибочная идея сводится к тому, что наличие связи между двумя явлениями автоматически означает, что одно из них является причиной другого.

Например, Хафф ловко показывает, что число детей в доме можно довольно хорошо оценить по количеству аистов, гнездящихся на его крыше[195]. Другими словами, между младенцами и аистами есть связь. Но, открою вам тайну, черно-белые птицы не приносят младенцев. Связь между этими двумя явлениями (корреляция) не означает, что одно из них является причиной другого (причинно-следственная зависимость). Весьма вероятно, что существует другой фактор, влияющий на оба явления. «Большие – и потенциально большие – семьи обычно селятся в больших домах, – пишет Хафф, – а на больших домах бывает больше печных труб, на которых могут гнездиться аисты».

Умение осознавать свои ошибки важно не только для статистиков, но и для всех нас. Многие важные решения принимаются, исходя из предположений о причинно-следственной зависимости. Правительство решает сократить расходы, потому что сокращение расходов приводит к уменьшению государственной задолженности. Курильщик бросает курить, потому что врачи утверждают, что иначе он заболеет раком легких. А в дни пандемии COVID-19 мы научились держаться друг от друга на расстоянии полутора метров, поскольку правительство и ВОЗ говорит нам, что это помешает вирусу распространяться. Идея состоит в том, что, если мы знаем, чем вызвано то или иное явление, мы можем повлиять на него.

Но корреляцию не следует путать с причинно-следственной зависимостью. Мы уже видели такую ошибку, когда политики утверждали, что цвет кожи человека определяет его уровень IQ. А также когда психолог Эми Кадди заявляла, что некоторые позы влияют на гормональный уровень.

Но нигде ошибочные заключения о причинно-следственных зависимостях не встречаются чаще, чем в новостях на медицинские темы. Джин с тоником облегчает симптомы сенной лихорадки[196], вероятность заразиться венерическими заболеваниями выше при сбритых лобковых волосах[197], а черный шоколад полезен для сердца[198] – и это лишь немногие примеры из потока сообщений, захлестывающего нас каждый день. Такие утверждения часто бывают преувеличенными. В этом виноваты не только СМИ, любящие публиковать раздутые сообщения; на самом деле проблема часто берет свое начало в пресс-службах университетов, распространяющих информацию о медицинских исследованиях. Исследователь Петрок Самнер и его коллеги просмотрели пресс-релизы в области биологии, медицины и здравоохранения, опубликованные двадцатью британскими университетами в 2011 году. Выяснилось, что приблизительно в 33 процентах этих релизов содержались преувеличенные заявления о причинно-следственных связях[199], а около 80 процентов новостных сообщений воспроизвели эти преувеличения.

Но если мы, потребители новостей, больше не можем полностью доверять журналистам и ученым, как же отделить факты от вымысла? Как узнать, например, вызывает ли курение рак легких? Книга «Как лгать при помощи статистики» дает нам кое-какие советы на эту тему. Хафф описывает в ней три типа того, что я называю «зазнавшимися корреляциями», – корреляций, которые притворяются бо́льшим, чем они есть на самом деле: причинно-следственными зависимостями.

1. Совпадение

Поваренная книга. Именно она была источником, который доктор Джонатан Шёнфельд и доктор Джон Иоаннидис использовали в своем анализе исследований рака[200]. Они выбрали несколько случайных рецептов из «Поваренной книги Бостонской кулинарной школы» (The Boston Cooking School Cook Book) и выписали 50 первых ингредиентов, встретившихся им в этих рецептах. Вооружившись этим списком, они отправились на сайт архива медицинских исследований PubMed. Первый результат оказался довольно любопытным: 40 из 50 ингредиентов назывались причиной рака в одной или нескольких исследовательских работах. «Действительно ли все, что мы едим, связано с раком?» – задумались исследователи.

Следующий результат оказался и вовсе странным. Про многие из ингредиентов утверждалось, что они как увеличивают, так и уменьшают вероятность возникновения раковых заболеваний. Например, если в одном исследовании выяснялось, что вино полезно для вашего здоровья, то можно было найти и другое, которое утверждало, что вам лучше даже не прикасаться к стоящему перед вами бокалу.

Корреляции между заболеваемостью раком и употреблением разных продуктов и напитков

Источник: Schoenfeld and Ioannidis (2013)

Шёнфельд и Иоаннидис решили ограничить свое исследование 20 ингредиентами, по которым имелось не менее десяти исследовательских работ. Для 17 ингредиентов из этих двадцати, от помидоров до чая, от кофе до говядины, они нашли противоречащие друг другу выводы.

Все эти результаты не могут быть правильными, но как именно авторы этих исследований пришли к своим выводам? Возможное объяснение дает первая «зазнавшаяся корреляция», описанная Хаффом: простое совпадение. Что получается, когда совпадение и корреляция совпадают, показывает история восьминогого предсказателя[201]. В 2010 году осьминог Пауль предсказал исход восьми матчей чемпионата мира по футболу. Он снова и снова открывал щупальцами правильную коробку с кормом – коробку с изображением флага той команды, которая побеждала в следующей игре. А орды журналистов снова и снова возбужденно ждали его прогнозов. Когда Нидерланды вышли в финал и должны были играть с Испанией, Пауль предсказал поражение нидерландской сборной. Осьминог прославился: он стал почетным гражданином испанского города Карбальино и был назначен послом заявки Англии на проведение чемпионата мира 2018 года, а президент Ирана Махмуд Ахмадинежад назвал его «символом западного разложения и загнивания».

Но что, если Паулю просто везло? Вероятность чисто случайного правильного предсказания результатов восьми матчей равна вероятности выпадения восьми орлов подряд при подбрасывании монеты: один шанс из 256, то есть 0,4 процента. Шансы невелики, но вероятность выигрыша в лотерею Lotto[202] почти в 200 000 раз меньше – одна 45-миллионная[203].

Эта история кажется еще менее поразительной, когда узнаешь, что на роль пророка чемпионата мира претендовали и другие животные. Как насчет дикобраза Леона, карликового бегемота Петти или тамарина Антона? Они тоже предсказывали результаты матчей чемпионата, но им повезло меньше, чем их коллеге Паулю. Если набрать достаточное количество животных, прогнозирующих результаты матчей, всегда найдется одно, предсказывающее правильно.

То же справедливо и в отношении корреляций. Если искать достаточно долго, всегда можно найти связь. Никто не иллюстрирует это положение лучше, чем аналитик Тайлер Виген. Ему принесли известность странные корреляции, о которых он писал на своем веб-сайте Spurious Correlations («Сомнительные корреляции»)[204]. Например, он обнаружил, что прирост числа людей, ежегодно тонущих в результате падения в бассейны, почти точно равен количеству фильмов, в которых играет Николас Кейдж. А динамика потребления сыра выглядит пугающе похожей на число людей, которые гибнут, запутавшись в постельном белье.

Корреляции Вигена подчеркнуто бессмысленны, что и делает их такими забавными. Гораздо менее забавно то обстоятельство, что корреляции в медицинских исследованиях так же легко могут быть порождены случайностью.

Карикатурист Рэндел Монро показал, как это бывает, в своем веб-комиксе xkcd[205]. Человечек с прической «конский хвост» вбегает в кадр, восклицая: «Мармеладное драже – причина подростковых угрей!» В следующем кадре двое ученых – один человечек в очках, а другой с листом бумаги – представляют свои результаты: никакой связи нет. «Я слышал, что угри вызывает только драже определенного цвета», – заявляет «конский хвост». Ученые возвращаются, на этот раз с сообщением, что не обнаружили связи с фиолетовыми драже. А также с коричневыми, розовыми, синими, аквамариновыми, желто-оранжевыми, красными, бирюзовыми, пурпурными, желтыми, серыми, бурыми, голубыми, лиловыми, бежевыми, сиреневыми, черными, персиковыми и оранжевыми. Но для одного цвета связь все же была найдена. В последнем кадре показана первая полоса газеты с торжествующим заголовком: «Доказана связь зеленого драже с угрями!»

Выше мы видели, что выборка может быть слишком малой; этот комикс иллюстрирует еще две проблемы, широко распространенные в науке. Первая – публикационное искажение. Мы обычно слышим только об исследованиях, в которых были найдены значимые корреляции. Во многих областях исследований применяется принцип «незначимое не важно». Это касается не только тех случаев, когда вы хотите, чтобы о вашей исследовательской работе непременно рассказали СМИ, но и публикаций в научных журналах. Поэтому многие исследования с нулевыми результатами остаются «в столе», и это придает научной литературе искаженный вид. А поскольку исследователи стремятся публиковать свои работы, они ищут в данных ясных корреляций. Кажется, что в таком положении вещей в принципе нет ничего дурного, но, как в комиксе про мармеладное драже, если искать достаточно долго, что-нибудь всегда найдется.

На газетной странице в комиксе также написано: «Вероятность совпадения – всего 5 процентов!» Монро имеет в виду так называемое p-значение, определяющее вероятность получения результата вследствие совпадения. Благодаря знаменитому статистику Рональду Фишеру p-значение стало в XX веке главным методом измерения значимости корреляций.

Предположим, вы хотите выяснить, существует ли причинно-следственная связь между зеленым мармеладным драже и угрями. Для этого можно провести эксперимент, подобный тому, что провел Арчи Кокран: нужно разбить участников на две группы. В одной группе участникам каждый день в течение месяца дают по одному зеленому драже, а во второй – по сахарной пилюле зеленого цвета. К концу испытаний у 10 процентов участников в группе, получавшей плацебо, оказываются прыщи. В группе, получавшей мармеладные драже, участников с прыщами больше, но это, разумеется, может быть чистым совпадением.

Разумеется, если бы прыщи появились у 100 процентов участников испытаний, входящих в эту группу, вряд ли это могло бы произойти по случайности. Но хватит ли 90 процентов? А 50? Где-то нужно провести границу. P-значение – это вероятность того, что количество участников с угрями в группе, получавшей драже, будет выше, даже если мармеладные драже на самом деле вовсе не вызывают угри. Если эта вероятность ниже заранее согласованного порогового уровня – его часто берут равным 5 процентам, – то вероятность, что вы обнаружите такую долю пациентов, настолько мала, что корреляцию можно назвать «статистически значимой».

Тем не менее это все еще может означать, что мармеладные драже не вызывают угрей. При p-значении, равном 5 процентам, в 5 процентах исследований все равно будут получаться неожиданные результаты. Шансы выиграть в лотерею гораздо меньше, но и в лотерее бывают победители.

Здесь мы подходим ко второй численной проблеме в науке. В течение долгого времени многие общественные науки были маниакально одержимы p-значениями. Научные журналы предпочитали публиковать только значимые результаты; при этом многим исследователям приходилось существовать под лозунгом «Опубликуй или умри». Те, у кого не было достаточного количества публикаций, впадали в немилость. Именно поэтому некоторые ученые лихорадочно старались получить как можно более низкие p-значения. Такую деятельность называют p-hacking – «добычей p-значений».

Бывший профессор Корнеллского университета Брайан Вансинк вывел добычу p-значений на новую высоту. Он прославился благодаря исследованиям, которые, по его словам, показывали, что дети охотнее выбирают яблоки, на которых есть наклейки с персонажами «Улицы Сезам»[206], а с маленьких тарелок люди едят меньше[207]. Его открытия широко освещались в прессе, в том числе в New York Times, а при президенте Джордже Буше-младшем он был руководителем Центра политики в области питания при Министерстве сельского хозяйства.

Однако выяснилось, что в его работе было множество изъянов. Электронная переписка, просочившаяся в прессу в 2017 году, ясно показала, какими методами пользовались Вансинк и его коллеги. Например, одна из исследователей написала ему, что проанализировала данные по ресторану, работавшему по схеме шведского стола, но не получила никаких результатов. Вансинк написал в ответ: «Не думаю, чтобы у меня когда-либо было интересное исследование, в котором данные “проявились” бы с первого же подхода»[208]. Он предложил коллеге одну идею. «Подумайте обо всех возможных способах, которыми можно обрезать данные и проанализировать их подмножества, чтобы посмотреть, в каких из них связь сохраняется». Другими словами, он советовал перебирать все мармеладные драже, пока не найдется цвет, связанный с угрями.

Внезапно тот факт, что Шёнфельд и Иоаннидис обнаружили связь такого количества продуктов с раком, перестает казаться таким странным. Благодаря публикационным искажениям те работы, в которых связь не была обнаружена, так и не увидели свет, а исследователи занимались добычей p-значений, пока не нашли корреляцию, у которой эта величина была достаточно низкой. То, что эта корреляция была позитивной в одном случае и негативной в другом, не имело значения. Лишь бы она была значимой.

2. Отсутствие какого-либо фактора

В августе 1941 года Арчи Кокран получил от немцев партию дрожжей, и вскоре число пациентов с отеками в лагере военнопленных значительно сократилось. Однако нельзя утверждать с уверенностью, были ли причиной этого резкого спада заболевания именно дрожжи, потому что, когда Кокран представил немцам свои требования, он просил не только «много дрожжей, и немедленно», но и «как можно скорее увеличить рацион»[209]. Обе просьбы были встречены благосклонно. Сначала доставили дрожжи, а еще через несколько дней пленные получили и больше еды. Теперь они получали – все еще скудный – паек, обеспечивавший им по 800 килокалорий в день. В чем же была причина спада заболеваемости отеками? Она вполне могла заключаться в улучшенной диете.

Была и другая проблема. Выше мы говорили о том, что Кокран называл этот эксперимент лучшим и худшим в своей жизни, поскольку группы были слишком маленькими. Однако он называл и другую причину: он проверял не ту гипотезу. Кокран предположил, что причиной отеков лодыжек и коленей была болезнь бери-бери, поэтому экспериментировал с витамином B (дрожжами). Но в автобиографии он пишет, что наиболее вероятной причиной отеков был голод, а не бери-бери. От голодных отеков помогает не увеличение дозы витамина B, а усиленное питание. Почему же пациенты, участвовавшие в испытаниях с дрожжами, выздоровели? Это «загадка», пишет Кокран, но он подозревал, что причиной мог быть белок, содержащийся в дрожжах.

Это подводит нас ко второй «зазнавшейся корреляции» – пренебрежению фактором, который влияет как на «причину», так и на «следствие». Именно это произошло в истории Кокрана. Благодаря дрожжам пациенты потребляли больше витамина B («причина») и меньше страдали отеками («следствие»), но из этого не следует, что лекарством от отеков был именно витамин B. Эту ситуацию можно сравнить с примером с аистами и детьми, который приводит Хафф. На этот раз третьим фактором была не величина крыши, а прибавка пищи.

Возьмем еще один пример. В книге Хаффа описывается исследование курения и показателей успеваемости. Это исследование показало, что курильщики получают более низкие оценки. Следует ли студентам бросить курить? Ничего подобного, считает Хафф. В этом случае также могут действовать другие факторы, влияющие на студентов, которые получают низкие оценки, и на курильщиков. Возможно, к курению склонны более компанейские студенты, а они проводят меньше времени за книгами из-за насыщенной светской жизни. А может быть, различия связаны с экстраверсией и интроверсией? «Это я к тому, что, когда имеется множество правдоподобных объяснений, у вас едва ли есть право брать то из них, которое вам больше нравится, и настаивать на его истинности»[210].

Такую же ошибку совершили те, кто сравнивал страны в дни пандемии COVID-19. Снова и снова случалось нечто новое, и спор разгорался с новой силой: «Из-за фактора X страна Y лучше справляется с пандемией». Чего бы ни касалось дело – ношения масок или избрания женщины на руководящий пост, – различие между странами всегда объяснялось какой-либо простой причиной.

С таким мышлением есть одна проблема: страны различаются не только по указанному фактору, но и по многим другим. Состав народонаселения, качество здравоохранения, политика тестирования, политическая обстановка… И не будем забывать об удаче. Некоторым странам просто повезло, они уже были предупреждены о появлении вируса и подготовились лучше, чем, скажем, Китай и Италия. Нельзя просто взять один из всех этих факторов и полностью проигнорировать остальные. Потребуется провести больше исследований, чтобы выяснить, почему определенные страны пострадали от пандемии намного сильнее, но вероятнее всего, винить нужно сочетание всевозможных элементов. И в том, почему та или иная страна справилась или не справилась с пандемией, единой причины нам не найти.

3. Обратная причинно-следственная связь

Третья, и последняя, «зазнавшаяся корреляция», о которой говорит Хафф, – это когда причинно-следственная связь работает в обратную сторону. Когда идет дождь, на улице много людей с зонтиками. Можно ли сказать в таком случае, что зонтики вызвали дождь? Разумеется, нет. Это дождь привел к появлению всех этих зонтиков.

Но, как показывает Хафф, отличить причину от следствия не всегда так легко. Если у богатого человека много акций, стал ли он богатым благодаря этим акциям? Или же он смог купить их, потому что у него было много денег? Оба варианта возможны. Причинность может работать в обоих направлениях: человек богат, он покупает акции, становится еще богаче, покупает еще больше акций – и так далее.

То же касается «парадокса ожирения»: выживаемость людей с избыточным весом иногда оказывается выше, чем у людей с «нормальным» весом. Это удивляет, потому что обычно мы слышим, что излишний вес вреден для здоровья. Исследователи пришли к выводу, что ожирение, по-видимому, выполняет некую защитную функцию, позволяющую прожить дольше.

Тут, однако, был упущен из виду один важный фактор: когда человек болеет, он теряет вес. Низкий вес может быть не причиной плохого здоровья, а его следствием. Этот вывод был подтвержден исследованием 2015 года, в котором были внесены поправки на потерю веса[211].

Итак, следует помнить, что корреляция не всегда означает существование причинно-следственной связи, потому что возможно влияние совпадений («зазнавшаяся корреляция» № 1), упущенных из виду факторов («зазнавшаяся корреляция» № 2) или обратной причинности («зазнавшаяся корреляция» № 3).

Но как распознать случаи, в которых причинно-следственная зависимость есть? Говоря более конкретно, как нам удалось выяснить, что курение вызывает рак легких?[212]

Интермеццо

Внезапно все ненавидят бекон

Весной 2015 года в заголовки попали новости о продуктах из переработанного мяса – колбасе, беконе и т. п.[213]. Нидерландское новостное агентство NOS сообщало: «У людей, которые ежедневно едят переработанное мясо, почти в двадцать раз выше вероятность возникновения рака кишечника». Об этой новости говорили и многие зарубежные издания. Комик Арьен Любах сказал об этом так: «Все играют в игру под названием “Как объявить это самым канцерогенным?”»[214]. Вот, например, заголовок нидерландского издания газеты Metro: «Бекон – такой же канцероген, как курение». На следующий день газета взялась за дело с еще бо́льшим пылом: «Можно ли есть и не умереть?» («Если вам такое удастся, это будет первый случай в истории», – заметил Любах.)

Надо сказать, что агентство NOS несколько перегнуло палку: вместо «почти в двадцать раз» следовало сказать «почти на двадцать процентов». Но в нагнетании паники приняли участие даже те издания, которые привели правильные цифры. Что тут возразишь; увеличение на 20 процентов тоже кажется значительным.

Однако в большинстве сообщений отсутствовала одна важная подробность: 20 процентов чего? Если обратиться к данным, можно увидеть, что у шести из ста жителей Нидерландов в какой-то момент жизни возникает рак кишечника[215]. По данным Всемирной организации здравоохранения, это число уменьшается на 18 процентов – вот откуда взялись «почти 20 процентов», – если отказаться от мясопродуктов[216]. С шести до пяти человек на сотню.

Такие сообщения часто встречаются там, где речь идет о новостях медицины: нам рассказывают об относительном риске (почти 20 процентов), но ничего не говорят об абсолютных значениях (один человек из ста).

Как Гитлер мог спасти жизнь миллионам курильщиков

Как началось изучение курения и рака? Эксперимент, поставленный Виндером и его коллегами, которые наносили смолу на спины мышей, встревожил производителей табака в 1953 году. Но научные исследования опасности курения для здоровья проводились задолго до этого. Еще в 1898 году немецкий студент-медик Герман Ротман писал о возможной связи между курением и раком легких, а в 1930 году немецкий врач Фриц Ликинт одним из первых опубликовал статистические доказательства корреляции между ними[217]. Примерно в то же время аргентинский врач Анхель Роффо поставил первые опыты на животных: он наносил смолу на уши кроликов. На тошнотворном рисунке, иллюстрирующем его работу, показано бархатистое коричневое ухо, усеянное малиново-розовыми новообразованиями. Роффо опубликовал сотни статей о курении и раке легких, в основном в немецких научных журналах.

Исследования последствий курения не случайно оказались тесно связаны с Германией. В 1930-х годах эта страна была самой развитой в области медицины. Более того, ни один руководитель государства не был более яростным противником курения, чем Адольф Гитлер. Он утверждал даже, что национал-социализм никогда не смог бы восторжествовать, если бы сам он в 1919 году не бросил курить. Управлять людьми должен был фюрер, а не сигарета. Поэтому эту опасность, по его мнению, следовало обуздать.

В 1939 году немецкий исследователь Фриц Ликинт опубликовал книгу «Табак и организм» (Tabak und Organismus), 1200-страничный обзор более чем 7000 работ по последствиям употребления табака. Это и другие метаисследования (исследования исследований) привели к тому, что специалисты наконец пришли к согласию. В начале 1940-х годов большинство немецких врачей и чиновников единодушно утверждали, что курение опасно.

Но не это немецкое исследование помогло нам понять, что курение является причиной рака легких. Когда Виндер и его коллеги опубликовали результаты своих опытов на мышах, их провозгласили первопроходцами. Исследование британских эпидемиологов Ричарда Долла и О. Бредфорда Хилла, вышедшее в 1952 году, также было воспринято как революционное[218]. Эти англосаксонские ученые до сих пор считаются первооснователями изучения курения. Но все же, хотя их работы и были, возможно, более прогрессивными, германские ученые опередили их по меньшей мере на десять лет.

Однако после войны германские исследования исчезли из научного сознания. Многие ученые из Германии погибли во время войны, а еще важнее было то, что медицинские исследования, которые проводили немцы, приобрели дурную репутацию.

О чем это говорит? О том, что научный прогресс не всегда идет по прямой. Бывает так, что через несколько лет после очередного достижения мы снова оказываемся в исходной точке. В том факте, что один из крупнейших массовых убийц в истории мог спасти жизнь миллионам курильщиков при помощи своей антитабачной пропаганды, заметна ирония.

Но неблаговидное реноме германских исследований – не единственная причина, по которой связь между курением и раком легких так долго оставалась скрытой.

Коварнейший маркетинговый прием

Однажды в 1970 году всех учеников средней школы в Канзас-Сити собрали в актовом зале. Перед ними выступил молодой человек в полосатой рубашке и белых туфлях. Он передал простое послание от табачной промышленности: курение – не для детей. Это для взрослых, так же как секс, алкоголь и вождение автомобилей. Подросткам нечего об этом и думать.

Казалось, он говорил из самых лучших побуждений, но после его речи школьники только и думали что о сигаретах. Если подростков что и интересует, так это нечто запретное. Нечто предназначенное только для взрослых.

Много лет спустя Роберт Проктор, один из учеников, бывших в зале, написал об этом собрании в книге «Золотой Холокост» (Golden Holocaust)[219]. По его словам, тот молодой человек был участником коварной кампании, целью которой было подтолкнуть детей к курению.

К тому времени Проктор стал историком и изучил миллионы засекреченных документов табачной промышленности. Он нашел целый набор сомнительных практик. Оказалось, что решение заняться детьми было преднамеренным. Эти «предкурильщики», «покупатели сигарет завтрашнего дня» или «смена» должны были занять место тех курильщиков, которым пришлось перестать курить (читай: умерших). В 2000 году компания Philip Morris International отправила в американские школы 13 миллионов книжных обложек. Ученики получили возможность украсить свои книги изображением классного сноубордера и лозунгом «Думай. Не кури» (Think. Don’t smoke). Табачные компании обращались к ученикам не только через школы, но и через родителей. Информационные листовки призывали родителей говорить с детьми об опасностях курения.

Табачная промышленность известна своими вкрадчивыми лозунгами (I’d Walk a Mile for a Camel – «Ради Camel я пойду куда угодно») и убедительными примерами для подражания («ковбой Мальборо»). Она же первой начала использовать рекламные щиты и скрытую рекламу в голливудских фильмах, а также организовывать спонтанные покупки в супермаркетах. Но по-настоящему отличали табачную промышленность от компаний других отраслей малозаметные, хитрые маркетинговые приемы. Из секретных меморандумов и других документов Проктор узнал, как на протяжении многих лет производители усиливали способность сигарет вызывать привыкание – например путем добавления лакрицы, дававшей сладкий вкус, или аммиака, который усиливал зависимость от никотина[220].

Но один из маркетинговых приемов был гнуснее всех остальных. Эта уловка, придуманная в Дубовом зале в 1953 году, впоследствии ввела миллионы человек в заблуждение относительно последствий курения. Лучше всего ее сформулировал Джон Бургард, директор по маркетингу одной из крупных марок табачных изделий, написавший (разумеется, в засекреченном документе): «Имя тому, что мы производим, – сомнение».

Табачные магнаты не собирались демонстрировать, что курение полезно для здоровья. Достаточно было и наличия сомнений в последствиях курения табака. Начиная с совещания в Дубовом зале Исследовательский комитет табачной промышленности – впоследствии переименованный в Совет по исследованиям табака – делал все возможное, чтобы результаты научных исследований курения было очень сложно понять. Эта организация была распущена только в 1998 году, по юридическому соглашению между табачной промышленностью и прокурорами 47 американских штатов. За предшествующие десятилетия табачная промышленность потратила на медицинские исследования сотни миллионов долларов.

Эта комиссия предоставляла гранты якобы на исследования в области «табака и здоровья», но на деле они редко использовались для этой цели. «Настоящей целью было искать так, чтобы ничего не найти, – пишет Проктор, – а потом утверждать, что, хотя на изучение “табака и здоровья” были потрачены многие миллионы, никаких доказательств вреда обнаружить так и не удалось». Он нашел сотни пресс-релизов, повторяющих стандартное для науки заклинание: «необходимы дальнейшие исследования». Или, как говорили табачные магнаты, «надо исследовать и исследовать».

Теперь табачная промышленность не просто могла утверждать, что самым серьезным образом относится к науке; ее репутации также помогало финансирование работы исследователей из респектабельных университетов вроде Стэнфорда и Гарварда. В то же время она завела свою «команду экспертов», в которую входили ученые, писавшие «дружественные к отрасли» статьи или, если нужно, давали показания в судах.

И тут мы снова встречаем Даррелла Хаффа. Хотя он и не был ученым, автор книги «Как лгать при помощи статистики» идеально подходил для команды. Кто мог рассказывать о числах интереснее, чем сам мистер Как-Лгать-При-Помощи-Статистики?

В результате 22 марта 1965 года он выступил с показаниями на слушаниях по рекламе и упаковке табачных изделий в конгрессе США, заявив, что ни в коем случае не следует путать корреляцию между курением и плохим здоровьем с причинно-следственной связью.

Интермеццо

График вечной молодости

Флоренс Найтингейл умела убеждать правительство при помощи графиков. Но их же можно использовать и для другой цели – сеять сомнения. В 1979 году Институт табака, финансировавшийся табачной промышленностью, опубликовал график развития разных видов рака. Научные исследования показывали, что с годами росло как число курильщиков, так и число больных раком.

Этот график должен был показать, что дело, возможно, обстоит иначе. На нем в пропорциональном соотношении были представлены данные по пациентам с раком ротовой полости и горла, раком мочевого пузыря и раком пищевода. Результат выглядел так запутанно, что увидеть постоянный рост было трудно. Чего же не хватало на этом графике? Разумеется, самого главного последствия курения – рака легких.

Заболеваемость ракомв 1947–1949 и 1969–1971 гг.

Этот график был распространен Институтом табака в 1979 г.

Источник: Proctor (2011). Fig. 29

Сеять сомнения при помощи графиков умеет не только табачная промышленность. 14 декабря 2015 года консервативный американский журнал National Review написал в твиттере: «Единственный график про #измененияклимата, который вам нужно увидеть»[221]. На графике были показаны значения температуры с 1880 года. Вывод? За последние 135 лет средняя температура почти не изменилась. Линия, изображающая изменения температуры, получилась плоской, как сигнал на кардиомониторе только что умершего пациента.

Я рефлекторно решила, что здесь были использованы ошибочные данные, так как бесчисленные замеры показывают, что температура поднимается[222]. Наверное, в National Review подправили цифры; другого объяснения быть не может. Но нет, данные были правильными. Они были получены из надежного источника – NASA, американского космического агентства[223].

Среднемировая температура в градусах Фаренгейта, 1880–2015 гг.

Источник: Твит National Review от 14 декабря 2015 г.

Взглянем на график еще раз. У него недвусмысленный заголовок, обе оси координат промаркированы; он соответствует всем требованиям к графикам, которые вы проходили в школе. Период, отложенный по горизонтальной оси, – с 1880 года до 2010-х, – видимо, должен хорошо отражать долговременные изменения. С диапазоном по вертикальной оси тоже, кажется, все в порядке: от –10° до 110° Фаренгейта, что соответствует диапазону от –23 до +43 °C. В этих температурах нет ничего абсурдного; на Земле есть места, где бывает и так холодно (Сибирь), и так жарко (Лас-Вегас).

И все же с вертикальной осью что-то не так. По ней отложена не температура в одном и том же месте в одно и то же время. Это средняя температура всего мира. А для этой величины важны даже изменения на несколько десятых градуса. По общему мнению климатологов, увеличение средней температуры даже на неполных 2 °C может иметь катастрофические последствия[224]. На этом графике такое изменение увидеть невозможно, потому что масштаб по вертикальной оси слишком мал.

С тем же успехом я могу посмотреть на график, представленный ниже, и заключить, что за последние тридцать лет я не постарела ни на день.

Я почти совсем не постарела

Если изменить вертикальную ось на климатическом графике, мы внезапно получим совершенно иную картину.

На этом графике показаны годовые отклонения средней температуры в градусах Цельсия от среднего значения за 1951–1980 гг.[225]. Это стандартная в климатологии методика измерений для определения изменений температуры, также называемая аномалией. По сравнению с графиком National Review здесь изменены несколько параметров: масштаб по вертикальной оси и единицы измерения. Если изменить только масштаб по оси y, вывод не изменится

Источник: NASA

Совпадения, неучтенные факторы и обратные корреляции

Выступление Хаффа в конгрессе было не менее красноречивым, чем его книга[226]. Он поочередно перечислил все возражения против исследований курения. Он упомянул, что методы регистрации данных изменились, отчего создалось впечатление, что заболеваемость раком легких возросла слишком значительно. Кроме того, выборки были нерепрезентативны, а временами и слишком малы. К тому же результаты, полученные в опытах на животных, нельзя переносить на человека без дальнейших исследований. Вероятно, имея в виду авторитетное исследование Виндера и его сотрудников, в ходе которых они мазали смолой спины мышей, он заявил: «Мыши – не люди».

Он построил свое выступление так, чтобы оно логически подводило к его главному возражению: «Если же, несмотря на эти различия, мы допустим существование некой связи между курением и состоянием здоровья, перед нами встает последний и самый важный вопрос». Означает ли существование корреляции между курением и раком автоматическое наличие причинно-следственной зависимости? Нет, заявил Хафф, – и рассказал историю про аистов и младенцев.

Он назвал три ошибки, касающиеся корреляций, о которых писал в своей книге. В предыдущей части доклада он уже говорил, что различия в заболеваемости раком курящих и некурящих могут быть «статистически значимыми», но с тем же успехом способны оказаться и случайностью. Кроме того, он, по-видимому, утверждал, что причинно-следственная зависимость может действовать в обратном направлении: «Если у выпускников Йеля действительно больше денег, чем у большинства из нас, вызвано ли это тем, что они учились в Йеле? Или же дело в том, что в Йель обычно попадают отпрыски состоятельных семей?»

Хафф был не первым, кто указал на возможность обратной причинности. Статистик Рональд Фишер, популяризировавший p-значение, уже говорил о том же. «Возможно ли в таком случае, что рак легких… является одной из причин курения сигарет?» – писал он в памфлете в 1959 году[227]. Фишер предположил, что еще до того, как заболевание обнаружат, у больных уже есть мелкие воспаления. Люди склонны закуривать, когда им трудно, – в ожидании опаздывающего поезда, на неприятном совещании; точно так же могут курить те, у кого не в порядке легкие. «И отобрать у такого бедолаги сигареты – все равно что отобрать у слепого белую трость».

Но впоследствии Фишер нашел другое, более правдоподобное объяснение – неучтенный фактор. Он был убежден, что гены могут объяснить почти все различия между людьми. Если у человека есть определенный ген, полагал Фишер, то возможно, такой человек окажется более предрасположен к курению.

Даррелл Хафф не говорил в конгрессе о генах, но также считал, что курильщики устроены иначе, чем некурящие. У них чаще бывает лишний вес, они пьют больше пива, виски и кофе. Кроме того, они чаще состоят в браке, чаще лечатся в больницах и чаще меняют работу. Нельзя произвольно взять лишь одно из этих объяснений и оставить без внимания остальные.

Когда знаний достаточно?

Существует ли истина? Что остается от чисел после всех этих нюансированных оговорок о стандартизации, изъянах в сборе данных и обманчивых, а порой и ложных методиках анализа, о которых мы говорили? Не лучше ли будет забыть о числах и закутаться в сизый дым, как чародеи-рекламщики из сериала «Безумцы» (Mad Men), раз уж мы все равно не можем понять, как воздействует на нас курение?

В основе аргументов Хаффа и Фишера лежат три типа «зазнавшихся» корреляций – иными словами, таких, которые действительно наблюдались, но не обязательно были причинно-следственными. Если невозможно выбрать одно объяснение, когда мы сравниваем, насколько успешно та или иная страна справилась с COVID-19, то почему те же рассуждения неприменимы к курящим и некурящим? Как мы можем быть уверены, что исследования курения и рака легких не подвержены публикационным искажениям и никто не прячет в стол исследования с нулевыми результатами? И нет ли частицы правды в идее обратной причинности, о которой говорил Фишер? Она ведь тоже позволила объяснить парадокс ожирения?

Такой была хитрая уловка табачной промышленности: предложенные ею доводы были совершенно справедливы в других контекстах. Разумеется, возможно, что результаты того или иного исследования были следствием случайности. Даже если это не так, могли существовать другие, неучтенные факторы. Фишер в своем памфлете утверждал, что есть только один способ исключить такие альтернативные объяснения: поставить эксперимент. Однако он знал, что медики и общественность считают неэтичным позволять людям курить, если это может оказаться пагубным для здоровья. Поэтому эксперименты ставили не на людях, а на животных. А тут вступает в игру аргумент Хаффа: «Мыши – не люди».

Таким образом, Хафф и Фишер сплели паутину, из которой было не выбраться. Эти аргументы просто не позволяют хоть когда-либо прийти к разумному выводу. Именно такая дискуссия и была нужна табачной промышленности: бесконечный туннель, в котором можно постоянно требовать новых исследований и нельзя сделать никаких выводов.

В этом состоит главная трудность, с которой сталкивается наука: раскритиковать причинно-следственную связь легко, а доказать ее существование чрезвычайно трудно. Откуда мы всё же знаем, что курение вызывает рак легких? Аргументы Хаффа и Фишера были небезосновательными, но только при рассмотрении отдельных исследований. Одного исследования, как бы хорошо оно ни было проведено, никогда не бывает достаточно для доказательства чего бы то ни было. Если за определенной группой в определенной стране наблюдали в определенное время, всегда можно сказать, что результат был случаен. Именно этим так плохи газетные сообщения, провозглашающие, что то-то и то-то «научно доказано» на основе одного-единственного нового исследования. Так же неразумно и предсказывать результаты выборов, исходя из результатов одного социологического опроса.

Науку образуют не отдельные исследования, а совокупность исследований. К тому времени, когда Хафф давал показания в конгрессе в 1965 году, эта совокупность уже была огромной. И пусть даже все позабыли про некогда влиятельный обзор «Табак и организм», написанный в 1939 году, «бремя доказывания», которое легло на плечи противников сигарет, все равно было поразительно тяжким.

Вред курения был доказан разными методами. Эпидемиологические исследования показали, что у курильщиков чаще возникает рак легких; у животных, кожу которых мазали смолой, появлялись опухоли; патологоанатомы нашли вредные последствия курения на клеточном уровне; было продемонстрировано, что сигаретный дым содержит химические вещества, вызывающие рак. Мало того, все эти исследования повторялись и каждый раз приводили к тем же выводам. Например, исследование Долла и Бредфорда Хилла, опубликованное в 1952 году, через несколько лет было неоднократно воспроизведено исследователями из Японии, Соединенных Штатов, Канады и Франции, и результат каждый раз получался одинаковым: среди курильщиков больше больных раком легких[228].

В какой-то момент доказательства становятся настолько весомыми, что даже при появлении одного исследования с противоположным результатом вывод остается неизменным. Ту же картину можно увидеть в исследованиях изменений климата. Одна теплая зима не доказывает, что происходит глобальное потепление, но это доказывают бесчисленные исследования коралловых рифов и ледников, увеличения концентрации CO_2, роста температур[229]. Как и в случае с курением, эти исследования снова и снова приводят нас к одному и тому же выводу. Исследователи разного происхождения, с разными интересами и «слепыми пятнами», видели одно и то же, хотя использовали разные методы измерений, сбора данных и их анализа. Если доказательства становятся настолько убедительными, возникает «научный консенсус».

Такой консенсус не означает, что с некой оценкой согласны все 100 процентов ученых или что все до единого исследования приводят к одному и тому же выводу. Наука никогда не сможет дать нам абсолютной уверенности, потому что в самом ее сердце лежит сомнение. Знания накапливались веками, потому что у ученых хватало смелости сомневаться в догмах своего времени. Николай Коперник отважился утверждать, что Земля вращается вокруг Солнца, Альберт Эйнштейн дерзнул усомниться в Ньютоне, а Арчи Кокран смело выступил против коллег-врачей.

Но табачная промышленность использовала сомнения – основополагающую ценность науки – в собственных корыстных интересах, не для того, чтобы приблизиться к истине, а для того, чтобы увести общественность как можно дальше от нее. Да, и ученые приложили к этому руку, но они же и решили в конце 1960-х годов: мы знаем достаточно. Сигареты вызывают рак легких.

Табачная промышленность еще долго продолжала отрицать существование связи между сигаретами и раком легких. До 1994 года руководители семи крупнейших производителей сигарет утверждали, что не верят в эту связь. Еще в 1998 году тогдашний директор компании Philip Morris & Co. показал под присягой: «Я не верю, что курение сигарет вызывает рак».

Однако в самих табачных компаниях дело обстояло совсем иначе. Еще в 1953 году, за девять месяцев до появления отчета об исследовании на мышах, Клод Тиг, сотрудник табачной компании R. J. Reynolds, составил обзор всех научных исследований курения на то время[230]. Впоследствии этот обзор служил вещественным доказательством в судебных процессах против табачной промышленности, потому что доказывал, что производители табака еще тогда знали о его вреде. Но отчет Тига увидел свет только в 1990-х годах, поскольку – что, честно говоря, и неудивительно – он так и не был опубликован.

Как лгать при помощи статистики о курении

Табачная промышленность до сих пор финансирует науку. В 2017 году появились новости о том, что компания Philip Morris International выделила Фонду за мир без дыма (Foundation for a Smoke-Free World) финансирование порядка 80 миллионов долларов в год[231]. Всемирная организация здравоохранения вознегодовала: налицо был явный конфликт интересов[232].

Сомнение стало грозным оружием против научно доказанных корреляций не только в табачной промышленности. Наоми Орескес и Эрик Конуэй, авторы книги «Торговцы сомнением» (Merchants of Doubt), рассказывают, что те же приемы используют отрицатели изменений климата[233]. А международные производители молочных продуктов финансируют исследования, призванные поставить под сомнение неблагоприятное воздействие молочного жира[234].

Спустя какое-то время новые отрасли тоже начнут применять те же стратегии для защиты своих интересов. Возможно, после «Большого табака» и «Большой нефти» наступит очередь «Больших технологий» засекречивать исследования вредоносного воздействия технологических разработок. Политики тоже умеют скупиться на правду. Высокопоставленные американские чиновники то и дело отмахиваются от утверждений об изменении климата, ссылаясь на «надежные научные данные»[235].

Почему же Хафф и Фишер были так неразборчивы? Почему они продолжали сомневаться в результатах исследования курения и рака легких? Возможно, Хафф настолько привык громить исследовательские работы, что уже не мог признать их правоту. А Фишер, постоянно куривший трубку, мог критиковать табачные исследования, руководствуясь своим чутьем.

Но есть и гораздо более правдоподобное объяснение. Давид Даубе, коллега Фишера, рассказывал, что незадолго до смерти последний объяснил, почему защищал табачную промышленность: «Ради денег»[236]. Табачные магнаты платили и Хаффу. Ему даже предложили написать книгу, которая так и не была издана. Как она называлась? «Как лгать при помощи статистики о курении»[237].

5

Не стоит слишком увлекаться цифрами в будущем

Знакомьтесь – Дженифер[238], кенийка шестидесяти пяти лет. Она долгие годы зарабатывала на жизнь, продавая еду на рынке в деловом квартале Найроби. Торговля в ее ларьке шла бойко, но денег у нее почти не было. Она не могла вкладывать средства в развитие своего бизнеса, и, стоило ей заболеть, она немедленно сталкивалась с финансовыми затруднениями.

В чем же была проблема? У Дженифер не было практически никакой возможности занять денег. Суммы, которые она могла получить от микрофинансирования, были слишком ничтожными, а проценты у ростовщиков – слишком высокими. А нормальный банк не согласился бы выдать ей кредит, потому что ей было нечего предоставить в залог для его обеспечения. Более того, у нее не было одной вещи, совершенно стандартной в других странах, – кредитного рейтинга[239].

Кредитные рейтинги стали широко распространенным инструментом на Западе десятилетия назад. В 1956 году инженер Билл Фэйр и математик Эрл Айзек создали в США фирму «Фэйр, Айзек и компаньоны» (Fair, Isaac and Company, FICO). В основе компании FICO лежала одна простая идея: располагая численными данными, легче оценить, вернет ли человек выданный ему кредит.

До этого времени решения о предоставлении кредита или отказе в нем принимались исходя из того, что говорят о человеке другие, какое впечатление он производит при встрече и насколько достойным доверия он кажется банкиру. В старых американских кредитных оценках можно прочитать, что некий магазин алкогольных напитков считается «вульгарной негритянской лавкой», а также что «в крупных сделках с евреями следует действовать с осторожностью»[240].

Фэйр и Айзек придумали формулу, учитывающую не происхождение, а финансовое положение заемщика. Сколько он зарабатывает? Вовремя ли платит по счетам? Сколько денег уже занял? Исходя из этих данных, они рассчитывали рейтинг, показывающий вероятность возвращения кредита.

Рейтинг FICO оказался даром небес для обеих сторон: миллионы людей смогли получать кредиты, а заимодавцы стали больше зарабатывать, потому что благодаря рейтингу могли гораздо точнее предсказать, кто может оказаться неплательщиком. Оказалось, что формула позволяет принимать решения гораздо лучше, чем суждение человека.

Сейчас кредитные рейтинги применяются и во многих других странах. Тем не менее у миллионов людей, подобных Дженифер, их все еще нет. Однако, как рассказала Шивани Сироя на конференции TED, в последние годы у них появилась возможность получить кредитный рейтинг. Сироя – генеральный директор компании Tala, стартапа, который использует большие данные для выдачи кредитов. Хотя у Дженифер не было кредитного рейтинга, у нее был мобильный телефон, который регистрировал самые разнообразные данные о ней – где она находится, с кем обменивается текстовыми сообщениями, сколько времени проводит за телефонными разговорами, и так далее.

Однажды сын Дженифер убедил ее установить телефонное приложение Tala. Она подала заявку на кредит и моментально получила его. Два года спустя ее жизнь преобразилась; сейчас она владеет тремя ларьками и собирается открыть ресторан. Более того, теперь она даже может обратиться за кредитом в банк, так как доказала, что способна управлять своими деньгами.

Одна из самых опасных идей нашего времени

Пусть даже трогательная история Дженифер и стала рекламным сюжетом для компании Tala, прежде всего она рассказывает о самой быстрорастущей нынешней тенденции – революции больших данных. Что же делает данные «большими»? Их часто определяют по формуле «четырех V»: volume, velocity, variety, veracity (объем, скорость, разнообразие, достоверность). Другими словами, это огромная масса разных данных, передаваемых быстро и надежно.

Главное отличие современной жажды данных от того, что происходило во времена Флоренс Найтингейл – в эпоху «первой волны больших данных», – заключается в том, что сегодня у нас есть интернет. Использование чисел по-прежнему требует стандартизации, сбора данных и их анализа, но благодаря интернету все это происходит с гораздо бо́льшим размахом. Такое впечатление, что мы еще никогда не приводили в соответствие со стандартом столь многое: от шагов до щелчков мышью, от распознавания лиц до шумового загрязнения[241]. Мы собираем больше данных, чем когда-либо: каждую минуту пользователи WhatsApp отправляют более 40 миллионов сообщений, пользователи загружают с YouTube 500 часов видео, а 200 тысяч человек участвуют в видеоконференциях на платформе Zoom[242]. И мы анализируем всю эту гору данных, используя все более сложные методики.

Одновременно с увеличением объема данных растут и ожидания от возможностей их использования. Компания Tala, давшая Дженифер кредит, хочет применить большие данные для охвата тех граждан, у кого сейчас нет возможности занимать деньги. Американская психотерапевтическая служба Crisis Text Line анализирует данные текстовых сообщений, определяя склонных к суициду людей[243]. А организация Rainforest Connection собирает на старых смартфонах данные, помогающие бороться с незаконными вырубками и браконьерством.

Ожидания неимоверно высоки. Политики, руководители компаний и просветители утверждают, что большие данные позволят нам выйти из климатического кризиса[244], преобразовать системы здравоохранения[245] и искоренить голод[246].

Возможно, при помощи больших данных мы даже спасем демократию. Выборы не имеют смысла, когда многие не голосуют, утверждала в колонке в нидерландской газете NRC глава университета Луиза Фреско. «Нельзя ли заменить демократические выборы системой искусственного интеллекта?»[247] Сложные вычислительные системы могут сделать выборы ненужными, потому что наши предпочтения уже содержатся в наших данных – в том, куда мы ездим, с кем разговариваем, что читаем.

С помощью этих сведений о нашем поведении – добавив при необходимости результаты дополнительных опросов – можно добраться до сути того, что мы действительно считаем важным, и выявить наши политические предпочтения.

Мысленный эксперимент Фреско может показаться совершенно оторванным от реальности, но нельзя забывать, что алгоритмы, работающие с большими данными, влияют на нашу жизнь все сильнее. Страховщики используют их, чтобы рассчитать ваши страховые взносы[248], налоговые органы – чтобы понять, уклоняетесь ли вы от налогов[249], а американские суды – чтобы решить, следует ли предоставить заключенному досрочное освобождение[250]. Наша судьба все больше оказывается во власти больших данных. Предполагать, что мы можем не обращать на это внимания, позволив им решать все за нас, опасно. За этой идеей скрывается серьезная ошибка: убеждение в том, что данные всегда соответствуют истине, а у больших данных нет тех недостатков, которые мы видели в предыдущих главах.

Давно пора взглянуть на большие данные пристальнее, учитывая все, о чем мы говорили. Как мы стандартизируем? Как собираем и анализируем данные в XXI веке? И почему мы не можем не раздумывая оставить важные решения на милость чисел и вычислений?

Что мы имеем в виду, когда говорим об алгоритмах

Для начала заглянем, как говорится, под капот. Как используются данные в наше время? В прошлом, чтобы разобраться в массивах данных, мы изобрели средние значения и графики. Точно так же и сегодня умные люди придумали, как укротить триллионы байтов информации. Эти методы – алгоритмы – решают, какие результаты вы получаете из поиска в Google, какие сообщения видите в фейсбуке, кто появляется в вашем приложении знакомств, кто получает кредиты от компаний, подобных Tala. (Слово «алгоритм» происходит от имени среднеазиатского математика IX века Мухаммада ибн Мусы аль-Хорезми, написавшего трактат по алгебре[251].)

Собственно говоря, алгоритм – это всего лишь набор нескольких действий, которые нужно выполнить для достижения определенной цели. На экране компьютера он выглядит очень сухо и скучно: в каждой строчке программист записывает на компьютерном языке инструкцию о том, какие действия следует выполнить в тех или иных условиях. Такая строчка может быть условным оператором типа «если – то», например: «Если некто вернул кредит, то его кредитный рейтинг увеличивается на десять баллов».

Как работает алгоритм? В книге «Убийственные большие данные»[252] американский математик и писательница Кэти О’Нил объясняет принципы его работы на практическом примере: как она готовит для своей семьи[253]. Ей хочется, чтобы ее родные: а) ели в достаточном количестве, б) ели то, что им нравится, и в) получали достаточно питательных веществ. Оценивая эти три фактора каждый вечер, она узнает, как прошел ужин и как его можно сделать лучше. Тот установленный путем наблюдений факт, что ее дети не притрагиваются к шпинату, но жадно поглощают брокколи, помогает ей кормить их полезной едой. Однако при достижении поставленных целей ей приходится учитывать несколько ограничивающих факторов. Ее мужу противопоказана соль, а один из сыновей терпеть не может гамбургеры (зато обожает курятину). Кроме того, ее бюджет, свободное время и желание готовить небезграничны.

Благодаря многолетнему опыту О’Нил научилась искусно справляться с этой задачей. Она, отчасти бессознательно, разработала строгий пошаговый план оптимального питания семьи. Предположим теперь, что за эту работу берется компьютер. Как передать машине решения, касающиеся меню? Для начала можно придумать способ стандартизации целей. Чтобы выяснить, получает ли семья достаточно вкусной и здоровой пищи, можно, например, посмотреть на а) количество калорий, б) уровень удовлетворенности и в) процентную долю рекомендованного суточного рациона каждого типа питательных веществ. Также можно придумать, как выразить в численном виде ограничения – например, установив «потолок» стоимости трапезы.

Решив, что и как стандартизировать, можно приступить к сбору данных. Для начала – составить список возможных блюд с указанием длительности приготовления, цены и питательной ценности. Можно добавить оценки всех блюд с точки зрения количества еды и ее полезности, а также попросить членов семьи оценить их по шкале от одного до десяти.

Имея эти данные, О’Нил могла бы написать программу, в точности указывающую, что ее семье следует есть каждый день. Но она может написать и самообучающуюся программу. Если все выражено в числах, компьютер может самостоятельно анализировать корреляции между составом трапез и заданными целями. Возможно, алгоритм даже найдет какие-нибудь закономерности, которых сама О’Нил раньше не видела; скажем, что ее дети могут съесть больше брюссельской капусты, если накануне они ели оладьи. Так компьютер осваивает выполнение операций, которые не были пошагово запрограммированы в нем, используя разновидность искусственного интеллекта, которая называется машинным обучением[254]. У этого процесса есть один жутковатый аспект: благодаря способности программы к самообучению алгоритм может стать таким сложным, что никто, даже написавший его программист, не будет понимать, какие действия он выполняет.

Короче говоря, О’Нил должна стандартизировать свою кулинарную работу, собрать данные и поручить программе проанализировать их. Где мы уже встречали эти этапы? Они в точности совпадают с тем, что делали Флоренс Найтингейл, Арчи Кокран и другие. Мы обо всем этом уже говорили, но стоит сказать и о том, что при использовании алгоритмов на каждом из этих трех этапов имеется масса возможностей допустить ошибку.

1. Трудности измерения абстрактных концепций

В финансовом секторе есть компании наподобие Tala, которые используют большие данные для оценки платежеспособности заемщиков. К таким относится, например, компания ZestFinance, которая с 2009 года присвоила кредитные рейтинги более чем 300 миллионам человек. Ее основал Дуглас Меррил, бывший директор Google по информационным технологиям. ZestFinance утверждает, что традиционную систему кредитных рейтингов сдерживают «малые данные»[255]. В привычных кредитных рейтингах, разработанных много лет назад Фэйром и Айзеком, используют «менее 50 единиц информации», что соответствует «лишь малой части общедоступных данных о каждом человеке». Напротив, Zest использует в каждой своей оценке более трех тысяч переменных[256].

В Нидерландах тоже есть бесчисленные компании, которые при помощи больших данных измеряют отношение клиентов к платежам. Нидерландская фирма Focum, торгующая данными, присваивает рейтинг от одного до одиннадцати[257]. Вы еще не оплатили счет? Теряете десять баллов, и не важно, идет ли речь о двадцати или о двадцати тысячах евро. Такие создатели кредитных рейтингов продают их всем желающим, от страховщиков до жилищных корпораций, от Vattenfall до Vodafone[258]. Низкий кредитный рейтинг может привести к тому, что вам не продадут абонемент телефонной связи или что вам придется заплатить крупный залог при заключении договора с новым поставщиком электроэнергии. Компания утверждает, что располагает данными 10,5 миллиона голландцев. Для страны с населением всего 17 миллионов это очень много.

Можно спросить, а чем, собственно, это плохо? В конце концов, кредитные рейтинги также открывают новые возможности, как показывает история Дженифер из Кении. Однако кредитные рейтинги могут влиять на вашу жизнь сильнее, чем кажется, и это влияние не всегда бывает позитивным.

Выше мы видели, что уровень IQ – это приближение уровня интеллекта, качества, которое само по себе неосязаемо. То же относится и к кредитным рейтингам. Они пытаются выразить вероятность того, что в будущем вы вернете банковский кредит. Другими словами, кредитный рейтинг – это предсказание.

Предсказывать будущее пытаются многие модели на основе больших данных. В американской системе уголовного правосудия вычисляют вероятность того, что преступник совершит новое преступление. Эти вычисления имеют важные последствия; они учитываются, когда необходимо принять решение о возможности или невозможности досрочного освобождения заключенных[259]. Но что может быть более абстрактным и непредсказуемым, чем будущие события? Статистические модели, на которых основаны прогнозы такого рода, никогда не бывают безошибочными; в них всегда есть значительная степень неопределенности. Когда мы забываем, что такие предсказания – лишь приближение поведения человека, мы судим о людях исходя из неадекватных данных.

У кредитных рейтингов есть другой недостаток. С их помощью, как правило, пытаются описать пусть и не будущее поведение, но другое явление, по меньшей мере столь же абстрактное, – благонадежность. Такие рейтинги применяют не только при выдаче кредитов. На американском сайте знакомств CreditScoreDating.com, работающем под девизом «Хороший кредитный рейтинг – это сексуально» (Where Good Credit is Sexy), вы можете подобрать себе партнера, чей кредитный рейтинг соответствует вашему.

Но этим использование кредитных рейтингов не ограничивается. Проведенный в 2012 году опрос американских кадровиков показал, что около 47 процентов работодателей проверяют кредитные истории кандидатов на рабочие места[260]. В другом исследовании, в котором рассматривали американские семьи с долгами по кредитным картам, отмечается, что одному из каждых семи респондентов, имеющих плохую кредитную историю, сообщали, что он не получил работу именно по этой причине[261].

Эти результаты касаются конкретных выборок и, следовательно, не отражают положения всего населения США. Однако нельзя отрицать, что работодатели проверяют биографии и репутацию тех, кто хочет у них работать. Стоит только взглянуть на американские предложения в интернете, и мы увидим, что работодатели требуют кредитных отчетов от кандидатов на самые разные должности – от продавца фейерверков до специалиста по оценке страховых требований[262].

Работодатели не имеют права увидеть кредитный рейтинг, но получают кредитный отчет – обзор того, как человек берет кредиты. По этим данным они надеются оценить характер потенциального работника и предсказать, следует ли в будущем ожидать от него мошенничества[263].

Однако нет никаких доказательств существования связи между поведением человека в отношении займов и его рабочими качествами. Немногочисленные проводившиеся исследования не показывают никакой корреляции. Исследователь Джереми Бернет и его коллеги сравнивали индивидуальные рейтинги FICO с результатами тестирования личных качеств[264]. Люди с высокими кредитными рейтингами набирали больше баллов в тестах на добросовестность, но оказывались менее покладистыми, чем те, у кого рейтинг был ниже. По остальным характеристикам никакой разницы не было.

Что еще важнее, не было найдено никакой связи между кредитными рейтингами и мошенническим поведением. Словом, кредитная история не может служить приближением благонадежности работника. Не случайно в одиннадцати штатах США теперь есть законы, запрещающие работодателям требовать предоставления кредитной истории[265].

Но даже если ваши кредитные данные используются исключительно для предоставления займов, все равно нужно быть настороже. Потому что при сборе данных, больших или любых других, многое может пойти не так.

2. У больших данных порой сомнительное происхождение

Большие данные могут помочь в решении фундаментальных проблем сбора сведений. Как следует из самого их названия, размер выборки перестает быть ограничением. Почти все подключены к интернету. Кроме того, разнообразные устройства и приспособления – термостаты, автомобили, фитнес-трекеры – отслеживают, чем мы занимаемся. А города наподобие Дубая, Москвы или Нью-Йорка претендуют на звание «умных городов», потому что собирают всевозможные данные о своих жителях при помощи новых технологий, от WiFi-трекеров на фонарных столбах до датчиков в оптоволоконных кабелях.

Поскольку теперь в повседневной жизни мы используем все больше высокотехнологичных устройств, уже не обязательно проводить личные опросы, которые практиковал сексолог Альфред Кинси. Теперь можно непосредственно наблюдать, чем занимаются люди. Как сказал исследователь данных Сет Стивенс-Давидовиц, «Google – это цифровая сыворотка правды»[266].

Например, замужние женщины спрашивают в Google «не гомосексуален ли мой муж?» в восемь раз чаще, чем «не алкоголик ли мой муж?». В Индии после слов «мой муж хочет» чаще всего следует «чтобы я кормила его грудью». Мужчины из консервативных штатов вроде Миссисипи реже сообщают в опросах о своей гомосексуальности, но общее количество поисковых запросов, касающихся гей-порнографии, в этих штатах ничуть не меньше, чем в штатах прогрессивных, таких как Нью-Йорк[267]. Альфред Кинси был бы в восторге от этих данных.

Компании, составляющие кредитные рейтинги, знают, что в наш информационный век личные данные практически сами идут в руки. Теперь их не нужно запрашивать по официальным каналам; чтобы собрать информацию о вас, достаточно просто поискать в интернете. Как говорит генеральный директор ZestFinance Дуглас Меррил, «любые данные – кредитные»[268]. Иногда сведения общедоступны – например регистрационная информация из торговой палаты, – но иногда вы сами, часто сами того не зная, даете разрешение на распространение своих данных.

Достаточно часто данные поступают и из более темных углов. В октябре 2017 года нидерландский еженедельник Groene Amsterdammer и платформа Investico опубликовали результаты тщательного расследования деятельности торговцев данными в Нидерландах, которое провели журналисты Карлин Кёйперс, Томас Мунц и Тим Сталь[269]. Они выяснили, что некоторые бюро получают данные прямо от коллекторских агентств. Финансовая история должников незаметно для них самих оказывается в базах данных, и в результате они остаются в черных списках, хотя давным-давно выплатили долги. К слову, такая практика незаконна, потому что вам должны сообщать, когда ваши данные передаются третьим сторонам.

Установить, верны ли данные, часто бывает невозможно, поскольку неясно, какие именно данные используются. Три журналиста из Investico узнали, что жилищно-строительная корпорация из нидерландского города Вагенингена может отказать в предоставлении муниципального жилья людям со слишком низким кредитным рейтингом, но этой организации «не обязательно знать, как именно поставщик данных рассчитывает эти рейтинги». Чтобы проверить, как работает эта система, журналисты попросили десять человек затребовать свою собственную личную информацию в трех бюро данных. Результаты были скудными; в полученных данных не было почти ничего. Но когда журналисты притворились, что выступают от имени компании-заказчика, и купили данные на тех же людей, они неожиданно получили обширные и подробные отчеты.

Нельзя отрицать, что в данных часто встречаются ошибки. В 2012 году Федеральная торговая комиссия США сообщила, что в изученной ею выборке 25 процентов людей нашли ошибки в своих кредитных отчетах, предоставленных одним из трех крупнейших рейтинговых бюро[270]. В каждом двадцатом случае расхождения были настолько велики, что жертвам этих ошибок, возможно, пришлось выплачивать необоснованно завышенную ставку по ссудам.

Такие ошибки появляются и в других базах данных. С 2009 по 2010 год в Великобритании было, по-видимому, 17 000 беременных мужчин. Да-да, беременных мужчин. Код, который обозначал их лечение, перепутали с кодом одной родовспомогательной процедуры[271]. Ошибки в данных встречаются всюду: неправильные адреса в муниципальных базах данных персонального учета, неверные суммы доходов, зарегистрированные налоговыми службами, ошибочные записи в реестрах правонарушителей, которые ведет полиция. Таким образом, слепо доверять цифрам – не самая лучшая идея.

Иногда ошибки возникают не по недосмотру, а в результате злонамеренных действий. В 2017 году одно из крупнейших американских кредитных бюро, Equifax, объявило, что его компьютерная система была взломана. Были украдены данные почти 150 миллионов потребителей – почти половины населения Соединенных Штатов[272]. Теперь их имена, даты рождения, адреса и номера социального страхования могли быть проданы на черном рынке. Причем эти данные были действительно ценными, потому что в Америке они позволяют осуществить практически любую важную транзакцию. С ними можно запросить кредитную карту, подать налоговую декларацию и даже купить дом от чужого имени. Незачем говорить, что эти данные мало что сообщают о людях, чья информация была украдена.

Старая статистическая поговорка гласит: «Мусор введешь, мусор и получишь». Можно создать усовершенствованный до блеска алгоритм машинного обучения, но, если данные испорчены, от него не будет никакой пользы. Но предположим, что в будущем фальсификация данных будет искоренена и в нашем распоряжении окажутся совершенно безупречные сведения. Сможем ли мы тогда доверить алгоритмам нашу судьбу?

3. Корреляция по-прежнему не равнозначна причинности

Традиционный кредитный рейтинг, например FICO, основан исключительно на данных о вас лично. Занимали ли вы деньги, сколько именно, насколько своевременно возвращали кредиты… Считается, что эти факторы позволяют предсказать, вернете ли вы будущий заем.

Есть веские основания считать такую логику несправедливой. Долги часто появляются в связи с медицинскими расходами или потерей работы. Некоторым удается пережить такие затруднения за счет сбережений, но не у всех имеются достаточные для этого средства. Таким образом, кредитный рейтинг – это мера не только благонадежности, но и просто-напросто удачи[273].

Вычисление кредитного рейтинга с использованием больших данных обещает более глубокий подход. Вернемся к Дженифер и ее продуктовому ларьку. По каким критериям компания Tala решала, дать ли ей кредит? Дженифер должна была предоставить сотрудникам компании доступ к своему телефону через соответствующее приложение, а в телефоне содержится целый кладезь данных, только и ждущих, чтобы их проанализировали. История ее перемещений показала, что она часто передвигалась, но следовала по одним и тем же маршрутам. Она бывала либо дома, либо в своем ларьке. Из данных телефонных переговоров было видно, что она часто созванивалась с родными в Уганде. Помимо этого, в круг ее общения входили целых 89 человек.

С точки зрения алгоритма Tala, каждый из этих факторов увеличивал вероятность того, что Дженифер вернет кредит. К примеру, тот факт, что она регулярно общается с близкими, увеличивал эту вероятность на 4 процента. Регулярность ежедневных перемещений и наличие более 58 человек, с которыми она находилась в контакте, тоже считались позитивными признаками.

Пример Дженифер показывает, чем рейтинги на основе больших данных отличаются от рейтингов традиционных. Алгоритмы смотрят не только на то, что делаете вы, но и на то, что делают люди, похожие на вас. Они ищут в данных связи – корреляции – и предсказывают ваши будущие действия. Здесь пригодятся любые числа, если только они позволяют предсказывать точно.

Даже слова, использованные в заявке, могут иметь значение. Дуглас Меррил из ZestFinance утверждал в 2013 году, что заявка, написанная заглавными – или, наоборот, одними строчными – буквами, может быть признаком неадекватного поведения в отношении платежей[274].

Покупательские привычки также могут показывать, вернет ли человек свой долг. В 2008 году компания American Express решила аннулировать кредитные карты некоторых клиентов-американцев[275]. «В заведениях, в которых вы недавно совершали покупки, расплачивались кредитными картами другие посетители, имеющие неблагоприятную историю погашения обязательств перед American Express», – писала компания. Впоследствии American Express отрицала, что вносила некоторые магазины в черный список, но признала, что следит за платежеспособностью клиентов, используя «сотни единиц информации».

Другая сокровищница данных – социальные сети. В 2015 году компания Facebook[276] получила патент на вычисление кредитных рейтингов по данным пользователей социальных сетей[277]. Какая тут логика? Если у ваших друзей плохая кредитная история, то и вам, вероятно, не следует доверять деньги в долг. Компания NEO Finance уже использует данные сети LinkedIn для оценки «характера и потенциала» людей, проверяя, правдивы ли их резюме[278].

Было время, когда банкиры позволяли себе принимать решения под влиянием расовых, гендерных и классовых предрассудков. Рейтинги FICO должны были покончить с этим. Но когда дело доходит до кредитных рейтингов на основе больших данных, мы, кажется, поступаем так же, как и банкиры былых времен: судим о людях по тем группам, к которым они принадлежат. Только теперь эти группы определяются иначе: пишущие заглавными буквами; покупающие по дешевке; не имеющие друзей. Но если всмотреться, оказывается, что в них нет почти ничего нового. Привычка писать большими буквами, вероятно, связана с уровнем образования, число контактов в LinkedIn – с наличием работы, а выбор магазинов, в которых вы совершаете покупки, красноречиво говорит об уровне ваших доходов. Так что алгоритмы разделяют людей точно так же, как в давние времена – банкиры: на бедных и богатых, работающих и безработных, образованных и неквалифицированных. Статистики называют это корреляциями, другие люди – предрассудками.

А как теперь, когда у нас есть большие данные, обстоит дело с корреляцией и причинностью? Крис Андерсон, бывший главный редактор журнала Wired, посвященного компьютерным технологиям, полагает, что об этом можно не беспокоиться. Объяснение конкретных соотношений не имеет значения, писал он в 2008 году в своей влиятельной статье «Конец теории» (The End of Theory)[279]. «Основополагающая философия Google состоит в том, что мы не знаем, почему именно одна страница лучше другой: если статистика… говорит, что она лучше, этого достаточно». Тот факт, что корреляция не равнозначна причинности, как мы видели на примере аистов и младенцев, по мнению Андерсона, уже не играет роли. «Петабайты позволяют нам сказать: “Достаточно и корреляции”».

Это заявление чрезвычайно наивно. Корреляции по-прежнему недостаточно даже в эпоху больших данных. Взять хотя бы алгоритм Google Flu Trends («Тенденции гриппа»), запущенный с большой помпой в 2008 году[280]. Компания Google обещала, что по поисковым запросам этот алгоритм сможет предсказывать, когда, где и сколько будет случаев заболевания гриппом. Идея состояла в следующем: если человек заболевает, он ищет в Google симптомы.

Открывались великолепные перспективы. Генеральный директор Google утверждал, что теперь можно будет спасать десятки тысяч жизней в год[281]. И на первых порах казалось, что он прав. В течение двух или трех лет модель довольно точно предсказывала, когда и где ожидать вспышек гриппа. Но в последующие годы алгоритм стал постоянно ошибаться. Качество прогнозов стало совершенно неприемлемым в 2013 году, когда предсказанный им уровень заболеваемости гриппом оказался более чем в два раза выше реального[282].

Что же пошло не так? Из 50 миллионов поисковых запросов создатели алгоритма выбрали 45 терминов, которые лучше всего коррелировали с развитием вспышки гриппа. Затем они стали отслеживать поисковые запросы с этими терминами. Звучит вполне логично, но, как и в случае с меньшими наборами данных, нас подстерегает проблема мармеладных драже. Если достаточно долго искать, какая-нибудь корреляция всегда найдется.

Хуже того, большие данные делают эту проблему еще большей помехой, потому что чем больше у нас переменных, тем больше значимых корреляций мы находим. Чисто случайно. Например, исследователи нашли сильную корреляцию между ключевой фразой «школьный баскетбол» и распространением гриппа[283]. Они удалили такого рода ложные корреляции из модели вручную. Но принять такое решение не всегда просто. Как определить, совпадение это или нет? Считать ли корреляцию с ключевыми словами «носовые платки» совпадением, потому что сейчас зима, или же это признак вспышки гриппа?

Другой недостаток этого алгоритма состоял в том, что его авторы не обращали внимания на важные изменения в конструкции собственной поисковой системы Google. Начиная с 2012 года веб-сайт при поиске по таким словам, как «кашель» или «жар», показывал возможные диагнозы. Одним из этих диагнозов был грипп. Это побуждало пользователей искать информацию о болезни, в результате чего алгоритм Google Flu переоценивал масштабы вспышки гриппа.

Выше мы видели, что кредитные бюро тоже делают предсказания, как Google Flu Trends. В этих предсказаниях тоже скрыты ложные корреляции, и серьезные изменения могут нарушить работу таких систем. Например, узнав, что в заявках нужно использовать определенные слова, люди могут обманывать систему, лишая соответствующие корреляции всякого смысла.

Но представим себе, что в будущем нам уже не нужно будет беспокоиться об этих двух ловушках. Вообразим, что мы научились распознавать ложные корреляции и отслеживать изменения в режиме реального времени. У нас все равно останется одна неразрешимая проблема, поскольку то, как мы используем рейтинги, влияет на то, какими они получаются.

Числа, которые должны были отражать реальность, заменили ее

– Я не вкладываюсь в образование, потому что вы все равно не возьмете меня на работу.

– Я не взял вас на работу, потому что вы не вкладывались в образование.

Этот обмен репликами произошел в 2003 году в американском штате Виргиния[284]. Таким вполне мог быть пылкий разговор между работодателем и соискателем. Возможно, кандидату отказали из-за цвета его кожи. А может быть, работодатель мельком взглянул на его резюме и решил: недостаточно образован.

Но соискатель не был чернокожим – он был «фиолетовым». Собеседники были не работодателем и потенциальным работником, а студентами. Они участвовали в эксперименте гарвардского профессора Роланда Фрайера и его коллег. Их исследование показало, как быстро в мире, основанном на равенстве, все начинает идти вкривь и вкось, если обращать внимание только на числа.

Студентам, участвовавшим в эксперименте, случайным образом присвоили роли «работодателя», «зеленого соискателя» и «фиолетового соискателя». В каждом раунде соискатели должны были решить, будут ли они инвестировать в собственное образование.

С одной стороны, можно было привести доводы против инвестиций такого рода: студентам платили за участие в эксперименте, а за «образование» пришлось бы платить им самим. С другой стороны, образование повышало их шансы получить более высокие баллы при «тестировании» (которое состояло в начислении баллов исходно случайным способом, «подправленным» в пользу тех, кто вкладывался в образование), а это давало им больше возможностей заработать. Работодатели охотнее нанимали соискателей с высокими баллами, потому что образованный работник приносит больше дохода. Но, поскольку работодатели видели только результаты тестирования, они не могли быть на 100 процентов уверены, что соискатель действительно получил образование. Условия этого эксперимента очень похожи на существующие в реальности: работодатель никогда не знает точно, насколько подходит ему тот или иной соискатель, но может оценить его по несовершенным критериям – например по оценкам, полученным на экзаменах.

В первом раунде эксперимента «фиолетовые» соискатели вложили в образование чуть меньше денег. Это никак не было связано с их цветом – тот распределялся случайным образом. В следующем раунде работодатели могли ознакомиться со статистикой.

Они решили, что «фиолетовые» работники им ни к чему. Когда же «фиолетовые» увидели, что «зеленые» получают работу чаще, они решили инвестировать еще меньше, так как их инвестиции, по-видимому, не повышали шансов получить работу.

Любопытнее всего то обстоятельство, что все вели себя рационально. Судя по числам, именно такая стратегия была наилучшей. Но раундов через двадцать возник порочный круг, приведший к образованию мира с чрезвычайно сильным неравенством. «Я был поражен. Ребята по-настоящему рассердились, – рассказывал Фрайер Тиму Харфорду, который писал об этом эксперименте в книге “Логика жизни”[285]. – Изначальные асимметрии возникли совершенно случайно, но участники уцепились за них и никак не желали отпустить».

Разумеется, мир куда сложнее, чем изображает этот увлекательный эксперимент. Но он иллюстрирует важную мысль: числа – это одновременно и причина, и следствие того, как выглядит мир. Может показаться, что они пассивно описывают реальность, но это величайшее заблуждение: они придают реальности форму. И чем больше числа управляют миром, как это происходит сейчас с большими данными, тем сильнее они его изменяют.

Взять, к примеру, «прогностическую полицейскую деятельность» – алгоритмы, при помощи которых полиция выясняет, кто может быть преступником. Американские данные показывают наличие сильной корреляции между бедными молодыми чернокожими мужчинами и преступностью. Исходя из данных этих алгоритмов, полиции следует обращать особое внимание на людей, соответствующих этому описанию, и на кварталы, где те живут. Что в результате? Расовое профилирование, из-за которого под арест попадают и ни в чем не повинные люди. А если определенных людей арестовывать чаще, они будут упоминаться в статистике снова и снова – это произойдет само собой. Богатые белые преступники остаются незамеченными, потому что не попадают в сферу внимания полиции. Неудивительно, что в дальнейшем в статистике можно усмотреть связь между цветом кожи и уровнем преступности – возможно, еще более прочную.

Те же опасности подстерегают нас и в области кредитных рейтингов: людям с определенными характеристиками оказывается труднее получить заем, чем другим, поэтому такие люди быстрее беднеют, отчего им еще труднее получить кредиты, а от этого они беднеют еще быстрее, и так далее, и так далее. Такие алгоритмы превращаются в самоисполняющиеся пророчества.

Числа, которые должны были отражать реальность, заменили ее.

Чего вы хотите добиться при помощи чисел?

В 2014 году китайское правительство объявило, что с 2020 года по всей стране будет внедрена «система социального кредита». По словам руководителей Китая, это необходимо для «построения гармоничного социалистического общества»[286]. Благодаря этой рейтинговой системе «перед достойными доверия будет открыт весь мир, а скомпрометированным будет трудно сделать и один шаг». За последние годы мы смогли получить некоторое представление об этой системе, потому что в 2015 году Центральный банк Китая выбрал восемь компаний для проведения испытаний[287].

Одна из них – Ant Financial, китайская компания, обеспечивающая работу платежного приложения Alipay для всемогущего интернет-магазина Alibaba. Приложение насчитывает в Китае более миллиарда пользователей, согласно данным самого сайта[288], и предлагает практически все возможные услуги: оплату покупок в магазинах, покупку железнодорожных билетов, заказ еды, вызов такси, денежные кредиты, оплату счетов и штрафов, а также знакомства. Представьте себе банковское приложение, объединенное с приложениями Amazon, Facebook, Uber и проездной картой общественного транспорта. А после заявления Центрального банка в нем появилась новая услуга – «Сезам-кредит», система баллов, дающая самые разнообразные преимущества.

Участникам системы «Сезам-кредит» присваивается рейтинг от 350 до 950 баллов[289]. Если у вас высокий рейтинг, вам предоставляется лучший обменный курс, вам не приходится выплачивать задаток при аренде машины, а на вокзале вы даже можете отдохнуть в особом зале ожидания. Кроме того, чем выше ваш рейтинг, тем лучше репутация: им можно хвастаться в социальных сетях, он делает вас заметным на сайтах знакомств. Как и обещает название системы, «Сезам» открывает двери.

Как набирать баллы? Вовремя платите по счетам, не пропускайте сроков платежа за квартиру, возвращайте кредиты. Те, кто вносит в систему личную информацию – адрес, профессию, квалификацию, – получают более высокий рейтинг. А как насчет покупок, которые вы совершаете через приложение? Если вы слишком часто играете в игры, это вредит вашему рейтингу, объяснил в интервью китайскому журналу Caixin директор Ant Financial по технологиям. А вот приобретение детских подгузников добавляет баллов[290]. Впоследствии компания открестилась от этого заявления, но оно дает пищу для размышлений. Учитывая, какие данные можно собирать при помощи приложения Alipay, возможности рейтинговой системы оказываются практически безграничными.

Помимо всего этого, система «Сезам-кредит» использует и данные из других источников. Горе вам, если вы списали на экзамене. В 2015 году генеральный директор «Сезам-кредит» заявила, что хотела бы получить список учащихся, списывавших на общенациональных вступительных экзаменах, чтобы наказать их за их «бесчестное поведение». Кроме того, компания использует государственные черные списки, в которые входят миллионы человек, не заплатившие судебные штрафы, и снижает рейтинг таких неплательщиков.

Большие данные пугают. Их масштабы беспрецедентны, а алгоритмы бывают настолько сложными, что в них не могут разобраться даже их разработчики. Но в конечном счете главный вопрос использования больших данных остается тем же, что и с данными небольшими: чего вы хотите добиться при помощи чисел? Хотя Китай совершенно недвусмысленно определяет цель системы социального кредита – «построение гармоничного социалистического общества», – следует иметь в виду, что любой алгоритм «пронизан» этическими решениями.

Любой алгоритм стремится что-нибудь оптимизировать. Например, алгоритм YouTube хочет, чтобы вы смотрели видеозаписи как можно дольше, потому что это приносит доходы от рекламы[291]. Правдив ли тот или иной видеоролик, не так важно. Гийом Шасло, бывший инженер компании Google и основатель веб-сайта AlgoTransparency, начал исследовать алгоритмы YouTube. Он обнаружил, что эта платформа рекомендует к просмотру ролики, в которых рассказывают, что Земля плоская, или сообщают, что Мишель Обама – на самом деле мужчина. «На YouTube вымысел работает лучше, чем реальность», – сказал Шасло в интервью газете Guardian.

Когда полицейские используют алгоритм прогностической полицейской деятельности, они тоже стремятся оптимизировать нечто – а именно нашу безопасность. Но эта цель вступает в конфликт с другой – справедливостью. Можно ли оправдать аресты невиновных? Смотря какого результата вы хотите добиться.

То же касается и кредитных рейтингов. В этой главе мы уже упоминали заключение Федеральной торговой комиссии, согласно которому каждый двадцатый кредитный отчет содержал серьезные ошибки. Одно из профессиональных сообществ кредитных бюро, Ассоциация отрасли потребительских данных (Consumer Data Industry Association, CDIA), объявило это известие позитивным. В конце концов, оно означало, что 95 процентов потребителей такие ошибки не коснулись[292].

Но много это или мало – 5 процентов? Зависит от того, что вы собираетесь делать с рейтингами. Как правило, кредиты выдают коммерческие предприятия. Их цель – получение доходов. С их точки зрения 95 процентов – вполне приличный результат. Справедливо ли это – подобное их заботит гораздо меньше. Для них заемщик – не клиент, а продукция.

Нам нужно оставаться настороже. Идея внедрения системы социального кредита может казаться безжалостным орудием автократического режима, но и в Великобритании, и в других странах широко применяются рейтинги, в которых нас оценивают. Как говорят обозреватели технологий Мориц Мартейн и Димитрий Токметцис, мы живем в «обществе рейтинговых таблиц»[293].

Кредитный оценщик пытается рассчитать, умеем ли мы обращаться с деньгами, страховщик – сохраним ли мы здоровье, налоговые службы – способны ли мы на мошенничество, полиция – собираемся ли мы нарушить закон. Каждый раз такие расчеты влияют на нашу повседневную жизнь: нам не дают кредита, мы получаем извещение о взыскании задолженности, нас заключают под стражу, нам приходится платить более высокую страховую надбавку. И зачастую больше всего страдают те, кто уже занимает в обществе более уязвимое положение.

Большие данные могут сделать мир лучше. Посмотрите на Дженифер, чью жизнь помог улучшить кредит. Но пусть алгоритмы и способны помочь таким людям – они же могут поддерживать вековое неравенство и даже порождать новое.

«Хороши» или «плохи» не алгоритмы, а те способы, которыми мы их используем. Именно поэтому жизненно важно обсуждать вопрос о том, какой цели служат алгоритмы. Стремимся ли мы найти истину или получить прибыль? Обеспечить прежде всего безопасность или свободу? Справедливость или эффективность? Это дилеммы этические, а не статистические.

Алгоритмы никогда не будут объективными, какими бы достоверными ни были данные и каким бы развитым ни стал искусственный интеллект. Когда мы забываем об этой проблеме, мы оставляем этические решения на усмотрение людей, по случаю оказавшихся способными к работе с компьютерами. И именно они, составляя свои программы, решают, что такое хорошо и что такое плохо.

6

Значимость чисел определяет наша психология

«Один бокал алкоголя – это на один больше, чем нужно!»

Я увидела этот заголовок на сайте нидерландской государственной телерадиокомпании NOS в апреле 2018 года[294]. В отчете утверждалось, что потребление более чем одной порции алкогольных напитков в день увеличивает вероятность ранней смерти[295].

Статья ссылалась на исследовательскую работу, опубликованную ранее в авторитетном медицинском журнале Lancet. В ней были объединены результаты 83 исследований, охватывавших в общей сложности около 600 000 участников[296]. Впечатляет, подумала я, но корреляция не равнозначна причинности.

То же отметил Винай Прасад. Этот американский врач и исследователь, знающий все, что только можно знать о доказательной медицине, изучил обзор, опубликованный в Lancet, и мрачно написал в твиттере: «Группа ученых доказала, что человеческая страсть к научной брехне и новостям медицины неутолима»[297].

Затем он написал еще более тридцати сообщений, в которых разъяснил свою точку зрения подробнее. Он упомянул о публикационных искажениях, с которыми мы встречались в предыдущих главах. Кроме того, он отметил, что в этой работе за потреблением алкоголя наблюдали лишь краткое время. И, хотя у пьющих пиво действительно был обнаружен высокий риск смертности, у пьющих вино он оказался минимальным. Для здоровья вреден не столько алкоголь, заявил Прасад, сколько низкий уровень доходов потребителей пива.

Я пришла к выводу, что рюмка-другая не повредит.

Почему все постоянно идет не так?

Когда я писала первые статьи как редактор отдела числовой грамотности электронной новостной и издательской платформы De Correspondent, мне казалось, что я знаю, как решить давнюю проблему неправильного употребления цифр: нужно больше знаний. По данным Организации экономического сотрудничества и развития (ОЭСР), четверть взрослого населения развитых стран находится на низшем уровне числовой грамотности или ниже его – этим людям трудно интерпретировать статистические данные и диаграммы[298]. Боязнь математики – явление настолько распространенное, что в 2012 году, по оценкам ОЭСР, оно встречалось примерно у 30 процентов пятнадцатилетних подростков[299].

Если бы только потребители новостей понимали, как работают цифры, думала я, тогда бы злоупотребления цифрами замечались сами собой. Поэтому я стала писать о некорректных опросах, о погрешностях, о корреляциях и причинности. Каждый раз я старалась объяснить, как замечать такого рода ошибки и избегать заблуждений в будущем.

Казалось бы, расширение знаний должно быть окончательным решением – это же так логично. Когда климатологи публикуют графики изменения температуры, когда журналисты проверяют политические заявления на соответствие действительности, когда политики козыряют в дебатах экономическими показателями – все они каждый раз пытаются бороться с ошибками, привлекая все больше информации.

Но чем дольше я писала о злоупотреблении числами, тем сильнее сомневалась, что знания – единственное средство от него. Я заняла место в длинной цепочке авторов, пытавшихся привлечь внимание к этой теме, но, по-видимому, не добившихся сколько-нибудь существенных изменений. Более шестидесяти лет назад Даррелл Хафф уже обозначил в книге «Как лгать при помощи статистики» основные ловушки мира цифр. Хотя его книга стала бестселлером, те же ошибки совершаются и сегодня. Об IQ и цвете кожи спорят в каждом новом поколении, нерепрезентативные опросы по-прежнему привлекают гораздо больше внимания, чем следовало бы, а медицинские новости, в которых корреляцию путают с причинностью, появляются чуть ли не каждый день.

Такие ошибки часто бывает легко распознать, задав всего несколько вопросов. Как были стандартизированы данные? Как они были собраны? Имеется ли причинно-следственная связь? Я подробно говорила о таких вопросах в предыдущих главах и еще раз перечисляю их в конце этой книги.

Тем не менее ошибочные выводы и числа продолжают ускользать от внимания ученых, журналистов, политиков и читателей газет. И от моего внимания. После одной своей лекции, когда я увидела, что 50 процентов слушателей назвали мое выступление неудовлетворительным, мне хотелось провалиться сквозь землю. Но я упустила из виду то, что в опросе приняли участие всего два человека[300]. Я очень возмутилась, когда прочла об исследовании, из которого следовало, что программисты низко оценивают своих коллег-женщин. Впоследствии оказалось, что СМИ неверно интерпретировали результаты исследования; на самом деле программисты вовсе не настолько склонны к сексизму, как говорилось в сообщении[301].

Я снова и снова совершаю те же самые ошибки, о которых пространно пишу в своих статьях. Только когда я взялась за работу над этой книгой, я начала понимать, почему это происходит. Когда дело касается чисел, важны не только логические ошибки, как я считала, но и чутье. Во многих случаях, о которых рассказывается в этой книге, на исследователей влияли их – осознанные или неосознанные – предрассудки и убеждения.

И мы, потребители чисел, подвержены их влиянию ничуть не меньше.

Интерпретация неверная, но приятная

В течение многих лет профессор Дэн Кахан из Йеля исследовал влияние культуры, ценностей и убеждений на мышление. В одном из экспериментов он и его коллеги показывали участникам таблицу результатов испытаний вымышленного крема для кожи[302]. В одной группе цифры говорили об усилении сыпи, в другой – о ее уменьшении. Помогает ли этот крем от сыпи, спрашивал Кахан, или делает ее еще хуже?

Чтобы найти ответ, участники эксперимента должны были выполнить некие сложные вычисления, подставив в них цифры из таблиц. Те, кто лучше прошел проведенный до этого тест по математике, как правило, получали правильный ответ. До этого момента эксперимент подтверждал вполне ожидаемый вывод: тот, кто лучше понимает числа, подходит ближе к истине.

Но были еще две группы участников. Им дали те же таблицы, но на этот раз они касались темы, вызывающей ожесточенные споры в американской политике и СМИ: контроля за оборотом оружия. Речь шла о вымышленном эксперименте с введением более строгого законодательства. Участников спрашивали: возрастает или снижается уровень преступности в результате внедрения этой меры?

Ответы отличались от тех, которые дали участники «эксперимента» с кремом для кожи, как день и ночь. Способные к математике считали хуже, чем раньше. Цифры давались в точности те же, что и в эксперименте с кремом для кожи, но теперь участники давали неверные ответы.

Чем объясняются результаты Кахана? Идеологией[303]. Какими бы ни были на самом деле цифры, либеральные демократы, обычно выступающие за контроль за оборотом оружия, как правило, приходили к выводу, что ужесточение законов снижает уровень преступности. Консервативные республиканцы получали прямо противоположные выводы. Они заключали, что законы о контроле за оборотом оружия не работают.

Эти ответы уже не имели никакого отношения к истине, утверждал Кахан. Они были связаны с защитой собственного мировоззрения или принадлежностью к «племени». Причем, как установил Кахан, у более способных к математике это получалось лучше. Кстати, зачастую совершенно неосознанно. Их обманывала их же собственная психика.

Кахан снова и снова получал в своих экспериментах одни и те же результаты: в распоряжении людей более знающих или более способных оказывается более широкий выбор возможностей самообмана[304]. Наш мозг ведет себя как адвокат; он старается любой ценой подыскать аргументы в защиту наших убеждений.

Да, это печальное известие. Мне всегда казалось, что в том случае, когда дело касается фейковых новостей, альтернативных фактов и постправды, проблема связана с другими людьми – с теми, кто игнорирует факты и ставит собственные интересы выше истины. Себя же я всегда расценивала как человека, который относится к фактам серьезно.

И только теперь я понимаю, что и у меня были свои альтернативные факты. Как и у всех остальных.

Это может даже означать, что в какой-то момент вы верите в одно, а потом – в нечто другое. Например, некоторые американские фермеры-консерваторы отрицают, что климат меняется, но принимают всевозможные меры, чтобы защитить свое производство от последствия климатических изменений[305]. Такое поведение кажется иррациональным, но, как объясняет Кахан, это не так. Изменение убеждений может обойтись чрезвычайно дорого. Фермер, внезапно уверовавший в изменения климата, может оказаться «белой вороной» в собственной семье, в церкви, в бейсбольном клубе. Он рискует очень многим, не получая взамен ничего. Не может же он изменить климат в одиночку. Истине придется подождать.

Такого рода психологическое давление действует на всех, в том числе и на самого Кахана. В 2014 году в интервью журналисту Эзре Клейну он сказал, что и сам может совершать те же ошибки, которые наблюдает в своих исследованиях[306]. Он тоже оберегает свое мировоззрение при помощи «фактов».

Правильная интерпретация чисел зависит не только от того, что мы знаем, но и от нашей психики. Как же учитывать свои собственные предубеждения, когда имеешь дело с цифрами? Вот три совета.

1. Что вы чувствуете?

Существует масса вопросов, которых психологические процессы, выявленные в исследованиях Кахана, не касаются. У большинства людей цифры, относящиеся к чему-нибудь вроде крема для кожи, вызывают нейтральную реакцию. Искажению подвержены те числа, к которым мы неравнодушны. Расизм, секс, наркотики – не случайно в этой книге обсуждаются такие острые темы. Именно они тесно связаны с нашим мировоззрением и нашими «племенами».

Следует ли попросту отбросить эти чувства? Это невозможно. Нравится нам это или нет, но они у нас есть. И это хорошо. Не будь у нас страха, мы бы слепо ввязывались в опасные ситуации. Без гнева мы не противились бы несправедливости. А если бы у нас не было радости, жизнь стала бы бездушной. Наши чувства – часть нас самих.

Поэтому, когда вы видите число, остановитесь и спросите себя: «Что я чувствую?» Например, когда я увидела упомянутое выше исследование про алкоголь, я почувствовала раздражение. Особенно потом, когда я прочитала заголовок «Лишняя рюмка алкоголя может сократить вашу жизнь на 30 минут»[307]. Это утверждение было полной чушью. Подобное раздражение было присуще моему профессиональному «племени» – цифровым скептикам, – но у него был и личный аспект. Когда я встречаюсь с друзьями, мы выпиваем по нескольку бокалов вина или пива. Так у нас принято. Следует ли мне от этого отказаться? Не хотелось бы. Прочитав твиты авторитетного ученого Виная Прасада, я ощутила радость и облегчение: значит, я могу выпивать и дальше.

Но я упустила из виду один важный фактор. Стоило мне осознать, что вывод о безвредности алкоголя доставил мне особенное удовольствие, я посмотрела на сообщения Прасада еще раз. И я увидела, что он нигде не утверждает, будто алкоголь не вреден; он говорит только о том, что в упомянутом исследовании есть изъяны.

Как и участники опыта Кахана, я моментально выбрала интерпретацию, подходящую для моего «племени». Эта интерпретация могла быть неверной, но она давала правильное ощущение. У меня такие фокусы получаются особенно хорошо, потому что благодаря своей работе я знаю все доводы против исследований такого рода. Мой мозг тоже ведет себя как адвокат.

2. Поищите еще!

В начале 2017 года Дэн Кахан и его коллеги опубликовали новую работу[308]. Работая над проектом о научно-популярных документальных фильмах, Кахан задал приблизительно пяти тысячам человек вопросы, призванные измерить степень их «интереса к науке»[309]. Как часто респонденты читают книги о науке? Какие темы их интересуют? Что они предпочитают – статьи о науке или статьи о спорте?

Помимо этого, он задавал несколько вопросов о политических убеждениях респондентов и о том, как каждый из них относится к изменению климата. Один из вопросов был сформулирован так: «Насколько велика опасность, которую, по вашему мнению, представляет глобальное потепление здоровью, безопасности или благосостоянию людей?» Если в предыдущих экспериментах Кахан использовал тесты по математике, то теперь он таким же образом измерял «научный интеллект» – способность, которая, как считается, должна содействовать интерпретации сведений об изменении климата.

В результате Кахан снова увидел то же, что и в предыдущих исследованиях: либеральные демократы видели бо́льшую опасность, чем консервативные республиканцы. Причем чем выше был «интеллект» респондентов, тем большей была разница между двумя группами.

А что получилось бы, если бы он разбивал респондентов на категории не по интеллекту, а по любознательности? Его данные показывали, что эти характеристики не тождественны. Человек может очень интересоваться наукой, но не иметь к ней никаких способностей – и наоборот. Когда Кахан посмотрел на корреляцию между любознательностью и восприятием опасности климатических изменений, он получил интересный результат: демократы и республиканцы по-прежнему придерживались разных мнений, но чем любознательнее были участники, тем более опасным им казалось глобальное потепление – независимо от политических убеждений.

Почему же любознательность влияла на результат? В продолжение этого эксперимента Кахан предложил респондентам две статьи об изменениях климата; одна из них подтверждала опасения относительно этих изменений, а в другой выражалась скептическая точка зрения. Заголовок одной из статей был сформулирован так, чтобы казаться неожиданным: «Ученые сообщают об удивительном открытии: арктические льды тают еще быстрее, чем ожидалось». Другая статья создавала впечатление, что не содержит ничего нового: «Ученые нашли новые доказательства того, что за последнее десятилетие глобальное потепление замедлилось». «Какую из этих статей вы хотите прочитать?» – спрашивал Кахан. И здесь его ждало откровение: любознательные участники выбирали статью не сообразно своим убеждениям, а вопреки им. Любопытство влияло на них сильнее, чем идеология.

Этот эксперимент поучителен. Встретив то или иное число, не принимайте его как данность, займитесь исследованиями. Поищите – в Сети или вне ее – тех, кто рассматривает это число с другой точки зрения. Читайте не только те статьи, которые подтверждают уже имеющиеся у вас мысли; ищите информацию, которая заставит вас ощутить дискомфорт, гнев или отчаяние. Вот как просто выразил это Тим Харфорд: «Поищите еще»[310].

Я решила испытать этот метод и начала искать другую информацию о влиянии алкоголя на здоровье. Google выдал мне ряд самых разнообразных исследований, в которых говорилось о существовании причинно-следственной связи между алкоголем и заболеваемостью раком. Например, там был эксперимент с бабуином, у которого от употребления алкоголя развилось заболевание печени[311]. А еще было метаисследование, демонстрирующее линейную корреляцию между заболеваемостью раком груди и пристрастием к алкоголю[312].

Как мне стало ясно, специалисты давно пришли к консенсусу, что потребление алкоголя имеет неблагоприятные последствия. С 2015 года Совет по здравоохранению Нидерландов с полным основанием рекомендует выпивать не более одной порции алкогольных напитков в день[313].

3. Не бойтесь неуверенности

Исследование любознательности, которое проводит Кахан, находится пока на ранних стадиях. Его эксперименты нужно повторять, и, даже если результаты снова получатся такими же, новые работы вполне могут опровергнуть его выводы.

Это справедливо и в отношении многих цифр, которые вы видите в газетах. Они приведены в тщательных, рецензируемых исследованиях, но они предварительны, потому что вопросы еще предстоит изучать. Так что же, нам просто не обращать внимания на такие неокончательные цифры? Нет – они, как и исследования Кахана, помогают нам чуть лучше понять мир. Но их нельзя принимать без сомнения. И нельзя забывать о том, что через несколько лет выводы могут оказаться совершенно другими.

Исследования потребления алкоголя зашли гораздо дальше, чем исследование любознательности Кахана. Если вы начнете знакомиться с этим вопросом подробнее и наберете в Google слово «метаанализ» (то есть исследование исследований), то увидите, что во многих работах, изучающих влияние алкоголя, содержатся одни и те же выводы. Причинно-следственная связь между раком груди и потреблением алкоголя уже доказана. Исследователи влияния алкоголя пришли к тому же заключению, что и ученые, рассматривавшие горы исследований влияния курения: мы знаем достаточно. Даже если изучение влияния алкоголя никогда не будет окончательно завершено, такова природа науки. В некоторых трудах утверждают, что умеренное потребление алкоголя даже помогает в борьбе с некоторыми болезнями. Более того, в этой сфере не всегда возможно отделить корреляцию от причинности; в конце концов, эксперименты на животных и людях – это разные вещи; и неясно, какое количество алкоголя человек может выпить, прежде чем проявятся вредные последствия.

Оказывается, психологически мы не очень хорошо справляемся с чувством неуверенности. Вспомним, например, «любимого конька» бывшего президента США Дональда Трампа – гидроксихлорохин, лекарственный препарат, вроде бы способный помочь в борьбе с COVID-19. 21 марта 2020 года Трамп написал твит «гидроксихлорохин и азитромицин, если принимать их вместе, реально могут стать одной из революционных перемен за всю историю медицины». Но пусть даже подобные огульные уверения звучат очень заманчиво, они уводят нас на ложный путь. Мы начали изучать коронавирус только в марте. Мы не знали, какие последствия будут ждать экономику, какие факторы способствуют распространению вируса, какое лекарство поможет, а какое нет. И тем не менее назойливая реклама гидроксихлорохина привела к тому, что его стало не хватать тем, кому он действительно требовался – например пациентам, страдавшим от такого аутоиммунного заболевания, как волчанка. Подтверждений эффективности гидроксихлорохина против COVID-19 практически не было, и более того, препарат мог вызывать аритмию. Сомнения здесь были просто необходимы – но, как и прежде, везде царила уверенность. Люди с твердыми убеждениями задают тон в ток-шоу, политических дебатах и газетных колонках. «Я уверен в своем мнении, – внушает нам каждый из них, – и сейчас я вам расскажу, как устроен мир».

Но уверенные люди «по умолчанию» лишены любознательности. Тот, кто любой ценой цепляется за свои убеждения, не способен воспринимать новое. Если мы хотим правильно использовать числа – и информацию как таковую, – мы должны смириться с неуверенностью. Как я уже говорила, числа – это окно в реальность, но вид, представший в этом окне, оказывается нечетким, как если бы мы смотрели сквозь матовое стекло. В лучшем случае благодаря числам нам видны общие контуры.

Однако не следует поддаваться оцепенению. В какой-то момент вам придется сделать выбор. Несмотря на эту неуверенность, нужно будет принять решение. Например, следует ли вам меньше пить? Цифры не ответят на этот вопрос за вас. Может показаться, что они – идеальный повод перестать думать, но они не способны давать быстрые и легкие ответы. В лучшем случае они помогают вам сориентироваться.

Дело не только в том, что цифры неоднозначны; на ситуацию также влияют факторы, которые не выразить в числах. Насколько алкоголь важен для меня лично? Насколько мне можно рисковать своим здоровьем? Каково общее состояние моего здоровья? Ответы на эти вопросы вам придется найти самостоятельно. Осознавайте свои чувства, исследуйте всю информацию и не бойтесь неуверенности. А затем принимайте собственные решения.

Последний совет: обращайте внимание на конфликты интересов

В июне 2018 года появилось еще одно сообщение об исследовании влияния алкоголя на наше здоровье[314] – только не о результатах исследования, а о его преждевременном прекращении. В этом эксперименте, первом в своем роде, участники должны были ежедневно выпивать по одной порции алкоголя в течение шести лет, тем же, кто входил в контрольную группу, выпивать запрещалось.

Ранее возникла некоторая шумиха по поводу того факта, что Национальные институты здравоохранения (NIH) Соединенных Штатов получили бо́льшую часть финансирования этого проекта – миллионы долларов – от алкогольной промышленности. Исследование спонсировали такие компании, как Heineken и Carlsberg, а также другие производители[315]. А теперь из внутреннего расследования NIH стало ясно: ученые пообещали алкогольной промышленности, что исследование сможет представить «достаточные основания, которые позволят рекомендовать включение алкоголя в здоровую диету»[316].

Исследование было организовано так, чтобы выделить все благотворные последствия и проигнорировать вредные. Испытания были слишком кратковременными, потому что многие виды рака развиваются медленно. Некоторые группы населения – например люди, имеющие родственников с раковыми заболеваниями, – были исключены из рассмотрения. Все это делалось под предлогом обеспечения безопасности, но также уменьшало вероятность возникновения рака и подтверждения его связи с потреблением алкоголя.

Если вы хотите замечать злоупотребления цифрами, важно выявлять логические ошибки и понимать, на чем основано ваше собственное чутье. Но, возможно, вот самый важный вопрос, который следует задавать: «Кто стоит за этими цифрами? Нет ли у них корыстной заинтересованности в том или ином результате?»

Послесловие

Как поставить числа на место

За прошедшие годы искажения, связанные с числами, часто приводили меня в отчаяние. Постоянное проявление логических заблуждений, догадки, порождающие ложные интерпретации, корыстные интересы, подчиняющие себе поиск истины, – все это повергает в уныние. Это очень обидно, потому что числа способны не только помочь нам понять мир, но и сделать его лучше. Но с ними следует обращаться с осторожностью – и относиться к ним нужно не менее критически, чем к словам.

Пора поставить числа на место. С тех пор как я начала писать о числах, я узнавала о все более вдохновляющих инициативах, направленных именно на это – на критику злоупотреблений числами или пересмотр их роли. Эти инициативы показывают, что мы не бессильны.

Взять, к примеру, ВВП. В последние годы начала проявляться неудовлетворенность ограниченностью этого показателя и его огромным влиянием на решения, касающиеся жизни государства. Были предложены разнообразные метрики, которые могли бы заменить или дополнить ВВП. Например, некоторые страны теперь измеряют уровень счастья своих граждан[317], ОЭСР разработала «индекс лучшей жизни», более широкий показатель, учитывающий такие факторы, как состояние окружающей среды или рынка рабочих мест в той или иной стране[318], а Статистическое управление Нидерландов (CBS) недавно начало измерять «общую концепцию благополучия», которая, в частности, изучает влияние нашего благосостояния на будущие поколения[319].

Социологические опросы, связанные с политикой, также подверглись тщательной проверке. Критикам надоело лихорадочно строить теории на основе мельчайших изменений в итогах опросов, давая темы для крупных новостных сюжетов. В результате расцвели агрегаторы, которые делают выводы из предвыборных опросов. Такие обобщенные результаты должны давать более достоверные оценки и – будем надеяться – устранять искажения, свойственные отдельным опросам. Некоторые из таких агрегаторов, скажем RealClearPolitics, просто вычисляют средние значения, а другие, например FiveThirtyEight, разрабатывают более сложные модели для расчета оценок.

Началась борьба и с недостатками науки, такими как публикационные искажения и охота за p-значениями (целенаправленный поиск значимых результатов). Начиная с 2012 года экономисты и другие исследователи в области общественных наук регистрируют свои эксперименты в Американской экономической ассоциации и лишь после этого приступают к исследованиям[320]. Таким образом, заранее становится ясно, чем они собираются заниматься, и впоследствии они уже не могут увлечься бесконечным преследованием значимых результатов.

Воспроизведение – повторение исследований – долгое время было делом непопулярным, потому что от ученых ожидали «лакомых кусочков» и новых результатов, но в последние годы такие работы появляются все чаще. Например, американский Центр открытой науки запустил проект «Воспроизводимость» (Reproducibility Project) для психологических исследований[321]. 270 ученых повторили сотни психологических экспериментов и обнаружили, что эффекты, которые в них изучались, проявляются слабее, чем в исходных исследованиях, и часто бывают менее значимыми. Теперь даже существуют научные журналы, в которых публикуются результаты только таких повторных исследований[322]. Кстати, кризис, вызванный COVID-19, тоже дает нам надежду на решение проблем, связанных с числами. Несмотря на все убедительные уверения, находились и те, кто указывал на злоупотребление статистикой и честно предупреждал о малом количестве данных и о лакунах в наших знаниях. Марк Рютте, премьер-министр Нидерландов, сказал, что ему пришлось принимать 100 процентов решений, обладая лишь 50 процентами доступного знания. Аналогичным образом нидерландский вирусолог Яп ван Диссел особо подчеркивал то, что выбор верной стратегии во время пандемии был своего рода гаданием по хрустальному шару. А новостные медиа стремительно вводили числа в контекст – заражения, смерти – и настаивали на том, что еще очень многое остается нам неизвестным.

Но, спросите вы, что, если мы не творцы политики и не журналисты? Что в этом случае можно сделать с господством чисел в нашей жизни?

Возьмем образование ваших детей. Мы много слышим о засилье оценок. Но бывают учителя и школы, которые идут в другом направлении: они выставляют меньше баллов. Например, преподаватель экономики Антон Наннинга решил сообщать своим ученикам об их успеваемости не числами, а словами. В интервью Фонду NIVOZ он объяснил, что больше не может прятаться за цифрами[323]. «Теперь мне приходится давать настоящие отзывы». Учитель немецкого языка Мартин Рингенальдус отказался в некоторых из своих классов от численных оценок. «Это такое облегчение! – написал он мне в твиттере. – У учеников больше мотивации, атмосфера расслабленная (без угрозы контрольных). Даже склонения перестали быть проблемой»[324]. Это лишь эксперименты, но они показывают, что использование чисел – не данность, а вопрос выбора.

Другая область, в которой числа играют важную роль, – это ваша работа. В нидерландском универмаге Bijenkorf плановые показатели играют роль в торговых залах. В некоторых отделах продавцам дали задание – запросить у посетителей оценку их работы, предпочтительно с указанием имени продавца[325]. Эти измерения оказались не слишком достоверными: одна из работниц Bijenkorf рассказала в новостной передаче Nieuwsuur, что коллеги просили всех своих родных поставить им по 9 и 10 баллов, чтобы поднять суммарную оценку[326]. Кроме того, оценки заставляли сотрудников магазина нервничать – даже ходили слухи о том, что по ним будет проходить аттестация. Магазин раскритиковали в местной прессе, а нидерландская Федерация профессиональных союзов (FNV) призвала покупателей ставить продавцам только 10 из 10 возможных баллов. Шумиха подействовала, так как магазин изменил свою политику: посетители по-прежнему могут выставлять оценки, но продавцы больше не обязаны просить у них оставить персональный отзыв.

Оказывается, даже алгоритмам, использующим большие данные, можно оказывать сопротивление. Вот, например, инициатива OpenSCHUFA[327]. SCHUFA – это крупнейшее в Германии кредитное бюро. Его кредитные рейтинги чрезвычайно сильно влияют на финансовое положение людей, но компания отказывалась обнародовать свой алгоритм. Однако по законам Германии любой гражданин может запросить свой персональный отчет. В 2018 году фонд «Открытое знание» (Open Knowledge) и организация «Наблюдатель за алгоритмами» (Algorithm Watch) призвали граждан Германии затребовать и прислать кредитные отчеты. В конечном итоге сведения о себе прислали 4000 человек, и каждому было важно понять, что скрывается за цифрами. Благодаря этому организация смогла показать, что SCHUFA нарушила основные правила защиты данных. Воспроизвести алгоритм, вопреки первоначальным намерениям, не удалось, отчасти из-за того, что компания изменила политику и решила предоставлять меньше информации, чем раньше. Но, как пишут основатели OpenSCHUFA, «мы поистине заставили SCHUFA поволноваться».

Все эти позитивные инициативы показывают, что господствующая роль чисел в нашей жизни – не неизбежность; ей можно сопротивляться. Кем бы вы ни были – журналистом или государственным деятелем, учителем или врачом, полицейским или статистиком, – числа влияют на вашу жизнь. И у вас есть право вмешаться.

Это мы изобрели цифры. Нам и решать, как их использовать.

Инструкция: что делать при встрече с числом

Вам встречается некое число – например в новостях[328]. Хотите узнать, насколько ему можно верить? Тогда задайте себе следующие шесть вопросов. Если вы не можете ответить на эти вопросы, потому что невозможно получить нужную информацию, число можно сразу же забраковать. Если исследователь темнит, говоря о своих методах, его результаты не заслуживают вашего внимания.

1. От кого исходит сообщение?

Политик приводит статистику, которая подтверждает, что его меры полезны для экономики? Производитель некой марки шоколадных батончиков профинансировал исследования, доказывающие, что шоколад полезен для здоровья? Будьте особенно осторожны и попытайтесь найти другие источники.

2. Что я чувствую?

Вызывает ли у вас это число радость, гнев или печаль? Будьте осторожны, не соглашайтесь с ним и не отвергайте его, не подумав. Осознайте свои чувства и поищите источники, выражающие другие точки зрения.

3. Как данные стандартизированы?

Касается ли это число искусственной концепции, например экономического роста или уровня интеллекта? Будьте особенно осторожны. Какие решения были приняты, когда проводились измерения? Не придается ли этому числу преувеличенное значение, как при использовании ВВП для описания нашего общего благополучия? Попытайтесь найти исследования, в которых та же величина измеряется по-другому.

4. Как данные собраны?

Число, вероятно, получено из данных, собранных в опросе. Представьте себе, что вы – один из участников этого исследования. Не кажется ли вам, что некоторые вопросы подталкивают вас в определенном направлении? Не побуждают ли условия опроса скрывать правду? Если это так, отнеситесь к числу с подозрением. Была ли выборка случайной? Если нет, помните, что полученное число касается только той группы, в которой проводился опрос.

5. Как данные проанализированы?

Касается ли это число предполагаемой причинно-следственной связи? Задайте себе следующие три вопроса. Может ли эта связь быть случайной? Играют ли роль другие факторы? Может ли причинно-следственная связь работать в противоположном направлении? В любом случае никогда не считайте одно исследование непреложной истиной. Найдите обзорные работы, в которых показано общее положение вещей в этой области исследований. Или ознакомьтесь с компиляциями опросов, например с такими, какие составляются на опросном веб-сайте FiveThirtyEight.

6. Как числа представлены?

Наконец, несколько моментов, на которые нужно обращать внимание в представлении чисел.

• Средние значения: если имеются сильные выбросы, способные увести среднее вверх или вниз, то это число мало что говорит об обычном положении вещей.

• Точные цифры: существует множество причин, по которым цифры не могут быть абсолютно, стопроцентно точными. Не поддавайтесь на обман «совершенной» точности.

• Рейтинги: соседние места в рейтингах часто не указывают на существенную разницу из-за погрешностей.

• Риски: знать, что риск возникновения некоего заболевания на x процентов больше, бессмысленно, если вы не знаете, о процентах чего идет речь. Если изначальная вероятность мала, то и увеличение на x процентов будет малым.

• Графики: нестандартная вертикальная ось может искажать результаты. Проверьте, не кажется ли она слишком растянутой или слишком сжатой.

Дополнительная литература

Некоторые части этой книги ранее публиковались на платформе Correspondent, в моем блоге Out of the Blauw и в блоге кооперативного общества Oikocredit Nederland.

Я надеюсь, что эту книгу смогут читать все, поэтому старалась сделать ее компактной и не стала слишком углубляться в некоторые темы. По счастью, уже написано немало замечательных книг о злоупотреблении статистикой, об истории нашего цифрового общества и о других темах, которые я рассматривала.

Книга «Как лгать при помощи статистики»[329] по-прежнему остается обязательной к прочтению, несмотря на неприглядную историю самого Даррелла Хаффа. Также могу порекомендовать «Доказательщину» (Proofiness) Чарльза Сейфе и «Как не ошибаться»[330] Джордана Элленберга. Чтобы держаться в курсе современного состояния злоупотреблений статистикой, слушайте передачу «Более или менее» (More or Less) на 4-м канале радио BBC, следите за обновлениями сайта FiveThirtyEight Нейта Силвера и заглядывайте в рубрики проверки фактов в газетах.

Если вы хотите узнать побольше об истории нашего исчисленного общества, я советую прочитать «Благими намерениями государства»[331] Джеймса Скотта и «Sapiens»[332] Юваля Ноя Харари. Историю тестирования на IQ рассказывает Стивен Джей Гулд в книге «Ложное измерение человека» (The Mismeasure of Man). Дайана Койл замечательно пишет о ВВП в книге «ВВП. Краткая история, рассказанная с пиететом»[333]. Чтение материалов по истории социологических опросов хорошо начать с «Усредненного американца» (The Averaged American) Сары Иго, а желающим получить дополнительную информацию о сексологических исследованиях не обойтись без книги «Секс в цифрах» (Sex By Numbers) Дэвида Шпигельхальтера. Методы табачных компаний описаны в «Золотом Холокосте» Роберта Проктора и в «Торговцах сомнением» (Merchants of Doubt) Наоми Орескес и Эрика Конуэя. Об алгоритмах обработки больших данных можно узнать из книг «Убийственные большие данные» Кэти О’Нил и «Hello World»[334] Ханны Фрай. Психологические процессы, при помощи которых мы интерпретируем числа, великолепно описал Даниэль Канеман в книге «Думай медленно… решай быстро»[335]. В книге «Думай медленно… предсказывай точно»[336] Филипа Тетлока и Дэна Гарднера показано, как наша психика участвует в процессах выработки предсказаний и интерпретации реальности. А если вы хотите больше узнать о распространении COVID-19, могу рекомендовать книгу Адама Кучарски «Правила заражения: как все распространяется – и почему этот процесс прекращается» (The Rules of Contagion: Why Things Spread – And Why they Stop).

Наконец, я получила огромное удовольствие от чтения следующих биографий: «Что одному лекарство…» (One Man’s Medicine) Арчибальда Кокрана и Макса Блайта, «Флоренс Найтингейл» (Florence Nightingale) Марка Бостриджа и «Альфред Ч. Кинси» (Alfred C. Kinsey) Джеймса Джонса.

Выражение благодарности

Книга – это не просто собранные вместе страницы. И работа автора состоит не в том, чтобы написать как можно большее количество слов. И хотя на обложке этой книги стоит мое имя, она – результат труда множества окружающих меня людей. Иногда говорят, что ребенка растит вся деревня. В отношении этой книги уместнее было бы говорить о средних размеров провинциальном городке.

В первую очередь я хочу поблагодарить всех сетевых подписчиков платформы Correspondent. На протяжении многих лет вы подавали мне идеи, оттачивали мои мысли и придавали мне уверенности в том, что эта тема заслуживает отдельной книги. Возможность проводить рабочее время в такой теплой и любознательной компании была для меня настоящим даром судьбы.

Такую же теплоту и любознательность я встретила в Нидерландском институте перспективных исследований (Netherlands Institute for Advanced Study, NIAS), в котором мне была предоставлена возможность работать над книгой в течение пяти месяцев в качестве приглашенного журналиста. Благодаря другим стипендиатам и сотрудникам NIAS я смогла обрести решимость, необходимую для написания этой книги. Я очень благодарна Фонду внеочередных журналистских проектов (Fonds Bijzondere Journalistieke Projecten), который предоставил мне эту возможность.

Десятки читателей отозвались на призыв в моей новостной рассылке и взялись вычитывать и корректировать главы этой книги. Я была ошеломлена их откликом. Я хотела бы поблагодарить Беренда Альбертса, Герарда Альбертса, Эдуарда ван Валькенбурга, Йорис ван Вугт, Лотте ван Диллен, Эфьё Донс, Йеннеке Крюгер, Анке Рихтерс, Марселя Хааса, Эву де Хуллу и Юдит тер Шуре за их чрезвычайно полезные замечания.

Я также очень благодарна Касперу Альберсу, Анне Альбертс, Йелке Бетлехем, Ванде де Кантер, Роже Кремерсу, Даниэлю Лакенсу, Тому Луверсу, Марейке ван Маурик, Даниэлю Мюгге и Нинетте ван Хассельт, которые просмотрели рукопись.

Эта книга получила благоприятные отзывы Барбары Баарсма, Рутгера Брегмана, Йози ван Дейк, Питера Деркса, Ионики Сметс, Фемке Хальсемы, Баса Харинга и Розанны Херцбергер. Мне кажется совершенно удивительным, что вы решили выделить в своих напряженных графиках время, чтобы прочитать ее. Спасибо вам.

Перейдем к моим коллегам по платформе Correspondent. Всего несколько лет назад я знала вас только по публикациям; теперь вы превратились в людей из плоти и крови. Вы – нечто гораздо большее, чем просто работа. Спасибо вам за поддержку и компанию.

Я хотела бы поблагодарить Роба Вейнберга за то, что он придумал нидерландское название этой книги и создал работу моей мечты. Я также очень благодарна Димитрию Токметцису за критический разбор моей рукописи, Майте Вермёлен, которая столь многому научила меня в журналистике и стала горячо любимым другом, а также Рутгеру Брегману, другу и наставнику. Аннелике Тиллема с величайшей тщательностью исправила ошибки в тексте. Верле ван Вейк оказала огромную помощь в устранении недоработок.

Многим обязана я и международной команде. Ребекка Картер из литературного агентства Janklow & Nesbit, Джулиет Брук и Луиза Курт из издательства Sceptre, благодарю вас за то, что вы поверили в эту книгу еще до того, как смогли ее прочитать. Я также благодарю Сюзанну Хойкенсфельдт-Янсен и всех тех, кто помогал с изданием английского перевода.

Самая большая моя благодарность причитается моему ближнему кругу. Спасибо Андреасу Йонкерсу за проницательные замечания и тот беспрестанный энтузиазм, с которым он помогал сделать так, чтобы эту книгу заметили.

Милу Клейн Ланхорст, когда мы впервые заговорили об этой книге, я была всего лишь новичком. Спасибо тебе за веру в меня; работать с тобой – большая честь.

Харминке Медендорп, я так часто ощущала твое присутствие в одинокие часы работы над книгой. Ты преподала мне уроки, которые останутся со мной всю мою писательскую жизнь. Кроме того, ты просто замечательный человек.

Эта книга никогда не увидела бы света без любви всей моей жизни, города Мидделбурга, в котором я выросла. Уединение писателя кажется чем-то очень романтическим, но, если бы мои родные и друзья время от времени не вытаскивали меня из шумоподавляющих наушников, я сошла бы с ума.

Анна де Брюкере, Карлотта ван Хелленберг Хубар и Карлейн Янсен, как я рада, что вы уже столько лет есть в моей жизни! Спасибо вам за чувство юмора, веру и готовность терпеливо слушать.

Хейлке Блау и Марике Ланген, ваша семья – яркий солнечный луч в моей жизни. Скажите Мис, Пие и Пипину, что тетя Санни скоро снова придет с ними посидеть.

Юре Блау и Йетье Блау-Линдо, спасибо вам, что попросили меня сделать нечто такое, что еще страшнее, чем написать книгу. Тот день, в который мне выпала честь проводить церемонию вашей свадьбы, был самым прекрасным днем в моей жизни.

Тьерд Блау и Доминик Виллемсе, я очень благодарна за все наши совместные обеды в Мидделбурге. Обещаю, что скоро найду повод снова встречаться с вами каждый день.

Марейке ван Маурик. Мама. Эта книга посвящена тебе. Ты научила меня жить. Спасибо тебе.

Примечания

1

Национальная аллея (англ. National Mall) – комплекс парков, памятников и музеев в Вашингтоне, в восточном конце которого расположено здание Капитолия. – Здесь и далее, если не указано иное, постраничные примеч. перев.

2

«Наш мир в данных» (англ.).

3

Я уже писала о встрече с Хуанитой в своем блоге Out of the Blauw и в блоге организации Oikocredit Nederland. Поскольку я не сумела связаться с ней и показать ей это изложение, ее имя изменено. Глава 1. Числа могут спасать

4

Индекс массы тела. – Примеч. ред.

5

В рассказе о Флоренс Найтингейл я использовала ее биографию: Bostridge М. Florence Nightingale – The Woman and Her Legend. Viking, 2008, и статью Cara Giaimo. Florence Nightingale Was Born 197 Years Ago, and Her Infographics Were Better Than Most of the Internet’s, опубликованную 12 мая 2017 г. на сайте Atlas Obscura.

6

Сейчас Ускюдар, район в азиатской части Стамбула.

7

Партенопея – название древнегреческой колонии, находившейся на месте нынешнего Неаполя. Имя Флоренс (Florence) – английский вариант названия города Флоренции.

8

Florence Nightingale. Notes on Matters Affecting the Health, Efficiency, and Hospital Administration of the British Army. L., Harrison and Sons, 1858. Она использовала данные, собранные британскими и французскими статистиками. См.: Lynn McDonald. Florence Nightingale, Statistics and the Crimean War. Statistics in Society, май 2013 г.

9

Hugh Small. Florence Nightingale’s Hockey Stick // Royal Statistical Society, 7 октября 2010 г.

10

Iris Veysey. A Statistical Campaign: Florence Nightingale and Harriet Martineau’s England and her Soldiers // Science Museum Group Journal, 3 мая 2016 г.

11

Harold Raugh. The Victorians at War, 1815–1914: An Encyclopedia of British Military History (ABC–CLIO, 2004).

12

Lynn McDonald. Florence Nightingale and Hospital Reform: Collected Works of Florence. Wilfrid Laurier University Press, 2012. P. 442.

13

Hugh Small. Florence Nightingale’s Statistical Diagrams. Доклад на исследовательской конференции, организованной музеем Флоренс Найтингейл, 18 марта 1998 г.

14

В Нидерландах эти записи начали вносить в Реестр рождений, смертей и браков в 1811 г. В некоторых регионах Франции такая система была внедрена еще в 1796 г.

15

Ian Hacking. Biopower and the Avalanche of Printed Numbers. Humanities in Society, 1982.

16

Meg Leta Ambrose. Lessons from the Avalanche of Numbers: Big Data in Historical Perspective // Journal of Law and Policy for the Information Society, 2015.

17

При написании этого абзаца я опиралась на книгу Yuval Noah Harari. Sapiens. Harvill Secker, L., 2014. (Русское изд.: Харари Ю. Н. Sapiens. Краткая история человечества / Пер. с англ. Л. Сумм. М.: Синдбад, 2016.)

18

Пер. с англ. Л. Сумм.

19

При написании этого абзаца я опиралась на книгу James Scott. Seeing Like a State. Yale University Press, New Haven, 1998. (Скотт Дж. Благими намерениями государства. Почему проваливались проекты улучшения человеческой жизни / Пер. с англ. Э. Н. Гусинского и Ю. И. Турчаниновой. М.: Университетская книга, 2005.)

20

Journalier – дневной, суточный (фр.).

21

Ken Alder. A Revolution to Measure: The Political Economy of the Metric System in France // Values of Precision. Princeton University Press, 1995. P. 39–71.

22

James Scott. Seeing Like a State. Yale University Press, New Haven, 1998.

23

Ken Alder. A Revolution to Measure: The Political Economy of the Metric System in France // Values of Precision. Princeton University Press, 1995. P. 39–71.

24

На это замечание меня навел Джеймс Скотт. Вот что он пишет в своей книге Seeing Like a State. Yale University Press, New Haven, 1998: «В качестве централизующей единицы универсальный метр, заменяющий более старые, своеобразные способы измерений, можно сравнить с национальным языком, заменяющим существующую путаницу диалектов» (пер. с англ. Э. Н. Гусинского и Ю. И. Турчаниновой).

25

Mars Climate Orbiter Mishap Investigation Board, Phase I Report, 10 ноября 1999 г.

26

Это происходило в эпоху Просвещения и «научной революции», когда ученые основывали свое мышление и свои исследования на разуме и универсальных принципах.

27

Appendix G: Weights and Measures, CIA World Factbook, по состоянию на 26 июля 2018 г.

28

Meg Leta Ambrose. Lessons from the Avalanche of Numbers: Big Data in Historical Perspective // Journal of Law and Policy for the Information Society, 2015.

29

Эту фразу можно найти в работе Ian Hacking. Biopower and the Avalanche of Printed Numbers, Humanities in Society, 1982. В этой же статье Хакинг описывает перечень заболеваний, составленный Уильямом Фарром и его коллегами.

30

На это замечание меня навел Юваль Ной Харари, который пишет в книге Sapiens: «…именно математические символы сделались всемирным письменным языком» (пер. с англ. Л. Сумм).

31

Hans Nissen, Peter Damerow and Robert Englund. Archaic Bookkeeping: Early Writing and Techniques of Economic Administration in the ancient Near East. University of Chicago Press, 1994.

32

Census, Wikipedia, по состоянию на 26 июля 2018 г. (См. статью «Перепись населения» в Википедии.)

33

Jelke Bethlehem. The Rise of Survey Sampling, Centraal Bureau voor de Statistiek, 2009.

34

Экспоненциальным назвал рост этого периода Ян Хакинг в работе Biopower and the Avalanche of Printed Numbers, Humanities in Society, 1982. Оставшаяся часть этого абзаца также основана на статье Хакинга.

35

General Register Office, Wikipedia, по состоянию на 28 июля 2018 г.

36

Ian Hacking. Biopower and the Avalanche of Printed Numbers, Humanities in Society, 1982.

37

Мои мысли об Адольфе Кетле основаны на книге Todd Rose. The End of Average. Harper Collins, 2016.

38

Найтингейл назвала Кетле «создателем статистики» в адресованном ему письме. Gustav Jahoda. Quetelet and the Emergence of the Behavioral Sciences, SpringerPlus, 2015.

39

В результате этой революции Бельгия получила независимость от Нидерландов.

40

Кетле видел в «среднем человеке» не только статистическое понятие, но и идеализированный образ человечества.

41

Stephen Stigler. Darwin, Galton and the Statistical Enlightenment, Journal of the Royal Statistical Society, 2010.

42

Я узнала об Арчибальде Кокране из книги Philip Tetlock and Dan Gardner. Superforecasting. Random House Books, 2016. Этот раздел основан на автобиографии Кокрана под названием One Man’s Medicine (BMJ Books, L., 1989), написанной в соавторстве с Максом Блайтом.

43

Marcus White. James Lind: The Man who Helped to Cure Scurvy with Lemons. BBC News, 4 октября 2016 г. Сейчас мы знаем, что цитрусы содержат витамин C, который может предотвращать цингу или излечивать от нее.

44

Nutritional yeast, Wikipedia, по состоянию на 26 июля 2018 г. (См. статью «Пищевые дрожжи» в Википедии.)

45

В автобиографии Кокрана не уточняется, какие именно последствия он имел в виду.

46

Описание этого случая основано на автобиографии Арчи Кокрана One Man’s Medicine. BMJ Books, L., 1989. Эта история также рассказывается в книге Philip Tetlock and Dan Gardner. Superforecasting. Random House Books, 2016. (Цитаты из этой книги приводятся по изданию: Тетлок Ф., Гарднер Д. Думай медленно… предсказывай точно. Искусство и наука предвидеть опасность / Пер. с англ. В. Дегтяревой. М.: АСТ, 2018.)

47

David Isaacs. Seven Alternatives to Evidence Based Medicine, BMJ, 18 декабря 1999 г.

48

Это явление также называют «когнитивным диссонансом».

49

Этот эксперимент описан в книге Vinayak Prasad and Adam Cifu. Ending Medical Reversal. Johns Hopkins University Press, Baltimore, 2015. В более ранней работе эти же исследователи рассмотрели все статьи, опубликованные за десятилетний период в одном научном журнале. Они получили поразительные результаты: почти в 140 случаях общепризнанные методы оказались недействующими. (Prasad et al. A Decade of Reversal: An Analysis of 146 Contradicted Medical Practices. Mayo Clinical Proceedings. 18 июля 2013 г.)

50

Sanne Blauw. Vijf woorden die volgens statistici de wereld kunnen redden, De Correspondent, 10 февраля 2017 г.

51

Anushka Asthana. Boris Johnson Left Isolated as Row Grows over £ 350m Post-Brexit Claim, Guardian. 17 сентября 2017 г.

52

Called to Account, The Economist. 3 сентября 2016 г. Глава 2. Бессмысленный спор об IQ и цвете кожи

53

В рассказе об истории измерения IQ я с благодарностью использовала книгу Stephen Jay Gould. The Mismeasure of Man. W. W. Norton & Co., 1981. В позднейших исследованиях некоторые аспекты книги Гулда были поставлены под вопрос, но это не относится к его рассказу об измерении IQ. Желающим почитать еще об этой дискуссии я рекомендую работу Jason Lewis, David DeGusta, Marc Meyer, Janet Monge, Alan Mann and Ralph Holloway. The Mismeasure of Science: Stephen Jay Gould versus Samuel George Morton on Skulls and Bias // PLoS Biology. 7 июня 2011 г., а также Michael Weisberg and Diane Paul. Morton, Gould, and Bias: A Comment on «The Mismeasure of Science» // PloS Biology. 19 апреля 2016 г.

54

Ассистент Йеркса Э. Г. Боринг выбрал 160 000 респондентов и проанализировал их данные.

55

Jeroen Pen. «Racisme? Het gaat op de arbeidsmarkt om IQ». Brandpunt+. 9 июня 2016 г.

56

В этом абзаце я использовала статью Gavin Evans. The Unwelcome Revival of «Race Science» // Guardian. 2 марта 2018 г.

57

Margalit Fox. Arthur R. Jensen Dies at 89; Set Off Debate About I. Q. // New York Times. 1 ноября 2012 г.

58

Richard Herrnstein and Charles Murray. The Bell Curve. Free Press, 1994.

59

Nicholas Wade. A Troublesome Inheritance. Penguin, L., 2014. (Уэйд Н. Неудобное наследство. Гены, расы и история человечества / Пер. с англ. А. Олефир. М.: Альпина нон-фикшн, 2018.) Около 140 генетиков написали письмо протеста против утверждений Уэйда, см. Letters: «A Troublesome Inheritance» // New York Times, 8 августа 2014 г.

60

D. J. Kevles. Testing the army’s intelligence: Psychologists and the military in World War I. Journal of American History, 1968.

61

Дискриминационные квоты были введены изощренным образом: квота устанавливалась на уровне 2 процентов от числа иммигрантов из данной страны, уже поселившихся в США. При этом были использованы данные переписи 1890 г., в которых было сравнительно мало выходцев из Южной и Восточной Европы, а не более недавней переписи 1920 г.

62

Шести миллионам, по оценке Allan Chase. The Legacy of Malthus. Knopf, N. Y., 1977. Чейз предполагает, что объемы иммиграции не изменились по сравнению с периодом до 1924 г.

63

Andrea DenHoed. The Forgotten Lessons of the American Eugenics Movement, New Yorker. 27 апреля 2016 г.

64

Графики взяты из работы William Dickens and James Flynn. Black Americans Reduce the Racial IQ Gap: Evidence from Standardization Samples Psychological Science, 2006. Я использую результаты тестов по шкале интеллекта Векслера для взрослых за 1995 г.

65

Malcolm Gladwell. None of the Above, New Yorker. 17 декабря 2007 г.

66

David Reich. How Genetics Is Changing Our Understanding of Race // New York Times. 23 марта 2018 г.

67

D’Vera Cohn. Millions of Americans Changed their Racial or Ethnic Identity from One Census to the Next, Pew Research Center, 5 мая 2014 г.

68

При измерении уровня IQ тестирование проводят на репрезентативной выборке, а затем результаты пересчитывают так, чтобы они соответствовали «нормальному распределению» со средним значением, равным 100 баллам, а баллы 85 процентов участников составляли от 85 до 115.

69

Inkomens van personen, cbs.nl (по состоянию на 6 сентября 2018 г.).

70

История Бине излагается в книге Stephen Jay Gould, The Mismeasure of Man. W. W. Norton & Co., 1996. P. 176–184.

71

От греческих слов κρανίο (череп) и μετρέω (измеряю).

72

Крайне мала (фр.).

73

В этом описании денег и других искусственных концепций я опираюсь на книгу Юваля Ноя Харари Sapiens. Harvill Secker, L., 2014.

74

Я рассказываю об истории ВВП, опираясь на книгу Diane Coyle. GDP: A Brief but Affectionate History. Princeton University Press, 2014.

75

Хотя Кузнеца часто считают изобретателем ВВП, он развивал уже существовавшие методики, например созданные британским статистиком Колином Кларком.

76

Simon Kuznets. National Income, 1929–1932, National Bureau of Economic Research, 7 июня 1934 г.

77

Строго говоря, это был не ВВП, а «валовой национальный продукт» (ВНП). ВВП – это стоимость товаров и услуг внутри данной страны, а ВНП измеряет стоимость товаров и услуг, произведенных жителями этой страны (даже если эти услуги на самом деле оказываются за ее границами).

78

К примеру, нидерландский премьер-министр Марк Рютте повысил налоги и сократил бюджетные расходы для стимуляции экономики, что должно было привести к выходу из рецессии. Бюро анализа экономической политики Нидерландов считает, что страна находится в рецессии, когда ВВП сокращается на протяжении минимум двух кварталов.

79

Это интермеццо написано на основе моей статьи Hoe precieze cijfers ons misleiden and de geschiedenis bepalen // De Correspondent, 1 декабря 2015 г.

80

Enrico Berkes and Samuel Williamson. Vintage Does Matter, The Impact and Interpretation of Post War Revisions in the Official Estimates of GDP for the United Kingdom, measuringworth.com, по состоянию на 15 августа 2018 г. Следует отметить, что новые наборы данных составлялись ежегодно, благодаря чему можно было увидеть расхождения с предыдущим годом.

81

Shane Legg and Marcus Hutter. A collection of definitions of intelligence // Frontiers in Artificial Intelligence and Applications, 2007.

82

Wechsler Adult Intelligence Scale, Wikipedia, по состоянию на 30 июля 2018 г. (см. статью «Тест Векслера» в Википедии).

83

Я узнала о Лурии из лекции Джеймса Флинна на конференции TED под названием Why Our IQ Levels Are Higher than Our Grandparents, март 2013 г. Рассказ о поездке Лурии в Узбекистан можно найти в его автобиографии: The Autobiography of Alexander Luria: A Dialogue with The Making of Mind, написанной в соавторстве с Майклом Коулом и Карлом Левитиным (Psychology Press, 1979, republished in 2010). (Лурия А. Р. Этапы пройденного пути: Научная автобиография. М.: Изд-во Моск. ун-та, 2001.)

84

Цит. по изд.: Лурия А. Р. Этапы пройденного пути: Научная автобиография. М.: Изд-во Моск. ун-та, 2001.

85

Эти примеры основаны на речи Бобби Кеннеди о ВВП, произнесенной 18 марта 1968 г.

86

Anne Roeters. Een week in kaart, Sociaal and Cultureel Planbureau, 2017.

87

Tucker Higgins. Trump Suggests Economy Could Grow at 8 Or 9 Percent If He Cuts the Trade Deficit, CNBC, 27 июля 2018 г.

88

Дефицит бюджета может быть не более 3 процентов ВВП, а национальный долг не может превышать 60 процентов ВВП. Странам с более высоким ВВП легче выполнить эти требования.

89

GCSE (General Certificate of Secondary Education, «Общий аттестат о среднем образовании») – выпускные экзамены по отдельным предметам в средних школах Великобритании. A-levels – экзамены продвинутого уровня по профильным предметам.

90

Многие программы подготовки в коммерческих компаниях и на государственной службе включают в себя оценку учащихся, в которую входит тестирование на IQ или аналогичные тесты.

91

Мой рассказ о Спирмене основан на изложении в книге: Stephen Jay Gould. The Mismeasure of Man. W. W. Norton & Co., 1981.

92

Он использовал метод «факторного анализа», позволяющий сводить целую гору чисел к общим факторам. Спирмен заключил, что многие различия между детьми можно объяснить всего одним фактором.

93

Stephen Jay Gould. The Mismeasure of Man. W. W. Norton & Co., 1981.

94

Charles Spearman. General Intelligence Objectively Measured and Determined // The American Journal of Psychology, апрель 1904 г.

95

Edwin Boring. Intelligence as the Tests Test It, New Republic, 1923.

96

В «Структурном плане Национальной полиции Нидерландов на 2003–2006 гг.» (Landelijk Kader Nederlandse Politie 2003–2006) были установлены нормы по штрафам для разных подразделений полиции. В более поздних соглашениях между правительством и полицией требования по количеству штрафов были отменены, но полиция продолжала использовать нормы выработки. Нормы по штрафам в конце концов запретил Иво Опстельтен (министр правосудия и безопасности, член либеральной партии VVD). Я уже говорила о нормах на штрафы в статье Hoe cijferdictatuur het werk van leraren, agenten and artsen onmogelijk maakt, написанной совместно с Джесси Фредериком и опубликованной в De Correspondent 5 января 2016 г.

97

Peter Campbell, Adrian Boyle and Ian Higginson. Should We Scrap the Target of a Maximum Four Hour Wait in Emergency Departments? BMJ, 2017.

98

Эта формулировка закона Гудхарта взята из работы Marilyn Strathern. «Improving Ratings»: Audit in the British University System, European Review, июль 1997 г. Чарльз Гудхарт впервые сформулировал свою идею в двух статьях 1975 г. Более подробную информацию см.: K. Alec Chrystal and Paul Mizen. Goodhart’s Law: Its Origins, Meaning and Implications for Monetary Policy in Central Banking, Monetary Theory and Practice. Edward Elgar Publishing, 2003.

99

Stephen Jay Gould. The Mismeasure of Man. W. W. Norton & Co., 1981.

100

Kevin McGrew. The Cattel – Horn – Carroll Theory of Cognitive Abilities // Contemporary Intellectual Assessment: Theories, Tests, and Issues. The Guilford Press, 1996.

101

Этот абзац написан на основе книги Diane Coyle. GDP: A Brief but Affectionate History. Princeton University Press, 2014. (Койл С. ВВП. Краткая история, рассказанная с пиететом / Пер. с англ. А. Гусева. М.: Издательский дом ВШЭ, 2016.)

102

Он получил «Премию по экономическим наукам имени Альфреда Нобеля». Строго говоря, это не Нобелевская премия, но ее часто так называют.

103

Human Development Report 2019, United Nations Development Programme, 2019. (С последним на момент перевода изданием – «Докладом о человеческом развитии 2020» – можно ознакомиться по адресу: http://hdr.undp.org/sites/default/files/hdr2020_ru.pdf.) Имея дело с такого рода цифрами, важно помнить, что они всегда бывают определены с некоторой погрешностью, о которой говорится в главе 3. Это означает, что различия между показателями некоторых стран могут быть статистически незначимыми, потому что данные всегда содержат некоторое количество «шума».

104

В последнем на момент перевода этой книги отчете за 2020 г. на первом месте по-прежнему находится Норвегия, а на последнем (189-м) – Нигер. Великобритания переместилась на 13-ю позицию, а Российская Федерация занимает 52-ю.

105

Het bestverkochte boek ooit (met deze titel).

106

Jinek. KRO-NCRV. 21 декабря 2017 г.

107

Maarten Back. AD publiceert alleen nog de 75 beste olliebollenkramen, NRC, 22 декабря 2017 г.

108

Herm Joosten. Voor patiënten is de AD ziekenhuis-lijst (vrijwel) zinloos, de Volkskrant, 10 октября 2014 г.

109

Иногда в дело незаметно для авторов вмешиваются этические соображения. Изучавший ИЧР экономист Мартин Раваллион получил странный результат: страна с низкой ожидаемой продолжительностью жизни тем не менее может получить высокий ИЧР благодаря даже небольшому росту доходов. В результате того, что разные аспекты были сгруппированы в одно число, они стали взаимозаменяемыми. Вычисления Раваллиона привели его к абсурдному выводу: человеческая жизнь в одних странах сто́ит меньше, чем в других. На самом дне оказалась Зимбабве, в которой лишний год жизни человека эквивалентен пятидесяти евроцентам. В то же время в богатых странах его цена поднимается до 8000 евро и даже выше. См.: Martin Ravallion. Troubling Tradeoffs in the Human Development Index. Journal of Development Economics, ноябрь 2012 г.

110

Я уже писала об определении голода в статье Waarom we veel minder weten van ontwikkelingslanden dan we denken, De Correspondent, 30 июня 2015 г.

111

FAO – от англ. Food and Agriculture Organization.

112

The State of Food Insecurity in the World, Food and Agriculture Organization, 2012.

113

James Flynn. Why Our IQ Levels Are Higher than Our Grandparents, TED.com, март 2013 г.

114

Предшествующие исследователи отмечали нечто подобное в некоторых наборах данных, но Джеймс Флинн первым изучил это явление систематически.

115

В некоторых странах также наблюдается «антиэффект Флинна», то есть снижение уровня IQ. Данные по норвежским мужчинам показывают, что их IQ уменьшился между 1975 и 1990 гг. См.: Bernt Bratsberg and Ole Rogeberg. Flynn Effect and Its Reversal Are Both Environmentally Caused, PNAS, 26 июня 2018 г.

116

Йеркс называл отстающих в обучении термином moron (англ. дебил, идиот), который в наши дни используется только в качестве бранного слова.

117

Carl Brigham. A Study of American Intelligence. Princeton University Press, 1923.

118

Когда он изучал философию, некто сказал ему, что ему никогда не стать настоящим философом. «Никогда! – писал он в 1909 году. – Какое знаменательное слово! Некоторые из мыслителей недавнего времени, по-видимому, оказали моральную поддержку таким прискорбным вердиктам своими утверждениями, что уровень интеллекта человека – величина неизменная, не поддающаяся увеличению. Следует оспаривать такой брутальный пессимизм и бороться с ним; нужно постараться доказать, что он не имеет под собой никаких оснований!» См.: Gould, p. 183, 184.

119

Diane Coyle. GDP: A Brief but Affectionate History. Princeton University Press, 2014.

120

Malcolm Gladwell. None of the above, New Yorker. 17 декабря 2007 г. Курсив Гладуэлла.

121

Anandi Mani, Sendhil Mullainathan, Eldar Shafir and Jiaying Zhao. Poverty Impedes Cognitive Function, Science, 30 августа 2013 г.

122

Tamara Daley, Shannon Whaley, Marian Sigman, Michael Espinosa and Charlotte Neumann. IQ On the Rise: The Flynn Effect in Rural Kenyan Children, Psychological Science, май 2003 г.

123

William Dickens and James Flynn. Black Americans Reduce the Racial IQ Gap: Evidence from Standardization Samples // Psychological Science, 2006.

124

Angela Hanks, Danyelle Solomon, Christian Weller. Systematic Inequality: How America’s Structural Racism Helped Create the Black-White Wealth Gap, Center for American Progress. 21 февраля 2018 г.

125

Alana Semuels. Good School, Rich School; Bad School, Poor School // The Atlantic (25 августа 2016 г.); Alvin Chang. Living in a Poor Neighborhood Changes Everything about Your Life // Vox.com, 4 апреля 2018 г.

126

Marianne Bertrand and Esther Duflo. Field Experiments on Discrimination // Handbook of Field Experiments. Elsevier, 2017. Глава 3. Что говорит о выборках одно сомнительное сексологическое исследование

127

Трумэн уже был президентом, потому что занял эту должность после смерти Франклина Д. Рузвельта.

128

Газета положилась на мнение своего политического обозревателя Артура Сирса Хеннинга, который предсказал исход выборов, опираясь на опросы общественного мнения и другие источники информации. См. также Craig Silverman. The Untold Story of «Dewey Defeats Truman» // Huffington Post, 5 декабря 2008 г.

129

Michael Barbaro. How Did the Media – How Did We – Get This Wrong? // New York Times, 9 ноября 2016 г.

130

Точнее, Ванг заявил, что съест насекомое, если Трамп наберет более 240 голосов в коллегии выборщиков. Трамп набрал 290. См.: Sam Wang. Sound Bites and Bug Bites // Princeton Election Consortium, 4 ноября 2016 г. Ванг опубликовал свое обещание в твиттере 19 октября 2016 г.

131

Следует отметить, что у английского слова nutty кроме прямого значения – «ореховый» – есть и переносное – «безумный», «чокнутый».

132

Alexandra King. Poll Expert Eats Bug on CNN After Trump Win // CNN, 12 ноября 2016 г.

133

Jelke Bethlehem. The Rise of Survey Sampling // Centraal Bureau voor de Statistiek, 2009.

134

Tom Smith. The First Straw? A Study of the Origins of Election Polls // Public Opinion Quarterly, 1990.

135

Смит утверждал, что выборы 1824 г. были «первыми, в которых была серьезная борьба» начиная с 1800-го. После 1800 г. в систему были внесены изменения, в результате которых исход выборов должен был в основном решаться большинством населения.

136

Sarah Igo. The Averaged American: Surveys, Citizens and the Making of a Mass Public. Harvard University Press, Cambridge, Mass., 2007.

137

Такие трещины появились в картине социологических опросов не впервые. В 1936 г. журнал Literary Digest – бывший до этого самым авторитетным изданием в этой области – предсказал победу Альфа Лэндона. Лэндон проиграл. Год спустя журнал Literary Digest был вынужден закрыться.

138

Alfred Kinsey. Wardell Pomeroy and Clyde Martin, Sexual Behavior in the Human Male. W. B. Saunders Company, 1948.

139

Frederick Mosteller. The Pleasures of Statistics: The Autobiography of Frederick Mosteller. Springer, 2010.

140

David Spiegelhalter. Sex by Numbers. Profile Books, L., 2015.

141

Thomas Rueb. Eén op de tien wereldburgers is homoseksueel // nrc.nl, 24 июля 2012 г.

142

Sarah Igo. The Averaged American: Surveys, Citizens and the Making of a Mass Public. Harvard University Press, Cambridge, Mass., 2007.

143

В приведенном в этой главе описании исследований Кинси и отчета трех статистиков я использовала следующие три книги: James Jones. Alfred C. Kinsey: A Life. Norton, N. Y., 1997; Sarah Igo. The Averaged American: Surveys, Citizens and the Making of a Mass Public. Harvard University Press, Cambridge, Mass., 2007; David Spiegelhalter. Sex by Numbers. Profile Books, L., 2015.

144

Cynipidae – семейство орехотворок из отряда перепончатокрылых насекомых.

145

Кинси утверждал в своем отчете, что в общей сложности потребуются 100 000 наблюдений. Он надеялся опубликовать расширенный вариант исследования, но этого так и не случилось.

146

The Kinsey Interview Kit // The Kinsey Institute for Research in Sex, Gender and Reproduction, 1985.

147

Курсив в цитате мой.

148

David Spiegelhalter. Sex by Numbers. Profile Books, L., 2015.

149

Эти цифры были взяты из исследования Natsal-3 и упоминаются в главе 3 книги David Spiegelhalter. Sex by Numbers.

150

Michele Alexander and Terri Fisher. Truth and consequences: Using the bogus pipeline to examine sex differences in self-reported sexuality // Journal of Sex Research, 2003. Этот эксперимент обсуждается в главе 3 книги David Spiegelhalter, Sex by Numbers. Число 2,6 сексуального партнера было получено в группе, в которой существовала возможность, что при интервью также присутствует другой студент. В другой исследовательской группе, в которой респонденты находились в запертом помещении, среднее число сексуальных партнеров было равно 3,4.

151

Guy Harling, Dumile Gumede, Tinofa Mutevedzi, Nuala McGrath, Janet Seeley, Deenan Pillay, Till W. Bärnighausen and Abraham J. Herbst. The Impact of Self-Interviews on Response Patterns for Sensitive Topics: A Randomized Trial of Electronic Delivery Methods for a Sexual Behaviour Questionnaire in Rural South Africa // BMC Medical Research Methodology, 2017.

152

Читатели, заставшие последние годы Советского Союза, вероятно, еще помнят сходную операцию по изъятию из обращения 50- и 100-рублевых купюр, которую провел в январе 1991 г. премьер-министр СССР В. С. Павлов.

153

Я узнала об этом опросе из передачи More or Less («Более или менее») 4-й программы радио BBC, которая рассказывала о нем 5 декабря 2017 г. Критические замечания, которые я высказываю здесь и в следующем разделе, также обсуждались в этой передаче. Ведущий передачи Тим Харфорд говорил с Притхвираджем Мукерджи, который написал в твиттере с ярлыком @peelaraja: «Если вы будете учиться на моем курсе маркетинговых исследований и составите такой опрос, я поставлю вам неуд». 21 ноября 2016 г.

154

Jelke Bethlehem. Terrorisme een groot probleem? Het is maar net hoe je het vraagt // peilingpraktijken.nl, 2 октября 2014 г.

155

David Spiegelhalter. Sex by Numbers.

156

«Сексуальное поведение самки человека» (Sexual Behavior in the Human Female), 1953.

157

На странице 6 отчета говорится, что число черных мужчин, принявших участие в исследовании, было слишком мало, чтобы о них можно было что-нибудь сказать.

158

Internet Users per 100 Inhabitants // unstats.un.org, по состоянию на 31 июля 2018 г.

159

Jeffrey Arnett. The Neglected 95 %: Why American Psychology Needs to Become Less American // American Psychologist, октябрь 2008 г.

160

Weird (англ.) – странный, ненормальный.

161

Joseph Henrich. Steven Heine and Ara Norenzayan. The Weirdest People in the World? // Behavioral and Brain Sciences, июнь 2010 г.

162

Одно из возможных объяснений состоит в том, что люди, живущие в современном обществе, привыкли к прямым углам, например, зданий или городских площадей. Это приучило наш мозг к некоторому приему зрительного восприятия, который, как оказывается, и порождает иллюзию Мюллера-Лайера.

163

Этот и следующий абзацы основаны на книге Angela Saini. Inferior. HarperCollins Publishers, 2018.

164

Drug Safety: Most Drugs Withdrawn in Recent Years Had Greater Health Risks for Women, United States Government Accountability Office, 19 января 2001 г.

165

Archibald Cochrane and Max Blythe. One Man’s Medicine. BMJ Books, L., 1989.

166

Dana Carney, Amy Cuddy and Andy Yap. Power Posing: Brief Nonverbal Displays Affect Neuroendocrine Levels and Risk Tolerance // Psychological Science, 2010. В 2018 г. Кадди в сотрудничестве с двумя коллегами представила исследование, показывавшее, что экспансивная поза действительно производит позитивный эффект, но, когда данные были заново проанализированы другими исследователями, никаких доказательств воздействия властной позы снова не было найдено. См.: Marcus Crede. A Negative Effect of a Contractive Pose Is Not Evidence for the Positive Effect of an Expansive Pose: Commentary on Cuddy, Schultz, and Fosse, 2018, неопубликованная рукопись, SSRN, 12 июля 2018 г.

167

Eva Ranehill, Anna Dreber, Magnus Johannesson, Susanne Leiberg, Sunhae Sul and Roberto Weber. Assessing the Robustness of Power Posing: No Effect on Hormones and Risk Tolerance in a Large Sample of Men and Women // Psychological Science, 2015.

168

Katherine Button, John Ioannidis, Claire Mokrysz, Brian Nosek, Jonathan Flint, Emma Robinson and Marcus Munafò. Power failure: why small sample size undermines the reliability of neuroscience // Nature Reviews: Neuroscience, май 2013 г.

169

Во всех трех случаях победил Франклин Д. Рузвельт.

170

Эта история описана в: Sarah Igo. The Averaged American: Surveys, Citizens and the Making of a Mass Public. Harvard University Press, Cambridge, Mass., 2007.

171

Возможно, вы заметили, что число 18 000 не соответствует количеству участников в двух отчетах, 11 000. Кинси с коллегами опросили 18 000 человек, но некоторые наблюдения не были включены в отчеты, например касающиеся чернокожих мужчин или людей, опрошенных после публикации отчетов.

172

Техническая деталь: по случайности может получиться и нерепрезентативный срез популяции, но, зная вероятность такого события из процесса рандомизации, можно вычислить степень нерепрезентативности.

173

Об этом рассказывалось в серии «Кинси» (Kinsey) американского документального сериала «Американский опыт» (American Experience), впервые вышедшей в эфир 14 февраля 2015 г.

174

Richard Pérez-Peña. 1 in 4 Women Experience Sex Assault on Campus // New York Times, 21 сентября 2015 г. Я узнала об этом опросе из статьи на сайте Huffington Post: Brian Earp. 1 in 4 Women: How the Latest Sexual Assault Statistics Were Turned into Click Bait by the New York Times, 28 сентября 2015 г.

175

David Cantor, Reanne Townsend and Hanyu Sun. Methodology Report for the AAU Campus Climate Survey on Sexual Assault and Sexual Misconduct, Westat, 12 апреля 2016 г.

176

Я использовала следующие расчеты. Если оставшиеся 80 процентов – жертвы: (0,2 × 0,25) + (0,8 × 1) = 0,85 (85 %). Если оставшиеся 80 процентов – не жертвы: (0,2 × 0,25) + (0,8 × 0) = = 0,05 (5 %).

177

В погрешности учитываются отказы от ответов, причем предполагается, что выборка репрезентативна и вопросы задаются корректно.

178

Зайдите на сайт https://goodcalculators.com/margin-of-error-calculator/ и введите в графу «Population Size» значение численности населения – это та группа, которая нас интересует. Во времена Кинси суммарная численность американских мужчин составляла 60 миллионов человек. В этом (гипотетическом) примере численность выборки (Sample Size) равна 100, а процентная доля (Proportion Percentage) – 50 %. Получающаяся погрешность равна 9,8 %, то есть процентная доля могла составлять от 40,2 % до 59,8 % (этот интервал получен для уровня достоверности 95 %).

179

David Weigel. State Pollsters, Pummeled by 2016, Analyze What Went Wrong, Washington Post, 30 декабря 2016 г.

180

Поскольку в США используется система коллегии выборщиков, кандидат, победивший в народном голосовании, не обязательно становится победителем президентских выборов.

181

Я выбрала ABC News/Washington Post потому, что эта организация получила на веб-сайте FiveThirtyEight оценку A+, высочайшую для социологической службы. Погрешность 4 % упоминается в статье: Scott Clement and Dan Balz. Washington Post – ABC News Poll: Clinton Holds Four-Point Lead in Aftermath of Trump Tape, Washington Post, 16 октября 2016 г.

182

Nate Silver. The Real Story of 2016, fivethirtyeight.com, 19 января 2017 г.

183

NOS Nederland Kiest: De Uitslagen, NOS, 18 марта 2015 г. Реплика Стакс была произнесена в 02:07:50.

184

James Jones. Alfred C. Kinsey: A Life. Norton, 1997.

185

John Bancroft. Alfred Kinsey’s Work 50 Years on, в новом издании книги Sexual Behavior in the Human Female. Indiana University Press, 1998.

186

Мистером X этот человек назван в биографии Кинси, написанной Джонсом. Глава 4. Курение вызывает рак легких (но аисты детей не приносят)

187

В разговоре о табачной промышленности в этой главе я использовала следующие источники: Robert Proctor. Golden Holocaust: Origins of the Cigarette Catastrophe and the Case for Abolition. University of California Press, 2011; Naomi Oreskes and Erik Conway. Merchants of Doubt: How a Handful of Scientists Obscured the Truth on Issues from Tobacco Smoke to Global Warming. Bloomsbury, 2012; и Tim Harford. Cigarettes, Damn Cigarettes and Statistics, Financial Times, 10 апреля 2015 г.

188

Ernest Wynder. Evarts Graham and Adele Croninger. Experimental Production of Carcinoma with Cigarette Tar, Cancer Research, декабрь 1953 г.

189

Background Material on the Cigarette Industry Client, меморандум от 15 декабря 1953 г., который можно найти в Библиотеке отраслевых документов (Industry Documents Library), собрании документов табачной промышленности.

190

За исключением компании Ligget & Myers, которая предпочла не иметь никакого отношения к этому предприятию.

191

A Frank Statement to Cigarette Smokers, 4 января 1954 г.

192

Naomi Oreskes and Erik Conway. Merchants of Doubt. Bloomsbury, L., 2012. P. 15.

193

Darrell Huff. How to Lie with Statistics. Victor Gollancz, 1954. Я использовала издание 1991 г., вышедшее в издательстве Penguin. (Хафф Д. Как лгать при помощи статистики / Пер. с англ. Е. Э. Лалаян. М.: Альпина Паблишер, 2015.)

194

J. Michael Steele. Darrell Huff and Fifty Years of How to Lie with Statistics, Statistical Science, Institute of Mathematical Statistics, 2005.

195

Хафф приводил этот пример не в книге, а в своей речи на заседании Сенатского комитета по торговле в 1965 г., о котором пойдет речь далее, и в неопубликованной рукописи другой книги – «Как лгать при помощи статистики о курении» (How to Lie with Smoking Statistics).

196

NUcheckt: Helpt gin-tonic tegen hooikoorts? NU.nl, 3 мая 2018 г.

197

Anouk Broersma. Wegscheren schaamhaar vergroot kans op soa, de Volkskrant, 6 декабря 2016 г.

198

Liesbeth De Corte. Chocolade is wél gezond, maar enkel en alleen de pure variant, AD. 5 мая 2018 г.

199

Sumner Petroc. Vivian-Griffiths Solveiga, Boivin Jacky, Williams Andy, Venetis Christos A, Davies Aimée et al. The association between exaggeration in health related science news and academic press releases: retrospective observational study, BMJ, 10 декабря 2014 г.

200

Jonathan Schoenfeld and John Ioannidis. Is Everything We Eat Associated with Cancer? A Systematic Cookbook Review // American Journal of Clinical Nutrition, январь 2013 г.

201

Я также пишу о Пауле в статье Deze statistische fout wordt in bijna elk debat gemaakt (en zo pik je haar eruit) // De Correspondent, 8 марта 2016 г.

202

Одна из игр Британской национальной лотереи.

203

Lotto Odds. https://www.lottery.co.uk/lotto/odds, по состоянию на 10 января 2020 г.

204

www.tylervigen.com/spurious-correlations, по состоянию на 3 августа 2018 г.

205

Randall Munroe. Significant, xkcd.com. https://xkcd.com/882/

206

Brian Wansink, David Just and Collin Payne. Can Branding Improve School Lunches? // Archives of Pediatrics and Adolescent Medicine, октябрь 2012 г.

207

Brian Wansink and Koert van Ittersum. Portion Size Me: Plate-Size Induced Consumption Norms and Win-Win Solutions for Reducing Food Intake and Waste, Journal of Experimental Psychology: Applied, декабрь 2013 г.

208

Stephanie Lee. Here’s How Cornell Scientist Brian Wansink Turned Shoddy Data into Viral Studies about How We Eat // BuzzFeed News, 25 февраля 2018 г.

209

Archibald Cochrane and Max Blythe. One Man’s Medicine.

210

Пер. с англ. Е. Э. Лалаян.

211

В этом случае может играть некоторую роль и еще один фактор – курение. Курильщики часто бывают более худыми и имеют меньшую продолжительность жизни. Andrew Stokes and Samuel Preston. Smoking and Reverse Causation Create an Obesity Paradox in Cardiovascular Disease, Obesity, 2015.

212

В этой главе речь идет в основном о раке легких, а не о других разнообразных вредных последствиях, например других типах рака или сердечной недостаточности.

213

Я уже говорила об этих новостях в своей лекции на конференции TEDx. How to Defend Yourself against Misleading Statistics in the News, TEDx Talks, 3 ноября 2016 г.

214

Moeten we misschien iets minder vlees eten? // Zondag met Lubach (Sunday with Lubach) // VPRO, 1 ноября 2015 г.

215

Martijn Katan. NRC Opinie 29–10–2015: Vleeswaren en darmkanker, mkatan.nl, 29 октября 2015 г.

216

Q&A on the Carcinogenicity of the Consumption of Red Meat and Processed Meat, World Health Organization, октябрь 2015 г.

217

Fritz Lickint. Tabak und Tabakrauch als ätiologischer Faktor des Carcinoms // Zeitschrift for Krebsforschung und klinische Onkologie, декабрь 1930 г.

218

Richard Doll and Austin Bradford Hill. A Study of the Aetiology of Carcinoma of the Lung // British Medical Journal, 1952.

219

Robert Proctor. Golden Holocaust: Origins of the Cigarette Catastrophe and the Case for Abolition.

220

Табачную промышленность обязали предать свою документацию гласности. Со всеми материалами можно ознакомиться на веб-сайте Библиотеки исторических документов табачной отрасли (Legacy Tobacco Documents Library).

221

The only #climatechange chart you need to see http://natl.re/wPKpro (h/t @PowelineUS), @NationalReview в Twitter, 14 декабря 2015 г.

222

Roz Pidcock. How Do Scientists Measure Global Temperature, CarbonBrief, 16 января 2015 г.

223

GISS Surface Temperature Analysis. data.giss.nasa.gov, по состоянию на 8 января 2018 г.

224

Roz Pidcock. Scientists Compare Climate Change Impacts at 1.5C and 2C. CarbonBrief, 21 апреля 2016 г.

225

Речь идет о «скользящем среднем», которое вычисляют по пятилетнему периоду, который каждый раз сдвигается на год.

226

Statement by Darrell Huff, Truth Tobacco Industry Document.

227

Ronald Fisher. Smoking. The Cancer Controversy: Some Attempts to Assess the Evidence. F.R.S. Oliver and Boyd, 1959.

228

David Salsburg. The Lady Tasting Tea. A.W.H. Freeman, 2001.

229

David Roberts. The 2 Key Points Climate Skeptics Miss. Vox.com. 11 декабря 2015 г.

230

Claude Teague. Survey of Cancer Research, 1953.

231

Точнее, компания учредила этот фонд и выделила чуть менее миллиарда долларов на его поддержку в течение 12 лет.

232

WHO Statement on Philip Morris Funded Foundation for a Smoke-Free World. World Health Organization. 28 сентября 2017 г.

233

Naomi Oreskes and Erik Conway. Merchants of Doubt: How a Handful of Scientists Obscured the Truth on Issues from Tobacco Smoke to Global Warming. Bloomsbury, L., 2012.

234

Martijn Katan. Hoe melkvet gezond wordt. mkatan.nl, 30 января 2010 г.

235

Christie Aschwanden. There’s No Such Thing As «Sound Science». FiveThirtyEight, 6 декабря 2017 г.

236

Личное сообщение сына Давида Даубе, упомянутое в Robert Proctor. Golden Holocaust: Origins of the Cigarette Catastrophe and the Case for Abolition.

237

Alex Reinhart. Huff and Puff // Significance, октябрь 2014 г. Глава 5. Не стоит слишком увлекаться числами в будущем

238

История Дженифер позаимствована из выступления Шивани Сироя на конференции TED: Shivani Siroya. A Smart Loan for People with No Credit History (Yet). TED.com (февраль 2016 г.

239

При написании этой главы я с благодарностью использовала книгу Cathy O’Neil. Weapons of Math Destruction. Crown, 2016. (О’Нил К. Убийственные большие данные. Как математика превратилась в оружие массового поражения / Пер. с англ. В. Дегтярева. М.: АСТ, 2018.)

240

Sean Trainor. The Long, Twisted History of Your Credit Score // Time, 22 июля 2015 г.

241

Числа играют роль и в распознавании лиц, так как оно требует измерить параметры лица.

242

Data Never Sleeps 8.0. domo.com, по состоянию на 26 ноября 2020 г.

243

Brian Resnick. How Data Scientists Are Using AI for Suicide Prevention. Vox.com, 9 июня 2018 г.

244

Celine Herweijer. 8 Ways AI Can Help Save the Planet. World Economic Forum, 24 января 2018 г.

245

No Longer Science Fiction, AI and Robotics Are Transforming Healthcare. PWC Global, по состоянию на 15 августа 2018 г.

246

Mallory Soldner. Your Company’s Data Could End World Hunger. TED.com, сентябрь 2016 г.

247

Louise Fresco. Zeg me wat u koopt en ik zeg wat u stemt // NRC, 16 ноября 2016 г.

248

Marc Hijink. Hoe bepaalt de verzekeraar hoe veilig jij rijdt? // NRC, 5 апреля 2018 г.

249

Maurits Martijn. Baas Belastingdienst over big data: «Mijn missie is gedragsverandering» // De Correspondent, 21 апреля 2015 г.

250

Julia Dressel and Hany Farid. The Accuracy, Fairness, and Limits of Predicting Recidivism // ScienceAdvances, 17 января 2018 г.

251

Brian Christian and Tom Griffiths. Algorithms to Live by. Henry Holt and Company, 2016.

252

Русское издание: О’Нил К. Убийственные большие данные. Как математика превратилась в оружие массового поражения / Пер. с англ. В. Дегтярева. М.: АСТ, 2018.

253

Cathy O’Neil. Weapons of Math Destruction.

254

Термин «машинное обучение» ввел в оборот в 1959 г. информатик Артур Сэмюэл, давший ему следующее определение: «область знания, дающая компьютерам способность обучаться, не будучи явно запрограммированными».

255

Our Story. zestfinance.com, по состоянию на 14 августа 2018 г.

256

Zest Automated Machine Learning. zestfinance.com, по состоянию на 14 августа 2018 г.

257

В этом абзаце я использовала статью Karlijn Kuijpers. Thomas Muntz, Tim Staal. U staat op een zwarte lijst’ De Groene Amsterdammer, 25 октября 2017 г.

258

Vattenfall – шведская транснациональная энергетическая компания; Vodafone – британский транснациональный оператор сотовой связи.

259

Julia Dressel and Hany Farid. The Accuracy, Fairness and Limits of Predicting Recidivism. ScienceAdvances, 17 января 2018 г.

260

Background Checking – The Use of Credit Background Checks in Hiring Decisions // Society for Human Resource Management, 19 июля 2012 г. Теоретически кандидат может не дать разрешения на такую проверку. Но на самом деле у него нет выбора: отказавшись от проверки, он может потерять шансы на получение работы.

261

Amy Traub. Discredited // Demos, февраль 2013 г.

262

Credit Reports. Last Week Tonight with John Oliver, HBO, 10 апреля 2016 г.

263

В упомянутом выше обзоре 45 процентов работодателей называли причиной проверки стремление предотвратить преступления, а 19 процентов – оценку надежности работника.

264

Jeremy Bernerth, Shannon Taylor, H. Jack Walker and Daniel Whitman. An Empirical Investigation of Dispositional Antecedents and Performance-Related Outcomes of Credit Scores. Journal of Applied Psychology, 2012.

265

Kristle Cortés, Andrew Glover and Murat Tasci. The Unintended Consequences of Employer Credit Check Bans on Labor and Credit Markets. Working Paper no. 16–25R 2, Federal Reserve Bank of Cleveland, январь 2018 г.

266

Seth Stephens-Davidowitz. Everybody Lies. Bloomsbury Publishing, L., 2017.

267

Sean Illing. Proof That Americans Are Lying About Their Sexual Desires. Vox.com, 2 января 2018 г.

268

«All data is credit data». Дуглас Меррил произнес эту фразу в докладе на конференции TEDx New credit scores in a new world: Serving the Underbanked, 13 апреля 2012 г.

269

Karlijn Kuijpers, Thomas Muntz and Tim Staal. U staat op een zwarte lijst. De Groene Amsterdammer, 25 октября 2017 г.

270

Report to Congress Under Section 319 of the Fair and Accurate Credit Transactions Act of 2003, Federal Trade Commission, декабрь 2012 г.

271

Lauren Brennan, Mando Watson, Robert Klaber and Tagore Charles. The Importance of Knowing Context of Hospital Episode Statistics When Reconfiguring the NHS. BMJ, 2012.

272

Jim Finkle and Aparajita Saxena. Equifax Profit Beats Street View as Breach Costs Climb. Reuters, 1 марта 2018 г.

273

Cathy O’Neil. Weapons of Math Destruction.

274

Stat Oil // Economist, 9 февраля 2013 г.

275

Ron Lieber. American Express Kept a (Very) Watchful Eye on Charges. New York Times, 30 января 2009 г.

276

Компания и социальная сеть, функционирование которых запрещено на территории Российской Федерации.

277

Robinson Meyer. Facebook’s New Patent, “Digital Redlining”, and Financial Justice // The Atlantic, 25 сентября 2015 г.

278

Stat Oil // Economist, 9 февраля 2013 г.

279

Chris Anderson. The End of Theory // Wired, 23 июня 2008 г.

280

Jesse Frederik. In de economie valt een appel níét altijd naar beneden (ook al zeggen economen vaak van wel) // De Correspondent, 24 сентября 2015 г.

281

Erick Schonfeld. Eric Schmidt Tells Charlie Rose Google is «Unlikely» to Buy Twitter and Wants to Turn Phones into TVs. TechCrunch, 7 марта 2009 г.

282

Точнее говоря, алгоритм должен был предсказывать число посещений врачей. См.: David Lazer, Ryan Kennedy, Gary King and Alessandro Vespignani. The Parable of Google Flu: Traps in Big Data Analysis // Science, 14 марта 2014 г. Я также использовала эту статью в следующих абзацах.

283

Эта корреляция не вполне случайна, так как сезон турниров баскетбольных команд американских старших школ более или менее совпадает с сезоном гриппа.

284

В рассказе об этом эксперименте я использовала книгу: Tim Harford. The Logic of Life. Random House, 2009; и статью: Roland Fryer. Jacob Goeree and Charles Holt. Experience-Based Discrimination: Classroom Games // The Journal of Economic Education, весна 2005 г.

285

Харфорд Т. Логика жизни, или Экономика обо всем на свете / Пер. с англ. В. Мишучкова. М.: BestBusinessBooks, 2011.

286

Planning Outline for the Construction of a Social Credit System (2014–2020), translated into English by Rogier Creemers, China Copyright and Media, 14 июня 2014 г. Следующая цитата также позаимствована из этого документа.

287

Rogier Creemers. China’s Social Credit System: An Evolving Practice of Control. SSRN, 9 мая 2018 г.

288

Веб-сайт Alipay, intl.alipay.com, по состоянию на 27 ноября 2020 г.

289

При написании этого абзаца я обращалась к источнику: Charlie Campbell. How China Is Using «Social Credit Scores» to Reward and Punish Its Citizens // Time, 16 января 2019 г.

290

Mara Hvistendahl. Inside China’s Vast New Experiment in Social Ranking // Wired, 14 декабря 2017 г.

291

Paul Lewis. «Fiction is Outperforming Reality»: How YouTube’s Algorithm Distorts the Truth // Guardian, 2 февраля 2018 г.

292

FTC Report Confirms Credit Reports Are Accurate. CISION PR Newswire, 11 февраля 2013 г.

293

Maurits Martijn, Dimitri Tokmetzis. Je hebt wél iets te verbergen // De Correspondent, 2016. Глава 6. Значимость чисел определяет наша психология

294

Een glas alcohol is eigenlijk al te veel // nos.nl, 13 апреля 2018 г.

295

Переработанный вариант этой главы был опубликован в De Correspondent под названием Waarom slimme mensen domme dingen zeggen’ 18 июля 2018 г. Эта глава частично основана на статье Tim Harford. Your Handy Postcard-Sized Guide to Statistics // timharford.com, опубликованной ранее в газете Financial Times, 8 февраля 2018 г.

296

Angela Wood et al. Risk Thresholds for Alcohol Consumption: Combined Analysis of Individual-Participant Data for 599 912 Current Drinkers in 83 Prospective Studies // The Lancet, 14 апреля 2018 г.

297

@VinayPrasadMD в твиттере, 28 апреля 2018 г.

298

Skills Matter: Further Results from the Survey of Adult Skills. OECD Publishing, 2016.

299

PISA 2012 Results: Ready to Learn Students’ Engagement, Drive and Self-Beliefs. Vol. III. OECD Publishing, 2013.

300

Sanne Blauw. Waarom we slechte cijfers zoveel aandacht geven // De Correspondent, 15 июня 2017 г.

301

Sanne Blauw. Het twaalfde gebod: wees je bewust van je eigen vooroordelen // De Correspondent, 24 февраля 2016 г.

302

Dan Kahan, Ellen Peters, Erica Cantrell Dawson and Paul Slovic. Motivated Numeracy and Enlightened Self-Government. Behavioural Public Policy, май 2017 г. В описании этого исследования я с благодарностью использовала статью Ezra Klein. How Politics Makes Us Stupid // Vox.com, 6 апреля 2014 г.

303

Респондентов спрашивали об их политических и идеологических предпочтениях. В зависимости от их ответов Кахан и его коллеги относили их, как принято в научной литературе, к одной из двух групп – «либеральных демократов» или «консервативных республиканцев».

304

Эти результаты многократно воспроизводились не только Каханом и его коллегами, но и другими исследователями. См., например: Dan Kahan, Asheley Landrum, Katie Carpenter, Laura Helft and Kathleen Hall Jamieson. Science Curiosity and Political Information Processing. Advances in Political Psychology, 2017.

305

Beth Kowitt. The Paradox of American Farmers and Climate Change // fortune.com, 29 июня 2016 г.

306

Ezra Klein. How Politics Makes Us Stupid. Vox.com, 6 апреля 2014 г.

307

Een extra glas alcohol kan je leven met 30 minuten verkorten // AD, 13 апреля 2018 г.

308

Dan Kahan, Asheley Landrum, Katie Carpenter, Laura Helft and Kathleen Hall Jamieson. Science Curiosity and Political Information Processing. Advances in Political Psychology, 2017. В описании этого исследования я с благодарностью использовала статью Brian Resnick. There May Be an Antidote to Politically Motivated Reasoning. And It’s Wonderfully Simple // Vox.com, 7 февраля 2017 г.

309

Далее в этой главе я называю интерес к науке «любознательностью».

310

Tim Harford. Your Handy Postcard-Sized Guide to Statistics.

311

Animal Models in Alcohol Research. Alcohol Alert, апрель 1994 г.

312

Chiara Scoccianti, Béatrice Lauby-Secretan, Pierre-Yves Bello, Véronique Chajes and Isabelle Romieu. Female Breast Cancer and Alcohol Consumption: A Review of the Literature // American Journal of Preventive Medicine, 2014.

313

Richtlijnen goede voeding 2015, De Gezondheidsraad, 2015.

314

Roni Caryn Rabin. Major Study of Drinking Will Be Shut Down // New York Times, 15 июня 2018 г.

315

Roni Caryn Rabin. Federal Agency Courted Alcohol Industry to Fund Study on Benefits of Moderate Drinking // New York Times, 17 марта 2018 г.

316

Owen Dyer. $ 100m Alcohol Study Is Cancelled amid Pro-Industry «Bias» // BMJ, 19 июня 2018 г. Послесловие. Как поставить числа на место

317

Sanne Blauw. Waarom je beter geluk dan rendement kunt meten // De Correspondent, 20 марта 2015 г.

318

OECD Better Life Index. http://www.oecdbetterlifeindex.org, по состоянию на 17 августа 2018 г.

319

Monitor brede welvaart 2018, Centraal Bureau voor de Statistiek, 2018.

320

AEA RCT Registry. http://www.socialscienceregistry.org, по состоянию на 16 августа 2018 г. Другой пример – «зарегистрированные отчеты» Центра открытой науки.

321

Estimating the Reproducibility of Psychological Science. Open Science Collaboration, Science, 2015.

322

См., например, «Международный журнал повторных работ в области эмпирической экономики» (International Journal for Re-Views in Empirical Economics).

323

Geert Bors. Leraar zijn in relatie (2): je bent je eigen instrument. Stichting NIVOZ, 4 июля 2018 г.

324

«Я преподаю [в среднем профессиональном училище], не выставляя ученикам оценки, уже три года. Это такое облегчение! У учеников больше мотивации, атмосфера расслабленная (без угрозы контрольных). Очень горжусь маленькими разбойниками. Но в нашей школе так работаю только я. Начальные классы тоже хотят ввести эту систему», @bijlesduits в твиттере, 30 мая 2018 г.

325

Sheila Sitalsing. Dappere verkoopsters van de Bijenkorf bewijzen: protesteren tegen onzin heeft zin. de Volkskrant, 22 мая 2018 г.

326

Steeds meer beoordelingen: «Dit geeft alleen maar stress» // Nieuwsuur, 24 апреля 2018 г.

327

http://www.openschufa.de, по состоянию на 27 ноября 2020 г.

328

Шесть вопросов, входящих в этот список, составлены по образцу других похожих списков, например, в статье Тима Харфорда «Удобное руководство по статистике открыточного формата» (Tim Harford. Your Handy Postcard-Sized Guide to Statistics), в последней главе книги «Как лгать при помощи статистики» Даррелла Хаффа и в статье Мишель Нейхейс «Карманное руководство по профилактике брехни» (Michelle Nijhuis. The Pocket Guide to Bullshit Prevention).

329

Хафф Д. Как лгать при помощи статистики / Пер. с англ. Е. Э. Лалаян. М.: Альпина Паблишер, 2015.

330

Элленберг Дж. Как не ошибаться. Сила математического мышления / Пер. с англ. Н. Г. Яцюк. М.: Манн, Иванов и Фербер, 2017.

331

Скотт Дж. С. Благими намерениями государства. Почему и как проваливались проекты улучшения условий человеческой жизни / Пер. с англ. Э. Н. Гусинского и Ю. И. Турчаниновой. М.: Университетская книга, 2011.

332

Харари Ю. Н. Sapiens. Краткая история человечества / Пер. с англ. Л. Сумм. М.: Синдбад, 2016.

333

Койл Д. ВВП. Краткая история, рассказанная с пиететом / Пер. с англ. А. Гусева. М.: Издательский дом ВШЭ, 2016.

334

Фрай Х. Hello World. Как быть человеком в эпоху машин / Пер. с англ. Ю. Плискиной. М.: Corpus (АСТ), 2021.

335

Канеман Д. Думай медленно… решай быстро / Пер. с англ. А. Андреева, Ю. Деглиной и Н. Парфенова. М.: АСТ, 2014.

336

Тетлок Ф., Гарднер Д. Думай медленно… предсказывай точно. Искусство и наука предвидеть опасность / Пер. с англ. В. Дегтяревой. М.: АСТ, 2018.

Content

Санне Блау
Во власти цифр. Как числа управляют нашей жизнью и вводят в заблуждение

Предисловие Пандемия чисел

Вступление Плененные числами

1 Цифры могут спасать

Истоки нашей страсти к числам

Начинаем стандартизацию

Мы начинаем собирать числа

Мы начинаем анализировать числа

Чутье, заблуждения, предвзятость

2 Бессмысленный спор об IQ и цвете кожи

«Мне гораздо больше хотелось бы увидеть, что чернокожие сверхинтеллектуальны»

Несколько важных оговорок

Пять субъективных решений

3 Что говорит о выборках одно сомнительное сексологическое исследование

К профессору сексологии едут три статистика

4 Курение вызывает рак легких (но аисты детей не приносят)

Ложь при помощи статистики

Как Гитлер мог спасти жизнь миллионам курильщиков

Коварнейший маркетинговый прием

Совпадения, неучтенные факторы и обратные корреляции

Когда знаний достаточно?

Как лгать при помощи статистики о курении

5 Не стоит слишком увлекаться цифрами в будущем

Одна из самых опасных идей нашего времени

Что мы имеем в виду, когда говорим об алгоритмах

Числа, которые должны были отражать реальность, заменили ее

Чего вы хотите добиться при помощи чисел?

6 Значимость чисел определяет наша психология

Почему все постоянно идет не так?

Интерпретация неверная, но приятная

Последний совет: обращайте внимание на конфликты интересов

Послесловие Как поставить числа на место

Инструкция: что делать при встрече с числом

Дополнительная литература

Выражение благодарности

Примечания