Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет - Нейт Сильвер

Идея фреквентизма состоит в том, что неопределенность в статистической проблеме возникает исключительно из-за того, что сбор данных производится на выборке, а не на всей популяции. Это имеет вполне разумные основания, когда мы изучаем, допустим, результаты политических опросов. Например, при проведении опросов в Калифорнии выборка составляет всего 800 человек, а не 8 млн, которые придут голосовать на очередных выборах, в результате возникает так называемая ошибка выборки. Величина ошибки, которую вы видите в описании политических опросов, измеряет именно это – насколько велика вероятность ошибки из-за того, что вы опрашиваете 800 представителей популяции из 8 млн? Методы фреквентистов как раз и призваны дать этому параметру количественную оценку.

Однако даже в контексте политических выборов ошибки выборки не всегда позволяют рассказать всю историю. В течение короткого интервала между конференцией демократической партии в Айове и первичными выборами демократической партии в Нью-Гемпшире в 2008 г. в последнем штате было опрошено около 15 тыс. человек{585} – невероятно много для столь небольшого штата, притом что предел погрешности теоретически составлял ±0,8 %. Однако реальная ошибка оказалась в 10 раз выше: Хиллари Клинтон выиграла выборы в штате с перевесом в 3 %, хотя, по данным опросов, уступала Бараку Обаме 8 %. Ошибка выборки – единственный тип ошибки, которому фреквентисты дают право на существование, – была, пожалуй, меньшей из проблем, возникшей при проведении опросов в Нью-Гемпшире.

Кроме того, некоторые организации, занимающиеся опросами, стабильно демонстрируют искажение в сторону той или иной партии{586}. С тем же успехом они могли бы опросить все 200 млн взрослых американцев и все равно получить неверные результаты. Байес разобрался с этими проблемами уже 250 лет назад. Если вы используете искаженный инструмент, то не важно, как много измерений вы произведете, вы неправильно сформулировали цель.

По сути, фреквентистский подход к статистике пытается изо всех сил утвердиться в мысли о том, что частая причина неверных предсказаний – это человеческая ошибка. Этот подход рассматривает неопределенность как нечто, присущее эксперименту, а не нашей способности понимать реальный мир. Фреквентистский метод также предполагает, что чем больше данных мы собираем, тем меньше становится ошибка. Со временем она приблизится к нулю. Таким образом, наличие данных считается необходимым и достаточным для решения любой проблемы. Многие из куда более проблемных вопросов предсказания, описанных в этой книге, связаны с областями, в которых полезные данные встречаются крайне редко, и порой их сбор действительно является важным и ценным делом. Однако неправильное использование этого метода вряд ли поставит вас на верный путь к статистическому совершенству. Как заметил Иоаннидис, эра Больших данных лишь ухудшает проблемы ложных позитивных выводов в исследовательской литературе.

Фреквентистский метод нельзя считать особенно объективным ни в теории, ни на практике. Напротив, он полагается на целый ряд предположений. Например, обычно предполагается, что неопределенность в измерении следует колоколообразной кривой или нормальному распределению. Часто это предположение достаточно хорошо описывает ситуацию, но не в случае таких вещей, как колебания на фондовом рынке. Фреквентистский подход требует определения выборки, которая будет выглядеть достаточно прямолинейно, когда дело касается политического опроса, но довольно неоднородно во многих других областях практического применения.

Какую «выборку из популяции» можно было бы выбрать в случае атаки 11 сентября?

Однако еще бо́льшая проблема состоит в том, что фреквентистские методы – в своем стремлении создать безупречные статистические процедуры, которые не могут быть испорчены предубеждениями самого исследователя, – вынуждают его герметично закрываться от реального мира. Эти методы не позволяют такому исследователю изучить глубокий контекст или ущербные черты своей гипотезы, то есть то, чего требует байесовский метод в форме априорной вероятности. В результате можно увидеть, на первый взгляд, серьезные научные работы о том, как жабы могут предсказывать землетрясения{587}, или о том, как оптовые магазины типа Target стимулируют создание нетерпимости в обществе{588}. В подобных исследованиях фреквентистские тесты применяются для создания «статистически значимых» (однако, по сути, бессмысленных и даже возмутительных) выводов.

Данные без контекста бесполезны

Ближе к концу своей карьеры Фишер смягчился и даже время от времени хвалил Байеса{589}. Некоторые из методов, разработанных им за долгие годы (хотя и не самые популярные в наши дни), представляли собой, по сути, компромиссы между байесовским и фреквентистским подходами. Однако в последние годы своей жизни Фишер допустил крайне серьезный просчет, который продемонстрировал ограничения этого подхода.

Вопрос касался курения сигарет и рака легких. В 1950‑е гг. в значительном количестве исследований (в некоторых из них использовались стандартные статистические методы, а в других – байесовские){590} утверждалось, что между ними существует связь, что в наши дни никого уже не удивляет.

Фишер провел последние годы своей жизни, выступая против этих выводов. Он публиковал письма в престижных изданиях типа British Medical Journal и Nature{591}, не отрицая, впрочем, что в результатах этих исследований прослеживается довольно сильная статистическая зависимость между курением и раком легких. Однако он утверждал, что в данном случае произошла путаница между корреляцией и причинно-следственными связями, сравнивая эту ситуацию с исторической корреляцией между объемами импорта яблок и количеством браков в Англии{592}. В какой-то момент он даже утверждал, что рак легких приводит к курению, а не наоборот{593}, – по всей видимости, предполагая, что люди курят, чтобы облегчить боль в легких.

Многие научные выводы, которые в наши дни ни у кого не вызывают сомнения, когда-то могли восприниматься с большим недоверием. Иногда это было вызвано существовавшими культурными табу (как в случае заявления Галилея о том, что Земля вращается вокруг Солнца), а довольно часто тем, что просто отсутствовали данные, требующиеся для анализа проблемы. Мы, может быть, и позволили бы Фишеру сорваться с крючка, если бы к 1950 г. уже не было достаточного количества убедительных свидетельств существования связи между курением сигаретам и раком легких. Ученые, изучившие данные и свидетельства из прошлого, пришли к выводу, что на тот момент уже было множество статистических и клинических тестов, проводившихся большим количеством исследователей в разных контекстах, которые наглядно показывали причинно-следственную связь{594}. Идея быстро стала научным консенсусом.

Так почему же Фишер отвергал эту теорию? Одна из причин могла быть связана с тем, что он консультировал производителей сигарет за деньги{595}. Другая – с тем, что он сам курил всю жизнь. Фишеру нравилось казаться противоречивым и демонстрировать, что он не любит все, имеющее привкус пуританства. Короче говоря, он сам был подвержен огромному количеству «искажений».

Возможно, однако, что более значимая проблема заключается в том, как статистическая философия Фишера воспринимает мир. Она уделяет особое внимание объективной чистоте эксперимента: каждая гипотеза может быть доведена до идеального заключения, если только был собран достаточный объем данных. Однако в процессе достижения такого уровня чистоты эта теория отвергает необходимость байесовских априорных значений или любого другого вида беспорядка в контексте реального мира. Этот метод не требует и не побуждает нас задуматься о некорректности нашей гипотезы – идея о том, что сигареты вызывают рак легких, ничем не отличается от предположения о том, что жабы способны предсказывать землетрясения. Но мне кажется, что стоит сказать Фишеру спасибо за то, что он признал тот факт, что корреляция не всегда предполагает наличие причинно-следственной связи.

Однако фишеровские статистические методы никоим образом не помогают нам понять, какая корреляция предполагает наличие причинно-следственных связей, а какая нет. Так что не приходится удивляться тому, что после того, как Фишер всю жизнь думал определенным образом, он утратил способность рассказать о различии между ними.

Боб – байесовец

В байесовской картине мира предсказание представляет собой критерий, с помощью которого мы оцениваем степень прогресса. Возможно, мы никогда и не будем уверены, что знаем истину на все 100 %, однако создание корректных прогнозов представляет собой отличный способ понять, приближаемся ли мы к ней.