Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет - Нейт Сильвер

«Никто даже не представляет себе, – рассказывал он мне на встрече в офисе Goldman со стеклянными стенами, расположенном на Уэст-стрит в Нью-Йорке, – насколько сложно прогнозировать цикл бизнеса. Понимание сути такого комплексного процесса, как экономика, – это невероятно сложный процесс».

С точки зрения Хациуса, у людей, занимающихся экономическими прогнозами, имеются три фундаментальные проблемы. Во-первых, очень сложно выявить причинно-следственные связи на основании анализа одной лишь экономической статистики. Во-вторых, экономика постоянно меняется, поэтому объяснения экономического поведения, подходящие для одного цикла бизнеса, могут быть неприменимы для другого. И, в-третьих, плохи не только сами прогнозы экономистов, но и данные, с которыми им приходится работать.

Корреляция без причинно-следственной зависимости

Ежегодно правительство рассчитывает около 45 тыс. экономических показателей{397}, а в частных источниках отслеживается не менее 4 млн данных{398}. Многие экономисты поддаются искушению закинуть все эти данные в блендер и заявить о том, что возникающая в результате каша представляет собой образец высокой кухни. С момента окончания Второй мировой войны в стране было всего 11 рецессий{399}. Если у вас есть статистическая модель, которая призвана объяснить 11 реальных событий, но должна выбирать для этого исходные данные из 4 млн входных параметров, многие из выявленных вами связей будут ложными (это еще один классический пример оверфиттинга – ошибочного принятия шума за сигнал – проблема в предсказании землетрясений, описанная в главе 5).

Только представьте себе, насколько креативным нужно быть, когда набор экономических переменных, имеющихся в вашем распоряжении, представляет собой перечень толщиной с телефонный справочник. Например, когда-то основным показателем экономического развития считался победитель Суперкубка по американскому футболу. Начиная с Суперкубка I, состоявшегося в 1967 г. и заканчивая Суперкубком XXXI в 1997 г., рост фондового рынка до конца года{400} составлял в среднем 14 %, если кубок выигрывала команда из Национальной футбольной лиги (NFL){401}. Если же выигрывала команда из Американской футбольной лиги (AFL), то рынок падал почти на 10 %.

До 1997 г. этот индикатор достаточно точно «предсказывал» направление развития фондового рынка в 28 из 31 случаев. Однако стандартный тест статистической значимости показывает{402}, что вероятность того, что экономический рост является следствием спортивного результата, составляет лишь 1 к 4 700 000.

Разумеется, это было всего лишь совпадением, и со временем индикатор начал давать сбои. В 1998 г. Суперкубок выиграла команда Denver Broncos из Американской футбольной лиги. Очевидно, что это можно было считать плохим знамением. Однако вместо того, чтобы упасть, фондовый рынок вырос на 28 % на фоне бума доткомов. В 2008 г. команда New York Giants из NFL обыграла в финале благодаря потрясающему маневру Дэвида Туре команду New England Patriots из AFL. Но даже Туре не смог предотвратить коллапса пузыря на жилищном рынке, заставившего рынок рухнуть на 35 %. Фактически с 1998 г. фондовый рынок вел себя на 10 % лучше, когда Суперкубок выигрывала команда из AFL, то есть показывал результат, строго противоположный тому, что прогнозировал индикатор.

Каким же образом этот индикатор, невзирая на всю свою статистическую невероятность, мог, как казалось, предсказывать будущее? Это происходило по той же самой причине, по которой, несмотря на крайне небольшие шансы выигрыша в лотерею Powerball (1 шанс из 195 000 000{403}), кто-то выигрывает джекпот каждые несколько недель. Шансы любого участника лотереи минимальны, но, поскольку ежемесячно продаются миллионы билетов, кому-то обязательно везет.

Точно так же, учитывая, что в мире оцениваются миллионы статистических показателей, может случиться, что некоторые из них очень хорошо коррелируют с ценами на акции, показателем ВВП или уровнем безработицы. Если не победитель Суперкубка, то, допустим, им может стать показатель поголовья кур в Уганде. Однако эта связь будет не более чем результатом совпадения.

Хотя экономисты не принимают индикатор Суперкубок всерьез, они вполне способны убедить самих себя в том, что другие типы переменных, имеющих хотя бы какой-то экономический смысл, могут считаться «опережающими индикаторами», предсказывающими рецессию или рост экономики за несколько месяцев. Одна фирма, занимающаяся прогнозами, с гордостью заявляла, что использует в своей работе 400 переменных{404}, то есть гораздо больше, чем те два или три десятка, в которых, по словам Хациуса, содержится основной экономический смысл[84].

Другие авторы прогнозов полагают, что предсказательной силой обладают такие довольно туманные показатели, как отношение количества заказов к объему выставленных счетов у компаний – производителей полупроводниковых материалов и изделий{405}. С учетом огромного количества экономических переменных, из которых можно выбирать, при желании всегда найдется нечто, достаточно четко описывающее шум из прошлого.

Значительно сложнее найти что-то, что позволяет выявить сигнал. Переменные, которые служат «опережающими индикаторами» в одном экономическом цикле, часто превращаются в «запаздывающие» в другом. Из семи так называемых опережающих индикаторов, описанных в 2003 г. в статье в журнале Inc.{406} и четко предсказавших рецессии 1990 и 2001 гг., лишь два – цены на жилье и количество нанятых временных сотрудников – позволили с должной степенью точности предсказать рецессию 2007 г. Другие же, такие как объемы коммерческого кредитования, начали снижаться лишь в течение года после начала рецессии.

Свои проблемы есть и у вполне уважаемого показателя – индекса ведущих экономических показателей, представляющего собой совокупность 10 экономических индикаторов, публикуемых организацией Conference Board. Обычно его значение начинало снижаться за пару месяцев до наступления рецессий. Однако столь же часто индикатор подает ложные сигналы. Самый печальный случай произошел в 2004 г., когда значение индикатора резко снижалось в течение трех месяцев подряд{407}, сигнализируя о рецессии, но экономика продолжала расти на уровне 6 %. Некоторые исследователи даже пришли к выводу, что индекс опережающих индикаторов не имеет предсказательной силы при использовании в режиме реального времени{408}.

«На самом деле, мало что обладает настоящей предсказательной силой, – рассказывал мне Хациус, – а объяснить, что является результатом корреляции, а что – результатом причинно-следственной связи, невероятно сложно».

Многие из вас слышали выражение «совпадение еще не означает наличие причинно-следственной зависимости». Сам факт, что переменные имеют между собой некую статистическую корреляцию, еще не означает, что одна из них влияет на другую. Цифры продаж мороженого и показатели по количеству лесных пожаров коррелируют между собой, потому что они обычно описывают происходящее в жаркие летние месяцы. Однако причинно-следственной зависимости здесь нет. Нельзя сказать, что, покупая мороженое, вы провоцируете начало лесного пожара где-нибудь в Монтане.

Но, хотя эту концепцию легко выразить словами, ее сложно применять на практике, особенно когда речь заходит о понимании причинно-следственных связей в экономике. Допустим, заметил Хациус, что уровень безработицы обычно воспринимается как запаздывающий индикатор, что иногда справедливо. После наступления рецессии компании отказываются принимать на работу новых сотрудников до тех пор, пока будущее не покажется более стабильным и радужным. Для того чтобы все уволенные вернулись на работу, также потребуется немалое время. Однако уровень безработицы может одновременно выступать и в качестве опережающего индикатора для потребительского спроса, поскольку у безработных снижается способность покупать товары и услуги во время рецессии. Экономика может оказаться внутри порочного цикла – компании не нанимают людей, пока не видят роста потребительского спроса, однако сам потребительский спрос достаточно низок, поскольку компании не занимаются наймом, и потребители не могут позволить себе купить их продукцию.

Столь же непростой переменной выступает уровень доверия со стороны потребителей. Иногда потребители оказываются первыми, кто улавливает предупреждающие сигналы в экономике. Они же могут оказаться среди последних, кто замечает признаки выздоровления. Люди часто считают, что экономика находится в рецессии, даже через многие месяцы после того, как технически она считается завершенной.