Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет - Нейт Сильвер

Тем не менее открытие Флера поднимает пару тревожных вопросов. Одно дело, если в долгосрочных прогнозах (после семи или восьми дней) компьютерные модели демонстрируют, в сущности, нулевые результаты. На самом же деле они показывают негативный результат. Он оказывается хуже, чем мы с вами могли бы получить, сидя дома и изучая таблицы долгосрочных погодных явлений. Как такое может быть? Возможно, это связано с тем, что в компьютерные программы заложена слишком высокая чувствительность к естественно возникающей обратной связи в погодной системе. Они начинают сами создавать обратную связь. И теперь дело не ограничивается тем, что сигнал подавляется шумом, дело в том, что сам шум начинает многократно усиливаться.

Стоит задаться еще более масштабным вопросом: почему, если эти долгосрочные прогнозы так плохи, их продолжают публиковать Weather Channel (10-дневные прогнозы) и AccuWeather (сайт, поднимающий планку до 15-дневного прогноза)?

Доктор Роуз считает, что серьезного вреда в этом нет; даже прогноз, основанный исключительно на климатологии, может тем не менее представлять некий интерес для потребителей.

Когда дело заходит о коммерческом прогнозировании погоды, статистическая реальность правильности перестает быть самым главным условием. Скорее, ценность в глазах потребителей возникает благодаря ощущению правильности.

Например, коммерческие синоптики редко предсказывают, что вероятность дождя составляет именно 50 %. С точки зрения потребителей, это может свидетельствовать об определенной нерешительности и желании избежать конкретики{277}. Вместо этого они бросают монетку и округляют цифру до 60 или 40 %, хотя это делает прогнозы менее точными и менее честными{278}.

Флер также обнаружил еще один вопиющий пример фальсификации цифр, описывающий, пожалуй, один из самых главных секретов в прогнозной отрасли. Большинство коммерческих прогнозов погоды искажено, и, возможно, сознательно. В частности, прогнозы чаще говорят об осадках, чем они выпадают на самом деле{279}. Метеорологи называют это «сдвигом в сторону осадков»». Чем дальше вы отклоняетесь от исходных данных, предоставленных правительством, и чем больше потребителей изучают ваши прогнозы, тем сильнее становятся искажения. Прогнозы «добавляют ценность», уменьшая при этом правильность.

Как понять, что ваш прогноз неверен

Один из самых важных тестов любого прогноза – и я бы даже сказал, что самый важный{280}, – носит название калибровки. Насколько часто сбывались ваши прогнозы о том, что вероятность выпадения осадков составляет 40 %? Если в долгосрочной перспективе дождь действительно шел примерно в 40 % случаев, это значит, что ваши прогнозы хорошо откалиброваны. Если на самом деле дождь шел в 20 или 60 % случаев, о хорошей калибровке говорить не приходится.

Во многих областях добиться хорошей калибровки непросто. Для ее применения требуется, чтобы вы думали в понятиях вероятности, а это не очень хорошо получается у большинства из нас (включая и большинство «экспертов»-прогнозистов). По сути, такой подход предполагает борьбу с чрезмерной уверенностью в себе, которая в немалых дозах присутствует у большинства прогнозистов. Помимо этого, оценка предполагает изучение большого объема данных, то есть сотен созданных прогнозов[70].

Метеорологи вполне соответствуют этому стандарту. Они ежедневно прогнозируют температуру и вероятность дождя и других осадков в сотнях городов. В течение любого года они создают десятки тысяч прогнозов.

Подобная высокая частота прогнозов невероятно полезна не только в тех случаях, когда мы хотим оценить прогноз, но также и для самих прогнозистов – они будут получать заметную обратную связь, если делают что-то не так, а следовательно, и изменить свой курс. Например, некоторым компьютерным моделям свойственно проявлять небольшое искажение{281} – они прогнозируют дождь чаще, чем тот идет на самом деле. Однако как только вам становится известно об этом искажении, вы можете его скорректировать. Аналогичным образом вы можете довольно быстро понять, что ваши прогнозы чересчур оптимистичны.

Оказалось, что прогнозы Национальной службы погоды на удивление хорошо откалиброваны{282} (рис. 4.7). Когда в ее прогнозе говорится, что вероятность дождя составляет 20 %, он действительно идет в 20 % случаев. Эта служба хорошо воспользовалась обратной связью, и ее прогнозы достаточно точны и честны.

Рис. 4.7. Оценка калибровки прогнозов Национальной службы погоды – расхождение между прогнозируемым и реальным выпадением осадков

Метеорологи Weather Channel немного лукавят, но при определенных условиях. Например, исторически сложилось так, что, когда они говорят о том, что вероятность дождя – 20 %, в реальности в эти дни дождь идет лишь в 5 % случаев{283}. Это делается сознательно, и Weather Channel даже согласен это признать. Все дело в экономических стимулах.

Люди замечают один тип ошибки – неспособность предсказать дождь – значительно чаще, чем другой – ложную тревогу. Если дождь начинается, когда не должен, они проклинают синоптиков за то, что им приходится отменять пикник, а неожиданный солнечный день воспринимается ими как приятный сюрприз. С научной точки зрения это не очень хорошо, однако как призналась мне доктор Роуз из Weather Channel: «Если бы прогноз был объективным и обладал нулевым искажением с точки зрения частоты и осадков, у нас возникли бы немалые проблемы».

При этом Weather Channel – достаточно консервативная организация (многие зрители даже ошибочно принимают ее за правительственную), и чаще всего она умело соответствует этой роли. Прогнозируемый ею «сдвиг в сторону осадков» ограничен небольшим преувеличением вероятности дождя даже в случае, когда его возникновение почти нереально – например, они говорят о 20 %-ной вероятности, когда ее реальное значение составляет 5 или 10 %. Таким образом она пытается обезопасить себя на всякий неблагоприятный случай. Во всех остальных случаях ее прогнозы хорошо откалиброваны (рис. 4.8). Когда ее сотрудники говорят, например, о 70 %-ной вероятности дождя, этим данным можно верить.

Рис. 4.8. Оценка калибровки прогнозов Weather Channel – расхождение между прогнозируемым и реальным выпадением осадков

Но когда речь заходит о прогнозах погоды на местных телевизионных каналах, можно и голову потерять. Здесь искажение начинает проявляться в полную силу, и правильность и честность страдают сильнее всего.

Канзас-Сити можно считать отличным рынком для прогнозов погоды – тут бывает и палящее жаркое лето, и холодные зимы, торнадо и засухи, а кроме этого, он достаточно велик, и в нем ведется трансляция всех основных кабельных каналов. Житель города по имени Дж. Д. Эгглстон начал отслеживать содержание прогнозов погоды на местных каналах, желая помочь своей дочери-пятикласснице с выполнением домашнего задания. Он посчитал этот анализ крайне интересным делом и занимался им в течение семи месяцев, публикуя результаты своего исследования в блоге Freakonomics{284}.

Телевизионные синоптики обычно не уделяют особого внимания правильности. Напротив, их прогнозы были значительно хуже, чем прогнозы Национальной службы погоды, которые они могли бы бесплатно брать с сайта и транслировать в своих программах. Помимо всего прочего, они были ужасно откалиброваны. Согласно исследованию Эгглстона, в тех случаях, когда метеоролог из Канзас-Сити говорил о том, вероятность дождя составляет 100 %, обещанный дождь так и не начинался в трети случаев (рис. 4.9).

Рис. 4.9. Оценка калибровки прогнозов, передаваемых на местном ТВ-канале, – расхождение между прогнозируемым и реальным выпадением осадков

Синоптики даже не считали нужным за это извиняться. «Точность не входит в число критериев при найме метеорологов на работу. Главное – это не правильность прогноза, а то, как она презентуется», – сказал один из них Эгглстону. «Правильность не особенно важна для зрителей», – говорил другой. Судя по всему, они относятся к своей работе как к милому развлечению: кого волнует небольшое изменение прогноза – «сдвиг в сторону осадков», – если оно идет на пользу телекомпании? А поскольку публика в любом случае не думает, что наши прогнозы достаточно хороши, к чему нам беспокоиться из-за точности?

Эта логика начинает напоминать замкнутый круг. Синоптики на телевидении говорят, что им нет нужды делать точные прогнозы, поскольку, по их мнению, зрители все равно им не поверят. Однако у публики нет оснований им верить, поскольку их прогнозы неточны.