Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет - Нейт Сильвер

Боб – байесовец

В байесовской картине мира предсказание представляет собой критерий, с помощью которого мы оцениваем степень прогресса. Возможно, мы никогда и не будем уверены, что знаем истину на все 100 %, однако создание корректных прогнозов представляет собой отличный способ понять, приближаемся ли мы к ней.

Сторонники взглядов Байеса особенно ценят тех, кто играет в азартные игры{596}. Байес и Лаплас, да и другие теоретики, разрабатывавшие теорию вероятности на ее раннем этапе, очень любили приводить примеры из азартных игр, чтобы пояснить свои идеи. (Хотя Байес, по всей видимости, сам не увлекался этим занятием{597}, он вращался в кругах, где часто играли на деньги в карты и бильярд.) Игрок делает предсказания (хорошо), и он делает предсказания, предполагающие расчет вероятностей (отлично), а когда он готов поставить деньги на свои предсказания (еще лучше), он делится своими убеждениями о мире с остальными. Наиболее практичное определение байесовского априори может представлять собой вероятность события, на которые вы хотите сделать свою ставку[111].

Боб Вулгарис представляет собой особенно ярко выраженный байесовский тип азартного игрока. Ему нравятся ставки на баскетбол как раз потому, что они дают ему возможность протестировать самого себя и правильность своих теорий. «Представьте себе, что вы управляете спортивной командой и набираете себе игроков, – сказал он мне ближе к концу интервью. – Вы не всегда понимаете, было ли ваше решение правильным или нет. В моем же случае я знаю – в конце дня или в конце сезона, – оказался ли я прав или нет, поскольку я либо теряю деньги, либо их выигрываю. Это довольно хорошее подтверждение теории». Вулгарис впитывает так много информации о баскетболе, как только может, поскольку практически любой факт способен изменить его расчеты вероятности. Профессиональный игрок на спортивных событиях такого типа, как Вулгарис, будет размещать ставки только в том случае, если считает, что вероятность выигрыша не меньше 54 %. Этого вполне достаточно для покрытия комиссионных, которые букмекеры взимают с выигрышных ставок, и риска, связанного с этим действием. При всех своих навыках и упорном труде – Вулгарис считается одним из лучших азартных игроков в мире в наши дни – он угадывает результаты правильно лишь примерно в 57 % случаев. Добиться более высокого результата исключительно сложно.

Таким образом, вся разница связана с незначительным объемом информации, позволяющим Вулгарису увеличить вероятность с 53 до 56 %. Именно на эту небольшую прибыль и живут игроки, проводящие время как за покерным столом, так и на фондовом рынке. Предложенное Фишером понятие статистической значимости, слишком вольно отсекающее те или иные факты вне зависимости от контекста[112] для определения уровня «значительности»{598}, несколько грубовато для людей, делающих ставки на спорт.

Это не значит, что Вулгарис избегает создавать гипотезы на основе данных, которые показывает ему статистика (проблема подхода Фишера к тестированию гипотез состоит не в их существовании, а в том, как Фишер рекомендует их тестировать){599}. В сущности, это критически важно для того, что делает Вулгарис. Статистические закономерности видны во всем, и рано или поздно они отражаются на ставках. Вопрос состоит в том, представляют ли они собой сигнал или шум. Гипотезы Вулгариса сформированы с учетом его знаний о баскетболе, поэтому он может увидеть разницу быстрее и точнее.

Подход Вулгариса к ставкам на баскетбол представляет собой один из чистейших примеров научного метода, который только можно найти (табл. 8.4). Он изучает мир и задает вопросы: почему команда Cleveland Cavaliers так часто получает больше очков, чем предполагалось? Затем он собирает информацию о проблеме и формулирует гипотезу: команда делает это потому, что у Рики Дэвиса заканчивается контракт и он хочет играть в быстром темпе, чтобы его личная статистика стала выглядеть лучше. Четкая граница между тем, что делает Вулгарис, и тем, что делают физики или биологи, состоит в том, что он делает ставки на результат собственных предсказаний, а ученые надеются на подтверждение своих предсказаний путем экспериментов.

Если Вулгарису удается создать достаточно сильную гипотезу о том, что он видит в данных, он делает более агрессивные ставки. Предположим, например, что Вулгарис обращает внимание на ремарку тренера команды Denver Nuggets о том, что он хочет «устроить хорошее шоу» для фанатов. Возможно, это досужая болтовня, но не исключено, что команда будет играть в более быстром темпе, чтобы повысить зрелищность и заставить аудиторию покупать больше билетов на матчи. Если эта гипотеза верна, то Вулгарис может ожидать, что Nuggets будет выигрывать 70 % времени, в отличие от статистических 50 %. Как следует из теоремы Байеса, чем выше убежденность Вулгариса в правильности его гипотезы, тем быстрее он может начинать делать прибыльные ставки на игры Nuggets. Он может начать это делать, изучив, как проходили пары игр с участием команды, и поняв, выдерживает ли его теория испытание практикой. Причем он начнет делать это раньше, чем на данную закономерность обратят внимание букмекеры в Лас-Вегасе и изменят ставки. И, напротив, он позволяет себе не отвлекаться на статистические закономерности, такие как медленный старт Lakers в 1999 г., в котором нет никакого глубокого смысла, но который другие игроки могут ошибочно принять за сигнал.

Таблица 8.4. Научный метод, используемый Вулгарисом{600}

Байесовский путь к снижению неправоты

Но какими можно считать расчеты вероятностей, которые делает Боб, – субъективными или объективными? Это довольно хитрый вопрос.

С эмпирической точки зрения, мы все имеем убеждения и предубеждения, основанные на комбинации нашего опыта, ценностей, знаний и, возможно, политических или профессиональных взглядов. Одна из полезных характеристик байесовской точки зрения состоит в том, что если мы явным образом признаем, что у нас имеются априорные убеждения (влияющие на то, как мы интерпретируем новые свидетельства), то сможем достаточно хорошо описать нашу реакцию на изменения в своем мире. Например, если, согласно априорному убеждению Фишера, вероятность, что курильщики заболеют раком легких, составляют всего 0,00001 %, это объясняет, почему его не могли убедить никакие свидетельства обратного. В сущности, согласно теореме Байеса, ничто не мешает вам оставаться убежденным в чем-то, что вы считаете совершенно правильным. Если, по вашему мнению, вероятность существования Бога – 100 % (или же, напротив, 0 %), то, согласно теореме Байеса, никакое количество доказательств не убедит вас в обратном.

Я не собираюсь ничего говорить о том, существует или нет что-то, во что вы можете верить с абсолютной и беспрекословной уверенностью[113]. Однако возможно, что нам нужно честно говорить об этом. Спор человека, считающего, что вероятность какого-то события составляет 0 %, с человеком, уверенным на 100 % в том, что оно произойдет, – дело бесполезное. Возможно, что именно из-за таких споров и возникало множество конфликтов, таких как религиозные войны в Европе в первые годы после появления печатного пресса.

Но у нас нет оснований предполагать, что все априорные убеждения в равной степени правильны. Однако я склонен считать, что наши убеждения никогда не будут идеально объективны, рациональны или истинны. Вместо этого мы стараемся быть менее субъективными, менее иррациональными и менее неправыми. Создание предсказаний, основанных на наших убеждениях, представляет собой лучший (а возможно, и единственный) способ протестировать самих себя. Если объективность предполагает выявление истины, вне зависимости от наших личных обстоятельств, а предсказание представляет собой лучший способ изучения того, насколько тесно связано наше личное восприятие с великой истиной, то самыми объективными из нас будут считаться те, кто выступает с самыми точными предсказаниями. Статистический метод Фишера, согласно которому объективность была возможна лишь в замкнутых рамках лабораторного эксперимента, пригоден для решения таких задач куда меньше, чем байесовский.

Фактически одно из свойств теоремы Байеса состоит в том, что наши убеждения должны сближаться друг с другом – и приближаться к истине – по мере того, как нам со временем предоставляется все больше свидетельств. На рис. 8.4 я показал в качестве примера, как три инвестора пытаются определить, находятся ли они на «бычьем» или «медвежьем» рынке.