Как понять, что ваш прогноз неверен

Как понять, что ваш прогноз неверен

Один из самых важных тестов любого прогноза – и я бы даже сказал, что самый важный{280}, – носит название калибровки. Насколько часто сбывались ваши прогнозы о том, что вероятность выпадения осадков составляет 40 %? Если в долгосрочной перспективе дождь действительно шел примерно в 40 % случаев, это значит, что ваши прогнозы хорошо откалиброваны. Если на самом деле дождь шел в 20 или 60 % случаев, о хорошей калибровке говорить не приходится.

Во многих областях добиться хорошей калибровки непросто. Для ее применения требуется, чтобы вы думали в понятиях вероятности, а это не очень хорошо получается у большинства из нас (включая и большинство «экспертов»-прогнозистов). По сути, такой подход предполагает борьбу с чрезмерной уверенностью в себе, которая в немалых дозах присутствует у большинства прогнозистов. Помимо этого, оценка предполагает изучение большого объема данных, то есть сотен созданных прогнозов[70].

Метеорологи вполне соответствуют этому стандарту. Они ежедневно прогнозируют температуру и вероятность дождя и других осадков в сотнях городов. В течение любого года они создают десятки тысяч прогнозов.

Подобная высокая частота прогнозов невероятно полезна не только в тех случаях, когда мы хотим оценить прогноз, но также и для самих прогнозистов – они будут получать заметную обратную связь, если делают что-то не так, а следовательно, и изменить свой курс. Например, некоторым компьютерным моделям свойственно проявлять небольшое искажение{281} – они прогнозируют дождь чаще, чем тот идет на самом деле. Однако как только вам становится известно об этом искажении, вы можете его скорректировать. Аналогичным образом вы можете довольно быстро понять, что ваши прогнозы чересчур оптимистичны.

Оказалось, что прогнозы Национальной службы погоды на удивление хорошо откалиброваны{282} (рис. 4.7). Когда в ее прогнозе говорится, что вероятность дождя составляет 20 %, он действительно идет в 20 % случаев. Эта служба хорошо воспользовалась обратной связью, и ее прогнозы достаточно точны и честны.

Рис. 4.7. Оценка калибровки прогнозов Национальной службы погоды – расхождение между прогнозируемым и реальным выпадением осадков

Метеорологи Weather Channel немного лукавят, но при определенных условиях. Например, исторически сложилось так, что, когда они говорят о том, что вероятность дождя – 20 %, в реальности в эти дни дождь идет лишь в 5 % случаев{283}. Это делается сознательно, и Weather Channel даже согласен это признать. Все дело в экономических стимулах.

Люди замечают один тип ошибки – неспособность предсказать дождь – значительно чаще, чем другой – ложную тревогу. Если дождь начинается, когда не должен, они проклинают синоптиков за то, что им приходится отменять пикник, а неожиданный солнечный день воспринимается ими как приятный сюрприз. С научной точки зрения это не очень хорошо, однако как призналась мне доктор Роуз из Weather Channel: «Если бы прогноз был объективным и обладал нулевым искажением с точки зрения частоты и осадков, у нас возникли бы немалые проблемы».

При этом Weather Channel – достаточно консервативная организация (многие зрители даже ошибочно принимают ее за правительственную), и чаще всего она умело соответствует этой роли. Прогнозируемый ею «сдвиг в сторону осадков» ограничен небольшим преувеличением вероятности дождя даже в случае, когда его возникновение почти нереально – например, они говорят о 20 %-ной вероятности, когда ее реальное значение составляет 5 или 10 %. Таким образом она пытается обезопасить себя на всякий неблагоприятный случай. Во всех остальных случаях ее прогнозы хорошо откалиброваны (рис. 4.8). Когда ее сотрудники говорят, например, о 70 %-ной вероятности дождя, этим данным можно верить.

Рис. 4.8. Оценка калибровки прогнозов Weather Channel – расхождение между прогнозируемым и реальным выпадением осадков

Но когда речь заходит о прогнозах погоды на местных телевизионных каналах, можно и голову потерять. Здесь искажение начинает проявляться в полную силу, и правильность и честность страдают сильнее всего.

Канзас-Сити можно считать отличным рынком для прогнозов погоды – тут бывает и палящее жаркое лето, и холодные зимы, торнадо и засухи, а кроме этого, он достаточно велик, и в нем ведется трансляция всех основных кабельных каналов. Житель города по имени Дж. Д. Эгглстон начал отслеживать содержание прогнозов погоды на местных каналах, желая помочь своей дочери-пятикласснице с выполнением домашнего задания. Он посчитал этот анализ крайне интересным делом и занимался им в течение семи месяцев, публикуя результаты своего исследования в блоге Freakonomics{284}.

Телевизионные синоптики обычно не уделяют особого внимания правильности. Напротив, их прогнозы были значительно хуже, чем прогнозы Национальной службы погоды, которые они могли бы бесплатно брать с сайта и транслировать в своих программах. Помимо всего прочего, они были ужасно откалиброваны. Согласно исследованию Эгглстона, в тех случаях, когда метеоролог из Канзас-Сити говорил о том, вероятность дождя составляет 100 %, обещанный дождь так и не начинался в трети случаев (рис. 4.9).

Рис. 4.9. Оценка калибровки прогнозов, передаваемых на местном ТВ-канале, – расхождение между прогнозируемым и реальным выпадением осадков

Синоптики даже не считали нужным за это извиняться. «Точность не входит в число критериев при найме метеорологов на работу. Главное – это не правильность прогноза, а то, как она презентуется», – сказал один из них Эгглстону. «Правильность не особенно важна для зрителей», – говорил другой. Судя по всему, они относятся к своей работе как к милому развлечению: кого волнует небольшое изменение прогноза – «сдвиг в сторону осадков», – если оно идет на пользу телекомпании? А поскольку публика в любом случае не думает, что наши прогнозы достаточно хороши, к чему нам беспокоиться из-за точности?

Эта логика начинает напоминать замкнутый круг. Синоптики на телевидении говорят, что им нет нужды делать точные прогнозы, поскольку, по их мнению, зрители все равно им не поверят. Однако у публики нет оснований им верить, поскольку их прогнозы неточны.

Проблема становится куда более масштабной, когда возникает некое не терпящее отлагательств событие – например, ураган «Катрина». Очень многие американцы получают информацию о погоде из местных источников{285}, а не напрямую от Центра прогнозирования ураганов, поэтому они все равно будут надеяться, что люди с телевизионных каналов станут снабжать их точной информацией. При условии взаимного недоверия между синоптиками и общественностью последняя никогда не будет слушать, даже когда это оказывается самым важным.