Что делает прогноз хорошим?

Что делает прогноз хорошим?

«Разумеется, ученого-исследователя не казнят на месте за просмотр Weather Channel, однако многие из них делают это за закрытыми дверями», – рассказал мне доктор Брюс Роуз, приветливый научный руководитель и вице-президент Weather Channel (TWC).

По словам Роуза, у него не было намерения утверждать, что прогнозы TWC лучше правительственных, они просто были другими – в большей степени ориентированными на нужды типичного потребителя.

«Модели обычно не оцениваются по тому, насколько хорошо они предсказывают те или иные практически важные параметры погоды, – продолжает он. – Для жителей Нью-Йорка на самом деле важно, что ожидает их на улице – залитые водой мостовые после ливня или снеговой покров толщиной 10 см{273}. С точки зрения потребителя, различие огромно, а вот для ученых это не всегда интересно».

На самом деле, значительная доля времени доктора Роуза уделяется прагматичным и даже отчасти банальным проблемам, связанным с тем, как потребители интерпретируют его прогнозы. Например, он задается вопросом, как разработать алгоритмы, позволяющие исходные данные о погоде выразить понятно. Что может означать выражение очень холодно? А вероятность порывистого ветра? Где проходит различие между переменной облачностью и преимущественно пасмурной погодой? Weather Channel должна в этом хорошо разбираться, а Роузу приходится создавать формальные правила, поскольку компания выпускает настолько много прогнозов, что способ их подачи необходимо разрабатывать чуть ли не для каждого случая.

Иногда необходимость адаптировать прогноз к потребностям клиента может принимать комические формы. На протяжении многих лет Weather Channel показывал дождь на своих радарных картах зеленым цветом (иногда сопровождаемым желтыми и красными участками, обозначавшими особенно сильные штормы). В какой-то момент в 2001 г. кому-то из отдела маркетинга пришла в голову гениальная идея выкрасить дождь в синий цвет – что показалось тогда разумным и напоминало естественный цвет воды. Довольно быстро на Weather Channel обрушился вал телефонных звонков разгневанных, а порой и напуганных потребителей: некоторые из них ошибочно приняли синие облака за прежде неизвестный вид осадков (плазменные облака? радиоактивные выбросы?). «Кто-то даже посчитал это последствием ядерного взрыва, – рассказал мне доктор Роуз. – Люди писали нам: “Вы многие годы говорили нам о том, что дождь имеет зеленый цвет, а теперь он оказался синим? Это что еще за выкрутасы?”»

Но, несмотря на все эти анекдотические истории, Weather Channel относится к метеорологии очень серьезно. По крайней мере, в теории, и есть основания думать, что эта компания способна сделать более качественный прогноз, чем правительство. В конце концов, Weather Channel, использует все исходные данные, полученные из правительственных источников, в качестве отправной точки, а затем учитывает и всю ту ценную информацию, которую они в состоянии получить своими силами.

Вопрос заключается в следующем: какой прогноз считать «лучшим»? Я бы сказал просто – лучшим является самый точный прогноз. Однако я знаю о нескольких конкурирующих между собой идеях в области прогнозирования погоды.

В известном эссе 1993 г.{274}, написанном Алланом Мерфи (работавшим в то время метеорологом в Университете штата Орегон), утверждалось, что в сообществе прогнозистов погоды имеются целых три определения качества прогноза. Мерфи не утверждал, что то или иное определение лучше остальных; скорее, он пытался начать более открытое и честное их обсуждение. Версии этих определений могут применяться почти в любой области, где нужны прогнозы или предсказания.

Первый (и, возможно, самый очевидный) способ оценки прогноза, писал Мерфи, связан с тем, что он сам называл «качеством», но, пожалуй, его лучше определить как правильность. Иными словами, оценивается ответ на вопрос, соответствовала ли реальная погода прогнозу?

Второй способ обозначен словом «последовательность», но я считаю, что в данном случае чаще подходит слово честность. Даже если прогноз оказался достаточно точным, был ли это лучший прогноз, на который способен прогнозист в то время? Отражал ли он самые наилучшие из имевшихся суждений и модифицировали ли его каким-либо образом перед тем, как представить публике?

И, наконец, Мерфи говорил об экономической ценности прогноза. Способствовал ли он принятию общественностью и политиками более правильных решений?

Проведенное Мерфи различие между правильностью и честностью не сразу очевидно, однако крайне важно. Когда созданный мной прогноз оказывается неверным, я часто спрашиваю себя, был ли это лучший вариант прогноза, который я мог бы дать с учетом имевшихся у меня на тот момент данных. Иногда я считаю, что этак: мой мыслительный процесс оказался верным, я провел все необходимые исследования, выстроил хорошую модель и точно указал, какая доля неопределенности присутствует в прогнозе. В других же случаях я обнаруживал, что мне не нравится моя собственная работа. Иногда я слишком быстро отказывался от ключевых элементов исследования. Иногда я переоценивал степень предсказуемости проблемы. Иногда у меня возникали какие-то другие предубеждения или неверные стимулы.

Я не хочу сказать, что вы должны ругать себя всякий раз, когда ваш прогноз оказывается неверным. Напротив, признаком того, что вы делаете хороший прогноз, является то, что вы полностью принимаете то, как развиваются события, понимая, что не все из них вы можете непосредственно контролировать. Однако у вас всегда есть возможность спросить себя о том, какие цели вы имели, принимая свое решение.

В долгосрочной перспективе заявленные Мерфи цели правильности и честности должны сходиться друг с другом, когда у нас имеются правильные стимулы. Однако так бывает не всегда. Например, не исключено, что политических комментаторов из McLaughlin Group больше волновало желание казаться толковыми на экране телевизора, чем создание правильных предсказаний. Возможно, что они вели себя вполне рационально. Однако если они сознательно делали плохие прогнозы, поскольку хотели произвести приятное впечатление на представителей той или иной партии, или же хотели вновь оказаться на шоу, то можно считать, что они провалили тест Мерфи на честность.

Третий критерий Мерфи – экономическая ценность прогноза – способен запутать нас еще сильнее. Разумеется, мы вполне можем согласиться с доктором Роузом в том, что прогнозы для городов могут заслуживать большего внимания – допустим, если температура воздуха находится около точки замерзания и осадки могут принять форму дождя, льда или снега, каждый из которых может по-разному влиять на безопасность и транспортировку жителей.

Однако это, скорее, связано с тем, на чем Weather Channel концентрирует свои ресурсы и чему уделяет основное внимание. Это не значит, что иногда под сомнение ставится правильность или честность прогноза. Многие газеты стремятся к тому, чтобы каждая опубликованная в них статья была точной и честной, однако им все равно необходимо принимать решение о том, какие материалы поместить на первую полосу. Weather Channel должен принимать аналогичные решения, и экономическое влияние прогноза – это вполне разумная основа для них.

Впрочем, бывают времена, когда цели начинают конфликтовать между собой и коммерческий успех оказывается важнее правильности.