Когда метод проб и ошибок действительно работает

Когда метод проб и ошибок действительно работает

Если вы приедете в офисный комплекс Googleplex, расположенный в городе Маунтин-Вью, штат Калифорния, где я побывал в конце 2009 г., то заметите, что не всегда понимаете, когда с вами говорят серьезно, а когда шутят. Здесь царит культура, стимулирующая креативность и выражающаяся, помимо прочего, в ярких цветах, наличие волейбольных площадок и невероятных разновидностей двухколесных средств передвижения. Сотрудники Google, даже программисты и экономисты, могут быть достаточно капризными и вести себя необычным образом.

«Такие эксперименты проходят у нас все время, – сказал мне на встрече Хэл Вариан, главный экономист Google. – Нашу компанию лучше всего представлять себе как организм, нечто живое. Я уже много раз говорил о том, что нам нужно обращать внимание на то, когда этот организм оживает и может напоминать Skynet[121]. Однако мы договорились с губернатором Калифорнии, – на тот момент Арнольдом Шварценеггером, – что он придет и нам поможет». Google проводит масштабное тестирование своих поисковых и других продуктов. «В прошлом году мы провели 6000 экспериментов в области поиска и еще примерно столько же в области монетизации рекламных объявлений, – сказал мой собеседник. – Так что можно сказать, что Google проводит не менее 10 тыс. экспериментов в год». Некоторые из этих экспериментов заметны всем нам – зачастую благодаря им появляется новая продуктовая линейка. Однако большинство из них мы не отслеживаем – в ходе экспериментов логотип перемещается на несколько пикселей в сторону, или чуть-чуть меняется цвет фона в рекламе, а затем исследователи Google отслеживают, какое влияние это оказывает на количество кликов или монетизацию. Многие эксперименты охватывают всего 0,5 % пользователей Google (чаще всего охват зависит от того, насколько многообещающей кажется идея).

Когда вы вводите свой поисковый запрос в Google, то, возможно, и не знаете, что участвуете в эксперименте. Однако Google понемногу предлагает вам небольшие изменения. И результаты поисковых запросов, и порядок, в котором они появляются на странице, представляют собой предсказание компании о том, какие результаты вы посчитаете наиболее полезными.

Как можно измерить и предсказать такое качество, как «полезность», порой кажущееся нам субъективным? Если ваш запрос выглядит как лучший новый мексиканский ресторан, то означает ли он, что вы планируете поездку в Альбукерке? Или вы ищете недавно открытый мексиканский ресторан? Или то, что вам нужен мексиканский ресторан, подающий блюда в стиле Nuevo Latino? Может быть, вам стоило перефразировать свой запрос, но, раз вы этого не сделали, Google может собрать группу из 1000 человек, сделавших тот же запрос, показать им различные наборы веб-страниц, а затем попросить их оценить полезность каждого набора по шкале от 0 до 10. После этого Google будет показывать вам только ссылки на страницы, расположенные по порядку среднего рейтинга, начиная с самого высокого.

Разумеется, Google не может проводить подобное изучение каждого поискового запроса, особенно, учитывая, что количество ежедневных запросов составляет сотни миллионов. Но, как сказал мне Вариан, тестирование определенного репрезентативного набора запросов осуществляют специалисты-оценщики. Затем сотрудники компании определяют, какие статистические показатели лучше всего коррелируют с человеческими суждениями уместности и полезности вносимых изменений. Самым известным из статистических показателей Google является PageRank{651} – показатель, основанный на том, как много других веб-страниц ссылаются на ту, которая может оказаться для вас полезной. Однако PageRank – это всего лишь один из двух сотен сигналов, используемых Google{652} для аппроксимации суждений специалистов-оценщиков.

Конечно же, эта задача далеко не проста – компания использует около 200 сигналов для оценки практически безграничного набора возможных поисковых запросов. Вот почему Google уделяет так много внимания экспериментам и тестированию. Продукт, известный вам как поисковая машина Google, несмотря на все свои текущие плюсы, уже завтра может выглядеть немного иначе.

Успешной эту компанию делает способ, благодаря которому ей удается совмещать свою приверженность тестированию со свободной и креативной культурой. Сотрудники Google имеют массу стимулов, способствующих тому, чтобы делать все то, что людям удается лучше компьютеров, – придумывать огромное количество идей. Затем Google использует свои огромные массивы данных, чтобы протестировать все эти идеи. От большинства из них компания отказывается достаточно быстро, но лучшие из них выживают.

Компьютерные программы играют в шахматы именно таким образом, то есть исследуют почти все возможные варианты с определенной степенью глубины, однако концентрируют свои ресурсы на самых многообещающих направлениях. Это вполне можно считать байесовским процессом: Google всегда находится на старте, уточняя свои поисковые алгоритмы, и никогда не считает их доведенными до совершенства.

В большинстве случаев мы не можем тестировать свои идеи так же быстро, как Google, которая практически мгновенно получает обратную связь от сотен миллионов пользователей со всего мира. Нет у нас и такого же доступа к суперкомпьютеру, как у инженеров Deep Blue. Прогресс будет развиваться значительно более медленными темпами.

Тем не менее лучшим способом ускорения процесса обучения может считаться тестирование самих себя – то есть изучение того, насколько хорошо наши предсказания работают в реальном мире, а не в комфортных условиях статистической модели.