Принцип «черного ящика». Как превратить неудачи в успех и снизить риск непоправимых ошибок

Именно поэтому отвечавший за панель инструментов менеджер, слушая доводы коллег за и против нового цвета, решил провести тест. Выбрав другой оттенок синего (зеленоватый), он заставил его соревноваться с оттенком, предложенным Дивайном. Суть эксперимента была следующей: пользователи, кликавшие на страницу Google, случайным образом перенаправлялись на панель инструментов того или другого цвета, и их дальнейшие действия отслеживались. Это было РКИ. Результат был ясен: куда больше людей кликали по зеленовато-синей панели.

Никто не подтасовывал факты, не рвал и не метал, как это часто случается, когда речь идет о решениях в бизнесе. Итоговое решение основывалось на эксперименте и точной оценке его результата[43]. То, что оттенок Дивайна проиграл, не означало, что тот – плохой дизайнер. Вывод был другим: его огромных знаний недостаточно, чтобы предсказать, как малозаметное изменение цвета скажется на поведении потребителей. И в то же время никто не мог знать ничего наверняка. Мир слишком сложен.

И это было только начало. Руководство Google решило, что успех зеленовато-синего оттенка неубедителен. В конце концов, кто сказал, что именно этот оттенок лучше всех остальных возможных оттенков? Глава Yahoo! Марисса Майер, в то время занимавшая пост вице-президента Google, посчитала, что нужно более систематическое исследование. Она разделила подходящую часть спектра на 40 оттенков и провела еще одно испытание.

Пользователи Google Mail были случайным образом разделены на сорок групп по 2,5 % от общего числа пользователей. Заходя на почтовую страницу, они видели 40 разных оттенков. Их дальнейшие реакции отслеживались. Google смог выбрать оптимальный оттенок не по советам экспертов и взятым с потолка аргументам, а через тестирование. Оптимальный цвет был определен путем проб и ошибок.

Сегодня этот подход стал ключевым во всех операциях Google. К 2010 г. компания проводила 12 тысяч РКИ ежегодно. Это огромное количество экспериментов означает, что Google терпит тысячи мелких неудач. Каждое РКИ может показаться мелочью, однако накопительный эффект впечатляет. По словам генерального директора Google UK Дэна Кобли, перекраска панели инструментов приносит компании дополнительные 200 млн долларов прибыли в год[44].

Возможно, больше прочих ассоциируется с рандомизированными испытаниями компания Capital One, эмитент кредитных карт. Ее основатели – Ричард Фэрбэнк и Найджел Моррис, консультанты с опытом работы в эмпирических исследованиях. Создавая компанию, они преследовали цель – проводить самые разные и максимально эффективные тесты.

Например, рассылая письма с целью привлечь новых клиентов, они могли опросить множество экспертов, которые предлагали различные шрифты, цвета и прочие элементы дизайна. Какого цвета делать буквы – красного или синего? Какой шрифт выбрать – Times New Roman или Calibri?

Вместо того чтобы спорить по этим вопросам, Фэрбэнк и Моррис провели испытание. Они разослали по 50 тысяч писем с буквами каждого цвета по случайно выбранным адресам и измерили относительную прибыльность от соответствующих групп. Затем они протестировали разные шрифты, различный контент и различные варианты ответов на вопросы клиентов в колл-центрах [207].

Ежегодно Capital One проводил тысячи похожих тестов. Компания превратилась в «научную лабораторию, в которой любое решение относительно дизайна, маркетинга, каналов связи, лимитов кредитования, политики взыскания задолженности и перекрестных продаж могло быть подвергнуто систематическому тестированию и стать объектом тысяч экспериментов» [208].

К 2015 г. стоимость Capital One составляла около 45 млрд фунтов стерлингов.

По оценке Джима Манци, американского предпринимателя и писателя, помогающего фирмам проводить рандомизированные испытания, около 20 % всей информации о розничных продажах проходит сегодня через его программную платформу. Кроме прочего, это многое говорит о том, насколько популярна концепция минимальных успехов в мире бизнеса. «Сегодня компании проводят больше РКИ, чем все остальные организации вместе взятые, – сказал мне Манци. – Это одна из самых удивительных перемен в бизнес-практике за десятки лет» [209].

Очень показательно тихая революция прошла в Harrah’s Casino Group. По слухам, у концерна, владеющего казино и спа по всей Америке, есть три золотых правила для персонала: «Не притеснять женщин, не воровать, всегда иметь контрольную группу».

РКИ, будь то тесты в сфере бизнеса или где-то еще, часто весьма зависимы от контекста. От испытания, которое улучшает, скажем, успеваемость школьников в Кении, невозможно ждать тех же результатов в Лондоне[45]. Мир сложен и тем интересен, однако для исследователей это скорее препятствие. Нам нужно проводить множество испытаний, множество одинаковых тестов, чтобы понять, совпадают ли выводы, сделанные по итогам одного испытания, с выводами другого. Для этого нам необходима возможность ставить масштабные и дешевые эксперименты.