Мозгоускорители. Как научиться эффективно мыслить, используя приемы из разных наук

Статистическая мощность схемы «до и после» означает, что мы можем проводить эксперименты над самими собой. У вас бывает изжога, но вы не знаете точно почему? Записывайте, что вы едите и пьете каждый день, уделяя особое внимание возможным причинам проблемы, таким как алкоголь, кофе, газированные напитки и шоколад. Затем проведите настоящее рандомизированное испытание — подбрасывайте монетку, решая, выпить ли сегодня коктейль. Каждый раз меняйте что-нибудь одно, чтобы избежать искажающих факторов. Если вы одновременно перестанете есть шоколад и пить газировку, и при этом изжога исчезнет, вы не узнаете, что же ее вызывало — газировка или шоколад. В главе 12, посвященной словесной передаче опыта, наряду с более научными методами также рассматриваются различные варианты проведения экспериментов над собой.

Статистическая зависимость и независимость

Если количество случаев велико и они распределены по группам с разными условиями эксперимента в случайном порядке, наша уверенность в том, что исследуемый эффект реален, повышается. Но есть еще один чрезвычайно важный фактор, который следует тщательно прояснить, — что следует считать одним случаем? Предположим, вы попробовали метод А в группе 1, состоящей из 30 студентов. Это стандартный способ преподавания: лекции в аудитории и домашнее задание дома. Вы также пробуете применять метод Б в группе 2 с 25 студентами: он состоит в том, что студенты смотрят дома видеозаписи лекций, а «домашнее задание» делают вместе с преподавателем в аудитории. Каково общее количество случаев (N) в данном примере? Увы, не 55, что было бы удобно для того, чтобы показать значимое различие в результатах, если оно есть.

Количество случаев N здесь равно 2. Число N равно числу случаев только при условии независимости наблюдений. Но когда речь идет об аудитории, полной студентов, или о группе людей, которые взаимодействуют друг с другом в период проведения эксперимента и измерения его эффективности, поведение каждого не является независимым от другого. Если кому-то что-то непонятно, это может привести в замешательство других; если кто-то всю лекцию веселится и отпускает шуточки, это может негативно сказаться на результатах остальных студентов. Поведение каждого индивида потенциально зависимо от поведения каждого другого индивида. В таких ситуациях можно провести тест для оценки достоверности, только если достаточно велико количество групп, и тогда число N будет количеством групп, а не количеством индивидов.

Если вы не умеете проводить статистические тесты, вас неизбежно ждет неопределенность по поводу того, каков же истинный эффект применения различных методик. Тем не менее лучше в следующий раз просто применить тот метод, который показал себя лучше, чем полагаться только на свои предположения.

Концепция независимости наблюдений чрезвычайно важна для понимания бесконечного количества событий. Трудно поверить, но в 2008 г. такие рейтинговые агентства, как Standard & Poor (S&P), использовали прогнозирующие модели возможных банкротств на рынке ипотечного кредитования, в которых предполагалось, что банкротства по ипотеке независимы друг от друга[126]. Считалось, что банкротство Джо Докса из штата Айова никак не влияет на вероятность банкротства Джейн Доу из штата Колорадо. В таком подходе есть некоторый смысл в стабильные времена. Но в других обстоятельствах, и уж тем более в период быстрого роста цен на жилье, нельзя исключить, что вы окажетесь внутри ипотечного пузыря. В этом случае вероятность банкротства по ипотеке 20031А статистически зависит от того, обанкротилась ли ипотека 90014С.

Рейтинговые агентства никогда не были и не являются незаинтересованными сторонами. За их работу им платят банки, и услуги рейтинговой компании пользуются большим спросом, если компания привычно составляет рейтинг безопасного вложения средств. Так что происходило ли это из-за того, что рейтинговые компании были поразительно некомпетентны в прогнозировании банкротств или же попросту занимались мошенничеством, я знать не могу. В любом случае полученный урок ясен: ошибочная научная методология может привести к катастрофическим последствиям.

Выводы

Предположения обычно оказываются неверными. И если даже они верны, глупо просто полагаться на них, когда их легко проверить. Принцип сплит-тестирования понятен даже ребенку: возьмите метод, который вы хотите протестировать, создайте контрольное условие, подбросьте монетку, чтобы выбрать, кто (или что) получит какой именно метод, и наблюдайте, что произойдет. Различие, найденное с помощью рандомизированной схемы, показывает, что какие-то манипуляции с независимой переменной оказывают влияние на зависимую переменную. Различие, найденное с помощью корреляционных методов, не может гарантировать, что независимая переменная действительно оказывает влияние на зависимую переменную.