Мозгоускорители. Как научиться эффективно мыслить, используя приемы из разных наук

Надежность измерения переменной величины означает степень воспроизводимости того же результата от измерения к измерению или при переходе от одного метода измерения к другому. Валидность (обоснованность) способа измерения показывает, насколько он прогнозирует то, что должен прогнозировать. Способ измерения величины может быть идеально надежным, но совершенно не валидным. Два астролога могут одинаково (надежно) оценивать, насколько люди, рожденные под знаком Рыб, более экстравертны, чем Близнецы, но их оценки никак не обоснованы.

Чем более кодируемы события, тем более вероятно, что наша оценка корреляций будет верна. Когда речь идет о легко кодируемых событиях, например о тех, которые обусловлены способностями человека, наша оценка корреляции между двумя фактами может быть довольно точной. Понятно и то, что среднее значение множества однотипных событий лучше прогнозирует среднее значение множества других событий того же типа, чем значение единичного события прогнозирует значение другого единичного события, когда эти события обусловлены способностями человека. И даже что касается способностей, мы и представить не можем, насколько прогнозирование, основанное на множестве наблюдений, точнее и качественнее прогноза, основанного на единичном наблюдении. Пытаясь оценить взаимосвязь трудно кодируемых событий, например поведения, которые определяются свойствами личности человека, мы можем далеко отклониться от истины, не понимая, насколько лучше наблюдение множества таких событий прогнозирует поведение человека, чем наблюдение отдельных случаев.

Если, исходя из прошлых поступков человека, мы пытаемся предсказать его поведение, основанное на его личностных свойствах, мы должны быть предельно осторожны и сдержанны, за исключением тех случаев, когда выборка случаев его поведения достаточно велика и наблюдалась в различных ситуациях с разнообразным контекстом. Сложность кодирования конкретных поступков говорит о том, что наши попытки прогнозировать поведение другого человека вполне могут быть ошибочными. Нужно постоянно напоминать себе, что концепция фундаментальной ошибки атрибуции помогает нам понять, когда и где мы делаем слишком далеко идущие выводы.

Часть IV. Эксперименты

Опросы общественного мнения убивают истину.

Уилл Дюрант

Общество все больше полагается на опросы и эксперименты, которые могут обеспечить нас необходимой информацией. Это хорошо, потому что, если есть возможность провести эксперимент и найти ответ на вопрос, это почти всегда лучше, чем расчет корреляции с помощью специальных методов. Один из таких методов, который называют множественной регрессией, часто используется в медицинских и социальных исследованиях. Этот метод устанавливает зависимость между множеством независимых переменных прогноза (предикторов] одновременно и зависимой переменной результата. Метод множественной регрессии ставит вопрос: «За вычетом суммарного влияния всех прочих независимых переменных как влияет независимая переменная А на результирующую переменную?»

Несмотря на свою популярность, метод множественной регрессии по сути очень слаб и часто приводит к ошибочным результатам. Проблема возникает из-за ошибки самоотбора. Если мы не распределяем в случайном порядке случаи по группам с различными условиями эксперимента, они по самым разным причинам могут отличаться друг от друга по параметру, связанному с зависимой переменной величиной. Если результаты, полученные методом множественной регрессии, значительно расходятся с результатами контрольных рандомизированных экспериментов, значит, они не верны.

Но даже если разделение на группы с различными условиями эксперимента не вполне случайно, мы можем иногда получить «естественный эксперимент». Это возможно, когда имеются целые группы случаев (людей, земельных участков, городов), которые отличаются друг от друга относительно независимой переменной величины, и когда нет оснований считать, что какие-то конкретные случаи попали в эту группу неслучайно, что сделало бы выборку нерепрезентативной и не позволило бы нам сравнить результаты, показанные в разных группах.

Общество дорого платит за эксперименты, которые не были проведены, хотя сделать это было можно. Умерли сотни тысяч человек, совершены миллионы преступлений, миллиарды долларов потрачены впустую, потому что люди торопятся с выводами и начинают действовать, не проверив сначала, насколько это целесообразно.

Когда мы изучаем поведение людей, мы сталкиваемся с соблазном положиться на их свидетельства, хотя именно они зачастую бывают ошибочными. Если есть возможность каким-либо образом измерить параметры поведения, а не ограничиваться отчетами участников, вероятность решить проблему возрастает.