Unknown

Нескольким группам опытных механиков было продемонстрировано дерево неисправностей, показывающее все причины, по которым автомобиль может не завестись.97 В дереве было семь основных ветвей - недостаточный заряд аккумулятора, неисправная система запуска, неисправная система зажигания, неисправная топливная система, другие проблемы с двигателем, злонамеренные действия или вандализм и все остальные проблемы, а также несколько подкатегорий под каждой ветвью. Одной группе показали все дерево и попросили представить 100 случаев, когда автомобиль не заводится. Затем членов этой группы попросили оценить, сколько из 100 случаев были

 

отнесены к каждой из семи основных ветвей дерева. Второй группе механиков показали только неполную версию дерева: три основные ветви были опущены, чтобы проверить, насколько чувствительны испытуемые к тому, что было опущено.

Если бы суждения механиков были полностью чувствительны к отсутствующей информации, то количество случаев отказа, которые обычно приписываются опущенным ветвям, должно было бы быть добавлено к категории "Другие проблемы". Однако на практике категория "Другие проблемы" была увеличена лишь наполовину. Это говорит о том, что механики, которым показывали неполное дерево, не могли полностью осознать и учесть в своих суждениях тот факт, что некоторые причины, по которым автомобиль не заводится, отсутствуют. Когда тот же эксперимент проводился с немеханиками, эффект от отсутствия ветвей был гораздо сильнее.

По сравнению с большинством вопросов интеллектуального анализа, эксперимент "Машина не заводится" включал в себя довольно простые аналитические суждения, основанные на информации, которая была представлена в хорошо организованной манере. То, что представление соответствующих переменных в сокращенном дереве неисправностей было неполным, могли и должны были осознать механики, выбранные в качестве испытуемых. Аналитики разведки часто сталкиваются с подобными проблемами. Отсутствие данных - нормальное явление в проблемах разведки, но признать, что важная информация отсутствует, и учесть этот факт в суждениях по вопросам разведки, вероятно, сложнее, чем в более конкретном эксперименте "машина не заводится".

В качестве противоядия от этой проблемы аналитики должны четко определить те релевантные переменные, по которым отсутствует информация, рассмотреть альтернативные гипотезы относительно состояния этих переменных, а затем соответствующим образом изменить свои суждения и особенно уверенность в своих суждениях. Они также должны рассмотреть вопрос о том, является ли отсутствие информации нормальным или само по себе является показателем необычной активности или бездеятельности.

 

Чрезмерная чувствительность к последовательности

Внутренняя согласованность доказательств помогает определить нашу уверенность в суждениях, основанных на этих доказательствах.98 С одной стороны, согласованность, безусловно, является подходящим руководством для оценки доказательств.

Люди формулируют альтернативные объяснения или оценки и выбирают то, которое охватывает наибольшее количество доказательств в рамках логически непротиворечивого сценария. Однако при некоторых обстоятельствах последовательность может быть обманчивой. Информация может быть последовательной только потому, что она сильно связана или избыточна, и в этом случае многие связанные отчеты могут быть не более информативными, чем один отчет. Или же информация может быть непротиворечивой только потому, что она взята из очень маленькой или необъективной выборки.

Такие проблемы чаще всего возникают при анализе разведданных, когда у аналитиков мало информации, например, о политических взглядах российских офицеров или некоторых африканских этнических групп. Если имеющиеся данные непротиворечивы, аналитики часто не обращают внимания на то, что они представляют собой очень маленькую и, следовательно, ненадежную выборку из большой и неоднородной группы. Это не просто вопрос необходимости работать с имеющейся информацией, какой бы несовершенной она ни была. Скорее, существует иллюзия достоверности, вызванная постоянством информации.

Тенденцию слишком полагаться на небольшие выборки окрестили "законом малых чисел". Это пародия на закон больших чисел - основной статистический принцип, согласно которому очень большие выборки будут в высшей степени репрезентативны для той популяции, из которой они взяты. Именно этот принцип лежит в основе опросов общественного мнения, но большинство людей не являются хорошими интуитивными статистиками. Люди не очень хорошо чувствуют, насколько большой должна быть выборка, чтобы на ее основе можно было делать обоснованные выводы. Так называемый закон малых чисел означает, что интуитивно мы совершаем ошибку, рассматривая малые выборки так, как если бы они были большими.