Оказалось, что это справедливо даже для математических психологов, имеющих обширную подготовку в области статистики. Психологи, проводящие эксперименты, имеют крайне неверные представления о количестве ошибок и нереалистичности, присущих небольшим выборкам данных, необоснованно доверяют ранним тенденциям, полученным на основе первых нескольких точек данных, и неоправданно высоко оценивают возможность повторить тот же самый эксперимент и получить те же самые результаты с другим набором испытуемых.
Не слишком ли самоуверенно аналитики разведки делают выводы на основе очень небольшого количества данных - особенно если эти данные кажутся согласованными? При работе с небольшим, но последовательным массивом доказательств аналитикам необходимо учитывать, насколько эти доказательства репрезентативны по отношению к общему массиву
доступной информации. Если бы было доступно больше информации, насколько вероятно, что и она будет соответствовать уже имеющимся данным? Если аналитик располагает лишь небольшим количеством доказательств и не может определить, насколько они репрезентативны, доверие к суждениям, основанным на этих доказательствах, должно быть низким, независимо от согласованности информации.
Работа со свидетельствами неопределенной точности
Существует множество причин, по которым информация часто оказывается не совсем точной: недопонимание, неправильное восприятие или наличие только части информации; предвзятость конечного источника; искажение в цепочке передачи информации от субисточника через источник, сотрудника по делу, сотрудника по отчетам к аналитику; или недопонимание и неправильное восприятие аналитиком. Кроме того, большая часть доказательств, которые аналитики используют при проведении анализа, извлекается из памяти, но аналитики часто не могут вспомнить даже источник информации, которая хранится у них в памяти, не говоря уже о степени уверенности в точности этой информации, когда она была впервые получена.
Человеческий разум с трудом справляется со сложными вероятностными зависимостями, поэтому люди склонны использовать простые правила, которые уменьшают бремя обработки такой информации. При обработке информации с неопределенной точностью или надежностью аналитики склонны принимать простое решение "да" или "нет". Если они отвергают доказательства, то, как правило, отвергают их полностью, так что они не играют никакой роли в их мысленных расчетах. Если они принимают доказательство, то, как правило, принимают его полностью, игнорируя вероятностную природу суждения о точности или надежности. Это называется стратегией "наилучшего предположения". Такая стратегия упрощает интеграцию вероятностной информации, но за счет игнорирования части неопределенности. Если у аналитиков есть информация, в которой они уверены на 70 или 80 процентов, но они относятся к ней так, как будто уверены на 100 процентов, то суждения, основанные на этой информации, будут излишне самоуверенными.
Затем уменьшите уверенность в этом суждении на коэффициент, определяемый оценкой достоверности информации. Например, имеющиеся данные могут указывать на то, что событие, вероятно, произойдет (75 %), но аналитик не может быть уверен, что данные, на которых основано это суждение, полностью точны или надежны. Поэтому аналитик снижает оценочную вероятность события (скажем, до 60 %), чтобы учесть неопределенность в отношении доказательств. Это является улучшением по сравнению со стратегией наилучшей догадки, но, как правило, все равно приводит к излишней самоуверенности суждений по сравнению с математической формулой расчета вероятностей.
Говоря математическим языком, совместная вероятность двух событий равна произведению их индивидуальных вероятностей. Представьте себе ситуацию, в которой вы получаете сообщение о событии X, которое, вероятно (75 процентов), является правдой. Если сообщение о событии X верно, вы считаете, что событие Y, вероятно (75 процентов), произойдет. Фактическая вероятность Y составляет всего 56 процентов, которая получается путем умножения 75 процентов на 75 процентов.
На практике все оказывается не так просто. Аналитикам приходится рассматривать множество доказательств с разной степенью точности и надежности, которые сложным образом и с разной степенью вероятности связаны с несколькими потенциальными исходами. Очевидно, что невозможно произвести аккуратные математические расчеты, учитывающие все эти вероятностные взаимосвязи. Вынося интуитивные суждения, мы бессознательно ищем кратчайшие пути, чтобы разобраться в этом лабиринте, и эти кратчайшие пути подразумевают определенную степень игнорирования неопределенности, присущей менее чем идеально надежной информации. Кажется, что аналитик мало что может с этим поделать, если только не разбить аналитическую проблему на части, что позволит назначить вероятности для отдельных элементов информации, а затем использовать математическую формулу для интеграции этих отдельных вероятностных суждений.