Как измерить все, что угодно

Описанные только что методы оказываются бесполезными, когда у слушателя безотчетно сложились неправильные представления о калибровке или о вероятностях в целом. Хотя, по моим наблюдениям, большинство людей, по долгу службы принимающих важные решения, уже знакомы с теорией вероятности или вполне могут освоить ее, некоторые по-прежнему находятся в плену поразительных заблуждений. Вот, например, что мне доводилось слышать в ходе проведения занятий по калибровке или когда я по их окончании просил произвести калиброванные оценки:

• моя уверенность на 90 % вовсе не означает, что я прав в 90 % случаев, поскольку субъективная уверенность на 90 % — совсем не то же самое, что объективная;

• это мой 90-процентный доверительный интервал, хотя я понятия не имею, содержит ли он правильный ответ;

• оценить то, что вы просите, вообще невозможно — мы ведь ничего об этом не знаем;

• не зная точного ответа, нельзя подсчитать шансы.

Первое утверждение, сделанное инженером-химиком, свидетельствует о том, что поначалу у него были проблемы с калибровкой. До тех пор, пока человек считает, что субъективная вероятность в чем-то уступает объективной, он не может откалибровать свои оценки. Однако, выполнив ряд калибрующих упражнений, инженер убедился, что его субъективные оценки вероятности оказывались правильными. Другими словами, его 90-процентные доверительные интервалы содержали правильные значения в 90 % случаев.

Остальные возражения нам уже знакомы. Все они так или иначе основываются на идее, что тот, кто не знает точного значения какого-либо показателя, вообще ничего о нем не знает. Дама, заявившая, что «понятия не имеет» о том, содержал ли ее 90-процентный доверительный интервал правильное значение, имела в виду один из вопросов на экзамене по калибровке. Речь шла о размахе крыльев «Боинга-747» в футах. Ее ответ был 100–120 футов. Тогда между нами состоялся примерно следующий разговор.

Я: Уверены ли вы на 90 %, что правильное значение больше 100 и меньше 120 футов?

Участница семинара: Понятия не имею. Это не более чем догадка.

Я: Но интервал 100–120 футов означает, что вы достаточно уверены в своих знаниях. Данный интервал слишком узок для человека, утверждающего, что он не имеет о предмете ни малейшего представления.

Участница семинара: О’кей. Я не очень уверена в предложенном интервале.

Я: Это означает только, что ваш реальный 90-процентный доверительный интервал значений размаха крыльев самолета должен быть шире. Не кажется ли вам, что размах крыльев может составлять, например, 20 футов?

Участница семинара: Нет, думаю, он не может быть таким маленьким.

Я: Хорошо, тогда, наверное, менее 50 футов?

Участница семинара: Маловероятно. Я бы приняла это за нижнюю границу.

Я: Что ж, мы делаем прогресс. А может ли размах крыльев превышать 500 футов?

Участница семинара (после паузы): Нет, не думаю, чтобы он был так велик.

Я: О’кей. А может ли он превышать размер футбольного поля — 300 футов?

Участница семинара (которая, кажется, поняла, куда я клоню): Ну, хорошо, думаю, что моей верхней границей будет 250 футов.

Я: Значит, вы на 90 % уверены, что размах крыльев «Боинга-747» составляет от 50 до 250 футов?

Участница семинара: Да.

Я: Значит, на самом деле ваш 90-процентный доверительный интервал значений размаха крыльев составляет 50–250, а не 100–120 футов.

В ходе нашей беседы эта слушательница скорректировала границы первоначально указанного неправдоподобно узкого интервала значений и определила реальный 90-процентный доверительный интервал, безусловно, улучшив результат. Теперь она уже не могла сказать, что «понятия не имеет», попадает ли в него правильный ответ, так как новый диапазон действительно отражал ее знания.

Этот пример объясняет также, почему я стараюсь не использовать в своем анализе слово «допущение». Допущение предполагает, что в целях доказательства мы считаем некий факт верным независимо от того, так ли это на самом деле. Допущения необходимы, если вы используете детерминистские методы расчета с точными значениями в качестве величин. Точно знать данные значения вы не можете, поэтому каждое такое значение обязано быть допущением. Но если возможно моделировать неопределенность через интервалы значений и вероятности, то пропадает необходимость утверждать что-то, чего вы не знаете наверняка. Когда вы «понятия не имеете», правилен ли этот узкий диапазон, просто расширяйте его до тех пор, пока он не будет отражать ваши знания.

Очень легко потеряться в неизвестном о предмете изучения и забыть, что какие-то факты вы все-таки знаете. А там, где границы нашего объекта — плюс-минус бесконечность, вряд ли вообще потребуется что-либо измерять.