Шум. Несовершенство человеческих суждений

Мы полностью отдаем себе отчет в том, что на практике такое допущение неверно: средний срок приговора по некоторым делам, скорее всего, предвзято смещен, например из-за расовой дискриминации, по сравнению со средним сроком других очень похожих дел. Вариативность предвзятого смещения в различных делах – а оно может быть как позитивным, так и негативным – это значимый источник ошибок и несправедливости. В заблуждение может вводить то, что саму эту вариативность часто⁴⁸ называют «предвзятостью». Анализ, проводимый в этой главе – как и во всей книге, – посвящен в основном шуму, независимому источнику ошибок. Судья Франкел придавал особое значение несправедливости, вызываемой шумом, однако он также обращал внимание и на предвзятое смещение (в том числе расовую дискриминацию). Подобным же образом не следует считать, что наш упор на явление шума умаляет важность измерения и преодоления смещения вследствие предвзятости.

Для удобства в нижнем ряду таблицы указан средний срок приговора по каждому делу. Дела расставлены по возрастанию суровости приговора: средний срок приговора по делу А составляет 1 год, а по делу P – 15,3 года. Средний срок назначенного тюремного заключения⁴⁹ по всем 16 делам – 7 лет.

Теперь давайте вообразим идеальный мир, в котором все судьи – безупречные измерительные инструменты правосудия и в приговорах напрочь отсутствует шум. Как бы в этом мире выглядел рисунок 9? Очевидно, что значения во всех ячейках по делу A были бы идентичными, ведь все судьи назначили бы обвиняемому ровно один год тюремного заключения. Та же картина наблюдалась бы во всех других столбцах. Конечно, значения в каждом ряду отличались бы, поскольку дела разные, однако сами ряды в точности повторяли бы друг друга. Единственным источником разброса в таблице были бы различия между делами.

К сожалению, мир федеральных судебных органов далек от идеального. Судьи непохожи друг на друга, и в столбцах таблицы наблюдается довольно большой разброс значений, что указывает на шум в суждениях по каждому делу. Мы видим гораздо больший разброс в сроках приговора, чем следовало бы, и наша цель – провести анализ этого разброса.

Лотерея при вынесении приговоров

Начните с уже знакомой нам идеальной картины мира, где сроки, назначенные по каждому делу различными судьями, будут одинаковыми. Каждый столбец таблицы окажется заполненным 208 идентичными цифрами. Теперь добавьте шума, пройдясь по столбцам и поменяв значения в каких-то ячейках, тем самым увеличивая или уменьшая средние сроки приговора. Поскольку вносимые вами изменения неодинаковы, они создают в столбцах таблицы разброс. Это и есть шум.

Основной результат этого исследования – обнаружение высокого уровня шума внутри набора суждений по каждому делу. Количественным показателем шума по каждому делу является стандартное отклонение в назначенных сроках заключения. Средний срок по делу составил 7,0 года, а стандартное отклонение от этого среднего срока – 3,4 года⁵⁰.

Возможно, термин стандартное отклонение хорошо вам знаком, и все же более конкретный пример не будет лишним. Представьте, что вы случайным образом выбираете двух судей и вычисляете разницу между вынесенными ими приговорами по некоему делу. Теперь повторите это для всех пар судей и всех дел и усредните полученные результаты. Итоговая величина, средняя абсолютная разница, должна дать вам хорошее представление о том, лотерея каких масштабов определяет участь обвиняемого в зале суда. Если допустить, что значения сроков распределены нормально, средняя абсолютная разница в 1,128 раза больше стандартного отклонения, что указывает на то, что средняя разница между двумя случайно выбранными приговорами по одному делу составит 3,8 года. В главе 3 мы уже говорили о лотерее, с которой сталкивается клиент страховой компании, обращающийся за оценкой страховых рисков. Последствия лотереи в правовой системе, мягко выражаясь, более серьезны.

Средняя абсолютная разница в 3,8 года при среднем сроке приговора в 7,0 года вызывает озабоченность и, на наш взгляд, просто неприемлема. К сожалению, есть все основания полагать, что на практике уровень шума, возникающий в процессе отправления правосудия, еще выше. Во-первых, участники ревизии шума выносили приговоры по череде условных дел, которые было необычайно легко сравнивать между собой. В жизни нам не приходится рассчитывать на такое подспорье для соблюдения последовательности в решениях. Во-вторых, судьи в зале суда располагают гораздо бо́льшим объемом информации, чем во время эксперимента. Дополнительная информация, не имеющая решающего значения, увеличивает потенциал возможных расхождений во мнениях судей. Именно поэтому мы подозреваем, что на практике в залах суда обвиняемых ожидает еще большее количество шума, чем в нашем исследовании.

Некоторые судьи особенно суровы: межэкспертный шум