Шум. Несовершенство человеческих суждений

115 «противоречит статистической интуиции»…: Jason Dana, “What Makes Improper Linear Models Tick?”, in Rationality and Social Responsibility: Essays in Honor of Robyn M. Dawes, ed. Joachim I. Krueger, 71–89 (New York: Psychology Press, 2008), 73.

116 Похожие результаты…: Jason Dana and Robyn M. Dawes, “The Superiority of Simple Alternatives to Regression for Social Sciences Prediction”, Journal of Educational and Behavior Statistics 29 (2004): 317–331; Dana, “What Makes Improper Linear Models Tick?”.

116[а] «Нам без разницы»…: Howard Wainer, “Estimating Coefficients in Linear Models: It Don’t Make No Nevermind”, Psychological Bulletin 83, no. 2 (1976): 213–217.

117 «нам не нужны…»: Dana, “What Makes Improper Linear Models Tick?”, 72.

118 Ее корреляция с конечным результатом…: Martin C. Yu and Nathan R. Kuncel, “Pushing the Limits for Judgmental Consistency: Comparing Random Weighting Schemes with Expert Judgments”, Personnel Assessment and Decisions 6, no. 2 (2020): 1–10. Как и в предыдущей главе, заявленная корреляция – невзвешенное среднее по трем выборкам. Соотношение выдерживалось в каждой из трех выборок: достоверность клинических оценок составила 0,17, 0,16 и 0,13, достоверность равновесных моделей 0,19, 0,33 и 0,22 соответственно.

119 «грубая красота»…: Robyn M. Dawes, “The Robust Beauty of Improper Linear Models in Decision Making”, American Psychologist 34, no. 7 (1979): 571–582.

120 «Вся хитрость в том…»: Dawes and Corrigan, “Linear Models in Decision Making”, 105.

121 команда исследователей…: Jongbin Jung, Conner Concannon, Ravi Shroff, Sharad Goel, and Daniel G. Goldstein, “Simple Rules to Guide Expert Classifications”, Journal of the Royal Statistical Society, Statistics in Society, no. 183 (2020): 771–800.

121[а] отдельная команда исследователей…: Julia Dressel and Hany Farid, “The Accuracy, Fairness, and Limits of Predicting Recidivism”, Science Advances 4, no. 1 (2018): 1–6.

122 Используя всего две переменных…: В этих двух примерах линейные модели основаны на крайне малом наборе переменных (а в случае освобождения под залог на аппроксимации линейных весов методом округления, фактически превратившей модель в расчеты на клочке бумаги). Другой тип «неправильной модели» – правило единственной переменной, которое учитывает всего один предиктор и игнорирует остальные. См. Peter M. Todd and Gerd Gigerenzer, “Précis of Simple Heuristics That Make Us Smart”, Behavioral and Brain Sciences 23, no. 5 (2000): 727–741.

123 широко документирована…: P. Gendreau, T. Little, and C. Goggin, “A Meta-Analysis of the Predictors of Adult Offender Recidivism: What Works!”, Criminology 34 (1996).

124 с очень большими массивами данных…: Величина массива в данном контексте характеризуется отношением количества наблюдений к количеству предикторов. Доуз в статье о «грубой красоте» предположил, что оно должно достичь не менее 15 или 20 к 1, и лишь после того оптимальные веса с перекрестной проверкой будут работать лучше, чем равные веса. Дейна и Доуз в работе “Superiority of Simple Alternatives”, используя намного большее количество случаев, подняли планку до соотношения 100 к 1.

125 другая команда…: J. Kleinberg, H. Lakkaraju, J. Leskovec, J. Ludwig, and S. Mullainathan, “Human Decisions and Machine Predictions”, Quarterly Journal of Economics 133 (2018): 237–293.

126 тренировали алгоритм…: Алгоритм тренировали на одной выборке данных, а затем оценивали его способность прогнозировать конечный результат на других случайных выборках.

127 «Алгоритмы на основе методов машинного обучения вылавливают…»: Kleinberg et al., “Human Decisions”, 16.

128 Некоторую долю системного шума составлял…: Gregory Stoddard, Jens Ludwig, and Sendhil Mullainathan, e-mail exchanges with the authors, June – July 2020.

129 набор инженеров-программистов…: B. Cowgill, “Bias and Productivity in Humans and Algorithms: Theory and Evidence from Résumé Screening”, paper presented at Smith Entrepreneurship Research Conference, College Park, MD, April 21, 2018.