Самое большое фиаско во всей истории выборок произошло, по-видимому, в 1936 г., когда журнал «Литературный дайджест» разослал по домашним адресам более 10 миллионов бюллетеней, чтобы предсказать результаты выборов президента, которые должны были состояться в том же году (Kimble, 1978). На этой большой выборке были получены совершенно ясные результаты: следующим президентом будет Альф Лэндон. Что, вы не знаете такого президента? Я уверена, что не знаете, потому что президентом США в 1936 г был избран Франклин Делано Рузвельт. В чем же было дело? Проблема состояла в том, как были отобраны избиратели, вошедшие в выборку. Бюллетени рассылались подписчикам этого литературного журнала, людям, чьи адреса были в телефонной книге, и владельцам автомобилей. Напоминаю, что дело было в 1936 г., когда только состоятельные люди подписывались на журналы и имели телефоны или автомобили. В выборку не было включено большое число менее богатых избирателей, многие из которых голосовали за Рузвельта, а не за Лэндона. Поскольку выборка была нерепрезентативной, нельзя было обобщать результаты на весь контингент. Несмотря на то, что в выборку было включено большое количество избирателей, результаты оказались неправильными, поскольку она была нерепрезентативной.
Часто бывает нелегко заметить, какое глубокое влияние оказывают нерепрезентативные выборки на получаемую нами информацию. Например, пользуются большой популярностью (возможно, потому, что кто-то зарабатывает деньги на оплате телефонных разговоров) телефонные опросы, в которых респонденты сами звонят, чтобы ответить на заданный вопрос. Предположим, телефонный опрос показал, что 75 % респондентов, позвонивших, чтобы выразить свое мнение о смертной казни, были против нее. Какие выводы можно сделать из этого? Абсолютно никаких! Опросы такого типа называются slops (selected listeners opinion polls), что означает «опрос мнений избранных слушателей», а также отражает их ценность (slops по-английски также означает «помои»). Только люди с крайними взглядами по какому-либо вопросу не пожалеют времени и денег на то, чтобы позвонить и выразить свое мнение. Хотя обычно перед этими опросами предупреждают, что «это не научные данные», комментатор затем переходит к изложению бессмысленных результатов, как будто они отражают общественное мнение.
Еще одной ловушкой при составлении выборки является возможность смешанного влияния факторов (confounding). Поскольку пациенты этих двух гипотетических программ лечения от героиновой наркомании отличаются между собой по нескольким признакам, — т. е. по первой программе консультации проводят ровесники, а наркоманы очень состоятельны, а по второй программе предлагается лечение другого типа, и пациенты очень бедны, — мы не можем определить, зависят ли различия в показателях выздоровления от типа лечения или от уровня доходов пациентов. Поскольку мы не можем разделить влияние типа лечения и уровня доходов пациентов, то по этим результатам нельзя судить о том, какой тип лечения успешнее.
Обычно ученые пользуются удобными (convenience) выборками. Они исследуют группу людей, которые легко доступны. Чаще всего участниками психологических экспериментов бывают студенты колледжей и крысы. Насколько широко можно обобщать результаты, полученные на этих выборках, зависит от того, какой вопрос вы исследуете. Если вы хотите понять, как работает человеческое зрение, студенты колледжа будут подходящими участниками, особенно если вас интересуют молодые и здоровые глаза. С другой стороны, если вы хотите разобраться в вопросе о стереотипизации половых ролей у взрослых, студенты колледжа не будут репрезентативной выборкой, поскольку по сравнению с другими взрослыми они менее склонны к стереотипизации. В этом случае вы можете обобщать результаты только на студентов колледжа.
Во время недавних выборов в Калифорнии велось много споров по вопросу о введении ваучерной системы для оплаты среднего образования. Как вам, возможно, известно, некоторые люди считают, что образование выиграло бы, если бы родители получали ваучеры на сумму, которую государство тратит на обучение ребенка в средней школе. Затем родители могли бы воспользоваться этим ваучером и выбрать любую школу, которую они считают наиболее подходящей для своего ребенка. Это сложная проблема, поскольку сторонники ваучеризации утверждают, что конкуренция приведет к повышению уровня всех школ, а противники доказывают, что богатые родители будут доплачивать и посылать своих детей в частные школы, в то время как бедные родители будут вынуждены отдавать ваучеры в более дешевые и слабые школы. Я не хочу обсуждать здесь вопрос о ваучерах, но приведу объявление, которое часто появлялось в печати в предвыборный период. Оно звучало примерно так:
Государственные школы Калифорнии плохо справляются с обучением наших детей. Знаете ли вы, что результаты старшеклассников из Калифорнии на вступительных экзаменах в колледж значительно ниже, чем результаты старшеклассников из штата Миссисипи?