Систематические погрешности могут возникать, например, из — за того, что экспериментатор непреднамеренно подсказывает испытуемым, какой реакции он от них ожидает, или из — за того, что экспериментатор знает, какой испытуемый подвергался определенному воздействию (такому, как прием лекарственного препарата), и субъективно оценивает поведение этого испытуемого. Причинами случайных ошибок бывают внешние возмущения или методологические недочеты. При любом испытании какое — нибудь случайное событие может изменить реакцию испытуемого на стимул, которым манипулирует экспериментатор (например, если во время процедуры формирования условных реакций неожиданно возникает шум). Кроме того, результат может возрастать или снижаться непредсказуемым образом, если экспериментатор по — разному предъявляет стимул испытуемым из одной и той же экспериментальной группы. Систематические ошибки можно свести к минимуму путем использования контролируемых процедур, объективных методов измерений, рандомизации и контрольных групп. Случайные ошибки устраняются в основном с помощью использования стандартной методологии и создания среды, в которой маловероятны случайные изменения характеристик, способных повлиять на реакции испытуемого.
Если переформулировать задачу исследования в свете данного обсуждения, то можно сказать, что эксперимент — это набор объективных процедур, позволяющих изолировать сигнал от фонового шума. Истинный результат, или сигнал, должен быть концептуально чистым, чтобы его можно было отличить от других сходных сигналов. Процедуры воздействия предназначены для усиления этого сигнала, в то время как процедуры измерений должны обеспечивать возможность детектирования даже слабого сигнала. Все это осуществимо только при условии адекватного контроля над другими сигналами и фоновым шумом, либо путем их минимизации, либо путем точной оценки вклада, который они вносят в наблюдаемую величину основного сигнала.
А что можно сказать о возможности генерализации результатов эксперимента? Мало кого из ученых могут удовлетворить выводы, которые сводятся лишь к тому, что при воздействии конкретных стимулов и операций на единственную выборку испытуемых получена определенная реакция. Нам хочется, чтобы полученные выводы имели более высокую степень общности. Мы уже видели, что при изучении
Делая выводы из исследования, мы всегда рискуем допустить ошибку, даже если это хорошо спланированное и тщательно проведенное исследование. Тем не менее степень этого риска можно рассчитать с помощью объективных статистических процедур, разработанных для оценки вероятности того, что данный вывод из конкретной серии наблюдений может оказаться ложным. Допустим, мы хотим выяснить, повлияло ли участие в групповой дискуссии на установки, касающиеся употребления наркотиков. Мы можем оценить мнения участников до начала дискуссии и после ее окончания. Оценки по шкале мнений, полученные испытуемыми из нашей выборки, будут сначала просуммированы удобным и эффективным способом, чтобы преобразовать их в форму определенных статистических данных. Вычислив средние значения, медианы или моды, можно ответить на вопрос «Чему равна типичная или средняя оценка до дискуссии и после нее?» Рассчитав вариабельность реакции (диапазон ее изменения или среднее квадратическое отклонение), можно сказать, насколько реакции индивидуальных испытуемых отклоняются от этого характеристического показателя.
Однако чтобы определить, действительно ли именно групповая дискуссия привела к изменению установок в желательном направлении, необходимо сравнить полученные статистические данные с оценочным значением изменений, которые произошли бы просто за счет повторной оценки мнений, в отсутствие дискуссии. Сравнение полученного распределения оценок с