Неопытные пользователи чаще допускали ошибки в ходе нашего первого экспериментального тестирования. Однако, после того как формулировки первых пунктов получаемых ими инструкций скорректировали с целью лучшего объяснения правил пользования экранным интерфейсом, который также был упрощен, ошибки совершенно исчезли из результатов последующих тестов. Это убедительно подтверждает теорию, что именно неопытность в обращении с планшетами и приложениями являлась причиной простых ошибок некоторых пользователей в первоначальной версии эксперимента.
У вас была другая идея? Как бы она сработала в аналогичных обстоятельствах? Она также позволила бы удовлетворительно протестировать теорию?
ИНФОРМАЦИЯ К РАЗМЫШЛЕНИЮ.
Назовите случаи, когда вы, не отдавая себе в этом отчета, пользуетесь абдукцией: наблюдаете за событиями и предлагаете их объяснение. Случалось ли, что объяснение, представлявшееся наилучшим, оказывалось ошибочным? Почему оно сначала выглядело правильным?От свидетельства к доказательству
Как и индуктивные аргументы, теории и объяснения всегда имеют дело с вероятностью, а не с убежденностью. Иногда – например, в судебных делах – «отсутствия разумных оснований для сомнения» достаточно, чтобы руководствоваться эмпирическим правилом. Однако строгое научное объяснение требует установить более точный критерий доказанности
{89} – барьер между принятием и отклонением теории.В контексте эксперимента важно понятие статистической значимости
{90}. Возможно, из-за слова «статистическая» оно кажется научной абстракцией, но, по сути, описывает простую вещь – вероятность того, что определенный результат мог быть совершенно случайным.Как нетрудно догадаться, чем менее вероятен случайный характер события, тем больше шансов, что наблюдается нечто реальное и достойное внимания. При этом результат, который достигается в любом случае, практически ничего не доказывает. Например, вам предлагают волшебный порошок для защиты от похищения инопланетянами. Вряд ли этому заявлению следует верить, несмотря на стопроцентное отсутствие в данном случае жертв похищения. Рассмотрим пример.
Я создал потрясающее приложение для смартфона, которое позволяет предсказывать результаты броска монеты, когда она еще находится в воздухе. Позвольте, я это продемонстрирую. Достаньте из кошелька монету и подбросьте ее. Я объявлю результат, как только она взлетит, и он будет правильным, обещаю! Я продам вам этот секрет за £10 млн.
Вы будете впечатлены, если я правильно предскажу результат одного броска – «орел!» – как только монета окажется в воздухе? Думаю, не особенно. В конце концов, в половине случаев его можно просто угадать.
Чтобы проверить мое смелое заявление, вы захотите получить большое число верных предсказаний подряд. Для меня это самый простой способ продемонстрировать, что я не угадываю по чистой случайности. С каждым следующим броском вероятность того, что мне просто везет, будет уменьшаться.
Воспользуемся понятиями гипотезы и нулевой гипотезы. Вы исследуете гипотезу «Приложение Тома способно всякий раз правильно предсказывать результат подбрасывания монеты». Следовательно, нулевая гипотеза, которую вы стремитесь опровергнуть, – «Том всякий раз угадывает результат броска монеты по чистой случайности».
Сколько правильных ответов я должен дать, чтобы вы поверили в мое волшебное приложение? Пять? Двадцать? Тысячу? Дабы ответить на этот вопрос, узнаем, как меняются шансы угадать результат с каждым следующим броском.
После первого броска мой шанс дать правильный ответ – один из двух: ½. После второго вероятность того, что я случайно угадаю результаты в обоих случаях, составляет ½ × ½ = ¼. После третьего броска возможность угадать все три исхода равняется 1/8 (при каждом следующем подбрасывании мы умножаем предыдущий результат на ½).
В таблице показаны шансы того, что чистое везение позволит мне давать верный прогноз десять раз подряд, а также вероятность этого, выраженная в виде десятичной дроби.
К десятому подряд верному ответу шансы на то, что мне просто везет, составляют менее 1 из 1000. В этот момент вы можете решить, что волшебное приложение продемонстрировало очень высокую статистическую значимость и стоит любых денег.