«Во время анализа уже собранных данных имеет место следующая ситуация. При наименее глубоком анализе получаются тривиальные выводы, очевидные и не интересные. При более глубоком анализе появляются интересные и не очевидные результаты. Интуитивно они воспринимаются как «умопостигаемые», то есть некоторым напряжением мысли удается вместить их в картину мира. При дальнейшем углублении анализа начинает появляться загадочные связи, сложность их понимания растет и наконец они становятся непостижимыми, начинают восприниматься как «шум»».
Соответственно, анализ надо останавливать, когда загадочное начало появляться, но когда его еще не слишком много. В зависимости от традиций области, консерватизма коллег и предполагаемых читателей и собственных вкусов доля загадочного может доходить, как мне кажется, до 10 %, с некоторым риском — до 20 %. Есть в науке и еще одна опасность. Когда получены первые данные, человек начинает строить гипотезы. И в дальнейшем начинает под эти гипотезы — это же его гипотезы! — «подгонять» все дальнейшее. И это не всегда жульничество, иногда это происходит незаметно для него самого, например, посредством отбрасывания «заведомо ошибочных» измерений или «неудачных серий». Физик бы сказал, что этим способом человек вносит в процесс познания неустойчивость. Возможно, что именно так возникла та часть «солнечно-земной физики», которая связывает пятна на Солнце с эпидемиями чумы, существенная часть того, что связано с так называемыми «сверхмалыми дозами» и некоторые другие направления. Новейшие, революционные, прорывные, беспрецедентные, уникальные, абсолютно оригинальные, не имеющие аналогов на Западе и далее.
Человек всегда имеет в голове какую-то гипотезу, причем даже человек, который не только не имеет представления о моделях, но и обидится, если его в этом заподозрят. Видно это из того, что тренды и производные интуитивно кажутся нам информативнее равного количества измерений. Именно потому, что наше умненькое подсознание (которому очень одиноко в таких головах) воспринимает тренд и производную как опирающиеся на какую-то, причем вполне очевидную, гипотезу.
При начале изучения какого-либо вопроса мы всегда располагаем какой-то информацией. Она может в большей или меньшей степени относиться к изучаемому нами объекту, она может быть более или менее подробной, она может быть более или менее достоверной, но она всегда есть. А раз она есть, то она может быть сложена в предчувствие, интуитивную картину, гипотезу. Вопрос — как степень определенности этой недотеории влияет на процесс получения данных?
Если теория хорошо определена, всеми признана, единогласно принята и так далее, то есть риск подгонки результатов под теорию. Причем эта подгонка может быть натуральным жульничеством, «простым, как мычанье», а может быть и совершенно не осознаваемым самообманом. Самый распространенный способ самообмана — отбрасывание «заведомо ошибочных» измерений или «заведомо неудачных серий замеров».
В противоположном случае, когда теории нет совсем, мы находимся в ситуации «очень предварительного наблюдения». Ничего криминального в этом нет, но пренебрежение возможностью работать с какой-то, пусть плохонькой, но гипотезой, увеличивает количество работы по набору данных. С другой стороны, наличие непредвзятого взгляда позволяет надеяться, что мы не пропустим совсем новое явление, если уж оно нам встретится. В реальной же ситуации человек часто ленится разрабатывать теорию, мотивируя это именно целесообразностью непредвзятости и обрекает себя тем самым на лишнюю работу.
Естественно, что истина лежит между Сциллой и Харибдой и важно не пытаться пройти боком, цепляя носом байдарки за одну скалу, ломая руль о другую, и видя разинутые в беззвучном хохоте рты древних греков, прыгающих с видеокамерами по камням.
Источники
Источников по классической метрологии много. Полный анализ их невозможен, я бы рекомендовал следующие книги:
Б.Г.Артемьев, Ю.Е.Лукашов «Справочное пособие для специалистов метрологических служб»;
В.А.Кузнецов, Г.В.Ялунина «Общая метрология»;
«Метрология, стандартизация, сертификация и электроизмерительная техника» под. ред. К.К.Кима;
В.А.Вышлов, Б.Г.Артемьев «Техническое регулирование: безопасность и качество».
Заметим, что для сходимости процесса чтения не достаточно читать, скажем в каждую минуту больше, чем в эту минуту рожает совокупный всечеловеческий Плагиатор. Непрочитанный остаток должен убывать не просто достаточно быстро, чтобы процесс сходился, а так, чтобы процесс сходился за конечное время и, что самое страшное, за не слишком большое.
Ну, а то полезное и приятное, что нашлось в Интернете, собрано в указателе.