Я видел только одну книгу по метрологии (и то это была не книга, а пособие по лабораторным работам), где была ясно сказана известная каждому практически работающему инженеру и физику вещь — большинство измерений делается один раз.
Это легко понять, даже если вы в жизни не держали в руках тестера: подавляющее большинство измерений в современной технике — это автоматический контроль процессов, измерения онлайн. А они все однократны.
При наличии серии измерений (одной и той же величины — мы почему-то считаем, что она не изменяется) можно произвести обработку полученных данных и получить оценку параметров реального распределения, в частности, истинного (действительного) значения измеряемой величины. Выражаясь метрологично, желательно, чтобы оценка (то есть от способ ее получения) была «состоятельна», «несмещенна» и «эффективна».
Состоятельность оценки означает, что при увеличении числа опытов она приближается к истинному значению. Например, если распределение результатов измерений нормально и максимум совпадает с истинным значением, то среднее значение неограниченно приближается к истинному по мере увеличения количества измерений. Оценка не будет состоятельна, если распределение несимметрично, например близко к нормальному, но с ограничением с одной стороны (например, нулем — недвижимости по ценам). Впрочем, это распределение не только не нормально, но и даже ненормально.
В принципе возможно симметричное распределение, при котором средняя величина не приближается к истинному значению, хотя такое распределение не имеет ничего общего с нормальным и вряд ли может встретиться на практике. Заметим, что при симметричном бимодальном распределении оценка средним состоятельна. При нормальном распределении состоятельна также и оценка дисперсии.
Несмещенность означает отсутствие систематических отклонений оценки от параметра при любом конечном, в том числе и малом, объеме выборки. Использование статистической оценки, математическое ожидание которой не равно оцениваемому параметру, приводит к систематическим ошибкам, поскольку реальная выборка всегда конечна. При нормальном распределении оценка истинного значения средним является несмещенным, а оценка дисперсии по обычной формуле (сумма квадратов отклонений от среднего, деленная на число измерений) нет: при одном измерении она дает очевидную глупость — ноль. Поэтому формула корректируется, деление на число измерений заменяется на деление на число измерений минус один.
Эффективность оценки означает, что если извлекать из генеральной совокупности разные серии наблюдений, то полученные из них оценки какого-то параметра будут иметь минимальную дисперсию по сравнению с другими методами оценки.
В обычной ситуации часто имеет место распределение, близкое к нормальному. Иногда рассматривают другие распределения — равномерное, арксинусное, треугольное и другие, которые разумно сочетают соответствие реальности и удобство вычислений. Отклонения от нормального распределения, хоть большие, хоть вовсе неунимодальность, воспринимаются физиком как «Пионерская зорька» — то есть как указание на действие какого-то механизма, который можно попытаться определить. В частности неунимодальность может быть следствием неустойчивости, а может быть результатом смешения двух распределений.
Функция распределения определяется тем точнее, чем большим количеством измерений мы располагаем. Но чем больше измерений — тем дороже процедура и вообще, длительные измерения это не очень хорошо — сам объект может измениться (хотя растет шанс это заметить!), да и потребность в результате обычно связана с временем получения оного. Поэтому «все прогрессивное человечество» день и ночь размышляет, как по небольшому количеству измерений определить функцию распределения. Существует несколько способов оценить, удовлетворяет ли полученный набор данных той или иной функции распределения, есть несколько так называемых «критериев согласия»: хи-квадрат (Пирсона), Колмогорова, моментов. Само наличие нескольких критериев согласия говорит о гуманитарности всех таких оценок. Практическое же применение в значительной степени опирается на опыт, практику в конкретной области, «чутье».