Ошибки в оценке науки, или Как правильно использовать библиометрию

Если верить Хиршу, его индекс способствует «более демократичной оценке научных исследований»[105]. Но судя по всему, скорее верно обратное: эта «демократия», не опирающаяся на знания об условиях валидности показателя, быстро трансформируется в оценочный популизм. В ответ на рост неконтролируемого использования библиометрии комитет Международного математического союза отмечал, что точно так же, как мы идем к врачу, когда болеем, нам следовало бы обращаться к специалисту по статистике всякий раз, когда мы производим статистические подсчеты[106]. При ознакомлении с их отчетом, где заново подчеркиваются обычные характеристики и ограничения библиометрических данных, известные уже не одно десятилетие, можно было бы добавить, что ученым, использующим библиометрию, следовало бы консультироваться со специалистами по библиометрии…[107]

О неправильном использовании импакт-фактора журналов

Самая серьезная проблема, связанная с использованием ИНЦ, касается научных журналов. Журнальная сфера превратилась в высококонкурентный рынок, поэтому для привлечения лучших статей и авторов журналы все чаще используют свой импакт-фактор в качестве инструмента саморекламы, адресованной библиотекам и авторам. С конца 1990-х годов импакт-фактор журналов рассматривается не только как показатель качества журнала, но и как мера качества публикуемых там статей, а это некорректно, как мы продемонстрируем ниже. Осознав важность этого индикатора, журналы принялись манипулировать им в целях его повышения! Чтобы понять, как некоторые из них дошли до таких крайностей, следует сначала напомнить определение импакт-фактора.

Импакт-фактор (ИФ) журнала, вычисляемый и публикуемый ежегодно с 1975 года компанией Thomson Reuters в Journal Citation Reports на основе данных Индекса научного цитирования, представляет собой просто среднее арифметическое числа ссылок, полученных всеми статьями того или иного журнала за двухлетний период. Иными словами, ИФ характеризует журналы, а не статьи[108]. Например, ИФ какого-либо журнала за 2006 год вычисляется так: число ссылок за 2006 год на статьи, опубликованные в нем в 2004–2005 годах, делится на число статей журнала за тот же период (2004–2005).

Выбор столь короткого, двухлетнего периода для вычисления ИФ не случаен. Есть тенденция противопоставлять высокие ИФ научных журналов (таких, как Science или Nature) низким ИФ журналов по социальным наукам. Однако это во многом следствие того, что социальные и естественные науки обладают различными временными горизонтами. Действительно, достаточно увеличить период для подсчета ссылок до десяти лет, чтобы ИФ журналов по общественным дисциплинам достиг значений, вполне сопоставимых с ИФ естественно-научных изданий. Например, средний двухлетний показатель цитируемости статей медицинского журнала The Lancet в 1980 году составлял 2,4, а American Sociological Review — 1,8. Однако если подсчитать значение того же показателя за десятилетний период, то результаты будут совсем иными: импакт социологического журнала (20,9) будет гораздо выше, чем медицинского (14)[109]. Так что совершенно очевидно, что ИФ журналов по разным дисциплинам несравнимы между собой и что численное значение ИФ журнала имеет смысл не само по себе, а лишь в сопоставлении с журналами из той же самой области.

Другая важная характеристика ИФ состоит в том, что при его определении в общее число ссылок на данный журнал включаются и самоцитирования журнала. Вопрос о включении самоцитирований ставился еще в начале 1970-х годов, когда создавался этот показатель, однако он стал проблематичным только в 1990-е годы. К этому времени ИФ превратился в важный фронт конкурентной борьбы между журналами и стал все чаще использоваться для характеристики самих статей. Ввиду его стратегической важности редакторы и владельцы журналов стали требовать, чтобы авторы ссылались на статьи из их же журнала. Жалобы на такое принуждение начали появляться во второй половине 1990-х, и с тех пор их поступает все больше[110].

Проблема эта отчасти техническая, ведь достаточно было бы переопределить ИФ, исключив из него самоцитирование журналов, чтобы получить показатель, который подделать было бы нелегко. Для этого потребовалось бы, чтобы журналы объединились в картель для взаимного обмена ссылками. И некоторые журналы, не останавливаясь ни перед чем, по всей видимости, так и поступают. Однако Journal Citation Reports не стал предлагать нового определения, исключающего самоцитирование: наряду с обычным ИФ журналов Thomson Reuters стал публиковать значения того же показателя, полученные после исключения самоцитирования, а также указывать удельный вес самоцитирований журналов в общем числе полученных ссылок.