Ошибки в оценке науки, или Как правильно использовать библиометрию

Будучи глухими к этим тонкостям, как и к рискам возможных злоупотреблений, сторонники механистической количественной оценки опираются исключительно на статистику, способствуя вытеснению из процесса оценивания качественного аспекта, считающегося субъективным. Количественные показатели могут анализироваться людьми, абсолютно далекими от рассматриваемой научной области. Но парадокс состоит в том, что для оценки исследователя необходимо собрать комиссию, состоящую из коллег, хорошо разбирающихся в своей области. Эти специалисты хорошо знают, какие журналы являются лучшими в их области, и не нуждаются в списке, составленном группой неизвестных экспертов, распределивших журналы по категориям A, B и С. Напротив, людям, ничего не понимающим в данной области, эти рейтинги дают основание считать, что они выносят обоснованное суждение. Но они и не должны принимать участие в оценочных комиссиях! Распространение все новых плохо сконструированных показателей, таким образом, способствует вытеснению компетентной оценки, которая должна принимать во внимание показатели продуктивности, но интерпретировать их в специфическом контексте. И тот факт, что некоторые исследователи участвуют в разработке этих рейтингов и сами пользуются этими бессмысленными показателями, ничуть не отменяет того, что данные методы минимизируют роль качественной оценки научной работы, заменяя ее оценками механистическими.

За оценку без рейтингов

Часто путают оценку и рейтингование. В действительности это две совершенно разные операции. Если вторая подразумевает первую, то первая вовсе не обязательно приводит ко второй. В отличие от оценки, которая призвана в определенный момент времени подвести промежуточный итог работе, проделанной индивидом или организацией, и адресуется прежде всего данному человеку или организации, рейтинг всегда связан с публичностью и пиаром. Но донесение до общественности — процесс отнюдь не безобидный, чреватый побочными эффектами, способными причинить ущерб репутации.

Следует также различать официальный и неофициальный рейтинги. Любой исследователь спонтанно ранжирует для себя журналы своей дисциплины. Некоторые журналы более престижны, чем другие. Ученый-физик знает, что ему лучше публиковаться в Physical Review Letters, чем в Il Nuovo Cimento. Но эти субъективные и более-менее общепринятые рейтинги подвижны и различаются от человека к человеку. Однако ситуация кардинально меняется, когда официальная организация публикует официальный список, где во всеуслышание объявляется, что журналу Il Nuovo Cimento присвоена оценка C, а журналу Physical Review Letters — оценка A. Такая официализация неизбежно порождает негативные эффекты, к которым не приводят спонтанные рейтинги среди самих исследователей. Действительно, журнал X публикует множество статей, и некоторые из них оригинальные, выдающиеся и более значительные, чем статьи, опубликованные в журнале Y. И исследователи, внимательно следящие за развитием своей научной области, это прекрасно знают. Благодаря неформальному общению внутри сообщества и различным типам взаимодействий складывается спонтанная, подвижная и нестигматизирующая оценка. Таким образом, негласная иерархия журналов в той или иной научной области ни в коей мере не равнозначна официальному рейтингу.