Питер Аткинсон: Система оценки качества исследований REF (Research Excellence Framework) повышает уровень британской науки, но процесс прохождения этой проверки для научных организаций чрезмерно обременителен.

За неделю до Рождества ученые всей Британии в волнении ждут, сколько чудесных подарков правительство положит им под елку. Их подарки  –  результаты оценки качества научных исследований REF, которые будут объявлены 18 декабря  –  определят, для каких исследовательских организаций страны наступающий год будет счастливым.

Степень важности этой оценки финансируемых государством исследований для британских научных организаций чрезвычайно высока. Оценка проводится раз в пять лет или около того. Система REF определяет качество исследований в десятке областей в более чем 100 институтах, и по ее результатам распределяются правительственные гранты. Те,  чей рейтинг оказывается высок, получают кругленькие суммы для продолжения своих исследований. Низкий же рейтинг означает, что финансирование учреждения будет урезано или вовсе прекращено.

По мнению правительства, это регулярные проверки помогают сделать Соединенное Королевство объединенной научной сверхдержавой. Институты, имеющие высокий рейтинг, привлекают сотрудников и студентов. Но участие в оценке REF дается учреждениям дорогой ценой  –  огромным количеством времени и сил, которое требуется от ученых для подготовки материалов.

Уже ведется подготовка к следующей REF, назначенной на 2020 год. Будущие участники озабочены не только тем, чтобы получить высокий балл, но и тем, как минимизировать хлопоты по подготовке.

Пожалуй, наибольшей проблемой для организации становится выбор исследователей, которые будут представлять каждый проект на конкурсе. Хотя речь идет о результатах работы отдела или кафедры, по сути это результаты работы отдельных научных сотрудников. И здесь еще один момент для сомнений: финансирование в итоге зависит от количества ученых, так что из двух отделов, получивших одинаковую оценку, больше денег получит тот, в котором результаты своего труда представили больше ученых. Но чем больше ученых, тем ниже общий результат, ведь даже в самых лучших отделах количество заслуженных исследователей с мировым именем очень невелико.

Например, кафедра химии, имеющая в штате шестьдесят сотрудников, должна решить, что в итоге лучше – представить работы пятидесяти ученых или сорока. Для этого она проводит свою собственную оценку качества работы каждого ученого и определяет, где стоит подвести черту. Также стоит подумать о конкуренции – где подведут черту и что представят на конкурс другие отделы других учреждений, но эту информацию все тщательно скрывают друг от друга. Получается теория игр в действии, но в условиях нехватки данных.

Я пришел к выводу, что все эти действия все равно не гарантируют результата. Почему? Потому что слишком много неопределенности. Попросите исследователей оценить работы коллег по десятибалльной шкале, например, и их оценки одной и той же работы будут очень различаться. А какую оценку даст REF?
Словом, хотя общий стратегический эффект от REF для британской науки явно положительный, то количество времени и сил, которое он отнимает у учреждений, является его большим недостатком.

Питер М. Аткинсон (Peter M. Atkinson), профессор географии, университет Саутгемптона, Великобритания.
Источник: http://www.nature.com/news/assess-the-real-cost-of-research-assessment-1.16526