Плюсы и минусы формальной системы оценки

Плюсы и минусы формальной
системы оценки результативности
труда научных работников
Е.Е.Онищенко
Физический институт РАН
по материалам обсуждений на
форумах сайта Scientific.ru
ПОСТАНОВЛЕНИЕ от 22 апреля 2006 г.
N 236 “О реализации в 2006 – 2008…”
“4. Министерству образования и науки
Российской Федерации совместно с
Министерством здравоохранения и
социального развития Российской
Федерации и Российской академией наук
утвердить:
виды, порядок и условия применения
стимулирующих выплат, обеспечивающих
повышение результативности деятельности
научных работников.”
МОН предлагает, РАН предлагает…
• В соответствии с решением правительства РАН и МОН
разработали проекты положения о порядке и условиях
применения стимулирующих выплат научным
работникам и руководителям научных учреждений и
научным работникам научных центров РАН. В проекте,
разработанном МОН, делается попытка построить
систему стимулирующих выплат, опираясь на четкие
формальные критерии результативности труда научного
работника.
Мера революционная, но оправданная ли?
Попытаемся рассмотреть плюсы (+) и минусы (-)
министерского подхода, начнем с плюсов формальной
системы оценки (ФСО).
1. ФСО задает в целом правильные
ориентиры для научных сотрудников (+)
На данном этапе важно, чтобы система была достаточно
простой, и выделяла в качестве ориентиров самые
принципиальные вещи. Положение МОН удовлетворяет
этим требованиям, оно “говорит” научным сотрудникам:
- публикуйтесь в нормальных рецензируемых
журналах (самое важное!);
- посещайте научные конференции;
- защищайте диссертации…
В целом, внедрение формальной системы оценки будет
способствовать активизации научной жизни в России и
увеличению доступности информации о работах
российских ученых для их российских и зарубежных
коллег.
2. ФСО может обеспечить полную
прозрачность процесса распределения
надбавок (+)
Каждому научному сотруднику
будет понятно, сколько и за
что ему причитается .
Необходимо, чтобы все
сведения (положения,
результаты подсчетов и
пр.), касающиеся выплат
надбавок по результатам
ФСО, были доступны всем
сотрудникам учреждения.
3. Размер надбавок зависит только от
собственной научной активности работника (+)
Не играют роли "умение
подойти к начальству" и
другие привходящих
факторы. Соответственно,
ФСО дает возможность
создать минимально
приемлемые условия
оплаты труда для наиболее
продуктивно работающих
ученых уже сейчас.
4. ФСО способствует сохранению
активно работающей научной молодежи в
российской науке (+)
• Прописаны четкие правила, обуславливающие
повышенный размер стимулирующих выплат
для работающих молодых ученых. Правила
настроены таким образом, чтобы материально
поддержать ученых в те два момента их
научной карьеры, когда особенно вероятен
отъезд за рубеж:
- после окончания вуза;
- после защиты кандидатской диссертации.
5. Администрация научного учреждения
будет иметь дополнительный стимул
заботиться о создании хороших условий
труда для сотрудников (+)
Объем стимулирующих
выплат для руководителей
научных учреждений, равно
как и дополнительного
финансирования для
института в целом, будет
зависеть от показателей
успешности работы,
поэтому у администрации
будет прямой резон
заботиться о тех, кто
продуктивно работает.
6. ФСО явится серьезным стимулом к
улучшению работы для российских
научных журналов (+)
Казалось бы, ФСО ориентирована только на оценку
научных сотрудников и коллективов, но косвенно она
будет давать полезный эффект и в других сферах.
Российские журналы станут бороться за повышение
своего импакт-фактора за счет:
- попыток увеличения числа качественных статей за счет
работы по привлечению авторов и более жесткого
отбора статей;
- ускорения процесса публикации статей;
- увеличения доступности для широкой аудитории.
Таким образом, ФСО будет способствовать повышению
качества российских научных журналов.
7. Использование ФСО позволит получить
достаточно всеобъемлющую картину
наличного научного потенциала РАН (+)
Применение ФСО позволит собрать и
проанализировать информацию о состоянии дел в
академической науке (по отраслям науки, институтам
и их подразделениям), беря в учет ранее никогда не
учитывающиеся факторы.
Наличие такой информации необходимо для
принятия обоснованных управленческих
решений:
- какие институты практически полностью
прекратили существование как научные
учреждения и могут быть закрыты
- куда, в первую очередь, следует направлять
средства для закупки дорогостоящего
оборудования, где создавать центры
коллективного пользования
и т.д., и т.п.
1. ФСО заставит тратить много времени на
всякую бюрократическую писанину,
отвлекая от собственно научного труда (-)
Последовательность действий может быть проста:
1) администрация разрабатывает проекты положений о
выплатах и вносит на рассмотрение Ученого совета;
2) Ученый совет обсуждает и принимает положение, а
также формирует счетную комиссию;
3) сотрудники сдают информацию в счетную комиссию,
которая производит необходимые подсчеты;
4) результаты расчетов представляются в дирекцию,
которая и принимает решения о выплатах в
соответствии с выработанными положениями
Опыт СО РАН показывает, что никаких
чрезмерных затрат времени не требуется.
2. Применение ФСО будет способствовать
“атомизации” научных коллективов (-)
 Не ясно, чем ФСО в
этом отношении хуже
грантов, программ и пр.
– там тоже нет
равенства выплат.
 Все, по существу,
зависит от атмосферы в
коллективе.
 Опыт СО РАН не
подтверждает таких
опасений, а практика –
критерий истины.
3. Бессмысленно оценивать результаты
ученого по импакт-факторам журналов (-)
Наличие статей в рецензируемых
журналах, фактически, является
важнейшим формальным критерием.
“Оценивать результаты труда конкретного
ученого по импакт-фактору журналов, в
которых опубликованы его статьи, - это все
равно что оценивать температуру конкретного
больного средней температурой по палате.” вот что можно услышать иногда в ответ на
предложение учитывать импакт-факторы.
Попробуем понять, о чем говорит нам импактфактор журнала, на примере двух хороших
физических журналов – российского и
американского.
“Письма” против “Писем”
или о чем говорит импакт-фактор?
Письма в ЖЭТФ
Импакт-фактор – 1.455
Принимается ~ 50 %
присылаемых статей
Около 75 % статей
поступает из России
Physical Review Letters
Импакт-фактор – 7.218
Принимается ~ 33 %
присылаемых статей
Только 33 % статей
поступает из США
В журналах с более высоким импакт-
фактором в среднем выше
требования и тщательнее ведется
отбор статей
4. ФСО не может учесть всех особенностей
работы в различных областях науки (-)
ФСО, действительно, ориентирована в большей
степени на естественные науки, и в меньшей - на
общественные. Более того, даже в пределах одной
области науки могут быть объективные различия в
специфике работы между узкими специализациями,
которые будут приводить к определенным перекосам в
выплатах.
Однако:
- не следует сравнивать между собой по формальным
критериям представителей различных дисциплин;
- во избежание больших перекосов в выплатах можно
установить ограничение сверху на размер выплат;
- есть возможность выплачивать разовые выплаты;
- надбавки могут выплачиваться и из других средств
(гранты, программы РАН, лоты, хоздоговора).
5. ФСО плохо работает в случае оценки
масштабных экспериментальных
исследований (-)
• ФСО в нынешнем виде действительно
ориентирована на оценку работы небольших
теоретических и экспериментальных групп, в то
время как в масштабных экспериментальных
проектах задействованы многие десятки, а
иногда и сотни людей, а характерное время
выполнения проекта составляет несколько лет.
• Варианты исправления этого недостатка:
- выработка отдельных, “отраслевых” критериев
оценки;
- увеличение числа лет, которые учитываются
при оценке.
6. ФСО связывает руки администрации (-)
• ФСО ориентирована на прошлые
результаты, и не позволяет
выплачивать надбавки тем, кто
занят важной, ответственной и т.д.
работой именно сейчас.
• Однако в руках администрации есть:
- разовые выплаты;
- отчисления по проектам и
хоздоговорам.
Кроме того, разумно предусмотреть
возможность повышения процента
средств, распределяемого
администрацией, для наиболее
успешных - по итогам оценки по
формальным критериям учреждений.
7. Применение ФСО будет способствовать
ориентации на собирание баллов (-)
Опора на формальные критерии может способствовать
ориентации некоторых работников не на достижение
серьезных научных результатов, а на собирание баллов
и галочек, на симулирование продуктивной работы.
Однако, для подавляющего большинства наиболее
квалифицированных научных работников ФСО не может
стать причиной для симулирования продуктивной
работы, а симуляцию в принципе можно будет заметить
даже по формальным показателям (например, можно
“напечь” много легковесных статей, но нельзя “напечь”
много легковесных статей в высокорейтинговых
журналах).
ФСО – в целом неплохо, но…
Итак, наряду с неоспоримыми
плюсами ФСО существуют и
довольно серьезные минусы.
Альтернативой применению
ФСО является экспертная
оценка, и именно такой
подход положен в основу
проекта положения,
разработанного РАН.
РАН предлагает…
“3. Научные организации Российской академии наук
самостоятельно применяют виды, порядок и условия
выплат стимулирующего характера, определенные
настоящим положением, исходя из характера
решаемых ими научных, инновационных и
образовательных проблем, улучшения
квалификационной и возрастной структуры,
привлечения к исследованиям талантливой научной
молодежи.”
“Основанием для выплаты премии являются решения
Ученого совета Института, принимаемые … при
наличии заключения о соответствии полученных
результатов мировому уровню исследований в данной
области. Такие заключения могут быть даны либо
действительным членом Российской академии
наук (академиком), либо ведущей научной
организацией в данной области науки.”
А судьи кто?
“Настоящих учёных очень мало. Их особенно мало было и есть — в нашей стране, которую уже очень
давно захлестнул чиновничье-бюрократический поток.
Поэтому можно (и даже нужно!) позволять время от
времени выбирать в её состав этих безобидных
чудаков.
Сравнительно
большие
шансы
быть
избранными имеют молодые, талантливые, по
характеру покладистые учёные. Здесь важно ещё и то,
что по молодости лет они ещё не нажили настоящих
врагов. Каждый из них оправдывает безбедное
существование в стенах Академии по крайней мере
десятка личностей, которых мы называем балластом.
Иначе — увы! — нельзя!”
Когда это было написано?
Это было написано 25 лет назад…
“Реальные научные заслуги
кандидата при выборах, как
правило, не имеют серьёзного
значения. Какие же факторы
решающие? Об этом мы ещё
поговорим. Пока же остановимся на
одном любопытном обстоятельстве.
Ни одна академия в мире
(исключая, конечно, соцстраны, во
всех деталях копирующие нашу
структуру) не имеет двухстепенной
системы членства, то есть
академиков и членовкорреспондентов.”
Возможна ли в настоящее время
качественная работа научной экспертизы?
“Соответствие мировому
уровню” работы научного
сотрудника будет,
вероятно, в значительной
мере зависеть от степени
близости к тому или иному
академику (начальнику)
или хороших отношений с
ним. Все будет работать по
принципу “хотели, как
лучше, а получилось как
всегда”.
А так ли уж формальна
“формальная” система оценки?
• Статьи в журналах оцениваются коллегамиучеными.
• Докладчики на конференциях отбираются
программным комитетом, т.е., опять же,
квалифицированными коллегами.
• Качество диссертаций оценивается
оппонентами, ведущей организацией и
членами Диссертационного совета.
Фактически, ФСО в значительной
степени опирается на
квалифицированную экспертную оценку,
причем оценку достаточно объективную
и непредвзятую.
Вывод
Квалифицированная экспертная оценка, в принципе,
является наиболее совершенным методом оценки
научного труда, однако малая эффективность работы
научной экспертизы в России делает оправданной
именно опору на четкие формальные показатели в
качестве “меры переходного периода”. В течение
этого времени (вероятно, нескольких лет) должно быть
сделано все возможное для налаживания в России
системы квалифицированной научной экспертизы. В
первую очередь необходимо развивать систему
грантового финансирования научных исследований,
которая позволяет наиболее эффективно использовать
экспертные механизмы для поддержки результативно
работающих научных групп.