Экспертная оценка российских научных журналов предварительные результаты исследования Высшей школы экономики

Экспертная оценка российских
научных журналов
предварительные результаты исследования
Высшей школы экономики
Иван Стерлигов, НИУ ВШЭ
8 апреля 2015 г.
Истоки и смысл проекта
• Ранжированные списки журналов необходимы для оценки
публикационной активности сотрудников и подразделений и
стратегического планирования
• Существующих списков (WoS, Scopus, ВАК, РИНЦ etc.) для этого
недостаточно
• Решено сформировать списки по приоритетным для ВШЭ
направлениям, для которых менее релевантны данные
иностранных библиометрических систем
• Методика: двухуровневый подбор экспертов, формализованная
анкета с закрытыми вопросами
Методика \ журналы и направления
• Направления, по которым проводилось исследование: Информатика
(Computer Science), История, Лингвистика, Фундаментальная
математика, Менеджмент, Политология, Право, Прикладная
математика, Психология, Социология, Филология, Философия,
Экономика.
• Рассматривались научные журналы (не ежегодники), редакции
которых находятся на территории России, а последний номер вышел
не ранее 2013 г.
• Стартовые списки журналов формировались с использованием РИНЦ,
эксперты могли дополнять списки. Если добавленные журналы
удовлетворяли критерию и соответствовали тематике, они включались
в стартовый список для всех последующих респондентов.
Методика \ формирование пула экспертов
• Конечных экспертов, оценивавших журналы, номинировали эксперты
верхнего уровня (не менее 7 на направление).
• Эксперты верхнего уровня отбирались командой проекта. При их
подборе мы стремились охватить основные научные школы и
ключевые подразделы внутри направлений.
• Каждый эксперт верхнего уровня предоставил список из 25
кандидатов в конечные эксперты. Конечные эксперты (не менее 40 на
направление) подбирались так, чтобы от каждого эксперта верхнего
уровня их было примерно поровну.
• Никаких формальных требований к экспертам помимо знания русского
языка.
• Работа экспертов верхнего уровня и конечных экспертов оплачивалась
• Имена экспертов мы не раскрываем
Методика \ процедура опроса
Анкетирование конечных экспертов проводилось в онлайн-системе
Управления академической экспертизы ВШЭ в три шага:
1. Эксперт заполняет стандартную анкету эксперта УАЭ ВШЭ
2. Эксперт просматривает и при желании дополняет стартовый
список журналов, а затем отмечает в нем удовлетворяющие двум
условиям: журнал должен быть а) знакомым эксперту б) научным
3. По каждому отмеченному журналу экспертом заполняется
анкета
Методика \ анкета, часть 1
b1
b2
Вы аффилированы с журналом?
нет \ да, редактор или иной сотрудник редакции \ да, член
редколлегии, редсовета или консультативного совета
Вы работаете (работали ранее) в организации, выпускающей журнал (НИИ, вуз или нет \ да, работаю сейчас (в т.ч. совместителям) \ да, работал
иная организация, в которой находится редакция журнала)
ранее (в т.ч. совместителем) \ затрудняюсь ответить
нет \ да, в т.ч. за последние три года (2011-2013\14) \ да,
b3
Вы публиковались в этом журнале?
b4
Вы рецензировали рукописи для этого журнала?
нет \ да, в т.ч. за последние три года \ да, ранее
b5
Вы просматриваете новые номера этого журнала по мере их выхода?
нет \ да, каждый номер \ да, иногда
только до 2011 г.
ни одной (если респондент ответил "нет" на вопрос b5 и "ни
b6
Сколько статей из этого журнала Вы прочли за последние три года?
одной" на вопрос b6, то пропуск вопросов b7-b10
(присваиваиваются ответы "затрудняюсь ответить" на
вопросы b7-b10), переход к b11) \ 1-3 \ 4-10 \ более 10
Методика \ анкета, часть 2
Оцените актуальность и научную новизну знакомых Вам статей в этом журнале,
b7
опубликованных за последние три года
низкая \ средняя \ высокая \ затрудняюсь ответить
низкий \ средний \ высокий \ затрудняюсь ответить (если
Оцените научный уровень (методология, полнота списков цитируемой литературы, респондент ответил "затрудняюсь ответить" на вопрос b8, то
b8
b9
доказательность) знакомых Вам статей в этом журнале, опубликованных за
пропуск вопроса b9 (присваивается ответ "затрудняюсь
последние три года
ответить"), переход к b10 )
Оцените динамику научного уровня статей в журнале, опубликованных за
стал выше \ стал ниже \ без изменений \ затрудняюсь
последние три года
ответить
Является ли журнал лидирующим (наиболее авторитетным и престижным) в вашей да, лидирует в мире и в России \ да, лидирует в России \ нет
b10
области исследований?
\ затрудняюсь ответить
Известны ли Вам факты нарушения академической этики авторами и\или
редакцией? (плагиат, сознательное искажение фактов и результатов, публикация
заведомо слабых материалов в обход рецензирования на коммерческой или
b11
дружеской основе)
да \ нет
b12
Здесь Вы можете оставить дополнительные комментарии о журнале
(не является обязательным)
Методика \ ранжирование журналов
Журналы разбиты на три категории в соответствии с распределением ответов
респондентов на вопросы анкеты:
А1 – высокий уровень, «широкий профиль»
А2 – высокий уровень, «узкий профиль»
B – средний уровень
Дополнительно:
С – журналы, не попавшие в A1, A2 или B, но отмеченные хотя бы одним
экспертом как научные
Применялась «мягкая» фильтрация аффилированных экспертов: не
учитывались анкеты сотрудников журнала и членов редколлегии, но
учитывались анкеты любых прочих сотрудников организации, издающей
журнал
Методика \ категория А1
Ведущие журналы, известные подавляющему большинству экспертов в
рамках данного направления. Для их выделения предложены
следующие критерии:
• Отметили как известный им научный журнал не менее 80%
респондентов
• Не менее 80% из них читали статьи из этого журнала за последние 3
года
• Не менее 50% отметивших журнал респондентов оценивают
актуальность прочитанных статей как высокую
• Не менее 70% отметивших журнал респондентов оценивают научный
уровень прочитанных статей как высокий
• Не менее 70% отметивших журнал респондентов считают журнал
лидирующим в России или лидирующим в мире и в России
Методика \ категория А2
Журналы, высоко оцениваемые группой респондентов в рамках направления, в т.ч.
журналы с узкой тематической специализацией. Для их выделения предложены
следующие критерии:
• Журнал не попадает в категорию A1
• Журнал отметили не менее 5 экспертов, которые просматривают каждый номер
журнала или прочли более 3 статей из него за последние три года.
Из них:
• Не менее 70% респондентов оценивают актуальность прочитанных статей как
высокую
• Не менее 70% респондентов оценивают научный уровень прочитанных статей как
высокий
• Не менее 70% респондентов считают журнал лидирующим в России или
лидирующим в мире и в России
Методика \ категория B
Журналы, оцененные достаточно высоко, но не проходящие в A1
или А2. Для их выделения предложены варианты фильтрации, в
целом соответствующие A1 и A2 с существенно сниженными
порогами. Для попадания в категорию B достаточно пройти хотя бы
один из двух фильтров:
• Журнал отметили не менее 20% респондентов
• Не менее 50% из них читали статьи из этого
журнала за последние 3 года
• Не менее 50% из отметивших журнал
респондентов оценивают актуальность
прочитанных статей как высокую или среднюю
• Не менее 50% из отметивших журнал
респондентов оценивают научный уровень
прочитанных статей как высокий или средний
• Журнал отметили не менее 3 экспертов,
которые просматривают каждый номер
журнала или прочли более 3 статей из него за
последние три года
• Из них:
• Не менее 70% респондентов оценивают
актуальность прочитанных статей как высокую
или среднюю
• Не менее 70% респондентов оценивают
научный уровень прочитанных статей как
высокий или средний
Методика \ особенности и ограничения
• Не учитывается мнение экспертов, считающих все российские научные
журналы плохими; выборка респондентов смещена в сторону
любителей российских журналов.
• Тематические перекосы из-за неравномерного отклика респондентов:
некоторые подразделы и организации представлены чрезмерно,
некоторые – наоборот.
• Численность респондентов (40+ на направление) может быть
недостаточна для адекватного охвата больших и разнообразных
областей науки
• Мы принципиально не оценивали технический уровень работы
журналов, сконцентрировавшись на их научном авторитете
• Журналы, попавшие в категорию B, сильно разнятся по уровню.
Возможна их дальнейшая дифференциация.
Результаты \ сводная статистика
Число
Направление
привлеченных
экспертов
Число экспертов,
Cреднее число
заполнивших анкеты
журналов,
хотя бы по одному
отмеченных
журналу
экспертами
Число журналов,
Общее число
по которым
журналов по
заполнена хотя
направлению
бы одна анкета
Информатика (Computer Science)
42
40
8,82
71
56
История
59
56
17,23
68
64
Лингвистика
50
48
17,75
84
80
Фундаментальная Математика
42
40
22,2
51
51
Менеджмент
38
33
9,12
100
78
Политология
51
47
22,94
81
80
Право
49
41
27,73
111
109
Прикладная математика
43
42
26,05
121
112
Психология
42
42
14,6
72
66
Социология
54
47
15
55
55
Филология
52
47
19,64
64
64
Философия
56
51
20,41
97
92
Экономика
52
44
12,11
58
53
Результаты \ Фундаментальная математика
Журналы категории А1:
Успехи математических наук
Журналы категории A2:
Moscow Mathematical Journal
Алгебра и анализ
Записки Научных Семинаров ПОМИ
Известия Российской академии наук. Серия
математическая
Математический сборник
Труды Математического института им. В.А.
Стеклова РАН
Функциональный анализ и его приложения
Журналы категории B:
Алгебра и логика
Вестник Московского университета. Серия 1:
Математика. Механика
Дискретный анализ и исследование операций
Доклады Академии Наук
Журнал Сибирского федерального университета.
Серия: Математика и физика
Математические заметки
Сибирские электронные математические
известия
Сибирский математический журнал
Современная математика. Фундаментальные
направления
Теоретическая и математическая физика
Труды института математики и механики УрО РАН
Труды Московского математического общества
Результаты \ Прикладная математика
Журналов категории А1 нет
Журналы категории А2:
Успехи математических наук
Математические заметки
Журналы категории B:
Regular and Chaotic Dynamics
Автоматика и телемеханика
Вестник Московского университета. Серия 1:
Математика. Механика
Вычислительные методы и программирование:
новые вычислительные технологии
Дискретный анализ и исследование операций
Доклады Академии Наук
Журнал вычислительной математики и
математической физики
Записки научных семинаров ПОМИ
Известия Российской академии наук. Серия
математическая
Известия Российской академии наук. Теория и
системы управления
Известия Российской академии наук. Механика
жидкости и газа
Известия Российской академии наук. Механика
твердого тела
Математическое моделирование
Прикладная математика и механика
Теоретическая и математическая физика
Труды Математического института им. В.А.
Стеклова РАН
Результаты \ Computer Science
Журналов категории A1 нет
математической физики
Журналы категории A2:
Известия Российской академии наук. Теория и
системы управления
Программирование
Журналы категории B:
Автоматика и телемеханика
Вестник Московского университета. Серия 15:
Вычислительная математика и кибернетика
Научно-технические ведомости СанктПетербургского государственного политехнического
университета. Информатика. Телекоммуникации.
Управление
Открытые системы. СУБД
Вестник Санкт-Петербургского университета. Серия
10: Прикладная математика. Информатика.
Процессы управления
Проблемы передачи информации
Вычислительные методы и программирование:
новые вычислительные технологии
Труды Института системного программирования РАН
Дискретная математика
Журнал вычислительной математики и
Программная инженерия
Труды СПИИ РАН
Результаты \ Менеджмент
Журналов категории А1 нет
Проблемы теории и практики управления
Журналы категории А2:
ЭКО - Всероссийский экономический журнал
Вестник Санкт-Петербургского университета.
Серия 8: Менеджмент
Российский журнал менеджмента
Форсайт
Журналы категории B:
Harvard Business Review Россия
Вопросы экономики
Менеджмент в России и за рубежом
Общественные науки и современность
Результаты \ Филология
Журналы категории А1:
Новое литературное обозрение
Русская литература
Журналы категории А2:
Вестник Томского государственного университета
Вестник Санкт-Петербургского университета. Серия 9: Филология. Востоковедение.
Журналистика
Вопросы литературы
Вопросы филологии
Древняя Русь. Вопросы медиевистики
Известия Российской академии наук. Серия литературы и языка
Известия Волгоградского государственного педагогического университета. Серия:
Филологические науки
Критика и семиотика
Известия Уральского федерального университета. Серия 2: Гуманитарные науки
Логос
Известия Южного федерального университета. Филологические науки
Славяноведение
Лабиринт
Вопросы языкознания
Литература в школе
Журналы категории B:
Литературоведческий журнал
Slovêne
Новый филологический вестник
Вестник Воронежского государственного университета. Серия: Филология. Журналистика
Отечественные записки
Вестник Литературного института имени А.М. Горького
Русская речь
Вестник Московского университета. Серия 9: Филология
Русская словесность
Вестник Московского университета. Серия 10. Журналистика
Русский язык в научном освещении
Вестник Пермского университета. Российская и зарубежная филология
Сибирский филологический журнал
Вестник Православного Свято-Тихоновского гуманитарного университета. Серия 3: Филология
Филологические науки (Научные доклады высшей школы)
Вестник Российского государственного гуманитарного университета
Результаты \ Право
Журналов категории А1 нет.
Гражданин и право
Право. Журнал Высшей школы экономики
Журналы категории А2:
Евразийский юридический журнал
Право и государство: теория и практика
Журнал российского права
Журнал конституционного правосудия
Право и экономика
Журнал зарубежного законодательства и сравнительного
правоведения
Журнал международного частного права
Предпринимательское право
Закон
Российская юстиция
Законность
Российский юридический журнал
Законодательство
Российское правосудие
Законодательство и экономика
Современное право
Законы России: опыт, анализ, практика
Сравнительное конституционное обозрение
Известия высших учебных заведений. Правоведение
Трудовое право
Информационное право
Уголовное право
История государства и права
Философия права
Конституционное и муниципальное право
Хозяйство и право
Криминологический журнал БГУЭП
Черные дыры в Российском законодательстве
Международное право - International Law
Юридический мир
Международное публичное и частное право
Юридическое образование и наука
Московский журнал международного права
Юрист
Налоги
Экологическое право
Журналы категории B:
Kutafin University Law Review
Lex Russica
Аграрное и земельное право
Административное и муниципальное право
Административное право и процесс
Актуальные проблемы российского права
Банковское право
Вестник Высшего арбитражного суда Российской Федерации
Вестник гражданского права
Вестник Московского университета. Серия 11: Право
Вестник Санкт-Петербургского университета. Серия 14. Право
Вестник Саратовской государственной юридической академии
Вопросы правоведения
Вопросы экономики и права
Государственная власть и местное самоуправление
Государство и право
Налоги и налогообложение
Налоги и финансовое право
Налоговед
Правовая политика и правовая жизнь
Результаты \ Философия
Журналы категории A1:
Вопросы философии.
Вестник Санкт-Петербургского университета. Серия 6: Философия.
Культурология. Политология. Право. Международные отношения
Журналы категории А2:
Вестник Томского государственного университета. Философия. Социология.
Политология
Scholae. Философское антиковедение и классическая традиция
Восток
Эпистемология и философия науки
Кантовский сборник
Журналы категории B:
Логос
Credo new
Мысль. Журнал Петербургского философского общества
Horizon. Феноменологические исследования
Неприкосновенный запас. Дебаты о политике и культуре
NB: Философские исследования
Общественные науки и современность
Vox
Религиоведение
Вестник Ленинградского государственного университета имени А. С. Пушкина.
Серия Философия
Символ
Вестник Московского университета. Серия 7: Философия
Вестник Новосибирского государственного университета. Серия: Философия
Сократ
Соловьевские исследования
Философия и культура
Вестник Православного Свято-Тихоновского гуманитарного университета. Серия
1: Богословие. Философия
Философия науки
Вестник Российского государственного гуманитарного университета
Философские науки
Вестник Российского университета дружбы народов. Серия: Философия
Философия и общество
Вестник Самарской гуманитарной академии Серия «Философия. Филология»
Философский журнал
Вестник Санкт-Петербургского университета. Серия 17: Философия.
Конфликтология. Культурология. Религиоведение
Человек
Результаты \ Политология
Журналы категории А1:
Полис (Политические исследования)
Вестник Нижегородского университета им. Н.И.
Лобачевского. Серия: Международные отношения,
Политология, Регионоведение
Журналы категории А2:
Вестник Пермского университета. Серия: Политология
культуре
Общая тетрадь: Вестник Московской школы
политических исследований
Мировая экономика и международные отношения
Общественные науки и современность
Вестник Российского университета дружбы народов.
Политическая концептология: журнал
Серия: Международные отношения
метадисциплинарных исследований
Вестник Российского университета дружбы народов.
Политическая экспертиза: ПОЛИТЭКС
Серия: Политология
Политическая наука
Вестник Российской нации
Журналы категории B:
Вестник Санкт-Петербургского университета. Серия 6:
Проблемы Дальнего Востока
Философия. Культурология. Политология. Право.
Международные отношения
Россия в глобальной политике
Власть
Россия и современный мир
Вопросы политологии
Свободная мысль
Восток. Афро-Азиатские общества: история и
Современная Европа
современность
Pro et Contra
Международные процессы
NB: Национальная безопасность
Politbook
Азия и Африка сегодня
Актуальные проблемы Европы
Вестник Института Кеннана в России
Вестник МГИМО Университета
Европейская безопасность: события, оценки,
прогнозы
Вестник Московского университета. Серия 12:
Политические науки
Латинская Америка
Вестник Московского университета. Серия 18:
Социология и политология
Вестник Московского университета. Серия 25:
Международные отношения и мировая политика
Вестник Московского университета. Серия 28:
Глобалистика и геополитика
Логос
Международная жизнь
Международные отношения
Национальная безопасность / Nota Bene
Неприкосновенный запас. Дебаты о политике и
Полития: Анализ. Хроника. Прогноз (Журнал
политической философии и социологии политики)
Социология власти
Социум и власть
Сравнительная политика
США и Канада: экономика, политика, культура
Человек. Сообщество. Управление
Результаты \ Лингвистика
Журналы категории А1:
межкультурная коммуникация
Вопросы языкознания
Вестник Православного Свято-Тихоновского гуманитарного
университета. Серия 3: Филология
Журналы категории А2:
Вопросы ономастики
Вопросы языкового родства
Вестник Российского государственного гуманитарного
университета (включая Московский лингвистический журнал)
Древняя Русь. Вопросы медиевистики
Вестник Санкт-Петербургского университета. Серия 9. Филология.
Востоковедение. Журналистика
Русский язык в научном освещении
Вестник Томского государственного университета. Филология
Славяноведение
Вопросы филологии
Журналы категории B:
Вопросы психолингвистики
Slověne
Известия Российской академии наук. Серия литературы и языка
Acta Linguistica Petropolitana. Труды института лингвистических
исследований
Научно-техническая информация. Серия 2: Информационные
процессы и системы
Вестник Воронежского государственного университета. Серия:
Лингвистика и межкультурная коммуникация
Политическая лингвистика
Вестник Московского государственного гуманитарного
университета им. М.А. Шолохова. Серия: Филологические науки
Урало-алтайские исследования
Вестник Московского университета. Серия 9: Филология
Вестник Московского университета. Серия 13: Востоковедение
Вестник Московского университета. Серия 19: Лингвистика и
Российская тюркология
Результаты \ Психология
Журналов категории А1 нет
Журналов категории А2 нет
Журналы категории B:
Psychology in Russia: State of the Art
Вестник Московского университета. Серия 14:
Психология
Вестник Южно-Уральского государственного
университета. Серия: Психология
Вестник Ярославского государственного
университета имени П.Г. Демидова. Серия
Гуманитарные науки
Вопросы психологии
Журнал практического психолога
Культурно-историческая психология
Методология и история психологии
Мир психологии
Психологическая наука и образование
Психологические исследования: электронный
научный журнал
Психологический журнал
Психологический журнал Международного
университета природы, общества и человека Дубна
Психология. Журнал Высшей школы экономики
Российский психологический журнал
Современная зарубежная психология
Теоретическая и экспериментальная психология
Экспериментальная психология
Результаты \ История
Журналов категории А1 нет
Вестник Московского университета. Серия 13: Востоковедение
Журналы категории А2:
Вестник Новосибирского государственного университета. Серия:
История, филология
Ab imperio
Археология, этнография и антропология Евразии
Вестник древней истории
Восток
Древняя Русь: Вопросы медиевистики
Отечественные архивы
Российская археология
Российская история
Средние века
Этнографическое обозрение
Журналы категории B:
Stratum plus: Археология и Культурная Антропология
Антропологический форум
Вестник архивиста
Вестник археологии, антропологии и этнографии
Вестник Московского университета. Серия 8: История
Вестник Пермского университета. Серия: История
Вестник Санкт-Петербургского университета. Серия 2: История
Военно-исторический журнал
Вопросы истории
Вопросы истории естествознания и техники
Диалог со временем
Исторический архив
История. Электронный научно-образовательный журнал
Клио
Новая и новейшая история
Родина
Уральский исторический вестник
Результаты \ Экономика
Журналов категории А1 нет
Журналы категории А2:
Форсайт
Экономический журнал Высшей школы Экономики
Журналы категории В:
Вестник Института экономики РАН
Вестник Московского университета. Серия 6:
Экономика
Вопросы экономики
Журнал новой экономической ассоциации
Инновации
Общество и экономика
Прикладная эконометрика
Проблемы прогнозирования
Пространственная экономика
Регион: Экономика и Социология
Российский экономический журнал
Уровень жизни населения регионов России
ЭКО
Экономика и математические методы
Экономист
Экономическая наука современной России
Экономическая политика
Результаты \ Социология
Журналов категории А1 нет
Журнал исследований социальной политики
Журналы категории А2:
Мир России: Социология, этнология
Журнал социологии и социальной антропологии
Мониторинг общественного мнения: экономические и
социальные перемены
Социологический журнал
Социология: методология, методы, математическое
моделирование
Общественные науки и современность
Свободная мысль
Экономическая социология
Социологические исследования
Журналы категории В:
Социологический альманах
Laboratorium. Журнал социальных исследований
Социологическое обозрение
Вестник Института социологии
Телескоп: журнал социологических и маркетинговых
исследований
Вестник общественного мнения. Данные. Анализ. Дискуссии
Вестник Российского университета дружбы народов. Серия:
Социология
Вестник Томского государственного университета. Философия.
Социология. Политология
Вопросы образования
Человек
Что дальше?
• Публикация отчета по проекту с основными результатами
• Серия экспертных обсуждений результатов проекта по
направлениям
• Утверждение окончательных списков журналов
• Использование списков в работе НИУ ВШЭ
• Опционально: актуализация списков журналов путем проведения
повторных опросов и расширения круга экспертов
Спасибо за внимание!
Над проектом работали: Иван Стерлигов, Альфия Еникеева,
Арсений Петров, Сергей Соколов, Евгения Филимонова, Мария
Стерлигова, Валерия Кудашова.
Координация: Вадим Радаев, Мария Юдкевич, Александр
Костинский.
[email protected]
Отчет о проекте и презентация будут опубликованы здесь:
http://www.hse.ru/academexpert/journals