Результаты проекта НИУ ВШЭ по экспертной оценке российских

Экспертная оценка российских
научных журналов
результаты исследования Высшей школы
экономики
Иван Стерлигов, Альфия Еникеева
НИУ ВШЭ
28 мая 2015 г.
Истоки и смысл проекта
• Ранжированные списки журналов необходимы для оценки
публикационной активности сотрудников и подразделений, для
управления и стратегического планирования
• Существующих списков (WoS, Scopus, ВАК, РИНЦ etc.) для этого
недостаточно
• Решено сформировать списки по приоритетным для ВШЭ
направлениям, для которых менее релевантны данные
иностранных библиометрических систем
• Методика: двухуровневый подбор экспертов, формализованная
анкета с закрытыми вопросами
Методика \ журналы и направления
• Направления, по которым проводилось исследование: Информатика
(Computer Science), История, Лингвистика, Фундаментальная
математика, Менеджмент, Политология, Право, Прикладная
математика, Психология, Социология, Филология, Философия,
Экономика.
• Рассматривались научные журналы (не ежегодники), редакции
которых находятся на территории России, а последний номер вышел
не ранее 2013 г.
• Стартовые списки журналов формировались с использованием РИНЦ,
эксперты могли дополнять списки. Если добавленные журналы
удовлетворяли критерию и соответствовали тематике, они включались
в стартовый список для всех последующих респондентов.
Методика \ формирование пула экспертов
• Конечных экспертов, оценивавших журналы, номинировали эксперты
верхнего уровня (не менее 7 на направление).
• Эксперты верхнего уровня отбирались командой проекта. При их подборе
мы стремились охватить основные научные школы и ключевые подразделы
внутри направлений.
• Каждый эксперт верхнего уровня предоставил список из 25 кандидатов в
конечные эксперты. Конечные эксперты (не менее 40 на направление)
подбирались так, чтобы от каждого эксперта верхнего уровня их было
примерно поровну.
• Никаких формальных требований к экспертам, только владение русским
языком.
• Работа экспертов верхнего уровня и конечных экспертов оплачивалась.
• Имена экспертов мы не раскрываем.
Методика \ процедура опроса
Анкетирование конечных экспертов проводилось в онлайн-системе
Управления академической экспертизы ВШЭ в три шага:
1. Эксперт заполняет стандартную анкету эксперта УАЭ ВШЭ
2. Эксперт просматривает и при желании дополняет стартовый
список журналов, а затем отмечает в нем удовлетворяющие двум
условиям: журнал должен быть а) знакомым эксперту б) научным
3. По каждому отмеченному журналу экспертом заполняется
анкета
Методика \ анкета, часть 1
b1
b2
Вы аффилированы с журналом?
нет \ да, редактор или иной сотрудник редакции \ да, член
редколлегии, редсовета или консультативного совета
Вы работаете (работали ранее) в организации, выпускающей журнал (НИИ, вуз или нет \ да, работаю сейчас (в т.ч. совместителям) \ да, работал
иная организация, в которой находится редакция журнала)
ранее (в т.ч. совместителем) \ затрудняюсь ответить
нет \ да, в т.ч. за последние три года (2011-2013\14) \ да,
b3
Вы публиковались в этом журнале?
b4
Вы рецензировали рукописи для этого журнала?
нет \ да, в т.ч. за последние три года \ да, ранее
b5
Вы просматриваете новые номера этого журнала по мере их выхода?
нет \ да, каждый номер \ да, иногда
только до 2011 г.
ни одной (если респондент ответил "нет" на вопрос b5 и "ни
b6
Сколько статей из этого журнала Вы прочли за последние три года?
одной" на вопрос b6, то пропуск вопросов b7-b10
(присваиваиваются ответы "затрудняюсь ответить" на
вопросы b7-b10), переход к b11) \ 1-3 \ 4-10 \ более 10
Методика \ анкета, часть 2
Оцените актуальность и научную новизну знакомых Вам статей в этом журнале,
b7
опубликованных за последние три года
низкая \ средняя \ высокая \ затрудняюсь ответить
низкий \ средний \ высокий \ затрудняюсь ответить (если
Оцените научный уровень (методология, полнота списков цитируемой литературы, респондент ответил "затрудняюсь ответить" на вопрос b8, то
b8
b9
доказательность) знакомых Вам статей в этом журнале, опубликованных за
пропуск вопроса b9 (присваивается ответ "затрудняюсь
последние три года
ответить"), переход к b10 )
Оцените динамику научного уровня статей в журнале, опубликованных за
стал выше \ стал ниже \ без изменений \ затрудняюсь
последние три года
ответить
Является ли журнал лидирующим (наиболее авторитетным и престижным) в вашей да, лидирует в мире и в России \ да, лидирует в России \ нет
b10
области исследований?
\ затрудняюсь ответить
Известны ли Вам факты нарушения академической этики авторами и\или
редакцией? (плагиат, сознательное искажение фактов и результатов, публикация
заведомо слабых материалов в обход рецензирования на коммерческой или
b11
дружеской основе)
да \ нет
b12
Здесь Вы можете оставить дополнительные комментарии о журнале
(не является обязательным)
Методика \ ранжирование журналов
Журналы разбиты на три категории в соответствии с распределением ответов респондентов
на вопросы анкеты:
А1 – высокий уровень, «широкий профиль»
А2 – высокий уровень, «узкий профиль»
B+ – сравнительно высокий уровень
B – средний уровень
С – журналы, не попавшие в A1, A2 или B, но отмеченные хотя бы одним экспертом как
научные
Применялась «мягкая» фильтрация аффилированных экспертов: не учитывались анкеты
сотрудников журнала и членов редколлегии, но учитывались анкеты любых прочих
сотрудников организации, издающей журнал. Дополнительно помечались журналы, по
которым более четверти отметивших их респондентов на момент анкетирования работали в
организациях, издающих эти журналы (* - более четверти всех неаффилированных
респондентов, § - более четверти респондентов – «активных читателей»)
По журналам категорий B+ и B мы дополнительно приводим распределения ответов
респондентов на ключевые вопросы анкеты.
Методика \ категория А1
Ведущие журналы, известные подавляющему большинству экспертов в рамках
данного направления. Для их выделения предложены следующие критерии:
• Отметили как известный им научный журнал не менее 80% респондентов
• Не менее 80% из них читали статьи из этого журнала за последние 3 года
• Не менее 50% отметивших журнал респондентов оценивают актуальность
прочитанных статей как высокую
• Не менее 70% отметивших журнал респондентов оценивают научный
уровень прочитанных статей как высокий
• Не менее 70% отметивших журнал респондентов считают журнал
лидирующим в России или лидирующим в мире и в России
Методика \ категория А2
Журналы, высоко оцениваемые группой респондентов в рамках направления, в т.ч.
журналы с узкой тематической специализацией. Для их выделения предложены
следующие критерии:
• Журнал не попадает в категорию A1
• Журнал отметили не менее 5 экспертов, которые просматривают каждый номер
журнала или прочли более 3 статей из него за последние три года («активные
читатели»).
• Не менее 70% респондентов-активных читателей оценивают актуальность
прочитанных статей как высокую
• Не менее 70% респондентов-активных читателей оценивают научный уровень
прочитанных статей как высокий
• Не менее 70% респондентов-активных читателей считают журнал лидирующим в
России или лидирующим в мире и в России
Методика \ категория B+
Журналы, cсравнительно высоко оцениваемые респондентами (категория
добавлена по результатам обсуждений проекта на Апрельской конференции НИУ
ВШЭ). Для их выделения предложены следующие критерии:
• Журнал не попадает в категории A1 и А2
• Журнал отметили не менее 20% респондентов
• Не менее 50% из них читали статьи из этого журнала за последние 3 года
• Не менее 35% из отметивших журнал респондентов оценивают актуальность
прочитанных статей как высокую
• Не менее 35% из отметивших журнал респондентов оценивают научный уровень
прочитанных статей как высокий
Методика \ категория B
Журналы, оцененные достаточно высоко, но не проходящие в A1,
А2 и B+. Для их выделения предложены варианты фильтрации, в
целом соответствующие A1 и A2 с существенно сниженными
порогами. Для попадания в категорию B достаточно пройти хотя бы
один из двух фильтров:
• Журнал отметили не менее 20% респондентов
• Не менее 50% из них читали статьи из этого
журнала за последние 3 года
• Не менее 50% из отметивших журнал
респондентов оценивают актуальность
прочитанных статей как высокую или среднюю
• Не менее 50% из отметивших журнал
респондентов оценивают научный уровень
прочитанных статей как высокий или средний
• Журнал отметили не менее 3 экспертов,
которые просматривают каждый номер
журнала или прочли более 3 статей из него за
последние три года
• Не менее 70% респондентов-активных
читателей оценивают актуальность
прочитанных статей как высокую или среднюю
• Не менее 70% респондентов-активных
читателей оценивают научный уровень
прочитанных статей как высокий или средний
Методика \ особенности и ограничения
• Не учитывается мнение экспертов, считающих все российские научные
журналы плохими; выборка респондентов смещена в сторону любителей
российских журналов.
• Тематические перекосы из-за неравномерного отклика респондентов:
некоторые подразделы и организации представлены чрезмерно, некоторые
– наоборот.
• Численность респондентов (40+ на направление) может быть недостаточна
для адекватного охвата больших и разнообразных областей науки
• Мы принципиально не оценивали технический уровень работы журналов,
сконцентрировавшись на их научном авторитете
• Журналы, попавшие в категорию B, сильно разнятся по уровню.
• Среди журналов категории B есть те, которые мы считаем в разной степени
вовлеченными в недобросовестные практики. Есть пересечения со списком
изданий, не учитываемых при назначении надбавок НИУ ВШЭ
Результаты \ сводная статистика
Число
Направление
привлеченных
экспертов
Число экспертов,
Cреднее число
заполнивших анкеты
журналов,
хотя бы по одному
отмеченных
журналу
экспертами
Число журналов,
Общее число
по которым
журналов по
заполнена хотя
направлению
бы одна анкета
Информатика (Computer Science)
42
40
8,82
71
56
История
59
56
17,23
68
64
Лингвистика
50
48
17,75
84
80
Фундаментальная Математика
42
40
22,2
51
51
Менеджмент
38
33
9,12
100
78
Политология
51
47
22,94
81
80
Право
49
41
27,73
111
109
Прикладная математика
43
42
26,05
121
112
Психология
42
42
14,6
72
66
Социология
54
47
15
55
55
Филология
52
47
19,64
64
64
Философия
56
51
20,41
97
92
Экономика
52
44
12,11
58
53
Результаты \ Фундаментальная математика
Журналы категории A-1
Труды Московского математического общества
Успехи математических наук
Журналы категории В
Журналы категории А-2
Алгебра и логика
Moscow Mathematical Journal
Вестник Московского университета. Серия 1: Математика. Механика*
Алгебра и анализ §
Дискретный анализ и исследование операций
Записки Научных Семинаров ПОМИ §
Журнал Сибирского федерального университета. Серия: Математика и
физика
Известия Российской академии наук. Серия математическая
Математический сборник
Труды Математического института им. В.А. Стеклова РАН §
Функциональный анализ и его приложения
Журналы категории В+
Доклады Академии Наук
Математические заметки
Современная математика. Фундаментальные направления
Сибирские электронные математические известия*
Сибирский математический журнал §
Современная математика. Фундаментальные направления
Теоретическая и математическая физика
Труды института математики и механики УрО РАН
Результаты \ Прикладная математика
Журналы категории A-1
Нет
Вычислительные методы и программирование: новые
вычислительные технологии
Журналы категории А-2
Дискретный анализ и исследование операций
Успехи математических наук
Журнал вычислительной математики и математической
физики
Математические заметки
Журналы категории В+
Доклады Академии Наук
Записки научных семинаров ПОМИ
Журналы категории В
Regular and Chaotic Dynamics
Автоматика и телемеханика
Вестник Московского университета. Серия 1: Математика.
Механика §
Известия Российской академии наук. Серия
математическая
Известия Российской академии наук. Теория и системы
управления
Известия Российской академии наук. Механика жидкости
и газа
Известия Российской академии наук. Механика твердого
тела
Результаты \ Computer Science
Журналы категории A-1
Нет
Журналы категории А-2
Программирование
Журналы категории В+
Проблемы передачи информации
Вычислительные методы и программирование:
новые вычислительные технологии
Дискретная математика
Журнал вычислительной математики и
математической физики
Известия Российской академии наук. Теория и
системы управления
Труды Института системного программирования РАН Научно-технические ведомости СанктПетербургского государственного политехнического
Журналы категории В
университета. Информатика. Телекоммуникации.
Автоматика и телемеханика
Управление §
Вестник Московского университета. Серия 15:
Открытые системы. СУБД
Вычислительная математика и кибернетика
Программная инженерия §
Вестник Санкт-Петербургского университета. Серия
Труды СПИИ РАН §
10: Прикладная математика. Информатика.
Процессы управления §
Результаты \ Менеджмент
Журналы категории A-1
Нет
Журналы категории A-2
Вестник Санкт-Петербургского
университета. Серия 8: Менеджмент*§
Российский журнал менеджмента*§
Форсайт
Журналы категории В+
Вопросы экономики
Журналы категории В
Harvard Business Review Россия
Менеджмент в России и за рубежом
Общественные науки и современность
Проблемы теории и практики управления
ЭКО - Всероссийский экономический
журнал §
Результаты \ Филология
Журналы категории A-1
Новое литературное обозрение
Журналы категории В
Русская литература
Slověne
Журналы категории A-2
Вестник Воронежского государственного университета. Серия: Филология. Журналистика
Вестник Томского государственного университета
Вестник Литературного института имени А.М. Горького
Известия Российской академии наук. Серия литературы и языка
Вестник Московского университета. Серия 9: Филология
Критика и семиотика
Вестник Пермского университета. Российская и зарубежная филология
Логос
Вестник Православного Свято-Тихоновского гуманитарного университета. Серия 3: Филология
Славяноведение
Вопросы филологии §
Вопросы языкознания
Известия Волгоградского государственного педагогического университета. Серия: Филологические
науки
Журналы категории В+
Вестник Московского университета. Серия 10. Журналистика
Вестник Российского государственного гуманитарного университета
Вестник Санкт-Петербургского университета. Серия 9: Филология. Востоковедение. Журналистика
Вопросы литературы
Древняя Русь. Вопросы медиевистики
Известия Уральского федерального университета. Серия 2: Гуманитарные науки
Литературоведческий журнал
Новый филологический вестник
Отечественные записки
Известия Южного федерального университета. Филологические науки
Лабиринт
Литература в школе
Русская речь
Русская словесность
Русский язык в научном освещении
Сибирский филологический журнал
Филологические науки (Научные доклады высшей школы)
Результаты \ Право
Журналы категории A-1
Аграрное и земельное право
Налоги
Нет
Административное и муниципальное право
Налоги и налогообложение
Журналы категории A-2
Банковское право
Налоги и финансовое право
Журнал российского права
Вестник Московского университета. Серия 11: Право
Налоговед
Журнал зарубежного законодательства и сравнительного
правоведения §
Вестник Санкт-Петербургского университета. Серия 14. Право
Правовая политика и правовая жизнь §
Вестник Саратовской государственной юридической академии
Право и государство: теория и практика
Вопросы экономики и права
Право и экономика
Государственная власть и местное самоуправление
Предпринимательское право
Гражданин и право
Российская юстиция
Евразийский юридический журнал
Российский юридический журнал
Журнал конституционного правосудия
Российское правосудие
Журнал международного частного права
Современное право
Законность
Сравнительное конституционное обозрение
Законодательство и экономика
Трудовое право
Законы России: опыт, анализ, практика
Философия права
Информационное право
Черные дыры в Российском законодательстве
История государства и права
Юридический мир
Конституционное и муниципальное право
Юридическое образование и наука §
Криминологический журнал БГУЭП
Юрист
Международное право - International Law
Экологическое право
Журналы категории В+
Lex Russica*
Административное право и процесс
Актуальные проблемы российского права*
Вестник Высшего арбитражного суда Российской Федерации
Вестник гражданского права
Вопросы правоведения
Государство и право
Закон
Законодательство
Известия высших учебных заведений. Правоведение
Право. Журнал Высшей школы экономики*
Уголовное право
Хозяйство и право
Журналы категории В
Kutafin University Law Review §
Международное публичное и частное право
Московский журнал международного права
Результаты \ Философия
Журналы категории A-1
Вестник Новосибирского государственного университета. Серия: Философия
Вопросы философии
Вестник Православного Свято-Тихоновского гуманитарного университета. Серия 1: Богословие.
Философия
Журналы категории A-2
Scholae. Философское антиковедение и классическая традиция
Эпистемология и философия науки
Вестник Российского университета дружбы народов. Серия: Философия
Вестник Самарской гуманитарной академии Серия «Философия. Филология»
Журналы категории В+
Вестник Санкт-Петербургского университета. Серия 17: Философия. Конфликтология.
Культурология. Религиоведение *§
Horizon. Феноменологические исследования
Вестник Санкт-Петербургского университета. Серия 6: Философия. Культурология. Политология.
Право. Международные отношения §
Vox*
Вестник Ленинградского государственного университета имени А. С. Пушкина. Серия
Философия
Вестник Томского государственного университета. Философия. Социология. Политология §
Восток §
Вестник Российского государственного гуманитарного университета*
Мысль. Журнал Петербургского философского общества §
Кантовский сборник
Неприкосновенный запас. Дебаты о политике и культуре
Логос
Общественные науки и современность
Религиоведение
Сократ
Символ
Соловьевские исследования
Философия и культура
Философия науки
Философский журнал*
Философские науки
Человек
Философия и общество
Журналы категории В
Credo new
NB: Философские исследования
Вестник Московского университета. Серия 7: Философия
Результаты \ Политология
Журналы категории A-1
Журналы категории В
Восток. Афро-Азиатские общества: история и современность
Полис (Политические исследования)
NB: Национальная безопасность
Европейская безопасность: события, оценки, прогнозы
Politbook
Латинская Америка
Журналы категории A-2
Азия и Африка сегодня
Логос
Pro et Contra
Вестник Института Кеннана в России
Международная жизнь
Международные процессы
Вестник МГИМО Университета
Международные отношения
Мировая экономика и международные отношения
Вестник Московского университета. Серия 12: Политические
науки
Национальная безопасность – Nota Bene
Политическая наука
Журналы категории В+
Актуальные проблемы Европы
Вестник Пермского университета. Серия: Политология
Неприкосновенный запас. Дебаты о политике и культуре
Общественные науки и современность
Политическая экспертиза: ПОЛИТЭКС
Полития: Анализ. Хроника. Прогноз (Журнал политической
философии и социологии политики)
Проблемы Дальнего Востока
Россия в глобальной политике
Сравнительная политика
США и Канада: экономика, политика, культура
Вестник Московского университета. Серия 18: Социология и
политология
Общая тетрадь: Вестник Московской школы политических
исследований
Политическая концептология: журнал метадисциплинарных
Вестник Московского университета. Серия 25: Международные исследований
отношения и мировая политика
Россия и современный мир
Вестник Московского университета. Серия 28: Глобалистика и
геополитика
Свободная мысль
Вестник Нижегородского университета им. Н.И. Лобачевского. Современная Европа
Серия: Международные отношения, Политология,
Регионоведение
Социология власти
Вестник Российского университета дружбы народов. Серия:
Международные отношения
Вестник Российского университета дружбы народов. Серия:
Политология
Вестник Российской нации
Вестник Санкт-Петербургского университета. Серия 6:
Философия. Культурология. Политология. Право.
Международные отношения
Власть
Вопросы политологии §
Социум и власть
Человек. Сообщество. Управление
Результаты \ Лингвистика
Журналы категории A-1
Известия Российской академии наук. Серия литературы и языка
Вопросы языкознания
Научно-техническая информация. Серия 2: Информационные процессы и
системы
Журналы категории A-2
Вопросы ономастики
Журналы категории В
Вопросы языкового родства §
Вестник Воронежского государственного университета. Серия: Лингвистика
и межкультурная коммуникация
Древняя Русь. Вопросы медиевистики
Вестник Московского университета. Серия 19: Лингвистика и межкультурная
коммуникация
Русский язык в научном освещении §
Славяноведение
Журналы категории В+
Slověne
Acta Linguistica Petropolitana. Труды института лингвистических
исследований
Вестник Московского государственного гуманитарного университета им.
М.А. Шолохова. Серия: Филологические науки
Вестник Московского университета. Серия 9: Филология
Вестник Московского университета. Серия 13: Востоковедение
Вестник Российского государственного гуманитарного университета
(включая Московский лингвистический журнал)
Вестник Православного Свято-Тихоновского гуманитарного университета.
Серия 3: Филология §
Вестник Санкт-Петербургского университета. Серия 9. Филология.
Востоковедение. Журналистика
Вестник Томского государственного университета. Филология
Вопросы филологии* §
Вопросы психолингвистики §
Политическая лингвистика
Российская тюркология*
Урало-алтайские исследования*
Урало-алтайские исследования
Результаты \ Психология
Журналы категории A-1
Серия: Психология
Нет
Вестник Южно-Уральского государственного университета.
Серия: Психология
Журналы категории A-2
Нет
Журналы категории В+
Вестник Московского университета. Серия 14: Психология
Журнал практического психолога §
Мир психологии
Психологическая наука и образование
Вопросы психологии
Психологический журнал Международного университета
природы, общества и человека Дубна
Культурно-историческая психология
Российский психологический журнал
Методология и история психологии
Современная зарубежная психология
Психологические исследования: электронный научный журнал Теоретическая и экспериментальная психология
Психологический журнал
Психология. Журнал Высшей школы экономики
Журналы категории В
Psychology in Russia: State of the Art §
Вестник Южно-Уральского государственного университета.
Экспериментальная психология
Результаты \ История
Журналы категории A-1
Новая и новейшая история
Нет
Родина
Журналы категории A-2
Уральский исторический вестник
Ab imperio
Журналы категории В
Археология, этнография и антропология Евразии
Антропологический форум
Вестник древней истории
Вестник архивиста
Восток §
Вестник археологии, антропологии и этнографии
Древняя Русь: Вопросы медиевистики
Вестник Московского университета. Серия 8: История §
Отечественные архивы
Вестник Московского университета. Серия 13: Востоковедение §
Российская археология
Вестник Новосибирского государственного университета. Серия:
История, филология
Российская история
Средние века
Этнографическое обозрение
Журналы категории В+
Stratum plus: Археология и Культурная Антропология
Вопросы истории
Вопросы истории естествознания и техники
Исторический архив
Вестник Пермского университета. Серия: История
Вестник Санкт-Петербургского университета. Серия 2: История
Военно-исторический журнал
Диалог со временем* §
История. Электронный научно-образовательный журнал*
Клио
Результаты \ Экономика
Журналы категории A-1
Нет
Журналы категории A-2
Форсайт*§
Экономический журнал Высшей школы Экономики*§
Журналы категории В+
Вопросы экономики
Журнал новой экономической ассоциации
Журналы категории В
Вестник Института экономики РАН
Вестник Московского университета. Серия 6:
Экономика §
Инновации
Общество и экономика
Прикладная эконометрика
Проблемы прогнозирования
Пространственная экономика
Регион: Экономика и Социология*
Российский экономический журнал
Уровень жизни населения регионов России
ЭКО §
Экономика и математические методы
Экономист
Экономическая наука современной России §
Экономическая политика §
Результаты \ Социология
Журналы категории A-1
Журналы категории В
Нет
Вестник Института социологии*
Журналы категории A-2
Вестник Российского университета дружбы народов. Серия:
Социология
Журнал социологии и социальной антропологии
Социологический журнал* §
Вестник Томского государственного университета. Философия.
Социология. Политология
Социология: методология, методы, математическое
моделирование* §
Вопросы образования*
Экономическая социология* §
Мониторинг общественного мнения: экономические и
социальные перемены
Журналы категории В+
Общественные науки и современность
Laboratorium. Журнал социальных исследований
Свободная мысль
Вестник общественного мнения. Данные. Анализ. Дискуссии
Социологический альманах §
Журнал исследований социальной политики*
Мир России: Социология, этнология*
Телескоп: журнал социологических и маркетинговых
исследований
Социологические исследования*
Человек
Социологическое обозрение*
Что дальше?
• Публикация отчета по проекту с основными результатами
• Серия экспертных обсуждений результатов проекта по
направлениям
• Утверждение окончательных списков журналов
• Использование списков в работе НИУ ВШЭ
• Проведение опросов по дополнительным направлениям
(Образование и др.)
• Актуализация списков журналов путем проведения повторных
опросов и расширения круга экспертов
Спасибо за внимание!
Над проектом работали: Иван Стерлигов, Альфия Еникеева,
Арсений Петров, Сергей Соколов, Евгения Филимонова, Мария
Стерлигова, Валерия Кудашова.
Координация: Вадим Радаев, Мария Юдкевич, Александр
Костинский.
[email protected]
Отчет о проекте будет опубликован здесь:
http://www.hse.ru/academexpert/journals