Computer Vision: Stereo

Опыт организации
рецензирования
материалов международной
конференции “ГрафиКон”
Антон Конушин, к.ф.-м.н.
ВМК МГУ имени М.В. Ломоносова
Компьютерные науки
• Больший упор на конференции, по сравнению с
другими областями науки
• Короткий период получения новых результатов
• Простая экспериментальная проверка
• Публикации в журналах
• Расширенные версии лучших статей
• Обзоры
• Не прошедшие на топовые конференции работы
Общие правила на конференциях
• Печатные (электронные) труды
• Расширенные тезисы (4 страницы в 2 колонки),
полнотекстовые статьи (8 страниц в 2 колонки, 8-14
страниц в одну колонку)
• Международный программный комитет
• Двойное слепое рецензирование (Double Blind)
• 2-3 рецензии на работу
• Большой отсев (отсеивается 30-70% поданных работ)
• Распределение по устным (~15-20% от принятых) и
стендовым докладам
• Издание трудов с включением их в систему цитирования
(Springer, IEEE, ACM)
Примеры ведущих конференций
• ACM Siggraph
• 25000 участников
• IEEE Computer Vision & Pattern Recognition
• IEEE International Conference on Computer Vision
• 1500 участников
• European Conference on Computer Vision
• 1500 участников
• 1100 поданных, 325 принятных докладов
• Springer (Lecture Notes in Computer Science Series)
ГрафиКон - история
• Первая конференция организована в 1991 году
при тесной поддержке, в т.ч. Финансовой, ACM
Siggraph
• Более 1600 участников
• Быстрое сокращение количества участников в
90е-00е
• 1992 – 680 участников
• 1995 - 280 участников
• 2009 – 200 участников
• Единственная ежегодная конференция в области,
с международным программный комитетом и
доступными в интернете публикациями
Графикон – основные принципы
• Реализация всех основных требований к
конференции в компьютерных науках
• Расширенные тезисы и полнотекстовые статьи
• Электронная система подачи работ
• Международный программный комитет
• Двойное слепое рецензирование
Электронная система
• Функции электронной системы управления
конференцией
• Формирование программного комитета
– Рассылка приглашений (с подтверждением/отклонением)
• Подача работ
– Регистрация участников, загрузка работы, дополнительная
информация
• Организация рецензирования
–
–
–
–
Распределение работ на рецензирование
Электронная анкета для рецензента
Ранжирование и удаленный отбор работ
Уведомление участников, публикация отзывов
• Сбор финальных версий статей
Примеры
• START V2 ConferenceManager
• http://www.softconf.com
• Microsoft Conference Management Toolkit
• http://cmt.research.microsoft.com/cmt/
Программный комитет
• Задачи:
• Небольшая нагрузка (бесплатное участие)
– 1-6 работ на рецензирование одному рецензенту
• Широкое представительство
• Равномерное покрытие областей
• 2-3 рецензии на одну работу
• ГрафиКон-2011
• 60 рецензентов
• 40 организаций
• До 120 работ (360 рецензий)
Double Blind Review
• Двустороннее слепое рецензирование
• Информация о персоналиях лишь у
руководителей комитета
• Рецензент не знает авторов статьи
• Авторы не знают рецензентов
• Требования:
• Исключение всех упоминаний об авторах из поданной
работы
• Информация об авторах добавляется только при подаче
финальной версии для принятых работ
Анкета рецензента
• Принципы:
• Ряд параметров для оценки работы
• По каждому параметру даётся градация возможных
ответов
– Приводятся критерии для выбора ответа
• Резюме работы
–
–
–
–
–
Accept
Probably Accept
Borderline
Probably Reject
Reject
Анкета рецензента
•
•
•
•
•
•
•
•
•
Краткое описание работы
Уверенность рецензента
Соответствие тематике конференции
Научная новизна
Полнота обзора литературы
Понятность описания
Полнота экспериментального подтверждения
Резюме для авторов
Резюме для программного комитета
Ранжирование работ
• После завершения рецензирования проводится
ранжирование работ
• Руководство программного комитета анализирует
рецензии и принимает финальное решение
• Каждой оценке задаётся баллы и суммируются
• Верхние и нижние доли сразу принимаются/отвергаются
• Дискуссия по поводу промежуточных работ
Проблемы и сложности
• Двуязычность
• Зарубежные рецензенты могут рассматривать только
работы на английском языке, отечественные – и на
русском тоже
• Тяжело адекватно оценить и сравнить уровни работ
• Понижает интерес зарубежных участников
• Расширенные тезисы и полнотекстовые статьи
• Дополнительная сумятица
• Работы от молодых ученых (студенты, аспиранты)
• Выход – отдельная секция с отдельным отбором
Пример: ГрафиКон-2009
• 135 поданных работ
• 54 статьи отобраны для устной презентации (40%
присланных)
• 19 статей отобраны для презентации в рамках постерной
сессии.
• 12 статей отобраны для устной презентации школы
молодых ученых
• 9 статей отобраны для презентации в рамках постерной
сессии школы молодых ученых
• 30% отвергнуто
Основные временные затраты
• Инвестиционные:
• Формирование программного комитета (корпуса
рецензентов)
• Освоение системы управление конференцией
• Подготовка анкеты рецензента
• Постоянные:
•
•
•
•
Настройка электронной системы (1 день)
Распределение работ на рецензирование (1 день)
Отбор работ по результатам рецензирования (1 день)
Составление программы (1 день)
Будущее ГрафиКона
• Расширение программного комитета
• Полнотекстовые англоязычные работы
• Издание трудов в LNCS Springer