ПРОЕКТИРОВАНИЕ САМОРЕГУЛИРУЮЩЕЙСЯ РЕЙТИНГ-СИСТЕМЫ DESIGN OF SELF-SUFFICIENT RATING SYSTEM УДК 004.8

УДК 004.8
А.С. ТУГАРЕВ, В.А. КОЧУРКО
A.S. TUGAREV, V.A. KACHURKA
ПРОЕКТИРОВАНИЕ САМОРЕГУЛИРУЮЩЕЙСЯ
РЕЙТИНГ-СИСТЕМЫ
DESIGN OF SELF-SUFFICIENT RATING SYSTEM
В статье рассматриваются проблемы построения спортивных рейтинг-систем и описывается разработанная авторами саморегулирующаяся рейтинг-система для спортивного варианта игры «Что? Где?
Когда?», позволяющая обеспечить более высокую, чем у предшествовавших систем, адекватность ранжирования и долговременную стабильность абсолютных значений рейтингов.
Ключевые слова: рейтинг-система; автоматическое регулирование.
In given article authors consider the problems of the construction of sports rating systems and describe selfregulating rating system for sports version of the game "What? Where? When?", developed by the authors. This rating
system allows more adequacy of the ranking and long-time stability of the absolute values higher than precede systems.
Keywords: rating system; automatic regulation.
Рейтинг-система – это способ сравнить несколько элементов по тому или иному признаку, не имея возможности сравнить все элементы сразу, но имея возможность сравнивать
их попарно или небольшими группами [1]. Рейтинговая шкала обычно представляет собой
шкалу отношений, но для определения места в рейтинге вычисляется некоторая численная
величина. Рейтинг-системы достаточно часто применяются для ранжирования товаров,
услуг, сайтов и т.п.; при этом обычно сравнение является многокритериальным со значительной долей субъективности при скаляризации вектора показателей. Классическим примером однокритериальных рейтинг-систем являются спортивные рейтинг-системы, имеющие
цель адекватного ранжирования игроков или команд, в том числе и тех, которые ни разу не
встречались в официальных соревнованиях, что позволяет исключить субъективность при
отборе на турниры и распределении по сетке соревнований. Первые современные спортивные рейтинг-системы появились в конце 30-х годов XX века в шахматах. Впоследствии разнообразные рейтинги стали широко использоваться в футболе, теннисе, го, снукере, боксе,
кёрлинге, бридже и других видах спорта [2]. Широкое распространение рейтинг-системы получили с конца XX века, когда появились информационные системы, позволяющие автоматизировать хранение таблиц результатов и расчёты по ним. Во многих видах спорта (в
первую очередь в шахматах и футболе) различные рейтинг-системы сменяли друг друга или
существовали длительное время параллельно. Наиболее популярная система построения
рейтинга была создана Арпадом Эло в конце 50-х годов для шахмат и распространилась на
другие игровые виды спорта, однако в самих шахматах в начале XXI века Джеф Сонас [3] и
Марк Гликман [4] выступили с критикой рейтинга Эло, предложив более адекватные рейтинг-системы. Интересным развитием идей Гликмана стала рейтинг-система TrueScill, разработанная Microsoft для онлайновых многопользовательских игр Xbox LIVE [5].
Большинство рейтинг-систем имеют общую проблему – субъективность назначаемых
коэффициентов. Для рейтинг-систем, количество участников которых может существенно
расти со временем, характерна ещё одна проблема – инфляция (рост абсолютных значений
рейтингов на всех уровнях), делающая невозможной корректное сравнение разновременных
результатов. Кроме того, рейтинг-системы типа Эло оказались неудобны для видов спорта, в
которых результат определяется не через попарное противоборство, а в результате последовательных выступлений или массового соревнования в единых условиях – то есть для видов
спорта с распределением мест по времени при различных профилях трасс (лыжные гонки,
горные лыжи, санный спорт, марафонский бег и т.п.) и «балльных» видов спорта – соревнований с начислением очков (гимнастика, прыжки в воду, фигурное катание и т.п.).
Одним из «балльных» видов спорта является спортивный вариант игры «Что? Где?
Когда?» (далее – ЧГК), существующий с конца 80-х годов и распространённый преимущественно в русскоязычной среде (хотя проводятся турниры и на ряде других языков: украинском, грузинском, азербайджанском, узбекском, румынском, белорусском, польском, английском и пр.). Информация о распределении мест на турнирах сохранилась с 1998 года, а о
персональном составе команд – с 1999 года частично, а с 2005 года – полностью. В настоящее время существует более 3 тысяч активных команд ЧГК, более 20 тысяч человек более
чем в двух десятках стран регулярно играют в ЧГК.
На турнирах по ЧГК все команды, как правило, играют на одних и тех же вопросах и
получают по одному очку за каждый правильно отвеченный вопрос (хотя существуют турниры, где отдельные туры готовят участвующие команды по очереди, и итоговые баллы
начисляются в зависимости от мест, занятых в каждом туре). Для ЧГК характерны различная
длина вопросной дистанции (обычно от 36 до 120 вопросов) и различия уровня их сложности
для разных турниров; наличие как очных турниров, так заочных – строго или не вполне строго синхронизированных; возможность одновременного участия как ведущих команд, так и
новичков. Особенностью ЧГК как спорта является достаточно частое привлечение игроков,
входящих в базовые составы других команд, а также возможность участия в турнирах нерегулярных сборных.
Самая ранняя рейтинг-система ЧГК была разработана в 1996 году Одесским клубом
ЧГК (Леонид Черненко, Константин Кноп, Борис Бурда) и не стала общепризнанной как в
силу организационных причин (слабое распространение интернета и сложность сбора данных), так и в силу низкой разрешающей способности (все команды стартовали с рейтинга
2200 и после нескольких пересчётов диапазон расширился вверх и вниз не более чем на 7%).
Примерно в то же время Дмитрий Соловьёв разработал рейтинг-систему для команд
Саранска, а в 1998 году она стала глобальной. В саранском рейтинге команды по результатам
турнира получали бонусы (дополнительные очки рейтинга) по линейной арифметической
прогрессии: 100, 95, 90, 85 и т.д. Максимальный для турнира бонус устанавливался в зависимости от представительности турнира. В 1999 году стал подниматься вопрос о признании
саранского рейтинга как официального, но были очевидны его недостатки: субъективность
раздачи бонусов, закрытость промежуточных результатов и многочисленные ошибки.
В течение 2000 года выпускники МФТИ Максим Сидоров и Денис Мамонтов разработали рейтинг-систему, названную ими рейтингом Физтеха [6]. Стартовой градацией команд стали места саранского рейтинга. Рейтинг Физтеха имел статус полуофициального (в
частности, использовался при отборе на чемпионаты России) и поддерживался (обновляясь
дважды в год) до 1 января 2004 года. Проблемами рейтинга Физтеха были сложность системы подсчёта, гиперчувствительность (возможность попадания на достаточно высокие места
команд, сыгравших всего два-три турнира), а также большое количество ошибок.
Неудовлетворительность рейтинга Физтеха стала очевидна к 2004 году. В этом году
были созданы отдельный рейтинг для израильских команд [7] (поддерживался до 2013 года)
и официальный рейтинг Международной ассоциации клубов (МАК) ЧГК. Рейтинг МАК базировался на идее суммирования для каждой команды пяти лучших бонусов, набранных в
течение трёх лет (в реальности – почти всегда – за последний год, так как бонусы прошлых
лет понижались с коэффициентами 2/3 и 1/3). Команда, занявшая место x (от 1 до n), получала бонус по формуле, предложенной Михаилом Муном (здесь и далее все результирующие
значения в формулах округлены до целого):
 N
 1 x
  Ri + 1000  0,4
n ,
e
(1)
B = 1400arctg  i=1
 20000 




где
Ri – рейтинги команд, влияющих на расчёт турнира (все команды с рейтингом выше
70% от максимального на данном турнире, но не менее шести).
Формула (1) оказалась не вполне адекватна для турниров с небольшим количеством
участвующих команд и приводила к абсурдным ситуациям: победитель высшей лиги чемпионата Москвы получал бонус ниже, чем победитель первой лиги; первое место на турнире с
относительно слабым составом давало бонус выше, чем третье место чемпионата России
(что позволяло «накручивать» рейтинги, проводя частые локальные турниры); команда, занявшая последнее место на небольшом очном турнире с участием сильных команд, гарантированно получала значительный бонус и т.п. С 1 сентября 2007 года формула (1) была модифицирована: коэффициенты 1400 и 20000 были заменены на 1500 и 15000, но это не устранило неадекватности. Кроме того, проблемами этой рейтинг-системы, как и всех предыдущих, были инфляция и неучёт силы сборных команд.
После того как в 2009 году был запущен новый сайт рейтинга МАК [8], включающий
данные о реальных составах команд на всех турнирах (ранее эти составы собирались, но не
обрабатывались), вплотную встал вопрос о скорейшей замене рейтинг-системы. В 2010 году
комиссией по рейтингу МАК (Леонид Черненко, Константин Кноп, Роман Немучинский, Валентин Исраэлит, Алексей Тугарев, Вячеслав Гаранович, Андрей Волыхов) была разработана
новая формула расчёта бонусов, более адекватно, чем предыдущая, ранжирующая команды.
Согласно ей, для команд, участвующих в турнире, производится сортировка по рейтингу
R1  R2  R3  ... и т.д. Для каждого места x вычисляется бонус
15
B = C  ti Rx+i 1 ,
(2)
i=1
где
C – коэффициент, определяемый по последнему перед турниром релизу (обновлению)
рейтинга, исходя из возможности получения максимального бонуса (принято Bmax=2300) на
турнире, в котором участвуют 15 сильнейших команд мира;
ti – коэффициент уменьшения влияния нижестоящих команд (геометрическая прогрессия с первым членом, равным 1, и знаменателем 0,5).
Если несколько команд разделили места от x  L до x + L , то каждая из этих команд
получает среднее арифметическое от бонусов, начисленных на места этого диапазона.
Эта рейтинг-система обеспечила уникальность профиля каждого турнира и более высокую адекватность начисления бонусов. Однако сохранение аддитивного принципа (суммирование пяти лучших результатов) в условиях резкого увеличения числа турниров привело к
росту бонусов в верхней части таблицы рейтинг-листа и соответственно – в верхних частях
таблиц всех представительных турниров, что привело к снижению разрешающей способности рейтинга до критического предела: разница бонусов за первое и второе места может достигать 1, а в перспективе – бонус 2300 на турнирах с участием сильнейших команд будет
получать весь верх турнирной таблицы, что обессмысливает идею рейтинга.
Авторами данной статьи была разработана рейтинг-система для «балльных» видов
спорта, учитывающая все важнейшие требования, а именно:
– адекватность ранжирования;
– баланс между динамичностью и стабильностью (те, кто увеличивают силу игры,
должны быстро расти до того уровня, когда возможность роста будет остановлена соперниками; с другой стороны, одна-две победы не должны поднимать новичков на слишком высокие места, а разовое поражение мэтров не должно опускать их слишком низко);
– высокая разрешающая способность на вершине, минимизация вероятности деления
призовых мест в релизе рейтинга;
– долговременная стабильность тренда (исключение или минимизация инфляции);
– защищённость от возможности манипуляций («накрутки» рейтинга без участия в
соревнованиях высокого уровня и т.п.).
Основные положения предлагаемой рейтинг-системы:
1) Список участников турнира упорядочивается по убыванию рейтинга. По нему для
каждого из участников определяются прогнозируемое место MP (при равенстве рейтингов –
среднее арифметическое диапазона мест) и прогнозируемый балл BP по формуле (2).
2) По результатам турнира определяются занятое место M и балл B, равный прогнозируемому баллу для места M. Затем вычисляется балансная разность
D1 = k B  BP  ,
где k – коэффициент учёта отрицательных разностей (k=1 при BP<B; k<1 при BP>B).
3) Поскольку балансная рейтинг-система не может обеспечить положительное значение D1 для участника, посеянного на первое место, то предлагается для победителей и призёров турниров с высоким уровнем участников добавочный бонус
D2 = F eW  BBmax  ,
где
F – максимальный добавочный бонус;
W – коэффициент «убегания» экспоненты (принято W=0,05; при этом значении добавочный бонус уменьшается вдвое при B=2161 и становится нулевым при B около 1100).
4) Итоговый результат турнира для его участника
D  zD1  D2  ,
где
z – коэффициент влияния турнира (принято: z=1 для очных турниров, z=2/3 для синхронных турниров с точной синхронизацией по времени; z=0,5 для прочих синхронных).
5) В релизе рейтинга (например, ежемесячном) рейтинг каждого участника
m
Ri = Ri 1   Di ,
j=1
где
Ri-1 – рейтинг по предыдущему релизу;
m – число турниров, сыгранных за межрелизный промежуток.
Если R<0, принимается R=0. Также имеет смысл исключение из рейтинг-листа всех,
кто не принимал участия в турнирах в течение года, предшествующего релизу.
6) Исходный список рейтинг-листа может быть любым – система сойдётся к адекватному тренду из любого ненулевого состояния, но наилучшим (с точки зрения минимизации
переходных процессов) стартовым рейтинг-листом будет являться тот, в котором:
– верхняя часть списка уже ранжирована в примерном соответствии с реальной силой
(например, по результатам какого-либо крупного турнира);
– рейтинг лидера установлен на принятом для данной рейтинг-системы уровне (например, 11500 – из соображений совместимости с предшествующей рейтинг-системой);
– тренд убывания рейтингов обеспечивает высокую разрешающую способность в
верхней части таблицы (например, представляет собой геометрическую прогрессию).
7) В дальнейшем новые участники рейтинг-листа стартуют с нулевыми рейтингами.
8) Процесс увеличения числа участников рейтинга неизбежен, он означает появление
ненулевых рейтингов у всё большего количества участников – но этот процесс не должен
сопровождаться существенным ростом абсолютных значений в верхней части таблицы.
Наиболее подходящим представляется тренд, аппроксимируемый формулой
a
R
b .
lg  X  9 
9) Для обеспечения долговременной стабильности рейтинг-системы могут изменяться
коэффициенты k и F. Коэффициент k должен быть меньшим 1, поскольку часть участников
рейтинга уходят из спорта, но «рейтинговая масса» не должна уменьшаться. Фактически, коэффициент k характеризует прогиб тренда; при этом более высокие значения k вынуждают
повышать значения F, иначе абсолютные значения рейтингов у лидеров таблицы будут снижаться, поскольку проигрыши (занятие места ниже прогноза – для лидера рейтинга с вероятностью около 2/3) не могут быть скомпенсированы добавочными бонусами D2. На рисунке
1а показаны тренды релиза от 1.09.2006 при значениях коэффициентов k и F: 0,4 и 200; 0,5 и
300; 0,6 и 400 соответственно (чем выше значение k, тем ниже график). На рисунке 1б показана эволюция рейтингов некоторых мест с 1.06.1998 (от стартового релиза рейтинга, заданного как геометрическая прогрессия) по 1.09.2006 при значениях коэффициентов k и F: 0,4 и
200.
Рисунок 1 – Результаты моделирования рейтинг-системы ЧГК
без учёта влияния индивидуальных рейтингов игроков
а) варианты тренда при различных коэффициентах;
б) эволюция рейтингов некоторых мест
Описанная выше концепция построения рейтинг-системы может быть применена к
любым видам спорта, в которых нет отдельных игр между командами, парами или игроками,
и после каждого соревнования возможно построение полной таблицы мест. Однако для
спортивного ЧГК целесообразно внести уточнения, повышающие адекватность рейтингсистемы. С сентября 2006 года в ЧГК было введены правила, согласно которым команда
определяется не только названием, но и базовым составом (списком игроков, приписанных к
данной команде). После этой даты рейтинг-система ЧГК должна быть дополнена некоторыми специфическими принципами, учитывающими нестабильность состава команд:
10) Для игроков рассчитывается индивидуальный аддитивный рейтинг – суммируются пять лучших баллов B, набранных командами с участием каждого игрока за последнее
время: коэффициент учёта турниров последнего межрелизного промежутка равен 1, более
старых промежутков – пропорционально уменьшается (например, по геометрической прогрессии со знаменателем 0,8).
11) Для команды может быть рассчитан технический рейтинг – умноженная на нормирующий коэффициент Q сумма индивидуальных рейтингов шести наиболее высокорейтинговых игроков, отсортированных по убыванию индивидуального рейтинга с коэффициентами 1, 5/6, 2/3, 1/2, 1/3, 1/6 (возможны и другие наборы коэффициентов: например – 1, 1/2,
1/3, 1/4, 1/5, 1/6). Коэффициент Q вычисляется при релизе как среднее значение отношения
рейтинга к техническому рейтингу по базовому составу для лучших 100 команд, у которых в
базовом составе не менее 6 игроков. Технический рейтинг является независимой оценкой
силы команды, используемой в тех случаях, когда использование «обычного» рейтинга невозможно или не обеспечивает достаточной адекватности: для сборных, при непреемственном (существенно отличающемся от базового) составе (в этом случае команда, даже выступая под собственным названием, не получает рейтинговых баллов), а также в случае, когда в
составе команды играют не входящие в её базовый состав игроки с высоким рейтингом (соответственно команда должна быть «посеяна» на более высокое место).
12) Поскольку значительная часть новых команд создаётся из игроков, имеющих
ненулевой индивидуальный рейтинг, старт этих команд с нулевым рейтингом ухудшит адекватность прогноза на турнирах и может привести к перерегулированию (неоправданно высокому взлёту на ближайшем релизе). Поэтому имеет смысл давать новым командам стартовый
рейтинг на основе базового состава (технический рейтинг с понижающим коэффициентом,
например, 0,9), вносимый задним числом в предыдущий релиз, но без получения места в
этом релизе. Аналогично можно в начале сезона корректировать рейтинг команд, текущий
рейтинг которых оказался существенно ниже технического.
13) Внесение стартовых рейтингов становится третьим фактором роста «рейтинговой
массы» (помимо снижения отрицательных баллов и раздачи добавочных бонусов), поэтому
для стабилизации тренда неизбежно повышение коэффициентов k и – как следствие – F.
Возможно изменение коэффициентов k и F на границе сезонов или на каждом релизе (так же
как и адаптируемых коэффициентов C и Q). В частности, возможно автоматическое регулирование k – в зависимости от абсолютного значения рейтинга заданного места Mk (например,
места 100 на уровне 5000), а F – в зависимости от абсолютного значения рейтинга заданного
места MD (например, места 5 на уровне 11000) или суммы рейтингов первых N мест. Эксперимент показывает, что система способна самостоятельно поддерживать стабильность тренда; к 2014 году значения коэффициентов k и F устанавливаются близкими к 0,5 и 300 соответственно (с минимальными флуктуациями: в начале сезона после появления новых команд
наблюдается их рост, а к концу сезона – снижение).
Проверка адекватности предсказывающей способности рейтинг-системы осуществлялась через вычисление корреляции между значениями BP и B. На представительных турнирах
с качественными вопросами значения коэффициентов корреляции оказались не менее 0,9.
Таким образом, авторам удалось спроектировать саморегулирующуюся рейтингсистему для спортивного варианта игры «Что? Где? Когда?», способную обеспечить высокую адекватность ранжирования и долговременную стабильность.
СПИСОК ЛИТЕРАТУРЫ
1. Карминский А.М., Полозов А.А., Ермаков С.П. Энциклопедия рейтингов: экономика, общество, спорт. – М.: Издательский дом «Экономическая газета», 2011. – 349 с.
2. Полозов А.А. Рейтинг в спорте: вчера, сегодня, завтра. – М.: Советский спорт,
2007. – 316 с. – URL: http://polozov.nemi-ekb.ru (Дата обращения: 6.05.2014)
3. Sonas J. The Sonas Rating Formula – Better than Elo? – URL:
http://en.chessbase.com/post/the-sonas-rating-formula-better-than-elo- (Дата обращения:
6.05.2014)
4. Glikman M. Example of the Glicko-2 system. November 30, 2013. – URL:
http://www.glicko.net/glicko/glicko2.pdf (Дата обращения: 6.05.2014)
5. Николенко С.И., Сердюк Д.В., Сироткин А.В. Байесовские рейтинг-системы с учётом дополнительной информации о результатах. // Труды СПИИРАН. 2012. Т. 22. С. 189-204.
6. Сидоров М.В., Мамонтов Д.И. Правила подсчета рейтинга команд «Что? Где? Когда?» – URL: http://old.rating.maksa.ru/rules.htm (Дата обращения: 6.05.2014)
7. Рейтинг израильских команд. – URL: http://israel.chgk.info/rating/rating_max.htm (Дата обращения: 6.05.2014)
8. «Что? Где? Когда?» (спортивная версия). Официальный рейтинг МАК – URL:
http://rating.chgk.info/index.php (Дата обращения: 6.05.2014)
Тугарев Алексей Святославович
Государственный университет – УНПК, г. Орёл
К.т.н., доцент кафедры «Электроника, вычислительная техника и информационная безопасность»
Тел.: +7-906-661-57-90
E-mail: [email protected]
Кочурко Вячеслав Анатольевич
Брестский государственный технический университет, г. Брест (Беларусь)
Ассистент кафедры «Интеллектуальные информационные технологии»
Тел.: +375-29-204-56-51
E-mail: viachaslau.kacу[email protected]