ОЦЕНКА ЭФФЕКТИВНОСТИ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ С.А.Амелькин
advertisement
ОЦЕНКА ЭФФЕКТИВНОСТИ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ С.А.Амелькин Институт программных систем имени А.К.Айламазяна РАН ЗАДАЧИ Постановка задачи Формулировка критериев Построение алгоритма решения • Задача восстановления оценки • Задача составления рекомендации • Составление упорядоченного множества объектов RCDL'2012 Переславль-Залесский, 15-18 октября 2012 2 ЗАДАЧА ВОССТАНОВЛЕНИЯ ОЦЕНКИ • <Задача 1> Задачей рекомендательной системы является расчет значений ri, максимально близких к величинам vi, при заданном множестве пар (пользователь, объект), для которых известны vi. 𝑑(𝑅, 𝑉) → min, Метрики: совместно монотонны Функция близости Другие: корреляции, Махаланобис RCDL'2012 Переславль-Залесский, 15-18 октября 2012 3 ФУНКЦИИ БЛИЗОСТИ: МЕТРИКИ • Результат работы рекомендательной системы: вектор R=(r1, r2, …, rn) представляет собой точку в пространстве Mn, где M – множество (спектр) оценок, допустимых в используемой шкале. Этому же пространству принадлежит точка V=(v1, v2, … , vn). • Если на пространстве Мn выбрана норма ||V||, например, из класса lp, то соответствующее этой норме расстояние (метрика Минковского) может служить критерием эффективности. 1 𝑝 𝑛 𝑑 𝑅, 𝑉 = 𝑅 − 𝑉 = 𝑟𝑖 − 𝑣𝑖 𝑝 𝑖=1 Нормированное расстояние 𝑑′ 𝑅, 𝑉 = 1 −𝑝 𝑛 𝑑 𝑝=1 𝑅, 𝑉 . 𝑝=2 1 𝑑 ′ 𝑅, 𝑉 = 𝑚𝑎𝑒 = 𝑛 𝑑 ′ 𝑅, 𝑉 = 𝑟𝑚𝑠𝑒 = RCDL'2012 Переславль-Залесский, 15-18 октября 2012 𝑛 𝑟𝑖 − 𝑣𝑖 𝑖=1 1 𝑛 𝑛 𝑖=1 𝑟𝑖 − 𝑣𝑖 2 . 4 ФУНКЦИИ БЛИЗОСТИ: ДРУГИЕ • Расстояние Махаланобиса: 𝑑 2 𝑅, 𝑉 = 𝑅 − 𝑉 𝑇 𝐾 −1 (𝑅 − 𝑉), RCDL'2012 Переславль-Залесский, 15-18 октября 2012 5 ЗАДАЧА СОСТАВЛЕНИЯ РЕКОМЕНДАЦИИ • <Задача 2> Разделим принятую в данной рекомендательной системе шкалу на две страты: P – положительные оценки и N – отрицательные оценки. Тогда работа рекомендательной системы представляет собой проверку гипотезы H0: viP. viP viN riP положительный прогноз верен ошибка 1 рода (-ошибка) riN ошибка 2 рода (-ошибка) отрицательный прогноз верен RCDL'2012 Переславль-Залесский, 15-18 октября 2012 6 КОЭФФИЦИЕНТЫ АССОЦИАТИВНОСТИ precision точность positive prediction value recall (recall rate), Полнота true positive rate, sensitivity, hitrate, coverage negative prediction value точность отрицательного прогноза specificity специфичность accuracy 𝑡𝑝 𝑡𝑝 + 𝑓𝑝 𝑡𝑝 𝑟𝑐𝑙 = 𝑡𝑝 + 𝑓𝑛 𝑝𝑟𝑐 = 𝑡𝑛 𝑡𝑛 + 𝑓𝑛 𝑡𝑛 𝑠𝑝𝑐 = 𝑡𝑝 + 𝑓𝑛 совстречаемость 𝑡𝑝 + 𝑡𝑛 𝑎𝑐𝑐 = обозначив pa, pb — 𝑛 частоты a и b ошибок, acc = rcl + (1-)spc получаем связь между ними и аккуратностью 1 – pb = pa +acc RCDL'2012 Переславль-Залесский, 15-18 октября 2012 𝑛𝑝𝑣 = 7 КОЭФФИЦИЕНТЫ АССОЦИАТИВНОСТИ F-measure (F score) F мера (мера Ван Ризбергена) 1 + 𝛽 2 𝑝𝑟𝑐 ∙ 𝑟𝑐𝑙 𝐹𝛽 = = 𝛽 2 𝑝𝑟𝑐 + 𝑟𝑐𝑙 𝛼 1−𝛼 = + 𝑝𝑟𝑐 𝑟𝑐𝑙 1−𝛼 𝛽2 = 𝛼 false discovery rate 𝑓𝑑𝑟 = false positive rare fall-out 1 𝑓𝑝𝑟 RCDL'2012 Переславль-Залесский, 15-18 октября 2012 −1 𝑓𝑝 𝑡𝑝 + 𝑓𝑝 𝑓𝑝 𝑓𝑝𝑟 = 𝑡𝑛 + 𝑓𝑛 1 −1 + 𝑓𝑑𝑟 = pa 8 НЕОДНОЗНАЧНОСТЬ РЕЗУЛЬТАТА • Критерии могут быть противоречивыми: уменьшение уровня значимости (pa) возможно только за счет снижения мощности критерия проверки гипотезы (1 – pb). Если в качестве критериев деятельности рекомендательной системы выбраны несколько таких противоречивых критериев, то настройки системы могут обеспечить увеличение эффективности по одному из критериев только за счет ухудшения эффективности по другому. Зависимость между предельными значениями критериев эффективности называется множеством Парето. Такое множество для рекомендательных систем строится, как правило либо для показателей prc(rcl), либо для rcl(fpr). • Свертка критериев, например, коэффициент корреляции Мэтью: 𝑚𝑐𝑐 = 𝑡𝑝 ∙ 𝑡𝑛 − 𝑓𝑝 ∙ 𝑓𝑛 𝑡𝑝 + 𝑓𝑛 𝑓𝑝 + 𝑡𝑛 𝑡𝑝 + 𝑓𝑝 𝑡𝑛 + 𝑓𝑛 RCDL'2012 Переславль-Залесский, 15-18 октября 2012 9 СОСТАВЛЕНИЕ УПОРЯДОЧЕННОГО МНОЖЕСТВА ОБЪЕКТОВ • <Задача 3> Задача рекомендательной системы – найти такие оценки ri, чтобы для максимального числа пар (i, j) (i=1, …, n; j=1, … ,n; ij) выполнялось условие: 𝑟𝑖 > 𝑟𝑗 𝑟𝑖 = 𝑟𝑗 𝑣𝑖 > 𝑣𝑗 𝑣𝑖 = 𝑣𝑗 𝑟𝑖 < 𝑟𝑗 𝑣𝑖 < 𝑣𝑗 . RCDL'2012 Переславль-Залесский, 15-18 октября 2012 10 КРИТЕРИИ Критерием эффективности для задачи <3> может служить отношение числа правильно построенных порядков. В частности к таким критериям относятся: Расстояние Хэмминга (fraction of concordant pairs, dH): для всех пар (i, j) записываются двоичные коды 1, если 𝜈𝑖 ≥ 𝜈𝑗 ; 𝐶𝑖𝑗𝜈 = 𝜈 ∈ 𝑟, 𝑣 ; 0, если 𝜈𝑖 < 𝜈𝑗 ; 𝑛−1 𝑛 𝐶𝑖𝑗𝑟 ↔ 𝐶𝑖𝑗𝑣 . 𝑑𝐻 = 𝑖=1 𝑗=𝑖+1 Корреляция Пирсона 𝑛 𝑟= 𝑛 𝑟𝑖2 − 𝑟𝑖 𝑣𝑖 − 𝑟𝑖 2 𝑟𝑖 𝑛 𝑣𝑖 𝑣𝑖2 − 𝑣𝑖 RCDL'2012 Переславль-Залесский, 15-18 октября 2012 2 11 КРИТЕРИИ Косинус угла между векторами R и V: cos 𝜑 = 𝑟𝑖 𝑣𝑖 𝑟𝑖2 𝑣𝑖2 Выражение для cos аналогично корреляции r, только для вычисления косинуса используются не центральные, а начальные моменты. Непараметрические коэффициенты корреляции (Кендалла, Спирмена, Фехнера и пр.) Нормированный показатель дисконтированной накопленной выгоды (normalized discounted cumulative gain) — ndcg, — рассчитываемый, как отношение 𝑛 𝑑𝑐𝑔(𝑟) 𝜈𝑖 𝑛𝑑𝑐𝑔 = , где 𝑑𝑐𝑔 𝜈 = 𝜈1 + . 𝑑𝑐𝑔(𝑣) log 2 𝑖 𝑖=1 RCDL'2012 Переславль-Залесский, 15-18 октября 2012 12 • Сергей Амелькин • sam@sam.botik.ru RCDL'2012 Переславль-Залесский, 15-18 октября 2012 13
