УДК 004.85 ПОСТРОЕНИЕ НАИЛУЧШЕЙ ФУНКЦИИ ЯДРА ДЛЯ
advertisement
УДК 004.85 ПОСТРОЕНИЕ НАИЛУЧШЕЙ ФУНКЦИИ ЯДРА ДЛЯ НАБОРА ДАННЫХ ПРИ ПОМОЩИ СИНТЕЗА ЯДЕР ИЗ ЗАДАННОГО МНОЖЕСТВА МЕТОДОМ ГРУППОВОГО УЧЁТА АРГУМЕНТОВ Коваников Д.В., магистрант гр. M4138, Университет ИТМО, Санкт-Петербург. Научный руководитель - Фильченков А.А., к.ф.-м.н., доцент каф. КТ, Университет ИТМО, Санкт-Петербург. Задача классификации объектов в наборах данных по их признакам является наиболее актуальной задачей в машинном обучении в настоящий момент. Она возникает в определении болезней человека в медицине, вероятности человека вернуть кредит, который он берёт в банке, и т.п. Для решения данной задачи уже существует множество классификаторов. Одним видом таких классификаторов является линейный классификатор. Он достаточно хорошо решает задачу, если выборка является линейно разделимой. К сожалению, далеко не все наборы данных обладают этим свойством. Однако существует метод, позволяющий преобразовать набор данных, чтобы он был линейно разделимым. Данный метод использует функцию ядра (kernel function). Но задача выбора оптимальной функции ядра требует экспертного мнения, и до сих пор не существует способа подбора подходящей функции для датасета. Это связано с тем, что самих функций достаточно большое число, у каждой есть параметры, а наборы данных имеют обычно достаточно большое число признаков, из-за чего затрудняется их ручной анализ. Поэтому возникает потребность в автоматическом выборе или даже создании наилучшей функции ядра. Доказана теорема, что для любого набора данных существует функция ядра, благодаря которой можно этот набор сделать линейно разделимым, однако она доказана не конструктивным способом. На данный момент даже алгоритмы подбора параметров для хорошо исследованных функций ядра не позволяют достичь наилучших результатов. Целью данной работы является исследование способа построения оптимальной функции ядра на основе синтеза ядер при помощи метода группового учёта аргументов. Синтез ядер можно представить как операцию, которая принимает несколько функций ядра и возвращает новую функцию ядра на основе переданных. Простыми примерами операций синтеза является произведение ядер или их линейная комбинация. При помощи синтеза не самых лучших функций ядра возможно получить более оптимальную функцию, недостижимую обычными методами. Метод группового учёта аргументов (МГУА) работает с поколениями функций, усложняя их структуру, но при этом находя оптимальный вариант. Наивное использование операций синтеза методом простого перебора и отсеивания худших функций по некоторым параметрам оценки качества классификации (точность, f-мера, AUC, др.) будет работать очень долго и может не дать желаемого результата. МГУА же может довольно оптимальным способом синтезировать ядра, при этом он не подвержен проблеме переобучения (overfitting). Стоит отметить, что данный метод ещё не применялся для синтеза ядер. Метод группового учёта аргументов содержит семейство алгоритмов, позволяющих порождать новые поколения функций. При этом также существует несколько критериев отбора непосредственно самих функций. Из-за такого разнообразия подходов задача об использовании МГУА требует более тщательного исследования. В данной статье рассмотрена задача синтеза ядер при помощи различных операций синтеза на основе метода группового учёта аргументов. Рассматриваемая задача не является тривиальной, так как самые простые и хорошо изученные функции ядра в плане синтеза показывают себя очень плохо. Приведённые выше примеры операций синтеза не являются самыми эффективными, к тому же другие операции содержат параметры, поэтому необходимо некоторым разумным образом выбирать эти параметры. Возможно, придётся придумывать новые способы синтезировать ядра. Также результат синтеза очень сильно зависит от того, какие были взяты функции ядра в качестве изначального множества, при этом стоит помнить, что у них ещё есть параметры. Все описанные ограничения показывают, что для эффективного решения задачи необходимо глубокое изучение вопроса и проведение многочисленных экспериментов. Возможные улучшения предложенного подхода могут проводиться в следующих направлениях: • Инициализация изначального множества функций ядер при помощи мета-обучения. Так как от выбранных в начале функций сильно зависит результат, логичным ходом будет попробовать выбрать наиболее подходящие к текущему набору данных функции ядра. • Оптимизация параметров функций ядра на каждом шаге. Данный подход является трудоёмким в плане вычислительных затрат. Однако в предположении, что достаточно синтезировать всего несколько поколений ядер и что оптимизация их параметров может уменьшить число поколений, этот способ может себя оправдать. Магистрант гр. M4138 ______________ Коваников Д.В. Научный руководитель ______________ Фильченков А.А. Зав. кафедрой КТ, Университет ИТМО ______________ Васильев В.Н.
