Двухкритериальная задача построения оптимальных
реклама
Двухкритериальная задача построения оптимальных эллипсоидов для представления данных Бедринцев Алексей ИППИ РАН [email protected] Чепыжов Владимир ИППИ РАН [email protected] Аннотация В работе рассмотрена задача двухкритериальной оптимизации для поиска эллипсоидов, принадлежащих многограннику, которые имеют наименьший объем и содержат наибольшее количество точек из заданного множества. Представлено и проанализировано несколько методов построения приближения фронта Парето для этой задачи. Выполнено сравнение с методом Монте-Карло. 1. Введение Современные разработки сложных технических систем невозможны без использования обширного набора математических методов анализа данных и оптимизации. Для принятия инженерных решений проводятся расчеты или натурные измерения характеристик системы в различных условиях ее эксплуатации. Часто реальный эксперимент дорог, а расчеты специализированным программным обеспечением длительны. Чтобы уменьшить сроки и стоимость разработки, применяются продвинутые методы оптимизации, позволяющие уменьшить объем необходимых расчетов. При математическом моделировании реальные объекты представляются векторами в многомерном пространстве. Компонентами вектора являются значения физических или геометрических характеристик объекта, параметры его функционирования и внешней среды. Из предметной области известны ограничения на значения компонент вектора. Это могут быть как известные минимальные и максимальные значения отдельных величин, так и условия допустимости значений одних переменных при заданных других. Также, помимо необходимых условий, которым должен удовлетворять вектор, чтобы быть моделью реального объекта, имеются трудно формализуемые достаточные условия наличия реального, физически осмысленного прототипа данного вектора. Интуитивно 556 понятно, что вероятность найти реальный объект выше в области, где есть другие реальные объекты. Инженерная задача может быть сформулирована в виде минимизации одного или нескольких функционалов, зависящих от объекта, при условии выполнения ограничений типа равенства или неравенства. Для формулировки задачи оптимизации необходимо задать пространство дизайна – множества, из элементов которого будет выбираться наилучший удовлетворяющий заданным ограничениям. Область оптимизации должна иметь не очень большой объем, чтобы не содержать далекие от реальных объектов точки. При наличии множества реальных моделируемых объектов, область должна содержать как можно большее количество точек из этого множества. Для выпуклых оптимизационных задач разработаны эффективные методы решения, и такие задачи обладают рядом практически важных свойств, среди которых глобальность локального минимума и его единственность. В связи с этим хотелось бы представлять данные с помощью выпуклого геометрического тела. Плюсом будет несложное описание области, возможность легко генерировать точки в ней. Из этих соображений предлагается описывать множество заданных точек с помощью эллипсоида, принадлежащего множеству допустимых значений (см. [1], [2]). В данной работе изучается случай, когда множество допустимых значений – это выпуклый многогранник. Если на компоненты вектора накладываются нелинейные ограничения, они могут быть линеаризованы с нужной точностью. В статье рассмотрена задача двухкритериальной оптимизации объема и количества точек вне эллипсоида, который лежит внутри данного многогранника. Предложено несколько способов построения приближения фронта Парето. 2. Постановка задачи Пусть дано множество из N точек в d-мерном пространстве Х = { xi ∈ R d } переформулирована в виде однокритериальных задач N i =1 и многогранник D = { x ∈ R | Ax ≤ b} , заданный системой линейных d неравенств. Здесь А – матрица размером M × d , а b – вектор размерности M, неравенство для векторов понимается покомпонентно. Предполагается, что множество Х лежит в многограннике: Х ⊂ D . В реальных приложениях N ≫ d , поэтому будем считать, что точки множества Х не лежат в какомнибудь линейном подпространстве меньшей размерности. Это эквивалентно тому, что ранг системы векторов Х равен размерности пространства: Rg X = d . Уравнение эллипсоида имеет вид: { } E = x ∈ R d | ( x − c ) P −1 ( x − c ) ≤ 1 , T (1) где c – его центр (вектор размерности d), а P – симметричная положительно определенная матрица размером d × d : P = P, P ≻ 0 . Рассматриваются две функции на множестве эллипсоидов: • объем эллипсоида, вычисляемый по формуле T 1 vol ( E ) = wn ( detP ) 2 , где (2) wn - объем единичного n-мерного шара; • количество точек из множества Х, лежащих вне эллипсоида: { } K ( E ) = x ∈ X | ( x − c ) P −1 ( x − c ) > 1 . T (3) Поставим следующую двухкритериальную задачу оптимизации: найти эллипсоид, лежащий в многограннике D, объем которого минимален, и вне которого находится наименьшее число точек из заданного множества Х: min ( vol ( E ) , K ( E ) ) P ,c s.t. E ⊂ D (4) Решением задачи будет множество Парето – набор эллипсоидов, в котором все эллипсоиды являются недоминируемыми, т.е. для каждого эллипсоида из этого набора не существует допустимого эллипсоида, у которого оба критерия меньше. Отметим, что отличительной особенностью данной задачи является то, что один критерий, функция объема vol ( E ) , является непрерывной, а вторая, функция K ( E ) – дискретной. 3. Возможные подходы к решению Функция K ( E ) принимает только целочисленные значения от 0 до N. Поэтому задача (4) может быть 557 семейства vol ( E ) → min P ,c s.t. E ⊂ D, K ( E ) = j из N-d+1 (5) поиска внутри многогранника D эллипсоида E минимального объема, не содержащего ровно j=0…N-d точек из множества Х. Перебрав все варианты выбора тех j точек, которые не будут принадлежать эллипсоиду, строится минимальный по объему эллипсоид E ⊂ D , содержащий остальные точки Х. Затем выбирается наименьший по объему среди построенных эллипсоидов. Приведенные выше рассуждения показывают принципиальную возможность точного решения задачи (4). Однако описанный метод решения нереализуем на практике. Даже при малых объемах данных в несколько сотен точек и при значениях K ( E ) ~ 0.1 X число сочетаний СKN( E ) огромно, и полный перебор неосуществим за разумное время. В [1], [2] представлено несколько подходов к построению эллипсоидов, описывающих данные. Они были разработаны с учетом требования принадлежности эллипсоида многограннику, стремления получить в некотором смысле минимальный эллипсоид, содержащий максимальное число точек. Данные эллипсоиды кратко описаны в разделе 4. Они будут использоваться при построении приближения к фронту Парето задачи (4). В разделе 5 приводится описание процедуры Монте-Карло для решения данной задачи. Метод случайной генерации эллипсоидов легок в реализации и дает достаточно качественные результаты в пространствах малой размерности. В разделе 6 приведен алгоритм построения из одного эллипсоида серии приближений точек на фронте Парето. 4. Эмпирические методы В данном разделе рассмотрено несколько интуитивно понятных способов описания множества данных. Существуют классические задачи построения эллипсоидов, описывающих множество точек. Для одного из них – эллипсоида главных компонент – записана явная формула расчета координат центра и матрицы. Для других (эллипсоид минимального объема и эллипсоид с минимальным следом матрицы, содержащие точки выборки) задача их построения сведена к задаче выпуклого программирования. Для решения задач выпуклой оптимизации в данной работе применен пакет CVX для Matlab (см. [5]). Классические эллипсоиды, построенные по точкам, не учитывают информацию о многограннике D, и могут ему не принадлежать. Из эмпирических соображений предложено многогранника. две процедуры учета 4.3. Эллипсоид с минимальным следом его матрицы 4.1. Эллипсоид главных компонент Центром эллипсоида главных компонент (PCA – Principal Components Analysis) является среднее арифметическое точек выборки: с= 1 N N ∑x i =1 (6) i а матрица эллипсоида является обратной ковариационной матрице выборки (см. [9]-[12]): P −1 = 1 N N ∑ ( x − c )( x − c ) i =1 T i к (7) i Эллипсоид главных компонент без дополнительного изменения его параметров плохо описывает данное множество, так как длины его полуосей равны среднеквадратичному отклонению точек от среднего вдоль направления оси. При многомерном нормальном распределении точек выборки эллипсоид содержит 65% точек. Естественно преобразованием гомотетии относительно центра эллипсоида увеличить длину полуосей таким образом, чтобы все точки лежали внутри эллипсоида. Подробнее процедуры улучшения эллипсоидов описаны в разделе 4.4. 4.2. Эллипсоид минимального объема Оптимизационная задача для эллипсоида минимального объема, заданные точки, имеет вид: нахождения содержащего min vol ( E ) P ,c s.t. ( xi − c ) P −1 ( xi − c ) ≤ 1, i = 1...N Другой выпуклой функцией от матрицы является ее след, который равен сумме собственных значений. Поскольку объем эллипсоида пропорционален корню из произведения собственных значений матрицы, эллипсоид с минимальным следом его матрицы тоже является в некотором смысле минимальным эллипсоидом, описывающим данное множество точек. Для поиска эллипсоида с минимальным следом его матрицы, содержащего заданные точки, достаточно решить следующую задачу выпуклого программирования (см. [4]): min trP P ,c P s.t. ( x − c )T i ( xi − c ) 4.4 Процедуры многогранник 1 ≥ 0, i = 1..N вписывания эллипсоидов (9) в Эллипсоиды, представленные в разделах 4.1-4.3, строятся исключительно по множеству точек и не учитывают наличие многогранника. Ограничение на принадлежность эллипсоида многограннику может быть нарушено. В связи с этим предлагаются две процедуры изменения параметров построенных по множеству точек эллипсоидов, чтобы учесть многогранник и при этом сохранить большинство точек внутри эллипсоида. 4.4.1. Сжатие эллипсоида, чтобы он касался пересекаемых граней многогранника. Задан эллипсоид, который имеет центр внутри многогранника, но пересекает одну из его граней. Введем обозначение для метрики Махаланобиса: T x С помощью леммы Шура и замены переменных Q=P 1 − 2 1 − 2 и b = P c ее можно переписать в виде задачи выпуклого программирования (см. [4]): 2 P удаленную от центра эллипсоида по метрике Махаланобиса, связанной с эллипсоидом: Q ,b ( Qxi − b ) T I ≥ 0, i = 1...N i = arg max xi − c P . (8) Ограничение записано в виде линейного матричного неравенства, множество решений которого выпукло. Функция − ln det Q является выпуклой (см. [4]). 558 (10) Алгоритм описывается следующим образом (см. [1]): 1. Найти точку выборки xi , наиболее min − ln det Q 1 s.t. ( Qx − b ) i = xT P −1 x Преобразованием гомотетии относительно центра эллипсоида получить эллипсоид, на границе которого находится xi . 2. 3. Если эллипсоид не принадлежит многограннику, то повторять шаги 3-8. Линейным преобразованием перейти в пространство, в котором эллипсоид 4. 5. становится единичным шаром с центром в начале координат. Найти гиперплоскость с наименьшим расстоянием до центра шара. Найти любое ортогональное преобразование, переводящее вектор нормали к этой гиперплоскости в вектор (1, 0, 0,...) T . (1, 0, 0,...) T 6. Сжать шар вдоль направления 7. 8. так, чтобы гиперплоскость стала касательной к шару. Применить преобразование, обратное п. 5. Применить преобразование, обратное п. 3. 4.4.2. Построение эллипсоида, вписанного в эллипсоид, принадлежащий многограннику D. Пусть построен эллипсоид по точкам выборки. Предполагается, что он имеет небольшой объем и содержит максимальное количество точек, но может не принадлежать многограннику. Например, эллипсоид главных компонент, полученный в рамках процедуры 4.1, преобразованием гомотетии относительно своего увеличен так, что наиболее удаленная по метрике Махаланобиса точка лежит на границе эллипсоида. Или это эллипсоид с минимальным объемом (п. 4.2) или минимальным следом матрицы (п. 4.3), содержащие все точки. Чтобы получить эллипсоид, принадлежащий многограннику D, построим дополнительные ограничения в виде достаточно большого эллипсоида, лежащего внутри многогранника. Такому требованию удовлетворяет эллипсоид максимального объема, лежащий в многограннике. Его параметры вычисляются с помощью решения следующей задачи выпуклого программирования (см. [1], [4]): min − log detB B ,c ( bk − akT c ) I s.t . ( Ba )T k , (11) ≥ 0, k = 1..M bk − akT c Bak 1 = P 2 ≻ 0 связана с матрицей T эллипсоида, ak x ≤ bk - одно из неравенств системы, матрица B где задающей многогранник D. На практике, многогранник D может быть неограниченным. Поэтому добавим дополнительные условия. Найдем минимальные и максимальные значения координат точек из множества Х: α j = min { xij | xi ∈ X } , j = 1..d i =1... N β = max { xij | xi ∈ X } , j = 1..d j (12) i =1... N 559 В систему, задающую многогранник D, добавим условия, что значения координат вектора лежат не очень далеко от отрезка α j ; β j : α j − r (β j −α j ) ≤ x j ≤ α j + r (β j −α j ) (13) Параметр r принимает положительные значения порядка единицы и выбирается эмпирически. В качестве результата процедуры улучшения эллипсоида примем эллипсоид максимального объема, принадлежащий пересечению двух данных эллипсоидов – исходного эллипсоида, полученного по точкам X и эллипсоида максимального объема, лежащего в многограннике D с дополнительными гранями (13). Такой эллипсоид строится с помощью решения задачи выпуклого программирования (см. [4]). Среди точек, лежащих внутри построенного эллипсоида, находится наиболее удаленная от центра по метрике Махаланобиса, связанной с эллипсоидом, и преобразованием гомотетии относительно центра эллипсоид сжимается таким образом, чтобы эта точка лежала на границе эллипсоида. Последнее преобразование позволяет немного уменьшить объем эллипсоида, не изменяя значение K(E) . 5. Метод Монте-Карло Простым в реализации методом оценки Паретофронта является метод Монте-Карло, который «угадывает» недоминируемые эллипсоиды. Для применения этого метода необходимо выбрать диапазоны значений, в которых будут случайно генерироваться параметры эллипсоида. Понятно, что генерируемый эллипсоид должен быть близок к одному из эмпирических эллипсоидов, так как они содержат большинство точек и в некотором смысле минимальны по объему. Объемы эмпирических эллипсоидов на исследованных данных отличаются не принципиально. За основу решено взять эллипсоид главных компонент, как самый простой в реализации. Полуоси эллипсоида PCA – среднеквадратичное отклонение данных от среднего арифметического. При предположении о нормальном распределении данных, эллипсоид PCA содержит 65% данных, а при растяжении в три раза – 99.5%. При генерации эллипсоида будем выбирать полуоси в 2-4 раза длиннее, чем полуоси эллипсоида PCA. Центр эллипсоида будем генерировать в окрестности центра эллипсоида PCA. Длина диапазона для генерации каждой координаты центра пропорциональна разности максимального и минимального значений соответствующей координаты в множестве X. Для оценки Парето-фронта методом Монте-Карло применяется следующий алгоритм: 1. Построить эллипсоид главных компонент (формулы (6), (7)). 2. Найти максимальное и минимальное значение каждой координаты точки из множества Х по формулам (12). 3. Выбрать j-ю координату центра эллипсоида случайно в диапазоне j β j −α j j β j −α j с ∈ cPCA − ; cPCA + , 4 4 где вектор c PCA - центр эллипсоида главных j MC компонент. 4. Найти длины λ PCA 1 ,..., λ PCA d полуосей эллипсоида: корни (квадратные из собственных значений матрицы). 5. Сгенерировать с равномерным распределением длины полуосей в диапазоне λiMC ∈ 2λiPCA ; 4λiPCA . В каноническом базисе матрица эллипсоида будет иметь вид MC Pkanonical ( λ MC )2 0 1 = 0 ⋱ 0 0 0 2 ( λdMC ) 0 d (d + 1) независимых элементов. Общая размерность 2 множества параметров эллипсоида составляет dim E ( d ) = d (d + 1) d (d + 3) +d = 2 2 Поэтому при одинаковом количестве итераций точность метода Монте-Карло с ростом размерности существенно уменьшается. Кроме того, время, затрачиваемое на одну итерацию, растет из-за квадратичного увеличения размеров обрабатываемых матриц. 6. Дополнительные точки на фронте Парето В разделах 4-5 описаны способы построения отдельных эллипсоидов. Эмпирические эллипсоиды строились так, чтобы содержали как можно большее количество точек. Этим эллипсоидам соответствуют приближения фронта Парето задачи (4), которые лежат в нижней части графика K (vol ) . Однако на практике может быть целесообразно отбросить 10-20% точек, но существенно уменьшить объем множества дизайна. При этом находятся точки на фронте Парето с большими значениями 6. Выбрать случайное ортогональное преобразование в d-мерном пространстве: a. Сгенерировать матрицу размером d × d с независимыми элементами, имеющими стандартное нормальное распределение. b. Ортогонализовать ее методом Грамма-Шмидта. Полученную ортогональную матрицу обозначим S. 7. Применить полученное преобразование: MC P MC = S T Pkanonical S . Генерация одного эллипсоида завершена. 8. Повторить шаги 3-7 I раз (количество итераций является параметром алгоритма). 9. Из I эллипсоидов выбрать недоминируемые. 10. К Парето-оптимальным эллипсоидам применить процедуру, описанную в разделе 4.4.1. Метод Монте-Карло дает хорошую оценку истинного Парето-фронта в пространстве малой размерности. С ростом размерности количество параметров эллипсоида растет квадратично. Для того, чтобы в dмерном пространстве задать центр, необходимо d параметров, а симметричная матрица d × d имеет 560 (14) K(E) . Пусть дан эллипсоид, лежащий в многограннике, его матрица Р, а центр с. Заметим, что умножая матрицу Р на положительное число δ , получаем эллипсоид с тем же центром, но с полуосями, длина δ. В случае которых умножена на δ < 1 получающийся эллипсоид также лежит в многограннике. Посчитав расстояние от центра эллипсоида до каждой точки выборки Х по метрике Махаланобиса, порожденной эллипсоидом, получим набор расстояний: 2 ρi2 = xi − c 2 P Отберем те эллипсоида ( ρi . (15) точки, которые лежат ≤ 1 ). Затем отсортируем внутри их по убыванию. Последовательно умножая матрицу Р на ρi2 из отсортированного списка, получаем эллипсоид, который содержит, в общем случае, на одну точку меньше, чем предыдущий, но имеет меньший объем. В случае равенства нескольких скачкообразное изменение ρi2 возможно K ( E ) более чем на единицу. 7. Численные эксперименты Для численных экспериментов использован массив данных о профилях крыла самолета. Профиль задается содержащий все точки Х, к нему применена процедура из раздела 4.4.2. При построении эллипсоида максимального объема, ограничения (13) добавлялись по координатам, рассчитанным в сжатом пространстве c Рис. 1. Типичный профиль крыла самолета d=57-мерным вектором ординат zl ( x ) и zu ( x ) точек верхнего и нижнего контуров на местах с заданными абсциссами (см. [6]-[9]). Экспертами было отобрано множество N=206 профилей, которые используются в реальных самолетах. Описания этих профилей и составляют множество данных. Типичный профиль изображен на рисунке. Очевидно, что соответствующая ордината верхнего контура должна быть не меньше соответствующей ординаты точки нижнего контура: zu ( x ) − zl ( x ) ≥ 0 . Система таких неравенств задает многогранник D. В работах [6]-[9] показано, что без существенной потери точности можно снижать размерность вектора описания профиля до значения 6 с помощью линейного метода главных компонент. Процедура сжатия метода главных компонент описывается формулой y = C ( x − a) , (16) а процедура восстановления записывается следующим образом: ⌢ x = CT y + a . Подставляя (16) в систему неравенств задающую многогранник D, получаем линейных неравенств AC T y ≤ b − Aa , (17) Ax ≤ b , систему (18) задающую выпуклый многогранник в пространстве меньшей размерности. Проведем сравнение следующих методов: 1. PCA: построен эллипсоид главных компонент по точкам из Х (см. раздел 4.1), к нему применена процедура 4.4.1. После этого по алгоритму из раздела 6 получены дополнительные точки приближения к Парето-фронту. 2. MinVol: аналогично п. 1, только базовым эллипсоидом является эллипсоид минимального объема, содержащий все точки Х (см. раздел 4.2) 3. MinTrace: аналогично п. 1, только базовым эллипсоидом является эллипсоид с минимальным следом матрицы, содержащий все точки Х (см. раздел 4.3). 4. MinVol@MaxEnclosed: базовым эллипсоидом является эллипсоид минимального объема, 561 r= 1 . Потом применялась 2 процедура из раздела 6. 5. Monte Carlo: эксперимент проводился для числа итераций I=10000. Из серий дополнительных точек, полученных из отдельных недоминируемых эллипсоидов по алгоритму из раздела 6, строилось соответствующее приближение множества Парето. Было выбрано два значения размерности сжатого пространства. d=2 было взято, чтобы продемонстрировать применимость метода МонтеКарло к решению задачи в пространствах малой размерности. Размерность d=6 имеет практическое значение (см. [6]-[9]). 8. Выводы и перспективы На рис. 2-3 построены графики значения критериев, полученных с помощью различных алгоритмов. По оси абсцисс отложен объем (в логарифмическом масштабе), по оси ординат – количество точек, лежащих вне эллипсоида. При сжатии до размерности 2 эллипсоиды, построенные по методу Монте-Карло, доминируют над эллипсоидами, построенными эмпирическими методами. Совпадение точек для серий MinVol и MinVol@MaxEnclosed объясняется тем, что в двумерном пространстве эллипсоид, построенный по алгоритму 4.2, лежит внутри многогранника и алгоритмы постобработки вырождаются в тождественное преобразование. При увеличении размерности до 6 качество случайных эллипсоидов неудовлетворительно. На графиках видно, что при различных значениях K ( E ) наименьший объем имеют эллипсоиды, построенные различными методами. Поэтому для получения приближения к фронту Парето нужно использовать комбинацию изложенных в настоящей работе способов. При подготовке статьи было разработано множество других эмпирических методов. Однако они демонстрировали либо очень близкие значения критериев по сравнению с рассмотренными методами, либо были значительно хуже на использованных данных. Поэтому обзор этих методов не был включен в статью ради краткости изложения. Однако они могут давать лучшие результаты на других данных. В дальнейших исследованиях авторы планируют сосредоточиться на более продвинутых методах точного и приближенного двухкритериальной задачи. решения данной Рис. 2. Сравнение методов при d=2. 562 Работа выполнена при поддержке Российского фонда фундаментальных исследований (грант № 14-0100346). Рис. 3. Сравнение методов при d=6. Список литературы [1] Бедринцев А.А, Чепыжов В.В., Представление данных с помощью экстремальных эллипсоидов, материалы конференции ИТиС, Калининград, 2013. [2] Бедринцев А.А., Представление данных с помощью минимальных эллипсоидов, Труды 56-й научной конференции, Управление и прикладная математика, том 1, МФТИ, Москва, 2013. [3] Stephen Boyd et al., Linear Matrix Inequalities in System and Control Theory, SIAM studies in applied mathematics ; vol. 15, 1994. [4] Boyd S., Convex Optimization, Cambridge UniversityPress, 2004. [5] CVX: Matlab Software for Disciplined Convex Programming, http://cvxr.com/cvx. [6] А.В. Бернштейн, В.В. Вышинский, А.П. Кулешов, Ю.Н. Свириденко, Быстрый метод аэродинамического расчета для задач проектирования, Труды Центрального аэродинамического института им. проф. Н.Е. Жуковского. Выпуск №2678 «Применение искусственных нейронных сетей в задачах прикладной аэродинамики». М.: ЦАГИ, 2008. 563 [7] А.В. Бернштейн, А.П. Кулешов, Когнитивные технологии в проблеме снижения размерности описания геометрических объектов, Информационные технологии и вычислительные системы. 2008, №2. [8] А.В. Бернштейн, А.П. Кулешов, Математические методы построения метамоделей, Труды Третьей международной конференции «Системный анализ и информационные технологии» (САИТ-2009, 14-18 сентября 2009 г., Звенигород, Россия). 2009, с. 756 – 789. [9] Е.В. Бурнаев, С.С. Чернова, Об итеративном алгоритме подсчета главных компонент, Информационные процессы, Том 8, №2, 2008, с. 99107. [10] Jackson, J.E., A User’s Guide to Principal Components, New York: Wiley, 1991. [11] Jolliffe, I.T., Principal Component Analysis, Springer Series in Statistics, Berlin: Springer-Verlag, 1986. [12] Jackson, J.E., A User’s Guide to Principal Components, New York: Wiley, 1991. [12] Айвазян, С.А., Бухштабер, В.М., Енюков, И.С., Мешалкин, Л.Д., Прикладная статистика: классификация и снижение размерности, М.: Финансы и статистика, 1989.
