ПАРЕТО_2009x

Оптимальность по Парето
Введение
В науке и технике достаточно актуальны задачи многокритериальной
оптимизации [1,2,3], требующие одновременной оптимизации сразу по
нескольким
функциям
(критериям).
Краеугольным
понятием
в
многокритериальной
оптимизации
является
-Паретооптимальная (недоминируемая)
альтернатива,
т.к.
поиск
приемлемой
("оптимальной") альтернативы, являющейся решением многокритериальной
задачи, следует выполнять на множестве недоминируемых альтернатив. Именно
поэтому так актуальны методы, позволяющие выделять подмножества Паретооптимальных альтернатив из множества возможных альтернатив.
Для облегчения результатов полезно всё время проводить аналогию с
однокритериальным (классическим) случаем. Пусть имеется область D и задана
функция f – целевая функция (критерий). Задача оптимизации имеет вид
min f(X)
XD
Точка X1D называется оптимальной (недоминируемой, неулучшаемой),
если не существует точки X2D, для которой f(X1)>f(X2) (целевая функция
минимизируется). Аналогично в МЗО можно исключить из области D точки,
которые заведомо не могут оказаться наилучшими.
Очевидно, что в обобщённом смысле определение оптимальности можно
трактовать как описание (выделение) в подмножестве D некоторого нового
подмножества D0, т.е. некоторое сужение D до D0 D. В зависимости от характера
описания, подмножество D0 может оказаться пустым, состоять из одного
элемента, содержать более одного элемента. Описание D0 можно проводить либо
только с помощью критериев Fi, либо использовать дополнительные условия.
Здесь мы рассмотрим направление, которое связано с определением
оптимальности по Парето1.
Отношение доминирования по Парето. Парето-оптимальность
Как было сказано раньше для всякого решения XD набор его оценок по
всем критериям, т.е. набор (F1(X), F2(X), . . .,Fm(X)), есть векторная оценка
решения X. Векторная оценка X содержит полную информацию о ценности
(полезности) этого решения для ЛПР и сравнение любых двух решений
заменяется сравнение их векторных оценок. Пусть в МЗО требуется получить
меньшие значения каждого частного критерия (минимизировать частные
критерии) Fi(X).
Опр. Пусть имеются два решения X1 и X2. Говорят, что решение X1 лучше
(предпочтительнее, эффективнее, доминирует) решения X2, если Fi(X1)<=Fi(X2)
Наименование указанного понятия связано с именем итальянского экономиста Вильфредо Парето [1848 1923(24)].
1
1
для всех i=1,m, и хотя бы для одного j - го критерия выполняется строгое
неравенство Fi(X1)<Fi(X2). или
Опр. Решение X2 называется доминируемым, если существует решение X1, не
хуже чем X2, т.е. для любой оптимизируемой функции Fi, I=1, 2, …, m,
Fi(X2)Fi(X1) при максимизации функции Fi,
Fi(X2)Fi(X1) при минимизации Fi.
В случае доминирования при переходе от X2 к X1 ничего не будет
проиграно ни по одному из частных критериев, но в отношении j - го частного
критерия точно будет получен выигрыш. Говорят, что решение X1 лучше
(предпочтительнее) решения X2.
Опр. Стратегия X1D называется эффективной (оптимальной по Парето), если не
существует стратегии X2D такой, что Fi(X2) Fi(X1), i=1, . . ., m, F(X2)F(X1), или
Опр. Если решение не доминируемо никаким другим решением, то оно
называется недоминируемым или оптимальным в смысле Парето.
Очевидно, тогда в составе множества D нет смысла сохранять решение X2,
оно вытесняется (или, как говорят, “доминируется”) решением X1. Ладно,
выбросим, решение X2 как неконкурентоспособное и перейдём к сравнению
других решений по всем критериям. В результате такой процедуры отбрасывания
заведомо непригодных, невыгодных решений множество D обычно сильно
уменьшается: в нём сохраняются только так называемые эффективные (иначе
“паретовские”) решения, характерные тем, что ни для одного из них не
существует доминирующего решения. Множество таких точек и называется
множеством точек оптимальных по Парето. Множество точек оптимальных
по Парето лежат между точками оптимумов, полученных при решении задачи
математического программирования для каждого частного критерия. В
литературе множество точек оптимальных по Парето, как правило,
обозначают буквой P (PD).
Опр. Множество векторных оценок, соответствующих множеству эффективных
точек, называют областью компромиссов (переговорным множеством) или
множеством Парето в области критериев. Будем обозначать YP (YP YD).
Опр. Множество векторных оценок, соответствующих множеству неэффективных
точек (доминируемых решений), называют областью согласия Yc.
В области Yc нет противоречия между частными критериями
оптимальности, т.к. каждая точка XD может быть изменена таким образом, что
будет одновременно улучшены все частные критерии.
Если область критериев YD состоит только из области согласия Yc, то существует
единственная точка XoptD, в которой все частные критерии согласованны между собой в том
смысле, что при движении к точке Xopt все Fi(X) i=1, 2, . . ., m, одновременно улучшаются. Все
частные критерии достигают минимума в т. Xopt (см. рис. 1). Такую точку называют
оптимальным решение и
2
F1, F2
F1
F1opt
F2
F2opt
D
Xopt
x
Рис. 1. Критерии F1 и F2 непротиворечивы
при этом значения всех частных критериев достигают в ней минимума.
Однако такая ситуация встречается крайне редко. Наиболее типичным
является случай, когда частные критерии являются противоречивыми и минимум
по каждому из них достигается в различных точках. В этом случае уменьшение
одного частного критерия приводит к увеличению других частных критериев
(рис. 2).
Рис. 2 Критерии F1 и F2 противоречивы на отрезке [1; 2]
Оптимальность по Парето означает, что нельзя дальше улучшать значение
одного критерия, не ухудшая при этом хотя бы одного из остальных.
Проиллюстрируем приём выделения паретовских решений на примере
задачи с двумя критериями F1 и F2 (оба требуется максимизировать). Множество
D состоит из 11 возможных решений. Каждому решению соответствуют
определённые значения показателей F1 и F2. Пусть имеются следующие
векторные оценки: F(X1)=(2;4), F(X2)=(3;5), F(X3)=(3;3), F(X4)=(5;2), F(X5)=(4;3),
F(X6)=(1;3), F(X7)=(2;3), F(X8)=(3;2), F(X9)=(2;2), F(X10)=(3;1), F(X11)=(2;1).
Векторные оценки исходов представим точками координатной плоскости (по оси
абсцисс откладываем значения критерия F1, а по оси ординат – значения критерия
F2). Используем принцип оптимальности по Парето для выделения эффективных
решений. Решение X1 вытесняется решением X2, решение X2 лучше решений X3,
X7, X8, X9, X10 и X11. Решение X4 по первому критерию лучше решения X5, а по
3
второму наоборот, т.е. имеем неулучшаемые решения, и т.д. После проведённого
анализа у нас остались три решения X2,X4, X5 оптимальных по Парето.
Построим критериальное пространство для нашей задачи. Как известно паре
чисел соответствует точка на плоскости. Занумеруем точки соответственно
номеру решения (рис 3). Из рисунка видно, что эффективные точки лежат на
правой верхней границе области возможных решений (Ауд. решить данную
задачу, когда оба критерия нужно минимизировать).
F2
5
2
1
6
max
7
3
9
8
11
10
5
1
min
1
4
5
F1
Рис. 3. Множество Yk
Когда из множества возможных решений выделены эффективные,
“переговоры” могут вестись уже в пределах этого “эффективного” множества. На
рис 3. образуют три решения X2, X4, X5; из них X4 лучше по критерию F1, а
решение X2 по критерию F2. Дело ЛПР, выбрать тот вариант, который для него
предпочтителен и “приемлем” по обоим критериям.
Замечание. Точка Y1 выбирается в YD в том и только в том случае, когда любая
другая точка Y2 из YD имеет хотя бы по одной координате значение больше чем
Y1 (критерии минимизируются).
Замечание. Для определения эффективных точек используют правило “уголка”.
Уголок вида
∟ используется для определения компромиссных точек в
критериальном пространстве, когда критерии максимизируются, а уголок
┐когда критерии минимизируются.
В случае, когда множество допустимых исходов является непрерывным, их
векторные оценки "заполняют" некоторую область YD на плоскости и получается
"картинка" вроде изображённой на рис.4. В этом случае множество Паретооптимальных оценок (красная линия) представляет собой часть границы YD,
образно говоря, её "юго-западную" границу". Если критерии максимизируются то
– "северо-восточную" границу области YD.
4
Рис. 4. Пространство оценок YD
и компромиссная кривая (красный цвет)
Замечание. В случае невыпуклой области её Парето-оптимальная граница может
иметь более "экзотический" вид, например, состоять из отдельных линий и/или
точек. Для данного примера (критерии максимизируются) — это правый пик.
Замечание. Экономисты так определяют оптимальность по Парето. Состояние
называется оптимальным по Парето, если выполняется следующее условие: ничьё
благосостояние не может быть улучшено без ухудшения благосостояния коголибо другого (см. История экономических учений. /Под ред. В. Автономова: Учеб.
Пособие. – М.: ИНФА – М, 2000. – 784 с. (стр. 242)).
Таким образом, под оптимально-компромиссным решением будем понимать
одну из эффективных точек, являющуюся предпочтительней с точки зрения ЛПР.
Задача векторной оптимизации не позволяет однозначно ответить на вопрос,
получено ли оптимальное решение. Положительный ответ на этот вопрос зависит
от качественной информации о важности частных критериев, которая имеется у
ЛПР.
Аналитические методы построения множества
Парето
Компромиссная кривая
Особый интерес для практики — m=2. В этом случае множество
паретовских точек представляет собой одномерное многообразие на плоскости и
допускает удобное графическое представление.
Опр. Множество паретовских точек в двухмерном пространстве критериев
называют компромиссной кривой.
Компромиссная кривая — потому что именно здесь увеличение одного из
критериев можно достичь лишь уменьшением другого. Она может состоять из
5
несвязных кусков и содержать изолированные точки (см. рис. 5). Компромиссная
кривая (КК) строго монотонно убывает в следующем смысле. Пусть Y1 и Y2
произвольные точки, принадлежащие КК. Обозначим их координаты Y1(y1,y2) и
Y2(y3,y4), если y1<y3, то y2>y4. Таким образом, КК не содержит ни
горизонтальных, ни вертикальных отрезков и её уравнение может быть
представлено в форме F2=u(F1) и F1=v(F2).
Рис. 5. Примеры КК (компромиссная кривая выделена красным цветом)
Расчёт компромиссных кривых.
Аналитический подход. Если функции F1(X) и F2(X) дифференцируемы, то можно
попытаться найти геометрическое место точек соприкосновения поверхностей
уровня F1(X)=b1 и F2(X)=b2. В таких точках gradF1=-gradF2, 0  .
Последнее векторное уравнение равносильно n скалярным алгебраическим
уравнениям
F1
F
  2 ,. j = 1,n, которые определяет кривую в пространстве
x j
x j
параметров x1=1(), ..., xn=n(). Если участок этой кривой, на котором 0
принадлежит множеству D, то он принадлежит и множеству P (P - множество
Парето). Участок КК в этом случае определяется параметрическими уравнениями:
F1=F1(1(), ..., n()),
F2=F1(1(), ..., n()), 0.
Вдоль этой кривой
𝑛
𝑛
𝜕𝐹1
𝜕𝐹2
𝑑𝐹1 = ∑ (
) 𝜕𝜑𝑖 = − ∑ (
) 𝜕𝜑𝑖 = −𝑑𝐹2 ,
𝜕𝑥𝑖
𝜕𝑥𝑖
𝑖=1
𝑖=1
откуда для наклона компромиссной кривой получаем выражение
𝑑𝐹2
𝑑𝐹1
1
=− .

Пример 1. В квадрате D={-1 x1  1, -1 x2  1} заданы два критерия
F1 ( x1 , x2 )  4 x12  x22 , F2 (x 1 , x 2 ) = (x 1  1) 2  (x 2  1) 2 ,
которые
желательно
минимизировать.
1. Находим минимумы функций F1 и F2 . Абсолютные минимумы находятся в
точках (0,0) и (-1,1) и принадлежат D.
6
2. Находим частные производные
F1
F2
F2
F1
 8x1 ;
 2( x1  1);
 2( x2  1);
 2x2 , составляем систему уравнений
x1
x1
x2
x2
4x1=- (x1+1)
x2=- (x2-1).
Отсюда получаем параметрическое уравнение кривой в пространстве параметров
x1 ( )  

4
; x 2 ( ) 

 1

Параметрическое уравнение КК будет иметь следующий вид
    
F1()= 4 
 
 ,
 4  
1 
2
2
2
2


  

 1  
 1 .
F2()=  
 4    1   
Закономерность КК: F1 возрастает от 0 до 5, а F2 убывает от 2 до 0.
Построим графики паретовских кривых в области D и пространстве критериев
(рис. 6 и 7).
x2
Множество P
1
F2
Область D
КК
-1
1
-1
Рис. 6. Область D и множество P
x1
1
1
3
1
F1
Рис. 7. Компромиссная кривая
Замечание. В данном случае можно получить уравнение этой кривой (P) в
декартовых прямоугольных координатах. Для этого решаем эти уравнения
относительно параметра . Получим

4 x1
,
x1  1

4 x2
.
x2  1
Приравнивая правые части и разрешая относительно x 2, получим уравнение
4x
паретовской кривой P: x ( x )  1 .
2 1 3x 1.
1
7
Пример 2. В области D={-0.5  x1  0.5, 0  x2  1} заданы два критерия
F1  x12  4x22 , F2 = (x1  1) 2  (x 2  1) 2 , которые нужно минимизировать с учетом
функциональных ограничений x2-x1-0.375  0.125.
а) рассмотрим сначала случай без функциональных ограничений
1. Находим минимумы функций F1 и F2. Абсолютные минимумы находятся в
точках X1opt=(0,0) и X2opt=(-1,1) и первая точка принадлежат D, а вторая нет.
Находим условный минимум для функции F2: X2услов=(-0.5, 1); вычислим значения
частных критериев в этой точке F2(-0.5,1)=0.25, F1(-0.5,1)=4.25.
2. Находим частные производные
F1
F2
F2
F1
 2x1 ;
 2( x1  1);
 2( x2  1);
 8x2 , составляем систему уравнений
x1
x1
x2
x2
2x1=- (x1+1),
8x2=- (x2-1).
Отсюда получаем параметрическое уравнение кривой в пространстве параметров
x2 

4
; x1  

 1

В данном случае можно получить уравнение этой кривой в декартовых
прямоугольных координатах. Для этого решаем эти уравнения относительно
параметра . Получим

4 x1
,
x1  1

4 x2
.
x2  1
Приравнивая правые части и разрешая относительно x2, получим уравнение
x
паретовской кривой P: x2   1 . Найдём точку пересечения кривой
3x1  4.
x
x2   1 с x1=-0.5. Получим Xп=(-0.5; 0.2). Это соответствует случаю, когда
3x1  4.
λ меняется от 0 до 1 (0≤ λ≤1).
Параметрическое уравнение КК будет иметь следующий вид (когда точки
X1opt=(0,0) и X2opt=(-1,1) принадлежат области D)
 
  

F1()= 
  4
 ,
1  
 4
2
2
2
2
1 
 4 
F2()= 
 
 .
1 
 4  
Закономерность КК: F1 возрастает от 0 до 4.25, а F2 убывает от 2 до 0.
Построим графики паретовских кривых в области D и пространстве критериев
(рис. 8 и 9).
8
Xп
Рис. 8.
Область D и множество P
Рис. 9. Компромиссная кривая
Рис. 10. Пространство оценок и компромиссная кривая
б) введём функциональные ограничения. Область D в этом случае будет иметь
вид (рис. 11). Находим условный минимум для функции F1 и F2 . Они лежат в
точках X1opt=(0,0) и X2opt=(-0.5, 1). Как видно из полученных результатов точки
минимумов не изменились.
Рис. 11. Область D
Рис. 12. Пространство оценок
9
Рис. 13. Область D (синий цвет) и множество Парето (тёмно-синий цвет)
Из рассмотренного примера видно, что нахождение множества P в
аналитическом виде является сложной задачей. Поэтому в настоящее время
широко используются численные методы построения решений оптимальных по
Парето (см. раздел "Численные методы получения множеств Парето").
Способы сужения Парето-оптимального множества
Выделение множества Парето МЗО часто не является удовлетворительным
решением. Это связано с тем, что при достаточно большом исходном множестве
вариантов множество Парето оказывается недопустимо большим для того, чтобы
ЛПР было бы в состоянии осуществить выбор самостоятельно. Таким образом,
выделение множества Парето можно рассматривать лишь как предварительный
этап оптимизации, и налицо проблема дальнейшего сокращения этого множества.
Для выбора одной оптимальной стратегии из множества эффективных
решений в каждой конкретной многокритериальной задаче необходимо
использовать дополнительную информацию о цели операции, т.е. ту
информацию, которая при
задании векторного критерия осталась
неформализованной и потому неиспользованной.
Наиболее логичным и последовательным представляется путь построения
бинарного отношения предпочтения, более сильного, чем отношение Парето,
позволяющего сузить множество выбираемых вариантов до приемлемых с точки
зрения ЛПР размеров. Разумеется, для этого потребуется некоторая
дополнительная информация, которую придётся получить от ЛПР. Это может
быть информация о критериях, о самих сравниваемых вариантах и т.п. Задача,
стоящая перед создателями методов, заключается в том, чтобы с помощью этой
информации обосновать свои действия по сужению выбора и гарантировать ЛПР
от того, чтобы ни один из вариантов, представляющих для него интерес, не был
потерян в процессе оптимизации.
Необходимо отметить, что необоснованность сужения множества Парето
является существенным недостатком многих методов многокритериальной
оптимизации. Многокритериальная оптимизация: Математические аспекты /Б.А
Березовский, Ю.М. Барышников и др. - М.: Наука, 1989. - 128 с.
10
Таким образом, общая методика исследования задач принятия решения на
основе математического моделирования для МЗО может быть реализована в
рамках одного из следующих подходов.
Первый подход. Для заданной многокритериальной задачи оптимизации
находится множество её Парето-оптимальных решений, а выбор конкретного
оптимального варианта из множества Парето-оптимальных предоставляется ЛПР.
Второй подход. Как уже было сказано выше, производится сужение
множества Парето-оптимальных исходов (в идеале – до одного элемента) с
помощью некоторых формализованных процедур, что облегчает окончательный
исход для ЛПР. Отметим, что такое сужение может быть произведено только при
наличии дополнительной информации о критериях или свойствах оптимального
решения.
Рассмотрим некоторые простейшие способы сужения Парето-оптимального
множества, акцентируя при этом внимание на необходимость дополнительной
информации. Считаем, что задана многокритериальная задача оптимизации.
Указание верхних границ критериев. Дополнительная информация об
оптимальном исходе XoptD в этом случае имеет вид
()
Fi ( X opt )  Ci , i  1, m.
Число Ci рассматривается здесь как верхняя граница по i – му критерию.
Отметим, что указание верхних границ по критериям не может быть
"извлечено" из математической модели задачи принятия решения; набор
ограничений (C1, C2, , Cm) представляет собой дополнительную информацию,
полученную от ЛПР.
Задача. Выбор места работы
Предположим, что Вам предстоит выбрать место работы из девяти
вариантов, представленных в табл.1. В качестве основных критериев взяты:
зарплата З, длительность отпуска Д, время поездки на работу В. Из смысла задачи
следует, что критерии З и Д следует максимизировать, а критерий В –
минимизировать. Какой вариант является оптимальным?
Таблица 1
Варианты
Зарплата,
(руб.)
1
2
3
4
5
6
7
8
9
900
500
700
800
400
600
900
600
650
Критерий
Длительность
отпуска,
(дни)
20
30
36
40
60
30
35
24
35
Время поездки,
(мин)
60
20
40
50
15
10
60
10
40
11
Решение. Выделим вначале Парето-оптимальные варианты. Отбрасывая
доминируемые по Парето варианты {1, 2, 8, 9}, получаем Парето-оптимальное
множество {3, 4, 5, 6, 7}. При отсутствии информации об относительной
важности рассматриваемых критериев, а также о каких-либо дополнительных
свойствах оптимального решения дальнейшее сужение Парето-оптимального
множества произвести нельзя. Тогда формальный анализ заканчивается указанием
Парето-оптимального множества и окончательный выбор оптимального варианта
производится ЛПР из этих пяти вариантов на основе каких-то дополнительных
соображений.
Рассмотрим теперь второй подход, который приводит к сужению Паретооптимального множества на основе дополнительной информации, получаемой от
ЛПР.
а) Указание нижних границ критериев. Наложим, например, следующие
ограничения на оптимальное решение:
зарплата — не менее 600 рублей;
длительность отпуска — не менее 30 дней;
время поездки — не более 40 минут.
Варианты, удовлетворяющие этим дополнительным ограничения: {3, 6, 9};
из них оптимальными по Парето являются варианты 3 и 6. Остаётся сделать
окончательный выбор между вариантами 3 и 6.
б) Субоптимизация. Пусть в качестве выделенного (главного, важнейшего)
критерия выступает критерий зарплата; ограничения длительность отпуска — не
менее 30 дней, время поездки — не более 40 минут. Отбросим варианты, которые
не удовлетворяют данным ограничениям; остаются варианты: {2, 3, 5, 6, 9}. Из
них максимальную зарплату имеет вариант 3. Этот вариант и будет оптимальным.
в) Лексикографическая оптимизация.
Упорядочим критерии по
относительной важности. Например, следующим образом: З  В  Д (т.е.
важнейший критерий — зарплата, следующий за ним по важности время поездки,
наименее важный критерий длительность отпуска). Максимальное значение по
критерию З имеют варианты 1 и 7. Далее сравниваем эти варианты по второму по
важности критерию В. Так как время поездки для этих вариантов одинакова,
переходим к третьему критерию Д; по критерию длительность отпуска лучшим
является вариант 7, который и является здесь оптимальным.
Задание. Проверьте, что при упорядочении В  Д  З оптимальным
является вариант 6, а при упорядочении Д  З  В – оптимальным становится
вариант 5.
Численные методы получения множеств Парето
Часто используют следующий подход. Во множестве D выбирается
некоторая сетка, например, координаты которой определяются с помощью
датчика случайных чисел, распределённых по равномерному закону. Потом
вычисляют значения векторного критерия F в точках этой сетки, после чего за
конечное число сравнений, используя функцию выбора по Парето, строится
множество Парето на указанной сетке, являющееся при большом N
приближением множества Парето относительно D (N - число точек сетки).
12
Для наглядности будем рассматривать двумерный случай, т.е. n=m=2. 𝑋 =
𝑥1
(𝑥 ) , 𝐹(𝑥1 , 𝑥2 ) =(F1(x1, x2),F2(x1, x2)).
2
Рис.11. Левый рисунок – область D и P (красная линия), правый рисунок – область векторных
оценок YD и КК (красная линия)
Литература
1. Подиновский В.В., Ногин В.Д. Парето-оптимальные решения
многокритериальных задач. -- М.: "Наука", 1982. -- 254 с.
2. Соболь И.М., Статников Р.Б. Выбор оптимальных параметров в задачах со
многими критериями. -- М.: Наука, 1982. -- 110 с.
3. Ногин В.Д. Принятие решений в многокритериальной среде.
Количественный подход. -- М.: Физматлит, 2002. -- 176 с.
4. Сушков Ю.А. Метод, алгоритм и программа случайного поиска // -- Л.:
ВНИИТрансМаш, 1969. -- 43 с.
5. Сушков Ю.А. Об одном способе организации случайного поиска //
Исследование операций и статистическое моделирование. -- Л. ЛГУ. 1972.
Вып.1. -- С.180-185.
6. Deb K. Multi-objective Genetic Algorithms: Problem Difficulties and Construction of Test Problems. // Evolutionary Computation -- vol.7, 1999. -- pp. 205-230.
7. Deb K. Evolutionary Algorithm for Multi-Criterion Optimization in Engineering
Design // Proceedings of Evolutionary Algorithms in Engineering and Computer
Science (EUROGEN-99) -- pp. 135-161.
13
8. Zitzler E., Thiele L. Multiobjective optimization using evolutionary algorithms -A comparative case study. // Parallel Problem Solving from Nature -- Springer,
Berlin, Germany. -- pp. 292-301.
9. Черноруцкий И. Г. Методы оптимизации и принятия решений. -- СПб.:
Лань, 2001. -- 384 с.
10.Сушков Ю.А. Многокритериальность в многорежимных системах. //
Архитектура и программное оснащение цифровых систем. -- М.: МГУ,
1984. -- С . 71-77.
11.Курячко В.П., Курейчик В.М., Норенков И.П. Теоретические основы САПР.
-- М.: Энергоатомиздат, 1987. -- 400 с.
12.Абакаров А.Ш., Сушков Ю.А. Статистическое исследование случайного
поиска // Математические модели. Теория и приложения. -- СПб.: СПбГУ.
2002. -- C. 87-101.
13.Bartel D. L., Marks R. W. The optimum design of mechanical systems with competing design object. – J. of Engineering for Industry, Trans. ASME, 1974, №2,
p. 171-178.
14