Ìåòîä ïðîåêöèè ãðàäèåíòà ðåøåíèÿ çàäà÷è óñëîâíîé ìíîãîìåðíîé ìèíèìèçàöèè Ðàññìàòðèâàåòñÿ çàäà÷à f (x) → min, x ∈ X ⊂ Rn , ãäå ôóíêöèÿ f (x) (1) íåïðåðûâíî äèôôåðåíöèðóåìà, ìíîæåñòâî X âûïóê- ëî, çàìêíóòî, îãðàíè÷åíî. Ïî òåîðåìå Âåéåðøòðàññà ðåøåíèå çàäà÷è (1) ñóùåñòâóåò, òî åñòü f∗ = inf f (x) > −∞, x∈X X∗ = {x ∈ X|f (x) = f∗ } = 6 ∅. Óñëîâèå âûïóêëîñòè ìíîæåñòâà X ÿâëÿåòñÿ äîñòàòî÷íî îáùèì. Ïî- ýòîìó òðóäíî îæèäàòü ñîçäàíèÿ ýôôåêòèâíûõ àëãîðèòìîâ äëÿ ñëó÷àÿ, êîãäà X ïðîèçâîëüíîå âûïóêëîå ìíîæåñòâî. Íî ñóùåñòâóþò äîñòà- òî÷íî ïðîñòûå âûïóêëûå ìíîæåñòâà (ïàðàëëåëåïèïåä, øàð, ëèíåéíîå ìíîãîîáðàçèå), äëÿ êîòîðûõ çàäà÷à (1) õîðîøî ðåøàåòñÿ. Ñ äðóãîé ñòîðîíû, îãðàíè÷åíèÿ, îïðåäåëÿþùèå ýòî ïðîñòûå ìíîæåñòâà, ÷àñòî èìåþò ðåàëüíûé ýêîíîìè÷åñêèé èëè òåõíè÷åñêèé ñìûñë. Ìåòîä ïðîåêöèè ãðàäèåíòà ìèíèìèçàöèè ôóíêöèè ìíîãèõ ïåðåìåííûõ èñïîëüçóåò ñâîéñòâî ãðàäèåíòà, çàêëþ÷àþùååñÿ â òîì, ÷òî íàïðàâëåíèå ãðàäèåíòà ñîâïàäàåò ñ íàïðàâëåíèåì íàèñêîðåéøåãî âîçðàñòàíèÿ ôóíêöèè, à íàïðàâëåíèå àíòèãðàäèåíòà ñ íàïðàâëåíèåì íàèñêîðåéøåãî óáûâàíèÿ. Èòåðàöèîííûå ìåòîäû ïðåäïîëàãàþò âûáîð íà÷àëüíîãî ïðèáëèæåíèÿ 0 x . Îáùèõ ïðàâèë âûáîðà x0 íå ñóùåñòâóåò, íî, èñõîäÿ èç ïðàêòè÷åñêîãî ñìûñëà çàäà÷è, äîâîëüíî ÷àñòî óäàåòñÿ îïðåäåëèòü âîçìîæíóþ îáëàñòü ðàñïîëîæåíèÿ òî÷åê ìèíèìóìà. Òîãäà íà÷àëüíîå ïðèáëèæåíèå íåîáõîäèìî âûáðàòü êàê ìîæíî áëèæå ê ýòîé îáëàñòè. Îïèøåì àëãîðèòì ìåòîäà ïðîåêöèè ãðàäèåíòà ðåøåíèÿ çàäà÷è (1). Ïóñòü çàäàíî íà÷àëüíîå ïðèáëèæåíèå ãðàäèåíòà âû÷èñëåíî k x ∈ X. x0 ∈ X è ìåòîäîì ïðîåêöèè Ñëåäóþùåå ïðèáëèæåíèå èùåòñÿ ïî ôîð- ìóëå xk+1 = PX (xk − αk ∇f (xk )), αk > 0, k = 0, 1, ....  çàâèñèìîñòè îò âûáîðà αk åêöèè ãðàäèåíòà. Íàïðèìåð, (2) ñòðîÿòñÿ ðàçëè÷íûå âàðèàíòû ìåòîäà ïðî- αk ìîæåò íàõîäèòüñÿ êàê ðåøåíèå çàäà÷è îäíîìåðíîé ìèíèìèçàöèè Φk (α) → min, α≥0 1 ãäå Φk (α) = f (xk (α)), xk (α) = xk − α∇f (xk ).  ýòîì ñëó÷àå ïðè X = Rn ìåòîä ïðîåêöèè ãðàäèåíòà ïðåâðàùàåòñÿ â ìåòîä ñêîðåéøåãî ñïóñêà. ×àñòî ïðè ïðàêòè÷åñêîì èñïîëüçîâàíèè ìåòîäà (2) íàõîäÿò òàêîå 0, αk > ÷òî âûïîëíÿåòñÿ óñëîâèå ðåëàêñàöèîííîñòè f (xk (αk )) < f (xk ). Ïðè åãî íàðóøåíèè ïîëàãàþò αk ðàâíûì αk 2 , ñíîâà ïðîâåðÿþò óñëîâèå ðåëàêñàöèîííîñòè è ò. ä.  êà÷åñòâå êðèòåðèÿ îêîí÷àíèÿ ñ÷åòà âûáèðàþòñÿ íåðàâåíñòâà ||xk − xk+1 || ≤ δ1 , f (xk ) − f (xk+1 ) ≤ δ2 , ãäå δi > 0, i = 1, 2, ÷èñëà, õàðàêòåðèçóþùèå òî÷íîñòü ñ÷åòà. Çàìå÷àíèå . Ãëàâíàÿ ñëîæíîñòü ðåàëèçàöèè ìåòîäà ïðîåêöèè ãðàäè- åíòà çàêëþ÷àåòñÿ â ðåøåíèè çàäà÷è ïðîåêòèðîâàíèÿ. r x1 A A AA 2 r x r r 0 x X Ðèñóíîê 1 Ãåîìåòðè÷åñêàÿ èëëþñòðàöèÿ ìåòîäà ïðåäñòàâëåíà íà ðèñóíêå 1. Àëãîðèòì ìåòîäà ïðîåêöèè ãðàäèåíòà îñíîâûâàåòñÿ íà ñëåäóþùèõ òåîðåìàõ. Òåîðåìà 1. Ïóñòü òî÷êà öèè f (x) íà ìíîæåñòâå X. x∗ åñòü òî÷êà ëîêàëüíîãî ìèíèìóìà ôóíê- Ôóíêöèÿ äèôôåðåíöèðóåìîé, à ìíîæåñòâî ïðîèçâîëüíîãî α≥0 X f (x) ïðåäïîëàãàåòñÿ íåïðåðûâíî âûïóêëûì è çàìêíóòûì. Òîãäà äëÿ ñïðàâåäëèâî ðàâåíñòâî x∗ = PX (x∗ − α∇f (x∗ )). Òåîðåìà 2. Ïóñòü ôóíêöèÿ äèôôåðåíöèðóåìîé, ìíîæåñòâî f (x) ÿâëÿåòñÿ âûïóêëîé, íåïðåðûâíî X âûïóêëûì è çàìêíóòûì. Òî÷êà x∗ 2 åñòü òî÷êà ëîêàëüíîãî ìèíèìóìà òîãäà è òîëüêî òîãäà, êîãäà äëÿ ïðîèçâîëüíîãî α≥0 ñïðàâåäëèâî ðàâåíñòâî x∗ = PX (x∗ − α∇f (x∗ )).  ñëåäóþùåé òåîðåìå ôîðìóëèðóþòñÿ óñëîâèÿ ñõîäèìîñòè ìåòîäà ïðîåêöèè ãðàäèåíòà. f (x) íåïðåðûâíî äèôôåðåíöèðóåìà, îãðàíè÷åíà ñíèçó, è íà ìíîæåñòâå X åå ãðàäèåíò óäîâëåòâîðÿåò âåêòîðíîìó óñëîâèþ Ëèïøèöà ñ êîíñòàíòîé L, òî åñòü Òåîðåìà 3. Ïóñòü â çàäà÷å (1) ôóíêöèÿ ||∇f (x + ∆x) − ∇f (x)|| ≤ L||∆x|| äëÿ âñåõ Òîãäà ïðè ëþáîì íà÷àëüíîì ïðèáëèæåíèè x0 x, x + ∆x ∈ X. èìååò ìåñòî ñîîòíîøåíèå lim ||xk+1 − xk || = 0. k→∞ Åñëè äîïîëíèòåëüíî ïðåäïîëîæèòü, ÷òî ìíîæåñòâî M (x0 ) = {x ∈ Rn |f (x) ≤ f (x0 )} {xk } ñõîäèòñÿ ê íåïóñòîìó S∗ = {x|x ∈ M (x0 ), (∇f (x), y − x) ≥ 0 ïðè âñåõ y ∈ X} îãðàíè÷åíî, òî ïîñëåäîâàòåëüíîñòü ìíîæå- ñòâó ñòàöèî- íàðíûõ òî÷åê. Ôàêòû, êîòîðûå íåîáõîäèìî ïîìíèòü ïðè ðàññêàçå î ìåòîäå ïðîåêöèè ãðàäèåíòà: Îïðåäåëåíèå. Ìíîæåñòâî X ⊆ Rn íàçûâàåòñÿ âûïóêëûì, åñëè îò- ðåçîê ïðÿìîé, ñîåäèíÿþùèé ëþáûå äâå òî÷êè ýòîãî ìíîæåñòâà, ïðèíàäëåæèò X, òî åñòü ∀x, y ∈ X → x(α) = x + α(y − x) ∈ X, ∀α ∈ [0; 1]. Ïðèìåðàìè âûïóêëûõ ìíîæåñòâ ìîãóò ñëóæèòü øàð ïðîèçâîëüíîãî ðàäèóñà, ãèïåðïëîñêîñòü, âñå ïðîñòðàíñòâî. r r Ðèñóíîê 01 Ïðèìåð íåâûïóêëîãî ìíîæåñòâà èçîáðàæåí íà ðèñóíêå 01. f (x), îïðåäåëåííàÿ íà âûïóêëîì âûïóêëîé, åñëè äëÿ âñåõ x, y ∈ X âû- Îïðåäåëåíèå. Ñêàëÿðíàÿ ôóíêöèÿ ìíîæåñòâå X ⊆R n íàçûâàåòñÿ ïîëíÿåòñÿ íåðàâåíñòâî f (x + α(y − x)) ≤ f (x) + α(f (y) − f (x)), α ∈ [0; 1]. 3 (3) Ãåîìåòðè÷åñêè óñëîâèå (3) îçíà÷àåò, ÷òî ëþáàÿ õîðäà, ñîåäèíÿþùàÿ ïðîèçâîëüíûå òî÷êè ãðàôèêà ôóíêöèè, ðàñïîëàãàåòñÿ âûøå ãðàôèêà ôóíêöèè (ðèñóíîê 02). 6y f (x) - 0 x x(α) x y Ðèñóíîê 02 Îïðåäåëåíèå. Ïðîåêöèåé òî÷êè âàåòñÿ òàêàÿ òî÷êà p = PX (y) ∈ X , y ∈ Rn íà ìíîæåñòâî X ∈ Rn íàçû- äëÿ êîòîðîé âûïîëíÿåòñÿ ðàâåíñòâî ||p − y|| = min ||x − y||. (4) x∈X Òåîðåìà. Ïóñòü ìíîæåñòâî X ÿâëÿåòñÿ íåïóñòûì, çàìêíóòûì è âû- ïóêëûì. Òîãäà äëÿ ïðîèçâîëüíîé òî÷êè åå ïðîåêöèÿ PX (y) íà ìíîæåñòâî y ∈ Rn ñóùåñòâóåò åäèíñòâåííàÿ X. y íà X = {x ∈ R | ||x|| ≤ l, l > 0}. Ïðèìåð. Íàéòè ïðîåêöèþ ïðîèçâîëüíîé òî÷êè îïðåäåëÿåìîå ðàâåíñòâîì: ìíîæåñòâî Ðåøåíèå. Èç ãåîìåòðè÷åñêèõ ñîîáðàæåíèÿ ÿñíî, ÷òî ïðîåêöèÿ êè y áóäåò îïðåäåëÿòüñÿ ðàâåíñòâîì x2 6 r y0 '$ r p0 - 0 x1 Ðèñóíîê 03 r y A A A A A &% p X n p X Ðèñóíîê 04 4 y p=l ||y|| (ðèñóíîê 03). p òî÷- Çàìå÷àíèå. Óñëîâèå âûïóêëîñòè â ïîñëåäíåé òåîðåìå ÿâëÿåòñÿ ñóùå- ñòâåííûì. Åñëè ìíîæåñòâî íå ÿâëÿåòñÿ âûïóêëûì, òî íåêîòîðûå òî÷êè ìîãóò èìåòü áîëåå îäíîé ïðîåêöèè (ðèñóíîê 04). Òåîðåìà Âåéåðøòðàññà (î äîñòèæåíèè âåðõíåé è íèæíåé ãðàíåé íåïðåðûâíîé ôóíêöèè, îïðåäåëåííîé íà îãðàíè÷åííîì, çàìêíóòîì ìíî- X 6= ∅, îãðàíè÷åííîå, çàìêíóòîå, è íåïðåðûâíà íà X . Òîãäà æåñòâå). Ïóñòü â çàäà÷å (1) ìíîæåñòâî à ôóíêöèÿ f (x) îïðåäåëåíà, êîíå÷íà f ∗ = inf f (x) > −∞ x∈X è X ∗ = {x ∈ X|f (x) = f ∗ } = 6 ∅. Îïðåäåëåíèå. Èòåðàöèîííûé ïðîöåññ íàçûâàåòñÿ ðåëàêñàöèîííûì, åñëè ïîñëåäîâàòåëüíîñòü {xk } ïðèíàäëåæèò ìíîæåñòâó X è f (xk+1 ) < f (xk ), k = 0, 1, .... Ïîñëåäîâàòåëüíîñòü {xk } ñîîòâåòñòâåííî íàçûâàåòñÿ ðåëàêñàöèîííîé. 5