Нейросети. Клеточные нейронные сети. Параллельная

Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Íåéðîñåòè. Êëåòî÷íûå íåéðîííûå ñåòè.
Ïàðàëëåëüíàÿ ðåàëèçàöèÿ.
Ñ. Êîðîáêîâ1
1
Ôàêóëüòåò Âû÷èñëèòåëüíîé Ìàòåìàòèêè è Êèáåðíåòèêè
Ñïåöñåìèíàð ôàêóëüòåòà ÂÌèÊ ÌÃÓ "Ñèñòåìû
ïàðàëëåëüíîé îáðàáîòêè ýêñïåðèìåíòàëüíûõ äàííûõ ñ
èñïîëüçîâàíèåì íåéðîñåòåé è ãåíåòè÷åñêèõ àëãîðèòìîâ",
2009
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Ñîäåðæàíèå
1
Íåéðîñåòè
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
2
Êëåòî÷íûå íåéðîííûå ñåòè
Ââåäåíèå. Îñíîâû
Îáëàñòè ïðèìåíåíèÿ
Ðàñïàðàëëåëèâàíèå
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Ñîäåðæàíèå
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
1
Íåéðîñåòè
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
2
Êëåòî÷íûå íåéðîííûå ñåòè
Ââåäåíèå. Îñíîâû
Îáëàñòè ïðèìåíåíèÿ
Ðàñïàðàëëåëèâàíèå
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
Ïðîèñõîæäåíèå èäåè íåéðîííûõ ñåòåé(1)
Íåéðîííûå ñåòè ïðîèçîøëè îò ñåòåé êîòîðûå áûëè îáíàðóæåíû
â ìîçãå. Èñêóññòâåííûé íåéðîí áûë ñêîïèðîâàí ñ íåéðîíà
ìîçãà. È íà îñíîâå ñåòåé â êîòîðûå îðãàíèçóþòñÿ íåéðîíû â
ìîçãå. Íà ñëåäóþùåì ðèñóíêå ïîêàçàí íåéðîí.
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
Ïðîèñõîæäåíèå èäåè íåéðîííûõ ñåòåé(2)
Íà ýòîì ðèñóíêå ïîêàçàíà ñåòü èç íåéðîíîâ, ãäå ñåíñîðíûå
íåéðîíû èãðàþò ðîëü âõîäîâ, âíóòðåííÿÿ ñåòü îáðàáàòûâàåò
ýòè âõîäû, à ìîòîðíûé íåéðîí ïðåäñòàâëÿåò ñîáîé âûõîä.
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
Îáùèé âèä íåðîíà è ïðèíöèï åãî ðàáîòû
Èñêóññòâåííûì íåéðîíîì(äàëåå ïðîñòî íåéðîí) íàçûâàåòñÿ
óïðîùåíííàÿ ìîäåëü íåéðîíà ìîçãà.
Îáùèé âèä íåéðîíà ïðåäñòàâëåí íà ñëåäóþùåì ðèñóíêå:
Çäåñü x1 , x2 , ..., xn âõîäû íåéðîíà, w1 , w2 , ..., wn âåñà
ñîîòâåòñòâóþùèõ âõîäîâ íåéðîíà, S âíóòðåííåå ñîñòîÿíèå
íåéðîíà, Y âûõîä íåéðîíà, à F (S ) ôóíêöèÿ àêòèâàöèè.
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Àêòèâàöèîííàÿ ôóíêöèÿ
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
Àêòèâàöèîííàÿ ôóíêöèÿ ïðèìåíÿåòñÿ ê ëèíåéíîé
êîìáèíàöèè âõîäîâ. ×àùå âñåãî â êà÷åñòâå àêòèâàöèîííîé
ôóíêöèè èñïîëüçóþò êàêóþ-ëèáî íåëèíåéíóþ. Íàèáîëåå
óäîáíà ñèãìîèäà.
1
Ñèãìîèäà ïðåäñòàâëÿåòñÿ ôîðìóëîé F (s ) = 1 +exp
−β s
Ñèãìîèäà î÷åíü óäîáíà ò.ê. åå ïðîèçâîäíàÿ äîâîëüíî
ïðîñòàÿ F 0 (s ) = β F (x )(1 − F (x )). Ýòî ïîçâîëÿåò îáó÷àòü
òàêóþ ñåòüìåòîäîì îáðàòíîãî ðàñïðîñòðàíåíèÿ îøèáêè.
Òàêæå â êà÷åñòâå àêòèâàöèîííûõ ôóíêöèé ìîãóò
ïðèìåíÿòñÿ è äðóãèå ôóíêöèè:
Ãèïåðáîëè÷åñêèé òàíãåíñ.
Ôóíêöèÿ Ãàóññà.
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Îñíîâíûå ïîíÿòèÿ
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
Íåéðîííûå ñåòè ìàòåìàòè÷åñêèå ìîäåëè, à òàêæå èõ
ïðîãðàììíûå èëè àïïàðàòíûå ðåàëèçàöèè, ïîñòðîåííûå ïî
ïðèíöèïó îðãàíèçàöèè è ôóíêöèîíèðîâàíèÿ áèîëîãè÷åñêèõ
íåéðîííûõ ñåòåé ñåòåé íåðâíûõ êëåòîê æèâîãî îðãàíèçìà.
Îáó÷åíèå íåéðîííîé ñåòè ïðîöåññ íàñòðîéêè âåñîâ äëÿ
ïîëó÷åíèÿ æåëàåìîãî âûõîäà ñ îïðåäåë¼ííîé òî÷íîñòüþ.
Îáó÷àþùàÿ âûáîðêà íàáîð ïàð (âåêòîð âõîäîâ è
âûõîäîâ) ñåòè, íà êîòîðîì ïðîèçâîäèòñÿ îáó÷åíèå.
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Îáó÷åíèå
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
Îáó÷åíèå íåéðîííîé ñåòè ìîæåò áûòü:
Ñ ó÷èòåëåì
Áåç ó÷èòåëÿ
Ñåòè îáó÷àåìûå ïðåäâàðèòåëüíî
Ñåòè îáó÷àþùèåñÿ âî âðåìÿ ðàáîòû
Îáó÷åíèå íåéðîííîé ñåòè îñóùåñòâëÿåìîå ïåðåä
èñïîëüçîâàíèåì åå íà ïðàêòèêå îïåðàöèÿ çàíèìàþùàÿ ìíîãî
âðåìåíè. Äëÿ îáó÷åíèÿ ñåòè íàäî íå ðàç ïðîéòè ïî âñåì ïàðàì
â îáó÷àþùåé âûáîðêå è ïðîèçâåñòè íàñòðîéêó âåñîâ.
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Ñîäåðæàíèå
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
1
Íåéðîñåòè
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
2
Êëåòî÷íûå íåéðîííûå ñåòè
Ââåäåíèå. Îñíîâû
Îáëàñòè ïðèìåíåíèÿ
Ðàñïàðàëëåëèâàíèå
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Îáëàñòè ïðèìåíåíèÿ
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
Ðàñïîçíàâàíèå îáðàçîâ è êëàññèôèêàöèÿ
çäåñü êîëè÷åñòâî âûõîäîâ ññîîòâåòñòâóåò êîëè÷åñòâó
êëàññîâ(êàæäîìó êëàññó ñîîòâåòñòâóåò âûõîä)
Ïðèíÿòèå ðåøåíèé è óïðàâëåíèå
ìàëî ÷åì îòëè÷àåòñÿ îò ïðåäûäóùåé çàäà÷è.
Êëàñòåðèçàöèÿ
â òàêèõ çàäà÷àõ êëàññû çàðàíåå íå èçâåñòíû. Çäåñü ñåòü
ìîæåò íàõîäèòü íîâûå êëàññû.(ïðèìåð: Ñåòè êîõîíåíà)
Ïðîãíîçèðîâàíèå è àïïðîêñèìàöèÿ
Ñæàòèå äàííûõ è Àññîöèàòèâíàÿ ïàìÿòü
Äëÿ òàêèõ çàäà÷ ïðèìåíÿþòñÿ ðåêóððåíòíûå ñåòè.
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Îáëàñòè ïðèìåíåíèÿ
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
Ðàñïîçíàâàíèå îáðàçîâ è êëàññèôèêàöèÿ
çäåñü êîëè÷åñòâî âûõîäîâ ññîîòâåòñòâóåò êîëè÷åñòâó
êëàññîâ(êàæäîìó êëàññó ñîîòâåòñòâóåò âûõîä)
Ïðèíÿòèå ðåøåíèé è óïðàâëåíèå
ìàëî ÷åì îòëè÷àåòñÿ îò ïðåäûäóùåé çàäà÷è.
Êëàñòåðèçàöèÿ
â òàêèõ çàäà÷àõ êëàññû çàðàíåå íå èçâåñòíû. Çäåñü ñåòü
ìîæåò íàõîäèòü íîâûå êëàññû.(ïðèìåð: Ñåòè êîõîíåíà)
Ïðîãíîçèðîâàíèå è àïïðîêñèìàöèÿ
Ñæàòèå äàííûõ è Àññîöèàòèâíàÿ ïàìÿòü
Äëÿ òàêèõ çàäà÷ ïðèìåíÿþòñÿ ðåêóððåíòíûå ñåòè.
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Îáëàñòè ïðèìåíåíèÿ
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
Ðàñïîçíàâàíèå îáðàçîâ è êëàññèôèêàöèÿ
çäåñü êîëè÷åñòâî âûõîäîâ ññîîòâåòñòâóåò êîëè÷åñòâó
êëàññîâ(êàæäîìó êëàññó ñîîòâåòñòâóåò âûõîä)
Ïðèíÿòèå ðåøåíèé è óïðàâëåíèå
ìàëî ÷åì îòëè÷àåòñÿ îò ïðåäûäóùåé çàäà÷è.
Êëàñòåðèçàöèÿ
â òàêèõ çàäà÷àõ êëàññû çàðàíåå íå èçâåñòíû. Çäåñü ñåòü
ìîæåò íàõîäèòü íîâûå êëàññû.(ïðèìåð: Ñåòè êîõîíåíà)
Ïðîãíîçèðîâàíèå è àïïðîêñèìàöèÿ
Ñæàòèå äàííûõ è Àññîöèàòèâíàÿ ïàìÿòü
Äëÿ òàêèõ çàäà÷ ïðèìåíÿþòñÿ ðåêóððåíòíûå ñåòè.
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Îáëàñòè ïðèìåíåíèÿ
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
Ðàñïîçíàâàíèå îáðàçîâ è êëàññèôèêàöèÿ
çäåñü êîëè÷åñòâî âûõîäîâ ññîîòâåòñòâóåò êîëè÷åñòâó
êëàññîâ(êàæäîìó êëàññó ñîîòâåòñòâóåò âûõîä)
Ïðèíÿòèå ðåøåíèé è óïðàâëåíèå
ìàëî ÷åì îòëè÷àåòñÿ îò ïðåäûäóùåé çàäà÷è.
Êëàñòåðèçàöèÿ
â òàêèõ çàäà÷àõ êëàññû çàðàíåå íå èçâåñòíû. Çäåñü ñåòü
ìîæåò íàõîäèòü íîâûå êëàññû.(ïðèìåð: Ñåòè êîõîíåíà)
Ïðîãíîçèðîâàíèå è àïïðîêñèìàöèÿ
Ñæàòèå äàííûõ è Àññîöèàòèâíàÿ ïàìÿòü
Äëÿ òàêèõ çàäà÷ ïðèìåíÿþòñÿ ðåêóððåíòíûå ñåòè.
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Îáëàñòè ïðèìåíåíèÿ
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
Ðàñïîçíàâàíèå îáðàçîâ è êëàññèôèêàöèÿ
çäåñü êîëè÷åñòâî âûõîäîâ ññîîòâåòñòâóåò êîëè÷åñòâó
êëàññîâ(êàæäîìó êëàññó ñîîòâåòñòâóåò âûõîä)
Ïðèíÿòèå ðåøåíèé è óïðàâëåíèå
ìàëî ÷åì îòëè÷àåòñÿ îò ïðåäûäóùåé çàäà÷è.
Êëàñòåðèçàöèÿ
â òàêèõ çàäà÷àõ êëàññû çàðàíåå íå èçâåñòíû. Çäåñü ñåòü
ìîæåò íàõîäèòü íîâûå êëàññû.(ïðèìåð: Ñåòè êîõîíåíà)
Ïðîãíîçèðîâàíèå è àïïðîêñèìàöèÿ
Ñæàòèå äàííûõ è Àññîöèàòèâíàÿ ïàìÿòü
Äëÿ òàêèõ çàäà÷ ïðèìåíÿþòñÿ ðåêóððåíòíûå ñåòè.
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Ñîäåðæàíèå
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
1
Íåéðîñåòè
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
2
Êëåòî÷íûå íåéðîííûå ñåòè
Ââåäåíèå. Îñíîâû
Îáëàñòè ïðèìåíåíèÿ
Ðàñïàðàëëåëèâàíèå
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Ñëîæíîñòè îáó÷åíèÿ
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
Êàê óæå áûëî óïîìÿíóòî ðàíåå ïðîöåññ îáó÷åíèÿ î÷åíü äîëîã,
ïîðîé íà íåãî ìîãóò óõîäèòü ìåñÿöû. Ïðè÷èíàìè ýòîìó
ñëóæàò:
Áîëüøàÿ îáó÷àþùàÿ âûáîðêà
Áîëüøàÿ ñëîæíîñòü ñåòè.  òîì ÷èñëå
Áîëüøèå ðàçìåðíîñòè çàäà÷è(îáðàáîòêà èçîáðàæåíèé,
âèäåî)
Áîëüøîé ðàçìåð âíóòðåííåé íåéðîííîé ñåòè
Ìåäëåííî ñõîäÿøèéñÿ îáó÷àþùèé àëãîðèòì
Íåîáõîäèìîñòü ïðîâåñòè îáó÷åíèå íà ðàçíûõ íàáîðàõ
íà÷àëüíûõ âåñîâ äëÿ èñêëþ÷åíèÿ âîçìîæíîñòè ïîïàäàíèÿ
â ëîêàëüíûé ýêñòðåìóì.
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Ñëîæíîñòè ðàáîòû
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
Ïî÷åìó æå ñëåäóåò ðàñïàðàëëåëèâàòü ðàáîòó óæå îáó÷åííîé
íåéðîííîé ñåòè.
×àñòî äëÿ îáðàáîòêè ïîñòóïèâøèõ äàííûõ íåò ìíîãî
âðåìåíè (íàïðèìåð: Îáðàáîòêà ñîáûòèé ïðîèñõîäÿùèõ íà
ÀÝÑ)
Äëÿ ðåêóððåíòíûõ íåéðîííûõ ñåòåé òàêæå íóæíî
ïðîèçâåñòè íå îäíó èòåðàöèþ ïðåæäå ÷åì ïîëó÷èòü
ñòàáèëèçèðîâàâøèéñÿ âûõîä
Ïðè ðàñïàðàëëåëèâàíèè ðàáîòû íåéðîííûõ ñåòåé âàæíóþ ðîëü
èãðàåò ñòîèìîñòü âû÷èñëèòåëÿ.
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Ñîäåðæàíèå
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
1
Íåéðîñåòè
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
2
Êëåòî÷íûå íåéðîííûå ñåòè
Ââåäåíèå. Îñíîâû
Îáëàñòè ïðèìåíåíèÿ
Ðàñïàðàëëåëèâàíèå
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
Êàêèå åñòü ìåòîäû ðàñïàðàëëåëèâàíèÿ íåéðîííîé ñåòè:
Ðàñïàðàëëåëèâàíèå ïî îáó÷àþùåé ñåññèè
Ðàñïàðàëëåëèâàíèå àëãîðèòìà(ïîäñ÷åòà âûõîäà èç âõîäîâ
èëè îáó÷àåùåãî àëãîðèòìà)
Ðàñïàðàëëåëèâàíèå ïî îáó÷àþùåé âûáîðêå
Êîíâåéåðèçàöèÿ
Ðàñïàðàëëåëèâàíèå ïî óçëàì
ðàñïàðàëëåëèâàíèå ïî íåéðîíàì
ðàñïàðàëëåëèâàíèå ïî ñâÿçÿì
ñìåøàííûé òèï
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
Ðàñïàðàëëåëèâàíèå ïî îáó÷àþùåé ñåññèè
Ýòîò ìåòîä îñíîâàí íà òîì, âûáðàâ êàêèå-ëèáî íà÷àëüíûå
óñëîâèÿ îáó÷åíèå íàøåé ñåòè ìîæåò ïîïàñòü íå â ãëîáàëüíûé,
à â ëîêàëüíûé ýêñòðåìóì. Äëÿ òîãî ÷òîáû ýòîãî èçáåæàòü,
íåîáõîäèìà íåñêîëüêî ðàç íàñòðîèòü ñåòü íà ðàçíûõ íà÷àëüíûõ
óñëîâèÿõ.
Figure:
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Ââåäåíèå. Îñíîâû
Îáëàñòè ïðèìåíåíèÿ
Ðàñïàðàëëåëèâàíèå
Ñîäåðæàíèå
1
Íåéðîñåòè
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
2
Êëåòî÷íûå íåéðîííûå ñåòè
Ââåäåíèå. Îñíîâû
Îáëàñòè ïðèìåíåíèÿ
Ðàñïàðàëëåëèâàíèå
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Ââåäåíèå. Îñíîâû
Îáëàñòè ïðèìåíåíèÿ
Ðàñïàðàëëåëèâàíèå
Êëåòî÷íûå íåéðîñåòè. Ïðîèñõîæäåíèå
Êëåòî÷íûå íåéðîííûå ñåòè ñîçäàâàëèñü êàê ñîâìåùåíèå
íåéðîííûõ ñåòåé, ãäå êàæäûé ýëåìåíò ÿâëÿåòñÿ íåëèíåéíûì
îáðàáîò÷èêîì äàííûõ, è êëåòî÷íûõ àâòîìàòîâ, ãäå êàæäûé
ýëåìåíò ñâÿçàí òîëüêî ñ íåáîëüøèì ÷èñëîì ñâîèõ ñîñåäåé.
Êëåòî÷íîé íåéðîííîé ñåòüþ íàçûâàåòñÿ ìíîãîìåðíûé ìàññèâ
íåëèíåéíûõ îáðàáîò÷èêîâ äàííûõ íåïîñðåäñòâåííî ñâÿçàííûõ
òîëüêî ñî ñâèìè ñîñåäÿìè ïî ìàññèâó. Ýëåìåíòû ìàññèâà
íàçûâàþòñÿ êëåòêàìè. Ñòðóêòóðà æå äàííîé ñåòè ìîæåò áûòü
ëþáîé: ïðÿìîóãîëüíîé, øåñòèóãîëüíîé, òîðîèäàëüíîé,
ñôåðè÷åñêîé è ò.ä.
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Ââåäåíèå. Îñíîâû
Îáëàñòè ïðèìåíåíèÿ
Ðàñïàðàëëåëèâàíèå
Ïðèìåð êëåòî÷íîé íåéðîñåòè
Çäåñü ìû ðàññìîòðèì ïðèìåð ïðÿìîóãîëüíîé êëåòî÷íîé
íåéðîííîé ñåòè. Çäåñü ñàæäàÿ êëåòêà ñâÿçàíà òîëüêî ñî
ñâîèìè íåïîñðåäñòâåíûìè ñîñåäÿìè. Òî åñòü êëåòêà C (2 , 2 )
ñîåäèíåíà ñ êëåòêàìè
C (1 , 1 ), C (1 , 2 ), C (1 , 3 ), C (2 , 1 ), C (2 , 3 ), C (3 , 1 ), C (3 , 2 ), C (3 , 3 ).
Figure:
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Ââåäåíèå. Îñíîâû
Îáëàñòè ïðèìåíåíèÿ
Ðàñïàðàëëåëèâàíèå
Ñîñåäè êëåòêè
Íåîáÿçàòåëüíî ðàäèóñ ñîñåäåé äîëæåí áûòü ðàâåí
Ìîæíî èñïîëüçîâàòü è r-ðàäèóñíûå ñåòè.
1.
Ñîñåäè äëÿ äâóìåðíîé ñåòè îïðåäåëÿþòñÿ ïî ôîðìóëå
Nr (i , j ) = {C (k , l )|max [|k − j |, |l − j |] ≤ r , 1 ≤ k ≤ M , 1 ≤ l ≤ N },
êîëè÷åñòâî ðÿäîâ, N êîëè÷åñòâî êîëîíîê.
ãäå M
Ôóíêöèîíàëüíîñòü êëåòî÷íîé íåéðîñåòè ïðè r ≥ 2 è ïðè
r = 1 íå ñèëüíî îòëè÷àþòñÿ
Ñîñåäåé ìîæíî îïðåäåëÿòü íå âñåõ à èçáèðàòåëüíî
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Ââåäåíèå. Îñíîâû
Îáëàñòè ïðèìåíåíèÿ
Ðàñïàðàëëåëèâàíèå
Ïðèíöèï ðàáîòû êëåòêè(1)
Êëåòêà èìååò íåòîðîå âíóòðåííåå ñîñòîÿíèå íà îñíîâå êîòîðîãî
ïîëó÷àåòñÿ âûõîä äàííîé êëåòêè. Âûõîä êëåòêè ïîëó÷àåòñÿ
ïóòåì ïðèìåíåíèÿ ôóíêöèè àêòèâàöèè ê ñîñòîÿíèþ êëåòêè.
Âíóòðåííå ñîñòîÿíèå êëåòêè îïðåäåëÿåòñÿ ïî ñëåäóþùåé
ôîðìóëå.
Ôîðìóëà
dxµ (t )
dt
1
= −xµ (t ) + ∑ν∈Nµ aµν f (xν (t )) + ∑ν∈Nµ bµν uν + Iµ
Ãäå xµ (t ) ñîñòîÿíèå êëåòêè µ , uµ âõîä êëåòêè µ (ñ÷èòàåòñÿ
÷òî îí íå ìåíÿåòñÿ ñî âðåìåíåì), Iµ ñìåùåíèå â äàííîé
êëåòêå, aµν , bµν ïàðàìåòðû(âåñà), Nµ îêðåñòíîñòü êëåòêè µ .
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Ââåäåíèå. Îñíîâû
Îáëàñòè ïðèìåíåíèÿ
Ðàñïàðàëëåëèâàíèå
Ïðèíöèï ðàáîòû êëåòêè(2)
Ýòó ôîðìóëó ìîæíî çàïèñàòü ïðîùå â âèäå ñèñòåìû èç äâóõ
èòåðàöèîííûõ:
Ôîðìóëà
xµ∗
yµ∗
ãäå yµ∗
2
= ∑ν∈Nµ aµν yν∗ + ∑ν∈Nµ bµν uν + Iµ
= f (xµ∗ )
âûõîä êëåòêè µ , xµ∗
Êîðîáêîâ
ñîñòîÿíèå êëåòêè.
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Ââåäåíèå. Îñíîâû
Îáëàñòè ïðèìåíåíèÿ
Ðàñïàðàëëåëèâàíèå
Àêòèâàöèîííàÿ ôóíêöèÿ
Êóñî÷íî ëèíåéíàÿ(ïðîñòàÿ)
Ôîðìóëà
f (x ) =
3
1
2 (|x + 1| − |x − 1|)
Íåëèíåéíàÿ ñ ïàðàìåòðîì
Ôîðìóëà
f (x ) =
U
4
2U
−1 π
π tan ( 2U x )
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Ââåäåíèå. Îñíîâû
Îáëàñòè ïðèìåíåíèÿ
Ðàñïàðàëëåëèâàíèå
Ñîäåðæàíèå
1
Íåéðîñåòè
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
2
Êëåòî÷íûå íåéðîííûå ñåòè
Ââåäåíèå. Îñíîâû
Îáëàñòè ïðèìåíåíèÿ
Ðàñïàðàëëåëèâàíèå
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Ââåäåíèå. Îñíîâû
Îáëàñòè ïðèìåíåíèÿ
Ðàñïàðàëëåëèâàíèå
Îáëàñòè ïðèìåíåíèÿ
Îáðàáîòêà èçîáðàæåíèé
Ðåøåíèå äèôôåðåíöèàëüíûõ óðàâíåíèé
Àññîöèàòèâíàÿ ïàìÿòü
ëåãêî ðàñøèðÿåìà áåç ïåðåíàñòðîéêè âñåé ñåòè.
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Ââåäåíèå. Îñíîâû
Îáëàñòè ïðèìåíåíèÿ
Ðàñïàðàëëåëèâàíèå
Ñîäåðæàíèå
1
Íåéðîñåòè
Ââåäåíèå. Îñíîâû.
Îáëàñòè ïðèìåíåíèÿ
Ñëîæíîñòè ðàáîòû è îáó÷åíèÿ
Ìåòîäû ðàñïàðàëëåëèâàíèÿ
2
Êëåòî÷íûå íåéðîííûå ñåòè
Ââåäåíèå. Îñíîâû
Îáëàñòè ïðèìåíåíèÿ
Ðàñïàðàëëåëèâàíèå
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
 ïðèöèïå ðàñïàðàëëåëèâàíèå êëåòî÷íûõ íåéðîííûõ ñåòåé
ìàëî ÷åì îòëè÷àåòñÿ îò ðàñïàðàëëåëèâàíè îáû÷íûõ íåðîííûõ
ñåòåé.
Ðàñïàðàëëåëèâàíèå ïî îáó÷àþùåé ñåññèè
Ðàñïàðàëëåëèâàíèå àëãîðèòìà(ïîäñ÷åòà âûõîäà èç âõîäîâ
èëè îáó÷àåùåãî àëãîðèòìà)
Ðàñïàðàëëåëèâàíèå ïî îáó÷àþùåé âûáîðêå
Ðàñïàðàëëåëèâàíèå ïî óçëàì
ðàñïàðàëëåëèâàíèå ïî íåéðîíàì
ðàñïàðàëëåëèâàíèå ïî ñâÿçÿì
ñìåøàííûé òèï
Êîðîáêîâ
NN. CNN.
Íåéðîñåòè
Êëåòî÷íûå íåéðîííûå ñåòè
Çàêëþ÷åíèå
Çàêëþ÷åíèå
Ó íåéðîííûõ ñåòåé åñòü áîëüøèå âîçìîæíîñòè â
ðàñïàðàëëåëèâàíèè
Ðàñïàðàëëåëèâàíèå êëåòî÷íûõ íåéðîííûõ ñåòåé ìëî
îòëè÷àåòñÿ îò ðàñïàðàëëåëèâàíèÿ îáû÷íûõ íåéðîííûõ
ñåòåé
Êîðîáêîâ
NN. CNN.