Глава 4. Создание и развитие теории информации

Ãëàâà 4. Ñîçäàíèå è ðàçâèòèå òåîðèè
èíôîðìàöèè
§ 1. Ïðåäûñòîðèÿ
Ãîäîì ðîæäåíèÿ òåîðèè èíôîðìàöèè ñëåäóåò ñ÷èòàòü 1948 ã., êîãäà âûäàþùèéñÿ
àìåðèêàíñêèé ó÷åíûé Êëîä Øåííîí îïóáëèêîâàë ñâîþ çíàìåíèòóþ ñòàòüþ «Ìàòåìàòè÷åñêàÿ òåîðèÿ ñâÿçè» îá îñíîâíûõ çàêîíîìåðíîñòÿõ ïåðåäà÷è èíôîðìàöèîííûõ
ñîîáùåíèé ïî êàíàëàì ñâÿçè.
Ïîäîáíî òîìó, êàê çà îòêðûòèåì Èñààêîì Íüþòîíîì çàêîíîâ ìåõàíèêè ïîñëåäîâàëî áóðíîå ðàçâèòèå ìíîãèõ ñîâðåìåííûõ òåõíîëîãèé (íàïðèìåð, âñåõ âèäîâ íàçåìíîãî è âîçäóøíîãî òðàíñïîðòà, êîñìè÷åñêîé òåõíèêè è ò.ä.), òàê è îòêðûòèå íîâûõ
çàêîíîìåðíîñòåé ïåðåäà÷è èíôîðìàöèîííûõ ñîîáùåíèé ñîçäàëî ïðåäïîñûëêè áûñòðîãî è ãëîáàëüíîãî ðàçâèòèÿ òåëåêîììóíèêàöèé. Ýòè çàêîíîìåðíîñòè ñâÿçàíû ñ äâóìÿ ðàçíûìè àñïåêòàìè ïðîáëåì, êîòîðûå ñ äàâíèõ ïîð ñòîÿëè ïåðåä èíæåíåðàìè,
ðàçðàáàòûâàþùèìè íîâûå ñèñòåìû ñâÿçè.
Ïåðâàÿ èç íèõ êàñàëàñü âîçìîæíîñòåé óñòðàíåíèÿ èçáûòî÷íîñòè ïåðåäàâàåìûõ
ñîîáùåíèé, ÷òî ïîçâîëèëî ýôôåêòèâíåå èñïîëüçîâàòü êàíàëû ñâÿçè, âòîðàÿ — âîçìîæíîñòåé ïåðåäà÷è ñîîáùåíèé ñ ìèíèìàëüíûìè èñêàæåíèÿìè ïî êàíàëàì ñâÿçè ñ
øóìîì.
Äëÿ ðåøåíèÿ îáåèõ ïðîáëåì íåîáõîäèì áûë àäåêâàòíûé àïïàðàò, ïîçâîëÿþùèé
ìàòåìàòè÷åñêè îïèñûâàòü ñèãíàëû, ïåðåäàâàåìûå ïî êàíàëàì ñâÿçè. Íè îäíî èç êðóïíûõ íàó÷íûõ íàïðàâëåíèé, åñòåñòâåííî, íå âîçíèêàåò íà ïóñòîì ìåñòå. Ôóíäàìåíò, íà
êîòîðîì Ê. Øåííîí ïîñòðîèë ñâîþ òåîðèþ, ïîäãîòàâëèâàëñÿ åãî ïðåäøåñòâåííèêàìè,
â ðàáîòàõ êîòîðûõ, âûïîëíåííûõ â ïåðâîé òðåòè ÕÕ ñòîëåòèÿ, áûëè ñôîðìóëèðîâàíû
íîâûå ïîíÿòèÿ è óñòàíîâëåíû âàæíûå ïðèíöèïû òåîðèè ñâÿçè.
Ìàòåìàòè÷åñêîå îïèñàíèå ñèãíàëîâ, ïåðåäàâàåìûõ ïî êàíàëó ñâÿçè. Îòìåòèì
äâå âàæíûå ðàáîòû, êîòîðûå â íà÷àëå ÕÕ â. ôîðìèðîâàëè ïðåäñòàâëåíèå èíæåíåðîâ î
ñâîéñòâàõ ñèãíàëîâ, èñïîëüçóåìûõ äëÿ ïåðåäà÷è èíôîðìàöèè. Äæ. Êàðëñîí â 1922 ã.
ââåë ïîíÿòèå ñïåêòðà ñèãíàëîâ è îïðåäåëèë ñïåêòð ñèãíàëîâ ñ ×Ì [1], ïîäâåäÿ ÷åðòó
ïîä ñïîðîì, êîòîðûé èíæåíåðû âåëè íåñêîëüêî ëåò, î âîçìîæíîñòè ñîêðàùåíèÿ ñ
ïîìîùüþ ×Ì ïîëîñû ÷àñòîò, çàíèìàåìîé ñèñòåìîé ïåðåäà÷è ñîîáùåíèÿ â ýôèðå.
Èíòåðåñíî îòìåòèòü, ÷òî íà ñàìîì äåëå çà øåñòü ëåò äî Äæ. Êàðëñîíà âàæíåéøåå äëÿ
òåîðèè ñâÿçè ïîíÿòèå ñïåêòðà ñèãíàëîâ áûëî ââåäåíî ïðèìåíèòåëüíî ê ñèãíàëàì ñ
ÀÌ àêàäåìèêîì Ì.Â. Øóëåéêèíûì. Îäíàêî åãî ðàáîòà [2] áûëà îïóáëèêîâàíà â ìàëîèçâåñòíîì æóðíàëå è íå ñòàëà äîñòóïíîé øèðîêîìó êðóãó ñïåöèàëèñòîâ. Â 20-å ãã.
äèñêóññèÿ îá àäåêâàòíîñòè ñïåêòðàëüíûõ ïðåäñòàâëåíèé â òåîðèè ñâÿçè áûëà âåñüìà
æàðêîé. Òàê, çíàìåíèòûé èçîáðåòàòåëü âàêóóìíîãî äèîäà àìåðèêàíñêèé èíæåíåð Äæ.
Ôëåìèíã ðåçêî âûñòóïàë ïðîòèâ èõ èñïîëüçîâàíèÿ è ñ÷èòàë âîçìîæíûì, ïðèìåíÿÿ
×Ì, ñîêðàòèòü çàíèìàåìóþ ñèñòåìîé ñâÿçè â ýôèðå ïîëîñó ÷àñòîò. Âàæíîé ðàáîòîé
îêàçàëàñü ñòàòüÿ Ä. Ãàáîðà [3], â êîòîðîé â òåîðèþ ñâÿçè áûëî ââåäåíî, ïî-âèäèìîìó,
Ãëàâà 4. Ñîçäàíèå è ðàçâèòèå òåîðèè èíôîðìàöèè
285
âïåðâûå ïëîäîòâîðíîå ïîíÿòèå êîìïëåêñíîãî àíàëèòè÷åñêîãî ñèãíàëà, äåéñòâèòåëüíóþ ÷àñòü êîòîðîãî ïðåäñòàâëÿåò ñàì ñèãíàë, à ìíèìàÿ — ÿâëÿåòñÿ åãî ïðåîáðàçîâàíèåì Ãèëüáåðòà. Ýòè ïîíÿòèÿ ñåãîäíÿ èãðàþò â òåîðèè ñâÿçè êëþ÷åâóþ ðîëü.
Îäèí èç îñíîâíûõ çàêîíîâ òåîðèè ñâÿçè áûë óñòàíîâëåí â 1924 ã. Ã. Íàéêâèñòîì
(ÑØÀ) [4] è Ê. Êóïôìþëëåðîì (Ãåðìàíèè) [5]. Ñîãëàñíî ýòîìó çàêîíó, ïî êàíàëó ñ
øèðèíîé ïîëîñû F çà âðåìÿ Ò ìîæíî ïåðåäàòü íå áîëåå 2FÒ çíà÷åíèé òåëåãðàôíîãî
ñèãíàëà. Ìàòåìàòè÷åñêè ýòîò çàêîí âûðàæàåò âàæíåéøóþ çàêîíîìåðíîñòü â òåîðèè
ñâÿçè ñëåäóþùèì îáðàçîì:
N ≥ 2FT,
ãäå N — ÷èñëî îòñ÷¸òîâ, íåîáõîäèìîå äëÿ ïðåäñòàâëåíèÿ âðåìåííîãî îòðåçêà ñèãíàëà
äëèòåëüíîñòüþ T, à F — ïîëîñà ÷àñòîò, çàíèìàåìàÿ òåëåãðàôíûì ñèãíàëîì. Ïðè
äàííîì êðèòåðèè èíôîðìàöèÿ íå óòðà÷èâàåòñÿ è ýòîò ñèãíàë ìîæåò áûòü ïîëíîñòüþ
âîññòàíîâëåí. Óñòàíîâëåííûå Íàéêâèñòîì îñíîâîïîëàãàþùèå ïðèíöèïû òåîðèè ñâÿçè îêàçàëè îãðîìíîå âëèÿíèå íà ïðîãðåññ â îáëàñòè òåëåêîììóíèêàöèé, ñâÿçàííûé ñ
ïåðåõîäîì îò àíàëîãîâûõ ñèñòåì ïåðåäà÷è ñîîáùåíèé (àíàëîãîâûå ñèãíàëû âûðàáàòûâàþòñÿ áîëüøèíñòâîì èñòî÷íèêîâ èíôîðìàöèè — ìèêðîôîíàìè, òåëåâèçèîííûìè
êàìåðàìè è ò.ï.) ê öèôðîâûì.  öèôðîâûõ ñèñòåìàõ êàæäûé èç îòñ÷¸òîâ ñèãíàëà
ïðåîáðàçóåòñÿ â öèôðîâóþ ôîðìó è â âèäå ïîñëåäîâàòåëüíîñòè ñèìâîëîâ (÷àùå âñåãî
áèíàðíûõ) ïåðåäà¸òñÿ ïî êàíàëó ñâÿçè.
Ê çíàêîâûì ðàáîòàì, îòíîñÿùèìñÿ ê ïðåäûñòîðèè òåîðèè èíôîðìàöèè, îòíîñèòñÿ
ðàáîòà àêàäåìèêà Â.À. Êîòåëüíèêîâà [6], êîòîðûé â 1933 ã. óñòàíîâèë çíàìåíèòóþ
òåîðåìó, ïîçâîëÿþùóþ ïðåäñòàâèòü ëþáóþ ôóíêöèþ S(t) ñ îãðàíè÷åííîé ïîëîñîé
÷àñòîò F ñâîèìè îòñ÷¸òàìè, âçÿòûìè ÷åðåç èíòåðâàëû âðåìåíè τ = 1/2F ñëåäóþùèì
îáðàçîì:
S (t ) =
∞
∑ S ( nτ )[sin 2πF (t − nτ ) / 2πF (t − nτ )].
n = −∞
Ïîçæå, â 1948 ã., ýòà æå ôîðìóëà íåçàâèñèìî áûëà óñòàíîâëåíà Êëîäîì Øåííîíîì.  ÷åñòü ýòèõ êðóïíåéøèõ ó÷¸íûõ ÕÕ â. äàííóþ ôîðìóëó èíîãäà íàçûâàþò ôîðìóëîé Êîòåëüíèêîâà—Øåííîíà—Íàéêâèñòà. Âàæíóþ ðîëü â ðàçâèòèè òåîðèè ñâÿçè
ñûãðàëè èññëåäîâàíèÿ Ä.Â. Àãååâà [7], êîòîðûé ðàññìîòðåë âîçìîæíîñòè ïåðåäà÷è â
îäíîì êàíàëå íåñêîëüêèõ ñîîáùåíèé, îñóùåñòâëÿþùèõ ìîäóëÿöèþ ðàçëè÷íûõ îðòîãîíàëüíûõ ñèãíàëîâ. Îí áûë, ïî-âèäèìîìó, ïåðâûì, êòî ïëîäîòâîðíî ñòàë èñïîëüçîâàòü â òåîðèè ñâÿçè ïîíÿòèÿ ìíîãîìåðíîãî ïðîñòðàíñòâà. Ïîçæå ýòè ïîíÿòèÿ ýôôåêòèâíî ïðèìåíÿëè â ñâîèõ îñíîâîïîëàãàþùèõ èññëåäîâàíèÿõ Â.À. Êîòåëüíèêîâ è
Ê. Øåííîí.
Ñîêðàùåíèå èçáûòî÷íîñòè ñîîáùåíèé ïðèâëåêàëî âíèìàíèå ëþäåé åùå â äðåâíèå
âðåìåíà. Òàê, ñî âðåìåí Þëèÿ Öåçàðÿ äëÿ óñêîðåíèÿ çàïèñè åãî ðå÷åé èñïîëüçîâàëàñü
ñòåíîãðàôèÿ — ñïîñîá êîäèðîâàíèÿ ñëîâ ðå÷è, ïðè êîòîðîì äëÿ çàïèñè íàèáîëåå ÷àñòî
óïîòðåáëÿåìûõ îáîðîòîâ ðå÷è ïðèìåíÿëèñü íàèáîëåå ïðîñòûå è êîðîòêèå ñèìâîëû.
Äëÿ ñîêðàùåíèÿ èçáûòî÷íîñòè òåëåãðàôíûõ ñîîáùåíèé çíàìåíèòûé àìåðèêàíñêèé èçîáðåòàòåëü òåëåãðàôà Ñàìóýëü Ìîðçå ñîçäàë â 1837 ã. êîä, êîòîðûé â åãî ÷åñòü
íàçûâàþò êîäîì Ìîðçå. Ýòîò êîä áûë ïîñòðîåí òàêèì îáðàçîì, ÷òî íàèáîëåå ÷àñòî
âñòðå÷àþùèìñÿ â òåêñòå áóêâàì àíãëèéñêîãî àëôàâèòà áûëè ïðèñâîåíû íàèáîëåå
286
ÏÈÎÍÅÐÛ ÈÍÔÎÐÌÀÖÈÎÍÍÎÃÎ ÂÅÊÀ. Историяразвитиятеориисвязи
êîðîòêèå ïîñëåäîâàòåëüíîñòè, ñîñòîÿùèå èç òî÷åê è òèðå. Îí ïîçâîëÿë ïåðåäàâàòü
òåëåãðàôíûå ñîîáùåíèÿ ïî êàíàëó ñâÿçè, èñïîëüçóÿ íàèìåíüøåå â ñðåäíåì ÷èñëî
ñèìâîëîâ, ò.å. çàòðà÷èâàÿ íà ïåðåäà÷ó ìåíüøåå âðåìÿ. Ýòîò êîä, ó÷èòûâàþùèé ðàñïðåäåëåíèå âåðîÿòíîñòåé â òåêñòàõ áóêâ àíãëèéñêîãî àëôàâèòà, ÿâèëñÿ ïåðâûì ïðàêòè÷åñêèì ïðèìåðîì ñòàòèñòè÷åñêîãî êîäèðîâàíèÿ äèñêðåòíîãî èñòî÷íèêà ñîîáùåíèé.
Î âûñîêîé ýôôåêòèâíîñòè êîäà Ìîðçå ãîâîðèò òî, ÷òî îí äî ñèõ ïîð íàõîäèò ïðàêòè÷åñêîå ïðèìåíåíèå.
Ðå÷åâûå ñèãíàëû òàêæå îáëàäàþò áîëüøîé èçáûòî÷íîñòüþ.  1939 ã. àìåðèêàíñêèé èíæåíåð Ã. Äàäëè (ÑØÀ) èçîáðåë âîêîäåð — óñòðîéñòâî, èñïîëüçóþùåå îñîáåííîñòè ðå÷è äëÿ ñîêðàùåíèÿ ïðîïóñêíîé ñïîñîáíîñòè êàíàëà ñâÿçè, íåîáõîäèìîé äëÿ
åå ïåðåäà÷è, â 5—10 ðàç [8].
Õîòÿ îòäåëüíûå ïðîáëåìû óñòðàíåíèÿ èçáûòî÷íîñòè â ñîîáùåíèÿõ áûëè ðåøåíû
çàäîëãî äî ïîÿâëåíèÿ òåîðèè èíôîðìàöèè, ýòî íèñêîëüêî íå óìàëÿåò çíà÷åíèÿ îòêðûòûõ Øåííîíîì îáùèõ ïðèíöèïîâ ñæàòèÿ äàííûõ, îòíîñÿùèõñÿ ê èñòî÷íèêàì
èíôîðìàöèè ïðîèçâîëüíîé ïðèðîäû. Ýòî íàïðàâëåíèå òåîðèè èíôîðìàöèè èìååò âàæíîå ïðèêëàäíîå çíà÷åíèå.  ïîñëåäíèå ãîäû íà îñíîâå ýòèõ ïðèíöèïîâ ðàçðàáîòàí
ðÿä âåñüìà ýôôåêòèâíûõ ïðàêòè÷åñêèõ ìåòîäîâ äëÿ ñæàòèÿ ñèãíàëîâ òåëåìåòðèè,
ôîòîòåëåãðàôèè, òåëåôîíèè, òåëåâèäåíèÿ, çâóêîâîãî âåùàíèÿ è ïð. Ñëåäóåò ïîä÷åðêíóòü, ÷òî ñæàòèå äàííûõ ÷ðåçâû÷àéíî âàæíî íå òîëüêî äëÿ ýëåêòðîñâÿçè, ãäå îíî
ïîçâîëÿåò ýôôåêòèâíåå èñïîëüçîâàòü êàíàëû ñâÿçè, ïåðåäàâàÿ ïî íèì òîëüêî íàèáîëåå ñóùåñòâåííóþ ÷àñòü èíôîðìàöèè, íî è äëÿ äðóãèõ îáëàñòåé òåõíèêè, ãäå òðåáóåòñÿ çàïîìíèòü áîëüøîé îáúåì èíôîðìàöèè, òàê êàê ïðè ýòîì ýêîíîìèòñÿ çíà÷èòåëüíîå ÷èñëî ÿ÷ååê ïàìÿòè.
Ïåðâîé ðàáîòîé, â êîòîðîé áûëî ââåäåíî îäíî èç âàæíåéøèõ ïîíÿòèé òåîðèè
ñâÿçè — ïîíÿòèå èíôîðìàöèè, ñîäåðæàùåéñÿ â ñîîáùåíèè, ñòàëà ñòàòüÿ [9] àìåðèêàíñêîãî ó÷åíîãî Ð. Õàðòëè, îïóáëèêîâàííàÿ â 1928 ã. Äî ýòîé ðàáîòû ñàìî ïîíÿòèå
«ñîîáùåíèå» íîñèëî ðàñïëûâ÷àòûé õàðàêòåð.  ðàáîòå Õàðòëè èíôîðìàöèÿ, ñîäåðæàùàÿñÿ â ñîîáùåíèè, ñâÿçûâàëàñü ñ ïîñëåäîâàòåëüíûì âûáîðîì íà ïåðåäàþùåì
êîíöå ëèíèè ñâÿçè ñèìâîëîâ èëè ñëîâ íåçàâèñèìî îò èõ ñìûñëà. Îí ïîêàçàë, ÷òî â
ñîîáùåíèè èç N ñèìâîëîâ, âûáðàííûõ èç àëôàâèòà, èìåþùåãî Ê «áóêâ», âîçìîæíî
ôîðìèðîâàíèå Ì = ÊN ñîîáùåíèé. Ð. Õàðòëè ïðåäïîëàãàë, ÷òî êàæäàÿ «áóêâà» âûáèðàåòñÿ äëÿ ïåðåäà÷è ïî êàíàëó ñâÿçè ñ îäèíàêîâîé âåðîÿòíîñòüþ 1/Ê, è ïðåäëîæèë îïðåäåëÿòü èíôîðìàöèþ, ñîäåðæàùóþñÿ â îäíîì ïåðåäàâàåìîì ñèìâîëå ñîîáùåíèÿ, ðàâíîé logÌ/N = logÊ. Èäåÿ Ð. Õàðòëè èñïîëüçîâàòü ëîãàðèôìè÷åñêóþ ìåðó
èíôîðìàöèè, ñîäåðæàùåéñÿ â ñîîáùåíèè, áûëà ïîçæå ñóùåñòâåííî îáîáùåíà
Ê. Øåííîíîì.
Ñëåäóåò îòìåòèòü, ÷òî õàðàêòåðíîé ÷åðòîé ñîâðåìåííîé òåîðèè ñâÿçè ÿâëÿåòñÿ
ñòàòèñòè÷åñêèé ïîäõîä ê îïèñàíèþ êàê ñîîáùåíèé, ïåðåäàâàåìûõ ïî êàíàëó ñâÿçè,
òàê è äåéñòâóþùèõ â êàíàëå ñâÿçè øóìîâ. Òàêîé ïîäõîä òàêæå íà÷àëè ïðèìåíÿòü â
òåîðèè ñâÿçè äî ïóáëèêàöèè ðàáîò Ê. Øåííîíà. Îäíîé èç ïåðâûõ ðàáîò, â êîòîðûõ
âîïðîñû ïîìåõîóñòîé÷èâîñòè ïðèåìà íåñêîëüêèõ èñïîëüçóåìûõ â òå ãîäû íà ïðàêòèêå ìåòîäîâ ïåðåäà÷è äèñêðåòíûõ ñîîáùåíèé áûëè èññëåäîâàíû ñ ó÷åòîì äåéñòâèÿ â
êàíàëå ñâÿçè ñëó÷àéíûõ øóìîâ, ÿâèëàñü äîêòîðñêàÿ äèññåðòàöèÿ ÷ëåíà-êîððåñïîíäåíòà ÀÍ ÑÑÑÐ Â.È. Ñèôîðîâà [10]. Ìíîãèìè ñâîèìè ïðèíöèïàìè ñîâðåìåííàÿ
ñòàòèñòè÷åñêàÿ òåîðèÿ ñâÿçè îáÿçàíà Í. Âèíåðó. Åãî êëàññè÷åñêàÿ ðàáîòà [11] «Èí-
Ãëàâà 4. Ñîçäàíèå è ðàçâèòèå òåîðèè èíôîðìàöèè
287
òåðïîëÿöèÿ, ýêñòðàïîëÿöèÿ è ñãëàæèâàíèå âðåìåííûõ ðÿäîâ», âûïîëíåííàÿ â 1942 ã.,
íî ðàññåêðå÷åííàÿ è îïóáëèêîâàííàÿ òîëüêî â 1949 ã., ñîäåðæàëà ïåðâóþ ÷åòêóþ
ôîðìóëèðîâêó òåîðèè ñâÿçè êàê ñòàòèñòè÷åñêîé ïðîáëåìû.
Òàêîâû áûëè îñíîâíûå ðåçóëüòàòû òåîðèè ñâÿçè, ïîëó÷åííûå ó÷åíûìè äî ïîÿâëåíèÿ ðàáîòû Ê. Øåííîíà.
§ 2. Ñîçäàíèå òåîðèè èíôîðìàöèè
 1948 ã. îòäåëüíûå ðàçðîçíåííûå èäåè ïðåäøåñòâåííèêîâ áûëè îáîáùåíû
Ê. Øåííîíîì â åãî çíàìåíèòîé ðàáîòå «Ìàòåìàòè÷åñêàÿ òåîðèÿ ñâÿçè» [1].  íåé äàíî
÷åòêîå ìàòåìàòè÷åñêîå îïèñàíèå ïðîáëåì, ñòîÿùèõ ïåðåä òåîðèåé ñâÿçè, è óêàçàíû
ïóòè èõ ðåøåíèÿ. Ñèñòåìà ñâÿçè ëþáîãî íàçíà÷åíèÿ ïðåäñòàâëåíà ñòðóêòóðíîé ñõåìîé
(ðèñ. 4.1), íà êîòîðîé âûäåëåíû îñíîâíûå ôóíêöèîíàëüíûå ýëåìåíòû.
Ðèñ. 4.1
Èñòî÷íèê íà ðèñ. 4.1 ïðåäñòàâëÿåò ñîáîé ñëó÷àéíûé ãåíåðàòîð äàííûõ èëè àíàëîãîâîãî ñòîõàñòè÷åñêîãî ñèãíàëà, à êîäåð èñòî÷íèêà îñóùåñòâëÿåò îòîáðàæåíèÿ åãî
âûõîäà â äèñêðåòíóþ ïîñëåäîâàòåëüíîñòü ñèìâîëîâ (îáû÷íî äâîè÷íóþ). Íàçíà÷åíèå
êîäåðà èñòî÷íèêà ñîîáùåíèé — óñòðàíåíèå èçáûòî÷íîñòè ñîîáùåíèé, ïîñòóïàþùèõ
îò èñòî÷íèêà. Íàïðèìåð, åñëè èñòî÷íèêîì ñîîáùåíèé ÿâëÿþòñÿ áóêâû àëôàâèòà, çàêîäèðîâàííûå ðàâíîìåðíûì êîäîì, òî, ó÷èòûâàÿ âåðîÿòíîñòè èõ ïîÿâëåíèÿ â òåêñòå,
â êîäåðå èñòî÷íèêà ìîæíî íàèáîëåå âåðîÿòíûå áóêâû ïåðåêîäèðîâàòü, êàê ýòî îñóùåñòâëåíî â êîäå Ìîðçå, êîðîòêèìè êîäîâûìè êîìáèíàöèÿìè. Ïðîñòåéøèì ïðèìåðîì
êîäåðà àíàëîãîâîãî èñòî÷íèêà ñëóæèò àíàëîãî-öèôðîâîé ïðåîáðàçîâàòåëü, íàçûâàåìûé òàêæå êâàíòîâàòåëåì; äëÿ íåãî äåêîäåð èñòî÷íèêà — öèôðîàíàëîãîâûé ïðåîáðàçîâàòåëü. Ìåðîé äîñòèãàåìîãî ñæàòèÿ äàííûõ èñòî÷íèêà ñëóæèò ñêîðîñòü, âûðàæåííàÿ ÷èñëîì ñèìâîëîâ (îáû÷íî äâîè÷íûõ) â åäèíèöó âðåìåíè, êîòîðîå íåîáõîäèìî
äëÿ ïîëíîãî ïðåäñòàâëåíèÿ è ïîñëåäóþùåãî âîññòàíîâëåíèÿ äåêîäåðîì èñòî÷íèêà
âûõîäíîé ïîñëåäîâàòåëüíîñòè èñòî÷íèêà. Ïðè ýòîì ó÷èòûâàþòñÿ ñòàòèñòè÷åñêèå õàðàêòåðèñòèêè èñòî÷íèêà è äîïóñêàåòñÿ îïðåäåëåííûé óðîâåíü èñêàæåíèé ñèãíàëà,
ïîñòóïàþùåãî îò èñòî÷íèêà ñîîáùåíèé. ×åì âûøå äîïóñêàåìûé óðîâåíü èñêàæåíèé,
òåì ýêîíîìíåå îïèñàíèå ñîîáùåíèÿ, ïîñòóïàþùåãî îò èñòî÷íèêà. Êîäåðû è äåêîäåðû
äîëæíû îñóùåñòâëÿòü âçàèìíî îäíîçíà÷íûå ïðåîáðàçîâàíèÿ òàêèì îáðàçîì, ÷òîáû
ïîëó÷àòåëü ñîîáùåíèé â îòñóòñòâèå èñêàæåíèé â êàíàëå ïîëó÷àë òîò æå ñèãíàë, êîòîðûé äåéñòâóåò íà âõîäå êîäåðà èñòî÷íèêà.
288
ÏÈÎÍÅÐÛ ÈÍÔÎÐÌÀÖÈÎÍÍÎÃÎ ÂÅÊÀ. Историяразвитиятеориисвязи
Íàçíà÷åíèåì êîäåðà è äåêîäåðà êàíàëà ÿâëÿåòñÿ îáåñïå÷åíèå íàäåæíîé ïåðåäà÷è
âûõîäíîé ïîñëåäîâàòåëüíîñòè êîäåðà èñòî÷íèêà ïî êàíàëó ñâÿçè ñ øóìîì. Íà âûõîäå
äåêîäåðà, íåñìîòðÿ íà îøèáêè â ïðèåìå ñèãíàëîâ, âîçíèêàþùèå èç-çà äåéñòâóþùèõ â
êàíàëå ñâÿçè øóìîâ, äîëæíà ôîðìèðîâàòüñÿ ñ âûñîêîé âåðîÿòíîñòüþ òà æå ïîñëåäîâàòåëüíîñòü, êîòîðàÿ ïîñòóïàåò íà âõîä êîäåðà êàíàëà ñâÿçè. Ýòîãî ìîæíî äîñòè÷ü,
èñïîëüçóÿ ýôôåêòèâíûå êîäû, èñïðàâëÿþùèå îøèáêè, êîòîðûå âîçíèêàþò ïðè ïåðåäà÷å ñîîáùåíèé ïî êàíàëó ñâÿçè.
Ïî Øåííîíó, òåîðèÿ ñâÿçè èìååò äåëî ñ äâóìÿ îñíîâíûìè ïðîáëåìàìè:
1. Êîäèðîâàíèå èñòî÷íèêà òàêèì îáðàçîì, ÷òîáû ñðåäíåå ÷èñëî äâîè÷íûõ ñèìâîëîâ, ïðèõîäÿùèõñÿ íà îäèí ñèìâîë èñòî÷íèêà ñîîáùåíèé, áûëî ìèíèìàëüíûì. Ðåøåíèå ýòîé ïðîáëåìû ïîçâîëÿåò óñòðàíèòü èçáûòî÷íîñòü èç ñîîáùåíèÿ, ïîäëåæàùåãî
ïåðåäà÷å, è äîñòè÷ü âûñîêîé ýôôåêòèâíîñòè èñïîëüçîâàíèÿ êàíàëà ñâÿçè ëèáî îáúåìà ïàìÿòè óñòðîéñòâà õðàíåíèÿ ñîîáùåíèé.
Ê. Øåííîíîì, à çàòåì ìíîãèìè äðóãèìè ó÷åíûìè áûëè óñòàíîâëåíû òåîðåìû,
îïðåäåëÿþùèå ñêîðîñòü ñîçäàíèÿ ñîîáùåíèé èñòî÷íèêàìè ñ ðàçíûìè ñòàòèñòè÷åñêèìè õàðàêòåðèñòèêàìè. Òàê, äëÿ äèñêðåòíîãî èñòî÷íèêà áåç ïàìÿòè, ó êîòîðîãî ïîñëåäîâàòåëüíûå ñèìâîëû ïîðîæäàþòñÿ íåçàâèñèìî è ìîãóò ïðèíèìàòü ñ âåðîÿòíîñòüþ ði
çíà÷åíèÿ ai (i = 1, K), ñðåäíåå êîëè÷åñòâî èíôîðìàöèè íà îäèí ñèìâîë íà âûõîäå
èñòî÷íèêà çàäàåòñÿ ñëåäóþùèì âûðàæåíèåì:
K
H ( pi ) = ∑ pi log(1 / pi ) ≤ log K .
i =1
(1)
Îòìåòèì, ÷òî â ñëó÷àå, êîãäà ði = 1/K, äàííàÿ ôîðìóëà ñîâïàäàåò ñ ïðèâåäåííîé
âûøå ôîðìóëîé Ð. Õàðòëè. Åñëè ði çíà÷èòåëüíî îòëè÷àþòñÿ äðóã îò äðóãà ïî âåëè÷èíå, òî H(ði) << log(Ê), ò.å. â äàííîì ñëó÷àå âîçìîæíî ñóùåñòâåííîå ñîêðàùåíèå èçáûòî÷íîñòè ñîîáùåíèé, ïîäëåæàùèõ ïåðåäà÷å ïî êàíàëó ñâÿçè.
Ê ôîðìóëå (1) ìîæíî ïðèéòè ñ ïîìîùüþ ñëåäóþùèõ ïðîñòûõ ñîîáðàæåíèé, ïðèâåäåííûõ Ê. Øåííîíîì â ñâîåé ðàáîòå. Îíè ïîêàçûâàþò ñâÿçü ïîäõîäîâ Ê. Øåííîíà
è Ð. Õàðòëè ê îïðåäåëåíèþ êîëè÷åñòâà èíôîðìàöèè, ñîäåðæàùåãîñÿ â ñîîáùåíèè.
Âûáèðàÿ äîñòàòî÷íî äëèííóþ (äëèíîé N) ïîñëåäîâàòåëüíîñòü ñèìâîëîâ, ïîñòóïàþùèõ îò èñòî÷íèêà, ìîæíî óòâåðæäàòü, ÷òî â ëþáîé èç òàêèõ ïîñëåäîâàòåëüíîñòåé
÷èñëî ñèìâîëîâ ai ñîñòàâèò Nði. Äîëÿ ïîñëåäîâàòåëüíîñòåé, â êîòîðûõ êîëè÷åñòâî
ñèìâîëîâ ai îòëè÷àåòñÿ îò Nði, íè÷òîæíî ìàëà. Òàêèì îáðàçîì, ÷èñëî âîçìîæíûõ
ïîñëåäîâàòåëüíîñòåé äëèíû N, ãåíåðèðóåìûõ èñòî÷íèêîì, ñîñòàâëÿåò
K
M = N ! / Π (Npi ) !.
i =1
(2)
Çäåñü ! — çíàê ôàêòîðèàëà. Èñïîëüçóÿ ôîðìóëó Ñòèðëèíãà k! ≈ 2πk (k / e )k , èç (2)
ìîæíî ïîëó÷èòü
H ( pi ) = lim {log M / N }.
N →∞
Ôóíêöèþ H(ði) íàçûâàþò ýíòðîïèåé äèñêðåòíîãî èñòî÷íèêà èíôîðìàöèè áåç ïàìÿòè. Îäíèì èç ìåòîäîâ ñîêðàùåíèÿ èçáûòî÷íîñòè èñòî÷íèêà ñîîáùåíèé â ðàññìîòðåííîì ñëó÷àå ÿâëÿåòñÿ ìåòîä áëî÷íîãî êîäèðîâàíèÿ, êîãäà íà âûõîäå êîäåðà èñòî÷-