Aқпараттың статистикалық өлшемде
Энтропия.
Энтропия қасиеттері.
Дәріс мақсаты: Энтропия түсінігін және оның нышанын үйрену.
Сұрақтар:
1. Ақпараттық энтропия дегеніміз не?
2. Бүгінгі күнде энтропияның қандай түрлері белгілі?
3. Шеннон бойынша анықтама.
4. Меншікті ақпарат көмегімен анықтау
5. Математикалық қасиет
6. Энтропияның тиімділігі
Ақпараттық энтропия — ақпараттың белгісіздік және
болжап болмайтын шамасы, бастапқы алфавиттегі қандай да бір
нышанның пайда болуының белгісіздігі.
Мысалы, орыс тілінде қандай да бір сөйлем құрайтын әріп
реттілігі, әр әріп әр түрлі жиілікпен пайда болады, сондықтан
кейбір әріптертің пайда болу белгісіздігі басқа әріптерге
қарағанда аз. Егер кейбір әріптердің кездесуі сирек екенін
ескерсек, белгісіздік одан сайын азаяды.
Ақпараттық энтропия түсінігін суреттеу үшін Демон
Максвелл атын алған термодинамикалық энтропия облысының
мысалына жүгінуге болады. Ақпарат және энтропия
концепциялары бір-бірімен тығыз байланысқа ие, бірақ бұған
қарамастан статикалық механика мен ақпарат теориясындағы
теорияның өңделуі көп жылдарға созылды.
Энтропия — статикалық тәуелсіз хабарламаны өндіретін
дерекнаманың қарапайым хабарламасына келетін ақпарат
көлемі.
X пен n мүмкін жағдайларындағы тәуелсіз кездейсоқ
оқиғалар үшін ақпаратттық екілік энтропия осы формуламен
есептеледі
Тек қана «А» әріпінен тұратын, тармақ генерациялаушының
қайнар көзінің энтропиясы нөлге тең:
,
ал мүмкін болар жағдайдың саны:
мүмкін болар жағдай (мәні) («А») логарифм негізіне тәуелді
емес. Бұл да ескеретін ақпарат. Энтропиясы нөлге тең, бірақ
ақпарат саны 1-ге тең разрядты пайдаланатын, есте сақтау
құрылғысының мысалы ретінеде, ПЗУ да жазылған әр разряды
тек бір ғана мүмкін жағдайға ие, берілгендер разряды бола алады.
B энтропия
Тринарлы энтропия
Тетрарлы энтропия
Шартты энтропия
1948 жылы, ақпараттың тиімді берілісінің мәселесі арқылы шумдалған
коммуникациялық арнаны зерттей келе, Клод Шеннон коммуникацияның
түсінушілікке революционерлік мүмкіндіктің тіл табуын ұсынды және
энтропиянің бірінші шынайы математикалық қағидасын жасады. Оның
сенсациялық идеялары екі негізгі бағыттың құрылуына негіз болды, олар:
ақпарат теориясы, эгродиялық теорияның және мүмкіндік түсінігін
коммуникациялық жүйе және статикалық мінездеме мәліметтерін қолданады,
және кодтау теориясы негізі алгебралық және геометриялық құрылғыны
эффективті кодты ұйымдастыру үшін қолданады. Шеннон мақаласында «A
Mathematical Theory of Communication» энтропия түсінігі берілген, 1948
жылы екі мақалада жарияланған.
Шартты энтропия
Ақпараттар теориясында шартты энтропия түсінігі төмендегідей өзара
байланысты анықтағанда қолданылады:
а) кодталатын алфавит символдарымен (бір қайнар көзбен тізбектеліп таңдалатын
жағдай арасында);
ә) байланыс каналдарымен ақпаратты тасымалдағанда жоғалтуларды анықтау
үшін;
б) біріктіру энтропиясын есептеу үшін.
Егер – хабарлама көзінің еркін түрдегі жағдайы, – адресаттың еркін түрдегі
жағдайы болса, онда дербес шартты энтропия
қайнар көздің әрбір
-ші
жағдайында шартты энтропиясын анықтайды және келесі формуламен
есептелінеді:
Жалпы
шартты энтропия
хабарламасына қатысты
таратылатыны белгілі
болса,
қабылдағыштағы ақпарат санын сипаттайды, (немесе,
ансамбльдің
жағдайы белгілі болғанда,
ансамблінің бір жағдайына шаққанда орташа
анықталмағандық).
B-энтропия
Жалпы жағдайда b-энтропия(мұнда b 2,3,… тең) дереккөзі
S=(S,P) бастапқы алфавитпен S={a1,...an} және ықтималдықтың
дискретті таралуы P={P1,...,Pn}, мұндағы pi ықтималдық pi=p(ai
) формуламен анықталады:
Бақылау сұрақтары:
1. Ақпараттық энтропия дегеніміз?
2. Бүгінгі күнде энтропияның қандай түрлері белгілі?
3. Шеннон бойынша анықтау
4. Анықтау өздік ақпарат бойынша
5. Математикалық құрам
6. Энтропияның тиімділігі