МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ Федеральное государственное бюджетное образовательное учреждение высшего образования «Сибирский государственный университет науки и технологий имени академика М.Ф. Решетнева» Лабораторная работа №2 По дисциплине: «Теория информации» Тема: «Энтропия сложной системы. Условная энтропия» Выполнил: студент группы БИС99-01 Иванов М.А. Проверила: преподаватель Котельникова С.В. Красноярск 2018 Цель работы: Закрепить теоретические знания и получить практические навыки при вычислении энтропии. Задание: Влияние помех в канале связи описывается канальной матрицей, с помощью условных вероятностей P(Y/X) и P(Х/Y), где X – источник информации, Y – приемник информации. 1. Провести исследование канала информации со стороны источника информации и со стороны приемника информации. По результатам исследования определить: - Потери информации Н(Y/xi), которые приходятся на каждый переданный хi сигнал и потери Н(Y/X) при передаче всех сигналов х; - Потери информации Н(Х/уj), которые приходятся на каждый принятый уj сигнал и потери Н(Х/Y) при приеме всех сигналов yj. Исходные данные: Р(уj /xi) и Р(xi / уj) получить из матрицы совместных вероятностей, размером 10 × 10, которую задать самостоятельно. 2. Определить энтропию Н(Х,Y) двухбуквенного сочетания и условную энтропию Н(Y/X) заданного текстового сообщения. Х – 32-х буквенный алфавит Y – 32-х буквенный алфавит Задание 1 Таблица совместных вероятностей: xi/yi x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 ri p(yj) y1 y2 y3 y4 y5 y6 y7 y8 y9 y10 pi p(xi) 0,001 0,031 0,001 0,001 0,002 0,001 0,02 0,007 0,007 0,001 0,072 0,004 0,01 0,02 0,01 0,001 0,003 0,012 0,003 0,017 0,005 0,085 0,001 0,003 0,014 0,002 0,011 0,003 0,004 0,004 0,004 0,04 0,086 0,002 0,03 0,005 0,002 0,001 0,007 0,013 0,018 0,005 0,017 0,1 0,008 0,005 0,003 0,001 0,001 0,002 0,03 0,015 0,002 0,001 0,068 0,001 0,002 0,007 0,003 0,003 0,01 0,01 0,02 0,003 0,007 0,066 0,006 0,009 0,012 0,001 0,004 0,018 0,01 0,008 0,003 0,004 0,075 0,001 0,001 0,05 0,04 0,015 0,06 0,012 0,006 0,01 0,05 0,245 0,01 0,01 0,001 0,004 0,001 0,007 0,014 0,017 0,032 0,003 0,099 0,015 0,02 0,014 0,02 0,006 0,011 0,001 0,003 0,01 0,004 0,104 0,049 0,121 0,127 0,084 0,045 0,122 Таблица условных вероятностей p (xi / yj) = 0,126 0,101 0,093 0,132 1 𝑃𝑖𝑗 𝑃(𝑌𝑗) Канальная матрица от приемника Y к источнику X. xi/yi x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 y1 0,0204 0,0816 0,0204 0,0408 0,1633 0,0204 0,1224 0,0204 0,2041 0,3061 y2 0,2562 0,0826 0,0248 0,2479 0,0413 0,0165 0,0744 0,0083 0,0826 0,1653 y3 0,0079 0,1575 0,1102 0,0394 0,0236 0,0551 0,0945 0,3937 0,0079 0,1102 y4 0,0119 0,1190 0,0238 0,0238 0,0119 0,0357 0,0119 0,4762 0,0476 0,2381 y5 0,0444 0,0222 0,2444 0,0222 0,0222 0,0667 0,0889 0,3333 0,0222 0,1333 y6 y7 0,0082 0,0246 0,0246 0,0574 0,0164 0,0820 0,1475 0,4918 0,0574 0,0902 Таблица условных вероятностей p (yj / xi) = 0,1587 0,0952 0,0317 0,1032 0,2381 0,0794 0,0794 0,0952 0,1111 0,0079 y8 0,0693 0,0297 0,0396 0,1782 0,1485 0,1980 0,0792 0,0594 0,1683 0,0297 y9 0,0753 0,1828 0,0430 0,0538 0,0215 0,0323 0,0323 0,1075 0,3441 0,1075 y10 0,0076 0,0379 0,3030 0,1288 0,0076 0,0530 0,0303 0,3788 0,0227 0,0303 𝑃𝑖𝑗 𝑃(𝑥𝑖) Канальная матрица от источника Х к приемнику Y. xi/yi x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 y1 y2 y3 y4 y5 y6 y7 y8 y9 y10 0,0139 0,4306 0,0139 0,0139 0,0278 0,0139 0,2778 0,0972 0,0972 0,0139 0,0471 0,1176 0,2353 0,1176 0,0118 0,0353 0,1412 0,0353 0,2000 0,0588 0,0116 0,0349 0,1628 0,0233 0,1279 0,0349 0,0465 0,0465 0,0465 0,4651 0,0200 0,3000 0,0500 0,0200 0,0100 0,0700 0,1300 0,1800 0,0500 0,1700 0,1176 0,0735 0,0441 0,0147 0,0147 0,0294 0,4412 0,2206 0,0294 0,0147 0,0152 0,0303 0,1061 0,0455 0,0455 0,1515 0,1515 0,3030 0,0455 0,1061 0,0800 0,1200 0,1600 0,0133 0,0533 0,2400 0,1333 0,1067 0,0400 0,0533 0,0041 0,0041 0,2041 0,1633 0,0612 0,2449 0,0490 0,0245 0,0408 0,2041 0,1010 0,1010 0,0101 0,0404 0,0101 0,0707 0,1414 0,1717 0,3232 0,0303 0,1442 0,1923 0,1346 0,1923 0,0577 0,1058 0,0096 0,0288 0,0962 0,0385 Потери информации от приемника Y к источнику X, Н(X/yj): m H ( X | y j ) p( xi | y j )log 2 p( xi | y j ) i 1 H(X/yj) ri p(yj) 2,7304 0,049 2,7820 0,121 2,6243 0,127 2,2341 0,084 2,6714 0,045 2,4098 0,122 3,0445 0,126 3,0319 0,101 2,8112 0,093 2,3734 0,132 𝐻(𝑋|𝑌) = ∑𝑛𝑖=1 𝑝𝑖 ∗ 𝐻(𝑋|𝑌𝑖 ) H(X/Y) = 2.6701 Потери информации от источника X к приемнику Y, Н(Y/xi): m H(Y/xj ) = − ∑ p(yi /xj ) ∗ log 2 p(yi /xj ) j=1 pi H(Y/xi) p(xi) 0,072 2,2627 0,085 2,9447 0,086 2,4758 0,1 2,7766 0,068 2,4084 0,066 2,8861 0,075 3,0276 0,245 2,7039 0,099 2,7745 0,104 3,0050 n H (Y | X ) p i H (Y | x i ) i 1 H(Y/X) = 2,7348 Задание 2. Ф.М.Достоевский. Преступление и наказание. В начале июля, в чрезвычайно жаркое время, под вечер, один молодой человек вышел из своей каморки, которую нанимал от жильцов в С — м переулке, на улицу и медленно, как бы в нерешимости, отправился к К — ну мосту. Он благополучно избегнул встречи с своею хозяйкой на лестнице. Каморка его приходилась под самою кровлей высокого пятиэтажного дома и походила более на шкаф, чем на квартиру. Квартирная же хозяйка его, у которой он нанимал эту каморку с обедом и прислугой, помещалась одною лестницей ниже, в отдельной квартире, и каждый раз, при выходе на улицу, ему непременно надо было проходить мимо хозяйкиной кухни, почти всегда настежь отворенной на лестницу. И каждый раз молодой человек, проходя мимо, чувствовал какое-то болезненное и трусливое ощущение, которого стыдился и от которого морщился. Он был должен кругом хозяйке и боялся с нею встретиться. Не то чтоб он был так труслив и забит, совсем даже напротив; но с некоторого времени он был в раздражительном и напряженном состоянии, похожем на ипохондрию. Он до того углубился в себя и уединился от всех, что боялся даже всякой встречи, не только встречи с хозяйкой. Он был задавлен бедностью; но даже стесненное положение перестало в последнее время тяготить его. Насущными делами своими он совсем перестал и не хотел заниматься. Никакой хозяйки, в сущности, он не боялся, что бы та ни замышляла против него. Но останавливаться на лестнице, слушать всякий вздор про всю эту обыденную дребедень, до которой ему нет никакого дела, все эти приставания о платеже, угрозы, жалобы, и при этом самому изворачиваться, извиняться, лгать, — нет уж, лучше проскользнуть как-нибудь кошкой по лестнице и улизнуть, чтобы никто не видал. Впрочем, на этот раз страх встречи с своею кредиторшей даже его самого поразил по выходе на улицу. «На какое дело хочу покуситься и в то же время каких пустяков боюсь! — подумал он с странною улыбкой. — Гм... да... всё в руках человека, и всё-то он мимо носу проносит, единственно от одной трусости... это уж аксиома... Любопытно, чего люди больше всего боятся? Нового шага, нового собственного слова они всего больше боятся... А впрочем, я слишком много болтаю. Оттого и ничего не делаю, что болтаю. Пожалуй, впрочем, и так: оттого болтаю, что ничего не делаю. Это я в этот последний месяц выучился болтать, лежа по целым суткам в углу и думая... о царе Горохе. Ну зачем я теперь иду? Разве я способен на это? Разве это серьезно? Совсем не серьезно. Так, ради фантазии сам себя тешу; игрушки! Да, пожалуй что и игрушки!» На улице жара стояла страшная, к тому же духота, толкотня, всюду известка, леса, кирпич, пыль и та особенная летняя вонь, столь известная каждому петербуржцу, не имеющему возможности нанять дачу, — всё это разом неприятно потрясло и без того уже расстроенные нервы юноши. Нестерпимая же вонь из распивочных, которых в этой части города особенное множество, и пьяные, поминутно попадавшиеся, несмотря на буднее время, довершили отвратительный и грустный колорит картины. Чувство глубочайшего омерзения мелькнуло на миг в тонких чертах молодого человека. Кстати, он был замечательно хорош собою, с прекрасными темными глазами, темно-рус, ростом выше среднего, тонок и строен. Но скоро он впал как бы в глубокую задумчивость, даже, вернее сказать, как бы в какое-то забытье, и пошел, уже не замечая окружающего, да и не желая его замечать. Изредка только бормотал он что-то про себя, от своей привычки к монологам, в которой он сейчас сам себе признался. В эту же минуту он и сам сознавал, что мысли его порою мешаются и что он очень слаб: второй день как уж он почти совсем ничего не ел. Он был до того худо одет, что иной, даже и привычный человек, посовестился бы днем выходить в таких лохмотьях на улицу. Впрочем, квартал был таков, что костюмом здесь было трудно кого-нибудь удивить. Близость Сенной, обилие известных заведений и, по преимуществу, цеховое и ремесленное население, скученное в этих серединных петербургских улицах и переулках, пестрили иногда общую панораму такими субъектами, что странно было бы и удивляться при встрече с иною фигурой. Но столько злобного презрения уже накопилось в душе молодого человека, что, несмотря на всю свою, иногда очень молодую, щекотливость, он менее всего совестился своих лохмотьев на улице. Другое дело при встрече с иными знакомыми или с прежними товарищами, с которыми вообще он не любил встречаться... А между тем, когда один пьяный, которого неизвестно почему и куда провозили в это время по улице в огромной телеге, запряженной огромною ломовою лошадью, крикнул ему вдруг, проезжая: «Эй ты, немецкий шляпник!» — и заорал во всё горло, указывая на него рукой, — молодой человек вдруг остановился и судорожно схватился за свою шляпу. Шляпа эта была высокая, круглая, циммермановская, но вся уже изношенная, совсем рыжая, вся в дырах и пятнах, без полей и самым безобразнейшим углом заломившаяся на сторону. Но не стыд, а совсем другое чувство, похожее даже на испуг, охватило его. «Я так и знал! — бормотал он в смущении, — я так и думал! Это уж всего сквернее! Вот эдакая какая-нибудь глупость, какая-нибудь пошлейшая мелочь, весь замысел может испортить! Да, слишком приметная шляпа... Смешная, потому и приметная... К моим лохмотьям непременно нужна фуражка, хотя бы старый блин какой-нибудь, а не этот урод. Никто таких не носит, за версту заметят, запомнят... главное, потом запомнят, ан и улика. Тут нужно быть как можно неприметнее... Мелочи, мелочи главное!.. Вот эти-то мелочи и губят всегда и всё...» Идти ему было немного; он даже знал, сколько шагов от ворот его дома: ровно семьсот тридцать. Как-то раз он их сосчитал, когда уж очень размечтался. В то время он и сам еще не верил этим мечтам своим и только раздражал себя их безобразною, но соблазнительною дерзостью. Теперь же, месяц спустя, он уже начинал смотреть иначе и, несмотря на все поддразнивающие монологи о собственном бессилии и нерешимости, «безобразную» мечту как-то даже поневоле привык считать уже предприятием, хотя всё еще сам себе не верил. Он даже шел теперь делать пробу своему предприятию, и с каждым шагом волнение его возрастало всё сильнее и сильнее. Количество двухбуквенных сочетаний Пробел Пробел о е а и н т с р в л к м д п у я ы з ъ б г ч й х ж ю ш ц щ э ф Сумма все совпадений 0 123 92 53 88 34 19 15 1 32 28 17 40 2 0 29 51 9 7 31 1 2 0 36 18 4 18 1 2 0 0 0 5600 о е 63 1 0 1 1 76 71 22 41 36 44 46 36 18 41 0 0 0 6 0 20 55 0 0 23 0 0 0 1 0 0 0 а 17 23 10 0 8 53 19 36 41 27 22 2 31 17 10 1 0 2 1 5 15 1 27 0 1 33 0 11 9 9 0 0 и 6 0 0 0 0 52 36 10 34 15 20 45 11 27 5 0 0 0 22 0 0 3 9 0 0 10 0 8 3 2 0 1 н 78 4 2 0 4 41 31 7 25 5 25 15 20 15 4 0 0 0 3 0 4 1 13 0 0 2 0 6 1 2 0 1 т 93 38 38 13 18 22 18 2 3 4 1 2 9 9 1 0 3 0 16 7 1 1 3 1 1 7 1 2 0 2 0 0 с 41 50 13 18 17 1 2 71 7 1 4 3 0 1 0 6 14 3 0 0 0 0 19 0 0 0 1 0 0 0 21 0 р 96 29 29 11 4 1 3 2 1 41 15 2 0 0 0 8 2 4 0 9 2 1 0 0 0 0 1 0 0 0 0 0 в 19 35 27 10 4 0 25 1 0 8 0 7 0 9 43 5 0 1 3 0 3 6 1 0 0 0 0 0 0 0 0 0 97 32 2 9 16 0 10 10 1 0 0 5 0 0 0 3 0 1 9 0 0 0 0 0 2 0 0 0 0 0 0 0 л к 18 31 34 28 27 0 1 13 1 4 0 0 0 1 1 16 5 13 1 0 4 10 0 0 0 0 1 6 0 0 0 0 м 56 6 11 30 7 1 2 8 4 0 3 0 0 1 0 3 3 1 0 6 1 0 1 6 0 1 0 6 1 0 0 0 д 35 31 38 26 22 0 0 6 3 0 0 0 1 0 0 4 1 9 2 0 0 1 0 0 3 0 1 0 0 0 0 0 п 40 24 15 6 4 1 1 0 0 2 0 0 0 1 0 12 0 3 4 0 0 6 0 0 0 5 2 0 0 0 1 0 у 78 4 7 5 1 0 1 5 2 5 0 0 0 2 0 1 4 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 я 32 0 2 0 0 14 8 6 19 1 11 6 14 10 4 0 0 1 0 0 9 2 5 0 1 0 0 1 6 2 0 1 ы 5 7 0 23 6 6 6 34 6 0 7 0 6 1 2 0 1 0 6 4 5 0 0 0 0 0 0 0 0 0 0 0 з 0 0 0 0 0 14 3 0 4 13 2 0 5 4 2 0 0 0 2 0 24 0 0 0 0 0 0 0 0 0 0 0 ъ 25 11 11 20 14 0 0 0 2 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 б 0 0 0 0 0 7 36 6 5 0 19 0 1 6 2 0 0 0 0 0 1 0 1 0 0 1 0 0 0 0 0 0 46 20 7 3 5 0 0 0 2 0 0 0 0 0 0 5 0 1 1 0 0 0 0 0 0 0 2 0 0 0 0 0 г ч 12 30 26 4 4 0 0 0 1 0 1 0 0 0 0 12 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 й 29 17 14 6 4 0 0 2 0 0 0 0 1 0 0 4 0 3 0 0 0 0 0 1 0 0 0 0 0 0 0 0 х 0 26 9 2 4 0 0 0 0 0 0 0 0 0 0 2 6 7 0 0 0 0 0 0 0 0 0 0 0 0 1 0 ж 12 11 2 7 10 0 0 1 0 0 0 0 0 0 0 2 1 7 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ю 11 10 5 18 1 0 0 0 1 0 1 0 0 0 0 14 2 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 ш 1 13 4 8 3 0 1 3 0 0 3 0 0 0 0 6 0 0 0 3 0 0 0 0 0 0 0 0 0 0 0 0 ц 9 7 5 1 2 0 0 0 2 2 0 0 0 0 0 4 0 3 0 2 0 0 1 3 0 0 0 0 0 0 0 0 щ 4 0 1 0 13 0 0 0 0 0 0 0 0 1 0 0 2 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 э 1 1 3 0 1 0 0 0 1 0 0 0 0 0 0 5 0 0 0 0 2 0 0 0 0 0 3 0 0 0 0 0 ф 21 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 Вероятность двухбуквенных сочетаний Пробел Пробел 0,0000 о 0,0220 е 0,0164 а 0,0095 и 0,0157 н 0,0061 т 0,0034 с 0,0027 р 0,0002 в 0,0057 л 0,0050 к 0,0030 м 0,0071 д 0,0004 п 0,0000 у 0,0052 я 0,0091 ы 0,0016 з 0,0013 ъ 0,0055 б 0,0002 г 0,0004 ч 0,0000 й 0,0064 х 0,0032 ж 0,0007 ю 0,0032 ш 0,0002 ц 0,0004 щ 0,0000 э 0,0000 ф 0,0000 о е а и н т с р в 0,0113 0,0030 0,0011 0,0139 0,0166 0,0073 0,0171 0,0034 0,0173 0,0002 0,0041 0,0000 0,0007 0,0068 0,0089 0,0052 0,0063 0,0057 0,0000 0,0018 0,0000 0,0004 0,0068 0,0023 0,0052 0,0048 0,0004 0,0002 0,0000 0,0000 0,0000 0,0023 0,0032 0,0020 0,0018 0,0016 0,0002 0,0014 0,0000 0,0007 0,0032 0,0030 0,0007 0,0007 0,0029 0,0136 0,0095 0,0093 0,0073 0,0039 0,0002 0,0002 0,0000 0,0000 0,0127 0,0034 0,0064 0,0055 0,0032 0,0004 0,0005 0,0045 0,0018 0,0039 0,0064 0,0018 0,0013 0,0004 0,0127 0,0004 0,0002 0,0018 0,0073 0,0073 0,0061 0,0045 0,0005 0,0013 0,0002 0,0000 0,0002 0,0064 0,0048 0,0027 0,0009 0,0007 0,0002 0,0073 0,0014 0,0000 0,0079 0,0039 0,0036 0,0045 0,0002 0,0007 0,0027 0,0000 0,0000 0,0082 0,0004 0,0080 0,0027 0,0004 0,0005 0,0004 0,0013 0,0009 0,0064 0,0055 0,0020 0,0036 0,0016 0,0000 0,0000 0,0000 0,0000 0,0032 0,0030 0,0048 0,0027 0,0016 0,0002 0,0000 0,0016 0,0000 0,0073 0,0018 0,0009 0,0007 0,0002 0,0000 0,0000 0,0077 0,0000 0,0000 0,0002 0,0000 0,0000 0,0000 0,0011 0,0014 0,0009 0,0005 0,0000 0,0000 0,0000 0,0000 0,0005 0,0025 0,0004 0,0000 0,0000 0,0000 0,0004 0,0000 0,0000 0,0000 0,0005 0,0007 0,0002 0,0002 0,0011 0,0002 0,0039 0,0005 0,0029 0,0000 0,0000 0,0005 0,0016 0,0000 0,0009 0,0000 0,0000 0,0013 0,0000 0,0016 0,0000 0,0000 0,0036 0,0027 0,0000 0,0007 0,0002 0,0000 0,0004 0,0005 0,0000 0,0098 0,0002 0,0005 0,0002 0,0002 0,0000 0,0002 0,0011 0,0000 0,0000 0,0048 0,0016 0,0023 0,0005 0,0034 0,0000 0,0002 0,0000 0,0000 0,0000 0,0000 0,0000 0,0002 0,0000 0,0000 0,0000 0,0000 0,0041 0,0002 0,0000 0,0000 0,0002 0,0000 0,0000 0,0000 0,0004 0,0000 0,0059 0,0018 0,0004 0,0013 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0002 0,0002 0,0002 0,0000 0,0000 0,0000 0,0020 0,0014 0,0011 0,0004 0,0000 0,0000 0,0000 0,0000 0,0002 0,0016 0,0005 0,0002 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0016 0,0004 0,0004 0,0004 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0038 0,0000 0,0000 0,0000 0,0000 0,0000 0,0002 0,0002 0,0000 0,0000 0,0000 0,0000 0,0000 л к м д п у я ы з ъ б 0,0032 0,0100 0,0063 0,0071 0,0139 0,0057 0,0009 0,0000 0,0045 0,0000 0,0082 0,0055 0,0011 0,0055 0,0043 0,0007 0,0000 0,0013 0,0000 0,0020 0,0000 0,0036 0,0061 0,0020 0,0068 0,0027 0,0013 0,0004 0,0000 0,0000 0,0020 0,0000 0,0013 0,0050 0,0054 0,0046 0,0011 0,0009 0,0000 0,0041 0,0000 0,0036 0,0000 0,0005 0,0048 0,0013 0,0039 0,0007 0,0002 0,0000 0,0011 0,0000 0,0025 0,0000 0,0009 0,0000 0,0002 0,0000 0,0002 0,0000 0,0025 0,0011 0,0025 0,0000 0,0013 0,0000 0,0002 0,0004 0,0000 0,0002 0,0002 0,0014 0,0011 0,0005 0,0000 0,0064 0,0000 0,0023 0,0014 0,0011 0,0000 0,0009 0,0011 0,0061 0,0000 0,0000 0,0011 0,0000 0,0002 0,0007 0,0005 0,0000 0,0004 0,0034 0,0011 0,0007 0,0004 0,0009 0,0004 0,0007 0,0000 0,0000 0,0004 0,0009 0,0002 0,0000 0,0023 0,0002 0,0000 0,0000 0,0000 0,0005 0,0000 0,0000 0,0000 0,0020 0,0013 0,0004 0,0000 0,0034 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0011 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0002 0,0000 0,0000 0,0025 0,0011 0,0009 0,0000 0,0002 0,0000 0,0002 0,0002 0,0000 0,0002 0,0004 0,0018 0,0002 0,0007 0,0000 0,0011 0,0000 0,0002 0,0000 0,0000 0,0000 0,0000 0,0007 0,0004 0,0004 0,0000 0,0004 0,0000 0,0029 0,0005 0,0007 0,0021 0,0002 0,0000 0,0000 0,0000 0,0000 0,0000 0,0009 0,0009 0,0005 0,0002 0,0000 0,0007 0,0000 0,0002 0,0000 0,0000 0,0000 0,0000 0,0023 0,0002 0,0016 0,0005 0,0000 0,0002 0,0000 0,0000 0,0000 0,0000 0,0002 0,0002 0,0000 0,0004 0,0007 0,0000 0,0000 0,0011 0,0004 0,0000 0,0000 0,0002 0,0000 0,0011 0,0000 0,0000 0,0000 0,0000 0,0007 0,0000 0,0002 0,0000 0,0000 0,0007 0,0002 0,0000 0,0000 0,0000 0,0016 0,0009 0,0043 0,0000 0,0002 0,0000 0,0018 0,0000 0,0002 0,0011 0,0000 0,0004 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0002 0,0000 0,0000 0,0000 0,0009 0,0000 0,0000 0,0000 0,0002 0,0000 0,0000 0,0011 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0005 0,0000 0,0000 0,0002 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0002 0,0000 0,0009 0,0000 0,0000 0,0000 0,0000 0,0000 0,0002 0,0000 0,0002 0,0000 0,0002 0,0004 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0004 0,0011 0,0011 0,0000 0,0000 0,0000 0,0002 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0002 0,0000 0,0000 0,0000 0,0011 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0004 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0002 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0002 0,0000 0,0000 0,0000 0,0000 0,0000 г 0,0021 0,0054 0,0046 0,0007 0,0007 0,0000 0,0000 0,0000 0,0002 0,0000 0,0002 0,0000 0,0000 0,0000 0,0000 0,0021 0,0002 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 ч 0,0052 0,0030 0,0025 0,0011 0,0007 0,0000 0,0000 0,0004 0,0000 0,0000 0,0000 0,0000 0,0002 0,0000 0,0000 0,0007 0,0000 0,0005 0,0000 0,0000 0,0000 0,0000 0,0000 0,0002 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 й 0,0000 0,0046 0,0016 0,0004 0,0007 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0004 0,0011 0,0013 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0002 0,0000 х 0,0021 0,0020 0,0004 0,0013 0,0018 0,0000 0,0000 0,0002 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0004 0,0002 0,0013 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 ж 0,0020 0,0018 0,0009 0,0032 0,0002 0,0000 0,0000 0,0000 0,0002 0,0000 0,0002 0,0000 0,0000 0,0000 0,0000 0,0025 0,0004 0,0002 0,0002 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 ю 0,0002 0,0023 0,0007 0,0014 0,0005 0,0000 0,0002 0,0005 0,0000 0,0000 0,0005 0,0000 0,0000 0,0000 0,0000 0,0011 0,0000 0,0000 0,0000 0,0005 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 ш 0,0016 0,0013 0,0009 0,0002 0,0004 0,0000 0,0000 0,0000 0,0004 0,0004 0,0000 0,0000 0,0000 0,0000 0,0000 0,0007 0,0000 0,0005 0,0000 0,0004 0,0000 0,0000 0,0002 0,0005 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 ц 0,0007 0,0000 0,0002 0,0000 0,0023 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0002 0,0000 0,0000 0,0004 0,0000 0,0000 0,0002 0,0000 0,0000 0,0000 0,0000 0,0000 0,0002 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 щ 0,0002 0,0002 0,0005 0,0000 0,0002 0,0000 0,0000 0,0000 0,0002 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0009 0,0000 0,0000 0,0000 0,0000 0,0004 0,0000 0,0000 0,0000 0,0000 0,0000 0,0005 0,0000 0,0000 0,0000 0,0000 0,0000 Канальная матрица от приемника к источнику y->x э 0,0038 0,0000 0,0000 0,0000 0,0002 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 ф 0,0005 0,0000 0,0000 0,0002 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 Pi 0,1693 0,1043 0,0727 0,0541 0,0516 0,0577 0,0523 0,0464 0,0370 0,0352 0,0368 0,0268 0,0313 0,0223 0,0205 0,0254 0,0171 0,0123 0,0150 0,0123 0,0164 0,0159 0,0143 0,0084 0,0088 0,0114 0,0054 0,0073 0,0041 0,0030 0,0041 0,0005 Пробел о е а и н т с р в л к м д п у я ы з ъ б г ч й х ж ю ш ц щ э ф Пробел о е а и н т с р в 0,0000 0,0665 0,0179 0,0063 0,0823 0,0981 0,0432 0,1013 0,0200 0,1023 0,2106 0,0017 0,0394 0,0000 0,0068 0,0651 0,0856 0,0497 0,0599 0,0548 0,2260 0,0000 0,0246 0,0000 0,0049 0,0934 0,0319 0,0713 0,0663 0,0049 0,1749 0,0033 0,0000 0,0000 0,0000 0,0429 0,0594 0,0363 0,0330 0,0297 0,3045 0,0035 0,0277 0,0000 0,0138 0,0623 0,0588 0,0138 0,0138 0,0554 0,1053 0,2353 0,1641 0,1610 0,1269 0,0681 0,0031 0,0031 0,0000 0,0000 0,0648 0,2423 0,0648 0,1229 0,1058 0,0614 0,0068 0,0102 0,0853 0,0341 0,0577 0,0846 0,1385 0,0385 0,0269 0,0077 0,2731 0,0077 0,0038 0,0385 0,0048 0,1981 0,1981 0,1643 0,1208 0,0145 0,0338 0,0048 0,0000 0,0048 0,1624 0,1827 0,1371 0,0761 0,0254 0,0203 0,0051 0,2081 0,0406 0,0000 0,1359 0,2136 0,1068 0,0971 0,1214 0,0049 0,0194 0,0728 0,0000 0,0000 0,1133 0,3067 0,0133 0,3000 0,1000 0,0133 0,0200 0,0133 0,0467 0,0333 0,2286 0,2057 0,1771 0,0629 0,1143 0,0514 0,0000 0,0000 0,0000 0,0000 0,0160 0,1440 0,1360 0,2160 0,1200 0,0720 0,0080 0,0000 0,0720 0,0000 0,0000 0,3565 0,0870 0,0435 0,0348 0,0087 0,0000 0,0000 0,3739 0,0000 0,2042 0,0000 0,0070 0,0000 0,0000 0,0000 0,0423 0,0563 0,0352 0,0211 0,5313 0,0000 0,0000 0,0000 0,0000 0,0313 0,1458 0,0208 0,0000 0,0000 0,1304 0,0000 0,0290 0,0000 0,0000 0,0000 0,0435 0,0580 0,0145 0,0145 0,0833 0,0714 0,0119 0,2619 0,0357 0,1905 0,0000 0,0000 0,0357 0,1071 0,4493 0,0000 0,0725 0,0000 0,0000 0,1014 0,0000 0,1304 0,0000 0,0000 0,0109 0,2174 0,1630 0,0000 0,0435 0,0109 0,0000 0,0217 0,0326 0,0000 0,0225 0,6180 0,0112 0,0337 0,0112 0,0112 0,0000 0,0112 0,0674 0,0000 0,0000 0,0000 0,3375 0,1125 0,1625 0,0375 0,2375 0,0000 0,0125 0,0000 0,7660 0,0000 0,0000 0,0000 0,0000 0,0213 0,0000 0,0000 0,0000 0,0000 0,3673 0,4694 0,0204 0,0000 0,0000 0,0204 0,0000 0,0000 0,0000 0,0408 0,0625 0,0000 0,5156 0,1563 0,0313 0,1094 0,0000 0,0000 0,0000 0,0000 0,6000 0,0000 0,0000 0,0000 0,0000 0,0333 0,0333 0,0333 0,0000 0,0000 0,0244 0,0000 0,2683 0,1951 0,1463 0,0488 0,0000 0,0000 0,0000 0,0000 0,0870 0,0435 0,3913 0,1304 0,0435 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,5294 0,1176 0,1176 0,1176 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,9130 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,3333 0,3333 0,0000 0,0000 0,0000 0,0000 0,0000 л к 0,0190 0,0531 0,0835 0,0924 0,0934 0,0000 0,0034 0,0500 0,0048 0,0203 0,0000 0,0000 0,0000 0,0080 0,0087 0,1127 0,0521 0,1884 0,0119 0,0000 0,0435 0,1124 0,0000 0,0000 0,0000 0,0000 0,0333 0,1463 0,0000 0,0000 0,0000 0,0000 0,0591 0,0103 0,0270 0,0990 0,0242 0,0031 0,0068 0,0308 0,0193 0,0000 0,0146 0,0000 0,0000 0,0080 0,0000 0,0211 0,0313 0,0145 0,0000 0,0870 0,0109 0,0000 0,0125 0,1277 0,0000 0,0156 0,0000 0,1463 0,0435 0,0000 0,0000 0,0000 м д п у я ы з ъ б 0,0369 0,0422 0,0823 0,0338 0,0053 0,0000 0,0264 0,0000 0,0485 0,0531 0,0411 0,0068 0,0000 0,0120 0,0000 0,0188 0,0000 0,0342 0,0934 0,0369 0,0172 0,0049 0,0000 0,0000 0,0270 0,0000 0,0172 0,0858 0,0198 0,0165 0,0000 0,0759 0,0000 0,0660 0,0000 0,0099 0,0761 0,0138 0,0035 0,0000 0,0208 0,0000 0,0484 0,0000 0,0173 0,0000 0,0031 0,0000 0,0433 0,0186 0,0433 0,0000 0,0217 0,0000 0,0000 0,0034 0,0034 0,0273 0,0205 0,0102 0,0000 0,1229 0,0000 0,0231 0,0000 0,0192 0,0231 0,1308 0,0000 0,0000 0,0231 0,0000 0,0145 0,0000 0,0097 0,0918 0,0290 0,0193 0,0097 0,0242 0,0097 0,0000 0,0102 0,0254 0,0051 0,0000 0,0660 0,0051 0,0000 0,0000 0,0000 0,0000 0,0000 0,0534 0,0340 0,0097 0,0000 0,0922 0,0000 0,0000 0,0000 0,0000 0,0400 0,0000 0,0000 0,0000 0,0000 0,0000 0,0057 0,0000 0,0000 0,0800 0,0343 0,0286 0,0000 0,0057 0,0000 0,0000 0,0080 0,0160 0,0800 0,0080 0,0320 0,0000 0,0480 0,0000 0,0000 0,0000 0,0000 0,0348 0,0174 0,0174 0,0000 0,0174 0,0000 0,0282 0,0845 0,0070 0,0000 0,0000 0,0000 0,0000 0,0000 0,0352 0,0104 0,0000 0,0417 0,0000 0,0104 0,0000 0,0000 0,0000 0,0000 0,1304 0,0435 0,0000 0,0145 0,0000 0,0000 0,0000 0,0000 0,0145 0,0238 0,0476 0,0000 0,0000 0,0714 0,0238 0,0000 0,0000 0,0119 0,0000 0,0000 0,0000 0,0000 0,0580 0,0000 0,0145 0,0000 0,0000 0,0000 0,0000 0,0000 0,0978 0,0543 0,2609 0,0000 0,0109 0,0000 0,0112 0,0674 0,0000 0,0225 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0625 0,0000 0,0000 0,0000 0,0125 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0612 0,0000 0,0000 0,0204 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0781 0,0000 0,0000 0,0000 0,0000 0,0000 0,0156 0,0000 0,0333 0,0667 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0667 0,0000 0,0000 0,0000 0,0244 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,2609 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,1176 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0435 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,3333 0,0000 0,0000 0,0000 0,0000 0,0000 г ч 0,0127 0,0514 0,0639 0,0132 0,0138 0,0000 0,0000 0,0000 0,0048 0,0000 0,0049 0,0000 0,0000 0,0000 0,0000 0,0845 0,0104 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 й 0,0306 0,0291 0,0344 0,0198 0,0138 0,0000 0,0000 0,0077 0,0000 0,0000 0,0000 0,0000 0,0057 0,0000 0,0000 0,0282 0,0000 0,0435 0,0000 0,0000 0,0000 0,0000 0,0000 0,0213 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 х 0,0000 0,0445 0,0221 0,0066 0,0138 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0141 0,0625 0,1014 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0435 0,0000 0,0127 0,0188 0,0049 0,0231 0,0346 0,0000 0,0000 0,0038 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0141 0,0104 0,1014 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 ж ю ш ц щ э ф 0,0116 0,0011 0,0095 0,0042 0,0011 0,0222 0,0032 0,0171 0,0223 0,0120 0,0000 0,0017 0,0000 0,0000 0,0123 0,0098 0,0123 0,0025 0,0074 0,0000 0,0000 0,0594 0,0264 0,0033 0,0000 0,0000 0,0000 0,0033 0,0035 0,0104 0,0069 0,0450 0,0035 0,0035 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0034 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0115 0,0000 0,0000 0,0000 0,0000 0,0000 0,0048 0,0000 0,0097 0,0000 0,0048 0,0000 0,0000 0,0000 0,0000 0,0102 0,0000 0,0000 0,0000 0,0000 0,0049 0,0146 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0080 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0986 0,0423 0,0282 0,0000 0,0352 0,0000 0,0000 0,0208 0,0000 0,0000 0,0208 0,0000 0,0000 0,0000 0,0145 0,0000 0,0435 0,0000 0,0000 0,0000 0,0000 0,0119 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0435 0,0290 0,0145 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0217 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0125 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0638 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0156 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,1000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 Условная энтропия сообщения H(Y/X): n H(Y/X) = ∑ pi ∗ H(Y/xi ) i=1 m H(Y/xi ) = − ∑ p(yj /xi ) ∗ log 2 p(yj /xi ) j=1 pij pi Для нахождения полной энтропии системы каждая частная энтропия умножается на вероятность соответствующего состояния рi и все произведения складываются p(yj /xi ) = H(Y/xi) 4,2391 4,0686 3,8910 3,9622 3,7749 3,0495 3,4123 3,4857 3,3970 3,2155 3,3564 2,6499 2,9597 3,3712 2,3253 3,8287 2,4889 3,5942 3,2635 2,5776 3,0456 2,0828 2,5458 1,1635 1,8217 2,2352 2,1131 2,6604 2,3151 1,9387 0,5132 1,5850 Условная энтропия H(Y/X) = 3,4834 Энтропия двухбуквенного сочетания H (X, Y): 𝐻(𝑋, 𝑌) = 𝐻(𝑋) + 𝐻(𝑌/𝑋) 𝑛 𝐻(𝑋) = − ∑ 𝑝𝑖 ∗ 𝑙𝑜𝑔2 𝑝𝑖 𝑖=1 Н(X) = 4,3598 H(X, Y) =H(X) +H(Y/X) = 3, 4834+ 4, 3598= 7, 8433 Вывод: закрепил теоретические знания и получил практические навыки при вычислении энтропии.