МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ федеральное государственное бюджетное образовательное учреждение высшего образования «Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева» Кафедра ИУС – Теория информации Лабораторная работа №1 По дисциплине: «Теория информации» На тему: «Энтропия как мера степени неопределенности системы» Выполнил: студент группы БИСЗ21–01 форма обучения: заочная ФИО: Кузнецов И.А. Проверил: Бочаров А.Н. Красноярск 2023 Цель работы: Закрепить теоретические знания и получить практические навыки при вычислении энтропии. Задание: 1. Получить таблицу значений функции ( p) = −p log2 p при изменении р от 0,01 до 0,99 с шагом 0,01. 2. Система может находиться в двух состояниях. Вероятность одного состояния p. Определить значения энтропии при изменении p от 0,01 до 0,99 с шагом 0,01. Определить максимальное значение энтропии. Построить график. 3. Пользуясь таблицей частот русского языка (таб. 2) определить энтропию однобуквенного сочетания русского текста. Таблица 2 Буква Вероятност ь Букв а Вероятност ь Букв а Вероятност ь Букв а Вероятност ь Пробе л 0,175 р 0,040 я 0,018 х 0,009 о 0,090 в 0,038 ы 0,016 ж 0,007 е 0,072 л 0,035 з 0,016 ю 0,006 а 0,062 к 0,028 ъ 0,014 ш 0,006 и 0,062 м 0,026 б 0,014 ц 0,004 н 0,053 д 0,025 г 0,013 щ 0,003 т 0,053 п 0,023 ч 0,012 э 0,003 с 0,045 у 0,021 й 0,010 ф 0,001 4. На основе заданного текстового файла определить частоту появления символов в тексте. Определить энтропию однобуквенного сочетания заданного текста. Ход работы 1. Получить таблицу значений функции ( p) = −p log2 p при изменении р от 0,01 до 0,99 с шагом 0,01. p n(p) 0,01 0,06643856 0,02 0,11287712 0,03 0,15176681 0,04 0,18575425 0,05 0,2160964 0,06 0,24353362 0,07 0,26855509 0,08 0,2915085 0,09 0,31265381 0,1 0,33219281 0,11 0,3502867 0,12 0,36706724 0,13 0,38264414 0,14 0,39711018 0,15 0,41054484 0,16 0,42301699 0,17 0,43458687 0,18 0,44530761 0,19 0,45522645 0,2 0,46438562 0,21 0,47282314 0,22 0,48057341 0,23 0,48766767 0,24 0,49413449 0,25 0,5 0,26 0,50528828 0,27 0,51002155 0,28 0,51422035 0,29 0,51790381 0,3 0,52108968 0,31 0,52379456 0,32 0,52603398 0,33 0,52782248 0,34 0,52917374 0,35 0,53010061 0,36 0,53061523 0,37 0,53072904 0,38 0,5304529 0,39 0,52979705 0,4 0,52877124 0,41 0,52738472 0,42 0,52564628 0,43 0,52356432 0,44 0,52114681 0,45 0,51840139 0,46 0,51533535 0,47 0,51195565 0,48 0,50826897 0,49 0,50428171 0,5 0,5 0,51 0,49542973 0,52 0,49057657 0,53 0,48544594 0,54 0,48004309 0,55 0,47437306 0,56 0,46844071 0,57 0,46225072 0,58 0,45580761 0,59 0,44911575 0,6 0,44217936 0,61 0,4350025 0,62 0,42758913 0,63 0,41994305 0,64 0,41206796 0,65 0,40396744 0,66 0,39564497 0,67 0,38710389 0,68 0,37834748 0,69 0,3693789 0,7 0,36020122 0,71 0,35081744 0,72 0,34123046 0,73 0,33144309 0,74 0,32145809 0,75 0,31127812 0,76 0,30090579 0,77 0,29034363 0,78 0,2795941 0,79 0,2686596 0,8 0,25754248 0,81 0,24624501 0,82 0,23476943 0,83 0,22311791 0,84 0,21129256 0,85 0,19929547 0,86 0,18712863 0,87 0,17479404 0,88 0,16229362 0,89 0,14962926 0,9 0,13680278 0,91 0,12381601 0,92 0,1106707 0,93 0,09736856 0,94 0,0839113 0,95 0,07030055 0,96 0,05653794 0,97 0,04262505 0,98 0,02856342 0,99 0,01435457 2. Система может находиться в двух состояниях. Вероятность одного состояния p. Определить значения энтропии при изменении p от 0,01 до 0,99 с шагом 0,01. Определить максимальное значение энтропии. Построить график. x1 x2 H(x) p 1-p 0,01 0,99 0,0808 0,02 0,98 0,1414 0,03 0,97 0,1944 0,04 0,96 0,2423 0,05 0,95 0,2864 0,06 0,94 0,3274 0,07 0,93 0,3659 0,08 0,92 0,4022 0,09 0,91 0,4365 0,1 0,9 0,4690 0,11 0,89 0,4999 0,12 0,88 0,5294 0,13 0,87 0,5574 0,14 0,86 0,5842 0,15 0,85 0,6098 0,16 0,84 0,6343 0,17 0,83 0,6577 0,18 0,82 0,6801 0,19 0,81 0,7015 0,2 0,8 0,7219 0,21 0,79 0,7415 0,22 0,78 0,7602 0,23 0,77 0,7780 0,24 0,76 0,7950 0,25 0,75 0,8113 0,26 0,74 0,8267 0,27 0,73 0,8415 0,28 0,72 0,8555 0,29 0,71 0,8687 0,3 0,7 0,8813 0,31 0,69 0,8932 0,32 0,68 0,9044 0,33 0,67 0,9149 0,34 0,66 0,9248 0,35 0,65 0,9341 0,36 0,64 0,9427 0,37 0,63 0,9507 0,38 0,62 0,9580 0,39 0,61 0,9648 0,4 0,6 0,9710 0,41 0,59 0,9765 0,42 0,58 0,9815 0,43 0,57 0,9858 0,44 0,56 0,9896 0,45 0,55 0,9928 0,46 0,54 0,9954 0,47 0,53 0,9974 0,48 0,52 0,9988 0,49 0,51 0,9997 0,5 0,5 1,0000 0,51 0,49 0,9997 0,52 0,48 0,9988 0,53 0,47 0,9974 0,54 0,46 0,9954 0,55 0,45 0,9928 0,56 0,44 0,9896 0,57 0,43 0,9858 0,58 0,42 0,9815 0,59 0,41 0,9765 0,6 0,4 0,9710 0,61 0,39 0,9648 0,62 0,38 0,9580 0,63 0,37 0,9507 0,64 0,36 0,9427 0,65 0,35 0,9341 0,66 0,34 0,9248 0,67 0,33 0,9149 0,68 0,32 0,9044 0,69 0,31 0,8932 0,7 0,3 0,8813 0,71 0,29 0,8687 0,72 0,28 0,8555 0,73 0,27 0,8415 0,74 0,26 0,8267 0,75 0,25 0,8113 0,76 0,24 0,7950 0,77 0,23 0,7780 0,78 0,22 0,7602 0,79 0,21 0,7415 0,8 0,2 0,7219 0,81 0,19 0,7015 0,82 0,18 0,6801 0,83 0,17 0,6577 0,84 0,16 0,6343 0,85 0,15 0,6098 0,86 0,14 0,5842 0,87 0,13 0,5574 0,88 0,12 0,5294 0,89 0,11 0,4999 0,9 0,1 0,4690 0,91 0,09 0,4365 0,92 0,08 0,4022 0,93 0,07 0,3659 0,94 0,06 0,3274 0,95 0,05 0,2864 0,96 0,04 0,2423 0,97 0,03 0,1944 0,98 0,02 0,1414 0,99 0,01 0,0808 3. Пользуясь таблицей частот русского языка определить энтропию однобуквенного сочетания русского текста. Буква Вероятност ь Букв а Вероятност ь Букв а Вероятност ь Букв а Вероятност ь Пробе л 0,175 р 0,040 я 0,018 х 0,009 о 0,090 в 0,038 ы 0,016 ж 0,007 е 0,072 л 0,035 з 0,016 ю 0,006 а 0,062 к 0,028 ъ 0,014 ш 0,006 и 0,062 м 0,026 б 0,014 ц 0,004 н 0,053 д 0,025 г 0,013 щ 0,003 т 0,053 п 0,023 ч 0,012 э 0,003 с 0,045 у 0,021 й 0,010 ф 0,001 Для вычисления энтропии вводят специальную функцию: ( p) = −p log2 p 𝑛 Тогда формула энтропии примет следующий вид: H(x)= ∑𝑖=1 𝜂(𝑝𝑖 ) Энтропии одной буквы русского текста: Н(х)= 4,348970751 4. На основе заданного текстового файла определить частоту появления символов в тексте. Определить энтропию однобуквенного сочетания заданного текста. Текст: К сожалению, фокус этот старый, и методика борьбы с ним прекрасно отработана. Большинство охранников успели сузить поле зрения или снизить детализацию изображения, и проскочили опасное место. Точнее, это сделали не сами охранники, а их дип-программы. Отсеялись, в основном, непрофессионалы, бросившиеся в погоню из энтузиазма. - Ох, Иван, силушки мои на исходе! - вопит волк. Не могу понять, он и впрямь волнуется, или так азартно играет сказочный сюжет? Настает черед зеркальца. Когда я швыряю его назад, мой сдержанный "Виндоус-Хоум" вопит: - Неэтично! Конечно, неэтично. Еще бы. Это уже не мелкая шалость с быстрорастущими баобабами, и даже не локальный меч-вирус. Это логическая бомба изрядной мощности. Там, куда упало зеркальце, возникает и начинает стремительно расширяться пруд. Часть охранников влетает в него и "тонет", исчезает бесследно. Остальные беспомощно останавливаются на берегу. В этой области виртуальности наглухо заблокированы все линии связи. Через эту зону не пройти по меньшей мере пару часов - потом пруд пересохнет. - Где вещички брал? - вопрошает волк. - У Марьи-искусницы, - поколебавшись отвечаю я. Честно говоря, именно прозвище и подсказало мне сегодняшний маскарад... Волк не выдаст. А ему тоже могут пригодиться подобные программки. - Учту, - благодарит волк, быстро оглядывается и спрашивает: - Что у тебя на третье, богатырь? За нами несется дракон - боевая программа-перехватчик высшего разряда. У дракона три головы - очевидно, три человека-оператора, и плюс обычный арсенал когти, зубы и пламя. Сотня разнообразных вирусов и крепкая защита. Над прудом дракон лишь чуть притормаживает. - Третье я первым истратил, - признаюсь я. - А больше взять не мог? В сказочки заигрался, три предмета - и все? - рычит волк. Он не прав, конечно, слишком много боевых вирусов на себе не унесешь. Но у нас обоих сдают нервы. Волк принимает какое-то решение и резко сворачивает в сторону, еще больше убыстряя бег. Останавливается у широкого мшистого пня, так резко, что я лечу наземь. Оглядывает меня пристальным взглядом, и прыгает через пень. Я предпочитаю пользоваться водой, когда меняю облик. Ручей, река, или хотя бы полный ковшик. Но оборотни консервативны. В воздухе волк переворачивается, и превращается в человека. Молодой мужчина в скромном сером костюме и лакированных ботинках. Мой приятель-дайвер как всегда элегантен. Едва упав, он поднимается, прыгает вновь, и превращается в мою точную копию. - Вика, ручей! - командую я, сообразив, что он задумал. Но бывший волк уже хватает меня за плечи и с криком: "Времени нет!" швыряет через пень. Подвергаться воздействию чужой мимикрирующей программы - небольшое удовольствие. Я едва успеваю шепнуть: "Вика, замри!", чтобы заботливый "ВиндоусХоум" не воспротивился перевоплощению. В шкуре волка я бывал давным-давно, когда виртуальность только образовалась, и все баловались метаморфозами. К счастью, становиться на четвереньки не приходится - я меняюсь лишь внешне. Отстегиваю меч, подаю его новому ИвануЦаревичу, тот хватает оружие и вскакивает мне на плечи. - Ну-ка, сыть, травяной мешок! - вопит он, колотя каблуками. Я бросаюсь вперед, и вовремя - над деревьями показывается дракон. Пикирует на нас, и выпускает три струи пламени. Аккуратно по нашему курсу вспыхивает пожар. - Давай! - вопит мой партнер, и шепотом добавляет: - Вечером, где всегда... Я резко дергаюсь, сбрасываю его, и убегаю, осыпаемый проклятиями. Дракон секунду кружит над нами, потом делает нехитрый выбор, и опускается рядом со сказочным героем. Трусливый партнер его не интересует. Что и требовалось. Бегу в сторону, шепчу: - Вика, перекачивай новые файлы! За моей спиной кипит бой. Впрочем, недолгий. Оборотень успевает задеть дракона мечом, но против защиты программы-перехватчика вирус бессилен. Вокруг оборотня вскипает белое снежное облако, и он замирает. Заморозка. Все. Мой друг вышел из игры - он уже дома, стягивает виртуальный шлем. А перед оскаленными мордами дракона стоит его копия, вместе со всеми добытыми программами... если бы они, конечно, у него были. Дракон легонько бьет застывшее тело лапой, и то рассыпается ледяными осколками. Все три головы склоняются к ним... ищут украденное яблоко. А я бегу. Яблоко за пазухой становится все легче - информация утекает на мой компьютер. Петляю между деревьями, потом останавливаюсь, чтобы "Виндоус-хоуму" было легче перекачивать файл. До меня доносится рев дракона - тот не обнаружил украденного, и понял, в чем дело. Кто быстрее? Дракон вновь взмывает в небо. Он легко найдет меня - передвижения в виртуальности оставляют следы. Я стою и жду. - Трансфер файла закончен. Все. Победа. - Выход, - командую я. - Серьезно? - уточняет "Виндоус-Хоум". - Да. - Выход из виртуальности, - сообщает компьютер. Перед глазами сверкают разноцветные искры. Мир утрачивает яркость... превращается в блеклую, плоскую картинку. - Ваш выход из виртуального пространства успешно завершен! - радостно говорит "Виндоус-Хоум". Голос из наушников резок и слишком громок. На экранчиках шлема густая синь с белой фигуркой парящего, или, скорее, падающего человека. Известный всем значок дипа, глубины, виртуального мира. Стянув шлем я поморгал, глядя на монитор. Там - та же самая картинка. - Вика, спасибо, - сказал я. - Никаких проблем, Леня, - ответила "Виндоус-Хоум". Этой мелкой любезности я научил ее с неделю назад. Приятно, когда программа выглядит более человечной, чем должна быть. - Терминал. Синева сменилась панелью терминала. Я вручную подключился к шестому, устоявшему компьютеру-роутеру, и снял свой доступ. Потом аннулировал временный адрес в Австрии. Основные нити оборваны. Ищите меня, ребята "Аль-Кабара". Пересеивайте файлы в поисках "Ивана-Царевича". Дайвер ушел из капкана. Уже не пользуясь голосовым управлением, я отключил "Виндоус-Хоум", выпал в Таблица частот Вероятность Энтропия Символ Встерчается, раз Частота, % Н(х) пробел 804 0,1469 0,4064 о 460 0,0840 0,3001 е 402 0,0734 0,2765 а 384 0,070188 0,2687 и 307 0,056114 0,2331 н 283 0,051727 0,2209 т 272 0,049717 0,2152 р 256 0,046792 0,2064 в 233 0,042588 0,1936 с 229 0,041857 0,1914 л 175 0,031987 0,1585 к 166 0,030342 0,1528 м 163 0,029793 0,1506 у 140 0,025589 0,1349 п 136 0,024858 0,1322 д 120 0,021934 0,1207 я 118 0,021568 0,1191 ы 91 0,016633 0,0981 б 87 0,015902 0,0949 ь г 3 ч й ю ш х ж щ э ф ц Всего 82 82 78 76 54 48 45 36 23 19 12 10 8 5471 0,014988 0,014988 0,014257 0,013891 0,00987 0,008774 0,008225 0,00658 0,004204 0,003473 0,002193 0,001828 0,001462 0,0904 0,0904 0,0871 0,0852 0,0653 0,0595 0,0568 0,0472 0,0331 0,0278 0,0186 0,0164 0,0132 Энтропии одной буквы русского текста: Н(х)= 4,782521696749 Контрольные вопросы: 1) В качестве меры неопределенности этой системы в теории информации, как мы уже отметили, применяется специальная характеристика, называемая энтропией. Энтропия обладает рядом свойств: 1. Энтропия системы всегда больше нуля. 2. Энтропия обращается в ноль, когда одно из состояний достоверно, а другие невозможны. 3. Энтропия принимает максимальное значение, когда все состояния равновероятны. 4. Энтропия обладает свойством аддитивности; когда несколько систем объединяются в одну, их энтропии складываются. 2) Н(х) = –(0,5log2 0,5 + 0,5log20,5) = 1 бит/символ. Логарифм в формуле может быть взят при любом основании а > 1. Выбор основания равносилен выбору определенной единицы измерения энтропии. На практике удобнее всего пользоваться логарифмами при основании 2 и измерять энтропию в двоичных единицах, или битах. Таким образом, это энтропия одного двоичного числа, если оно с одинаковой вероятностью может быть нулем или единицей. 3) В самом общем случае энтропия это мера беспорядка и симметрии. Чем больше беспорядок, тем больше энтропия. И чем больше элементов симметрии, тем больше энтропия. 4) Энтропия характеризует меру неупорядоченности (хаотичности) состояния системы. Единицами измерения энтропии являются Дж/(моль·К). 5) Бит — минимальная единица информации. Один бит занимает информация, которая может принимать только два значения, обычно обозначаемых «0»/«1», «истина»/«ложь» и т. п. Русское условное обозначение для бита — бит, международное — bit. Производные единицы: килобит: 1 кбит = 1000 бит или 1024 бит (также называется 1 Кибит); мегабит: 2 Мбит = 1 000 000 бит или 1 048 576 бит (также называется 1 Мибит 6) . Следует заметить, что полная условная энтропия не может превосходить безусловную, поэтому энтропия сложной системы достигает максимума, когда ее части независимы. 7)
