Измерение информации

В информатике используются различные подходы к измерению информации:
Содержательный подход к измерению информации. Сообщение – информативный
поток, который в процессе передачи информации поступает к приемнику. Сообщение несет
информацию для человека, если содержащиеся в нем сведения являются для него новыми и
понятными Информация - знания человека, сообщение должно быть информативно. Если
сообщение не информативно, то количество информации с точки зрения человека = 0.
(Пример: вузовский учебник по высшей математике содержит знания, но они не доступны 1класснику)
Алфавитный подход к измерению информации не связывает кол-во информации с
содержанием сообщения. Алфавитный подход - объективный подход к измерению
информации. Кол-во информации зависит от объема текста и мощности алфавита.
Ограничений на max мощность алфавита нет, но есть достаточный алфавит мощностью 256
символов. Этот алфавит используется для представления текстов в компьютере. Поскольку
256=28, то 1символ несет в тексте 8 бит информации.
Вероятностный подход к измерению информации. Все события происходят с различной
вероятностью, но зависимость между вероятностью событий и количеством информации,
полученной при совершении того или иного события можно выразить формулой которую в
1948 году предложил Шеннон.
Количество информации - это мера уменьшения неопределенности.
1 БИТ – такое кол-во информации, которое содержит сообщение, уменьшающее
неопределенность знаний в два раза. БИТ- это наименьшая единица измерения информации
Единицы измерения информации:
1байт = 8 бит
1Кб (килобайт) = 210 байт = 1024 байт
1Мб (мегабайт) = 210 Кб = 1024 Кб
1Гб (гигабайт) = 210 Мб = 1024 Мб
Формула Шеннона
I - количество информации
N – количество возможных событий
Pi – вероятности отдельных событий
Примеры.
Задача 1: Какое количество информации будет содержать зрительное сообщение о цвете
вынутого шарика, если в непрозрачном мешочке находится 50 белых, 25красных, 25 синих
шариков
1) всего шаров 50+25+25=100
2) вероятности шаров 50/100=1/2, 25/100=1/4, 25/100=1/4
3)I= -(1/2 log21/2 + 1/4 log21/4 + 1/4 log21/4) = -(1/2(0-1) +1/4(0-2) +1/4(0-2)) = 1,5 бит
Количество информации достигает max значения, если события равновероятны, поэтому
количество информации можно рассчитать по формуле
Задача 2: В корзине лежит 16 шаров разного цвета. Сколько информации несет
сообщение, что достали белый шар?
т.к. N = 16 шаров, то I = log2 N = log2 16 = 4 бит.
Измерение информации
ПОНЯТЬ
Вопросы:
Верно ли, что истрепанная книжка, если в ней нет вырванных страниц, несет для Вас
ровно столько же информации, сколько такая же новая?
Каменная скрижаль весом в три тонны несет для археологов столько же информации,
сколько ее хороший фотоснимок в археологическом журнале. Не так ли?
Когда московская радиостудия передает последние известия, то одну и ту же
информацию получает и подмосковный житель и житель Новосибирска. Но поток энергии
радиоволн в Новосибирске намного меньше, чем в Москве.
Следовательно, мощность сигнала, также как и размер и вес носителя, не могут служить
оценкой количества информации, переносимой сигналом. Как же оценить это количество?
Из курса физики вы знаете, что прежде, чем измерять значение какой-либо физической
величины, надо ввести единицу измерения. У информации тоже есть такая единица - бит, но
смысл ее различен при разных подходах к определению понятия “информация”.
Неизмеряемость информации в быту (информация как новизна).
Пример
Вы получили какое - то сообщение, например, прочитали статью в любимом журнале. В
этом сообщении содержится какое-то количество информации. Как оценить, сколько
информации Вы получили? Другими словами, как измерить информацию? Можно ли сказать,
что чем больше статья, тем больше информации она содержит?
Разные люди, получившие одно и то же сообщение, по-разному оценивают его
информационную ёмкость, то есть количество информации, содержащееся в нем. Это
происходит оттого, что
знания людей о событиях, явлениях, о которых идет речь в
сообщении, до получения сообщения были различными. Поэтому те, кто знал об этом мало,
сочтут, что получили много информации, те же, кто знал больше, могут сказать, что
информации не получили вовсе. Количество информации в сообщении, таким образом,
зависит от того, насколько ново это сообщение для получателя.
В таком случае, количество информации в одном и том же сообщении должно
определяться отдельно для каждого получателя, то есть иметь субъективный характер. Но
субъективные вещи не поддаются сравнению и анализу, для их измерения трудно выбрать
одну общую для всех единицу измерения.
Таким образом, с точки зрения информации как новизны, мы не можем однозначно и
объективно оценить количество информации, содержащейся даже в простом сообщении. Что
же тогда говорить об измерении количества информации, содержащейся в научном открытии,
новом музыкальном стиле, новой теории общественного развития.
Поэтому, когда информация рассматривается как новизна сообщения для получателя, не
ставится вопрос об измерении количества информации.
Объемный подход. Измерение информации в технике
(информация как сообщения в форме знаков или сигналов, хранимые, передаваемые и
обрабатываемые с помощью технических устройств).
В технике, где информацией считается любая хранящаяся, обрабатываемая или
передаваемая последовательность знаков, сигналов, часто используют простой способ
определения количества информации, который может быть назван объемным. Он основан на
подсчете числа символов в сообщении, то есть связан только с длиной сообщения и не
учитывает его содержания.
Длина сообщения зависит от числа знаков, употребляемых для записи сообщения.
Например, слово “мир” в русском алфавите записывается тремя знаками, в английском пятью (peace), а в КОИ -8 - двадцатью четырьмя битами (111011011110100111110010).
В вычислительной технике применяются две стандартные единицы измерения: бит и
байт.
Конечно, будет правильно, если Вы скажете: “В слове “Рим” содержится 24 бита
информации, а в сообщении “Миру мир!” - 72 бита”. Однако прежде чем измерить
информацию в битах, Вы определяете количество символов в этом сообщении. Нам
привычней работать с символами. Каждый символ в настоящее время в вычислительной
технике кодируется 8-битным или 16-битным кодом. Поэтому, для удобства была введена
более “крупная” единица информации в технике (преимущественно в вычислительной) - байт.
Теперь Вам легче подсчитать количество информации в техническом сообщении - оно
совпадает с количеством символов в нем.
Поскольку компьютер предназначен для обработки больших объемов информации, то
используют производные единицы – килобайт (Кб), мегабайт (Мб), гигабайт (Гб).
Обычно приставка “кило” означает тысячу, а приставка “мега” - миллион, но в
вычислительной технике все “привязывается” к принятой двоичной системе кодирования.
Пример.
В 100 Мб можно “уместить”:
страниц текста
50 000 или 150 романов
цветных слайдов высочайшего качества
150
аудиозапись речи видного политического деятеля
1.5 часа
музыкальный фрагмент качества CD -стерео
10 минут
фильм высокого качества записи
15 секунд
протоколы операций с банковским счетом
за 1000 лет
Вероятностный подход
Измерение
информации
в
теории
информации
(информация
как
снятая
неопределенность)
Получение информации (ее увеличение) одновременно означает увеличение знания, что,
в свою очередь, означает уменьшение знания или информационной неопределенности.
За единицу количества информации принимают выбор одного из двух равновероятных
сообщений (“да” или “нет”, “1” или “0”). Она также названа бит. Вопрос ценности этой
информации для получателя - это уже из иной области.
Примеры.
Книга лежит на одной из двух полок - верхней или нижней. Сообщение о том, что книга
лежит на верхней полке, уменьшает неопределенность ровно вдвое и несет 1 бит
информации.
Сообщение о том, как упала монета после броска - “орлом” или “решкой”, несет один
бит информации.
В соревновании участвуют 4 команды. Сообщение о том, что третья команда набрала
большее количество очков, уменьшает первоначальную неопределенность ровно в четыре
раза (дважды по два) и несет два бита информации.
Очень приближенно можно считать, что количество информации в сообщении о какомто событии совпадает с количеством вопросов, которые необходимо задать и ответом, на
которые могут быть лишь “да” или “нет”, чтобы получить ту же информацию. Причем
событие, о котором идет речь, должно иметь равновероятные исходы.
Сколько вопросов надо задать, чтобы отгадать одну из 32 карт (колода без шестерок),
если ответами могут быть, лишь “да” или “нет”?
Оказывается достаточно всего лишь 5 вопросов, но задавать их надо так, чтобы после
каждого ответа можно было “отбрасывать” из рассмотрения, ровно половину карт, среди
которых задуманной не может быть. Такими , например, являются вопросы о цвете масти
карты (“Задуманная карта красной масти?”), о типе карты (“Задуманная карта “картинка”?”) и т.п.
То есть сообщение о том, какая карта из 32 задумана, несет 5 бит информации.
Во всех приведенных примерах число равновероятных исходов события, о котором идет
речь в сообщении, было кратным степени числа 2 (4 = 22, 32 = 25). Поэтому сообщение
“несло” количество бит информации всегда было целым числом. Но в реальной практике
могут встречаться самые разные ситуации.
Сообщение о том, что на светофоре красный сигнал, несет в себе информации больше,
чем бит. Попробуйте объяснить почему.
Известно, что Иванов живет на улице Весенней. Сообщение о том, что номер его дома
есть число четное, уменьшило неопределенность. Получив такую информацию, мы стали
знать больше, но информационная неопределенность осталась, хотя и уменьшилась.
Почему в этом случае мы не можем сказать, что первоначальная неопределенность
уменьшилась вдвое (иными словами, что мы получили 1 бит информации)? Если Вы не знаете
ответа на этот вопрос, представьте себе улицу, на четной стороне которой, например,
четыре дома, а на нечетной - двадцать. Такие улицы не такая уж большая редкость.
Последние примеры показывают, что данное выше определение количества информации
слишком упрощено. Уточним его. Но прежде разберем еще один пример.
Пылкий влюбленный, находясь в разлуке с объектом своей любви, посылает телеграмму:
“Любишь?”. В ответ приходит не менее лаконичная телеграмма: “Да!”. Сколько
информации несет ответная телеграмма? Альтернатив здесь две - либо. Да либо Нет. Их
можно обозначить символами двоичного кода 1 и 0. Таким образом, ответную телеграмму
можно было бы закодировать всего одним двоичным символом.
Можно ли сказать, что ответная телеграмма несет одну единицу информации?
Если влюбленный уверен в положительном ответе, то ответ “да” почти не даст ему
никакой новой информации. То же самое относится и к безнадежно влюбленному, уже
привыкшему получать отказы. Ответ “нет” также принесет ему очень мало информации.
Но внезапный отказ уверенному влюбленному (неожиданное огорчение) или ответ “да”
безнадежному влюбленному (нечаянная радость) несет сравнительно много информации,
настолько много, что радикально изменяется все дальнейшее поведение влюбленного, а,
может быть, его судьба!
Таким образом, с точки зрения на информацию как на снятую неопределенность
количество информации зависит от вероятности получения данного сообщения. Причем, чем
больше вероятность события, тем меньше количество информации в сообщении о таком
событии.
Иными словами, количество информации в сообщении о каком-то событии зависит от
вероятности свершения данного события.
Научный подход
к оценке сообщений был предложен еще в 1928 году Р.Хартли. Расчетная формула имеет вид:
I = log2 N или 2I= N,
где N – количество равновероятных событий (число возможных выборов),
I - количество информации.
Если N = 2 (выбор из двух возможностей), то I = 1 бит.
Бит, выбран в качестве единицы количества информации потому, что принято считать,
что двумя двоичными словами исходной длины k или словом длины 2k можно передать в 2
раза больше информации, чем одним исходным словом. Число возможных равновероятных
выборов при этом увеличивается в 2k раз, тогда как I удваивается.
Иногда формула Хартли записывается иначе. Так как наступление каждого из N
возможных событий имеет одинаковую вероятность p = 1 / N, то N = 1 / p и формула имеет
вид
I = log2 (1/p) = - log2 p
ЗНАТЬ
В технике (теория кодирования и передачи сообщений) под количеством информации
понимают количество кодируемых, передаваемых или хранимых символов.
Бит - двоичный знак двоичного алфавита {0, 1}.
Бит- минимальная единица измерения информации.
Байт - единица количества информации в системе СИ.
Байт - это восьмиразрядный двоичный код, с помощью которого можно представить
один символ.
Единицы измерения информации в вычислительной технике
1 бит
1 байт
= 8 бит
1 Кбайт (килобайт)
= 210 байт = 1024 байт
~ 1 тысяча байт
1 Мбайт (мегабайт)
= 210 Кбайт = 220 байт
~ 1 миллион байт
1 Гбайт (гигабайт)
= 210 Мбайт = 230 байт
~ 1 миллиард байт
Информационный объем сообщения (информационная емкость сообщения) - количество
информации в сообщении, измеренное в битах, байтах или производных единицах (Кбайтах,
Мбайтах и т.д.).
В теории информации количеством информации называют числовую характеристику
сигнала, которая не зависит от его формы и содержания и характеризует неопределенность,
которая исчезает после получения сообщения в виде данного сигнала. В этом случае
количество информации зависит от вероятности получения сообщения о том или ином
событии.
Для абсолютно достоверного события (событие обязательно произойдет, поэтому его
вероятность равна 1) количество информации в сообщении о нем равно 0. Чем невероятнее
событие, тем большее количество информации несет сообщение о нем. Лишь при
равновероятных ответах ответ “да” или “нет” несет один бит информации.
Количество информации при вероятностном подходе можно вычислить, пользуясь
следующими формулами:
1). Формула Хартли.
I = log2N или 2I= N,
где N – количество равновероятных событий (число возможных выборов),
I - количество информации.
2). Модифицированная формула Хартли.
I = log2(1/p) = - log2p
где p- вероятность наступления каждого из N возможных равновероятных событий.
3). Формула Шеннона.
H = S pihi= - S pilog2pi
где pi - вероятность появления в сообщении i-го символа алфавита;
hi = log21/pi= - log2pi- количество собственной информации, переносимой одним
символом;
Н - среднее значением количества информации.
Измерение информации
УМЕТЬ
ЗАДАНИЕ 1
Измерьте информационный объем сообщения “Ура! Закончились каникулы!!” (с точки
зрения технического подхода, то есть, не учитывая смысл сообщения). Выразите этот объем в
битах, байтах, килобайтах.
ЗАДАНИЕ 2
Измерьте примерную информационную емкость 1 страницы учебника, всего учебника.
Подсказка. Подсчитайте, сколько символов в одной строке и сколько строк на странице,
и перемножьте полученные числа.
Сколько таких учебников может поместиться на дискете емкостью 360 Кбайт, 1.44
Мбайт, на винчестере в 420 Мбайт, в 6,4Гбайт?
Информация как снятая неопределенность
ЗАДАНИЕ 3
Сколько следует задать вопросов и как их следует формулировать, чтобы оценить
сообщение о том, что вагон стоит на одном из 16 путей?
ОТВЕТ. 4 бита.
ЗАДАНИЕ 4
Шарик находится в одном из 64 ящичков. Сколько единиц информации будет содержать
сообщение о том, где находится шарик?
ОТВЕТ. 6 бит.
ЗАДАНИЕ 5
Определите, сколько бит информации несет сообщение о том, что на светофоре горит
зеленый свет.
ОТВЕТ. log23 = 1,585 (бит)
ЗАДАНИЕ 6
Вы бросаете два кубика с нанесенными на гранях цифрами от 1 до 6.
Определите, сколько бит информации несет сообщение, что на одном кубике выпала
тройка, а на другом - пятерка.
ОТВЕТ. log26 + log26 = 2,585 + 2,585 = 5,17 (бит)
ЗАДАНИЕ 7
Предположим, вероятность того, что вы получите за контрольную работу оценку “5”,
равна 0,6; вероятность получения “4” равна 0,3; вероятность получения “3” - 0,1. Определите,
сколько бит информации будет нести сообщение о результатах контрольной работы в каждом
из возможных случаев.
ОТВЕТ
“5”: I = -log2 0,6 = 0,737 (бит)
“4”: I = -log2 0,3 = 1,737 (бит)
“3”: I = -log2 0,1 = 3,322 (бит)
Вопросы для самоконтроля
Какие подходы к измерению информации вам известны?
Какова основная единица измерения информации?
Сколько байт содержит 1 Кб информации?
Приведите формулу подсчета количества информации при уменьшении неопределенности
знания.
Как подсчитать количество информации, передаваемое в символьном сообщении?