Содержательный подход

Измерение информации:
содержательный подход
Историческая
справка
Шеннон (Shannon) Клод Элвуд (р.
30.4.1916, Гейлорд, шт. Мичиган, США)
— американский ученый и инженер,
один из создателей математической
теории информации, с 1956 г. — член
национальной Академии наук США и
Американской академии искусств и
наук. Окончил Мичиганский университет
(1936).
В 1941—1957 гг. — сотрудник математической
лаборатории
компании
«Белл систем».
С 1941 г. — советник Национального
исследовательского
комитета
Министерства обороны США.
С 1957 г. — профессор электротехники и математики Массачусетского
технологического института. Основные
труды — по алгебре логики, теории
релейноконтактных схем, математической теории связи, информации и
кибернетике. (См.: Работы по теории
информации и кибернетике. М., 1963.)
2
“Информация — это снятая
неопределенность”
Клод Шеннон
Под «информацией» Клод Шеннон понимал не любые
сведения, а лишь те, которые снимают полностью или
уменьшают существующую до их получения
неизвестность (неопределенность).
3
Вывод формулы Хартли
Содержательный подход к
измерению информации
4
Историческая справка
Ральф. Хартли родился в Ели, Штате Невада, 30
ноября 1888. Он получил высшее образование со
степенью A.B. от Университета Юты в 1909.
Хартли был пионером в области Информационной
Теории. Он ввёл понятие "информации" как случайная
переменная и был первый, кто попытался определить
"меру информации" (1928: " Передача Информации", в
Технологии Системы Звонка. Журнал, издание 7, стр
535-563).
Точность информации зависит от того, что другие
последовательности
символа,
возможно,
были
выбраны"; мера этих других последовательностей
обеспечивает
признак
количества
переданной
информации.
Хартли награжден премиями за отличия в области
науки, этот ученый состоял в американской
Ассоциации Продвижения Науки. Хартли принадлежат
больше чем 70 патентов (изобретений). Ральф В.л.
Хартли умер 1 мая 1970 в возрасте 81 года
5
Единица измерения информации
Сообщение, уменьшающее неопределенность
знаний в два раза, несет 1 бит информации.
6
Пример:
На
книжном
стеллаже
восемь полок. Книга может быть
поставлена на любую из них.
Сколько информации содержит
сообщение о том, где находится
книга?
Задаем вопросы:
- Книга лежит выше четвертой полки?
- Нет.
- Книга лежит ниже третьей полки?
- Да .
- Книга — на второй полке?
- Нет.
- Ну теперь все ясно! Книга лежит на первой полке!
Каждый ответ уменьшал неопределенность в два раза.
Всего было задано три вопроса. Значит набрано 3 бита информации. И если бы
сразу было сказано, что книга лежит на первой полке, то этим сообщением были
бы переданы те же 3 бита информации.
7
Задача о направлении ветра:
Рассмотрим задачу с четырьмя направлениями:
север, юг, запад, восток. Потом использовать восемь
направлений ветра: север, юг, запад, восток, северозапад, северо-восток, юго-запад, юго-восток.
Просматривается закономерность:
Дождь:
2 варианта ответа — 1 бит.
Ветер:
4 направления
— 2 бита.
Ветер:
8 направлений
— 3 бита.
8
Итак, сколько информации содержит ответ на
вопрос, предполагающий два варианта ответа —
«да» и «нет»? (1 бит.)
Попробуйте сделать вывод, от чего
количество информации в сообщении.
зависит
Можно сказать, что
количество бит информации в сообщении о
событии совпадает с количеством вопросов,
которые необходимо задать, чтобы полностью
снять неопределенность.
9
Содержательный подход
к измерению информации
8 цветных шаров в корзине – 8 равновероятных событий
Неопределенность знания о том,
что из корзины может быть извлечен
шар красного цвета, равна 8.
Неопределенность знаний о
событии — это количество
результатов события.
некотором
возможных
10
Формула Хартли
I
2
= N,
N — количество возможных вариантов
исхода некоторого события,
i — количество бит в сообщении о
событии.
11
Пример:
После сдачи зачета или выполнения контрольной работы
ученик мучается неопределенностью, он не знает, какую оценку
получил.
«Зачет», «незачет»?
«2», «3», «4» или «5»?
Наконец, учитель объявляет результаты, и он получаете
одно из двух информационных сообщений: «зачет» или
«незачет», а после контрольной работы одно из четырех
информационных сообщений: «2», «3», «4» или «5».
Информационное сообщение об оценке за зачет приводит
к уменьшению неопределенности знания в два раза, так как
получено одно из двух возможных информационных
сообщений. Информационное сообщение об оценке за
контрольную
работу
приводит
к
уменьшению
неопределенности знания в четыре раза, так как получено одно
из четырех возможных информационных сообщений.
12
Содержательный подход к измерению
информации
СОДЕРЖАТЕЛЬНЫЙ ПОДХОД к
измерению информации заключается в
том, что количество информации
связывается с содержанием (смыслом)
полученного человеком сообщения.
Количество информации, заключенное в
сообщении, тем больше, чем более оно
пополняет наши знания (уменьшает
неопределенность наших знаний).
13
Задачи
14
Формула вычисления кол-ва информации
Если обозначить возможное количество
событий, или, другими словами, неопределенность
знаний N, а буквой I количество информации в
сообщении о том, что произошло одно из N
событий, то можно записать формулу:
2I = N
Количество информации, содержащееся в
сообщении о том, что произошло одно из N
равновероятных событий, определяется из
решения показательного уравнения: 2I = N.
15
Задание 1:
Сколько информации содержит сообщение
о том, что из колоды карт достали король пик?
16
Задание 1:
Сколько информации содержит сообщение о том,
что из колоды карт достали король пик?
Решение:
В колоде 32 карты. В перемешенной колоде выпадение
любой карты равновероятное событие.
N = 32. I - ?
2I = N
2I = 32
25 = 32
I = 5 бит
17
Задание 1:
Сколько информации содержит сообщение о том,
что из колоды карт достали король пик?
Решение:
В колоде 36 карты. В перемешенной колоде выпадение
любой карты равновероятное событие.
N = 36. I - ?
2I = N
2I =36
2? = 36
I = 5,16993 бит
18
Задание 2:
Сколько
информации
содержит
сообщение о выпадении грани с числом 3 на
шестигранном игральном кубике?
19
Задание 2:
Сколько
информации
содержит
сообщение о выпадении грани с числом 3 на
шестигранном игральном кубике?
Решение:
N = 6. I - ?
2I = N
2I = 6
22 < 6 < 23
I = 2.58496 бит
20
Задача 1.
Если было загадано число от 1 до 16, сколько
вопросов надо задать, чтобы его угадать?
Сколько информации будет получено?
(4 бита.)
Задача 2.
Проводится лотерея «5 из 64». Первым вытащили
шар с номером 8. Сколько информации в этом
сообщении?
(6 бит.)
21
Задача 3.
Объявляют оценки за контрольную работу. Сколько
информации содержит сообщение об оценке?
(Если возможных вариантов оценок — пять («5»,
«4», «3», «2», «1»), то 3 бита; если вариантов оценок
— четыре f«5», «4», «3», «2»), то 2 бита.)
22
Задача 4.
Сколько информации содержит сообщение о том, что на поле 4х4 клетки одна из
клеток закрашена?
Задача 5.
В книге 512 страниц. Сколько информации несет сообщение о том, что закладка
лежит на какой-либо странице?
23