где I – количество информации

КОЛИЧЕСТВО
ИНФОРМАЦИИ
КОЛИЧЕСТВО ИНФОРМАЦИИ, КАК МЕРА УМЕНЬШЕНИЯ
НЕОПРЕДЕЛЁННОСТИ ЗНАНИЯ
Пусть у нас имеется монета, которую мы бросаем на ровную поверхность.
С равной вероятностью произойдет одно из двух возможных событий – монета
окажется в одном из двух положений: «орёл» или «решка».
Возможные
события
Произошедшее
событие
События
равновероятны, если
при возрастающем
числе опытов
количества выпадений
«орла» и «решки»
постепенно
сближаются.
Перед броском существует неопределённость нашего знания (возможны два
события), а после броска наступает полная определённость.
Неопределённость нашего знания уменьшается в два раза, так как из двух
возможных равновероятностных событий реализовалось одно.
Определение. Количество информации, которое содержится в
сообщении о том, что произошло одно из двух равновероятных
событий, принято за единицу информации и называется 1 бит.
Существуют два подхода к измерению
количества информации:


вероятностный
алфавитный.
Вероятностный подход в свою очередь
рассматривает:
1)
2)
Равновероятные события
Не равновероятные события
Пример равновероятного события – бросание
монеты.
Пример не равновероятного события– в
коробке лежат 2 белых карандаша и 4 черных.
РАВНОВЕРОЯТНЫЕ СОБЫТИЯ:
КОЛИЧЕСТВО ВОЗМОЖНЫХ СОБЫТИЙ
И КОЛИЧЕСТВО ИНФОРМАЦИИ
Количество i информации, содержащееся в сообщении о
том, что произошло одно из N равновероятностных
событий, определяется из решения показательного
уравнения
2i = N
Если известно количество информации
i, то количество возможных событий N
легко определить.
Например, если i = 5, то N = 2i = 32.
Если известно количество возможных
событий N, то для определения количества
информации нужно решить показательное
уравнение относительно i.
Степени двойки
20
21
22
23
24
1
2
4
8
16
25
26
27
28
29
32
64
128
256
512
Задачи:
При бросании равносторонней
четырехгранной пирамиды существуют 4
равновероятных события.
Какое количество информации получит
человек при выпадении одной из граней?
При бросании шестигранного игрального
кубика существует
6 равновероятных событий.
Какое количество информации получит
человек при выпадении одной из граней?
Ответ
2i = N
N=4 I = 2
Ответ: 2 бита информации
2i = N
N=6 I = 3
Ответ: 2 бита информации
Задача. В рулетке общее количество лунок равно 128. Какое
количество информации мы получим в зрительном сообщении
об остановке шарика в одной из лунок.
Дано:
N = 128
i-?
Задача. В рулетке общее количество лунок равно 128. Какое
количество информации мы получим в зрительном сообщении
об остановке шарика в одной из лунок.
Дано:
N = 128
i-?
Решение:
2i = N
2i = 128
27 = 128
i = 7 бит
Ответ: i = 7 бит
ОБРАТНАЯ ЗАДАЧА
2i = N
Если известно количество информации
i, то количество возможных событий N
легко определить.
Например, задача:
Сколько карт в колоде, если при
вытаскивании из колоды карт короля
пик человек получил 5 бит
информации
Решение:
i = 5, то N = 2i = 32.
Ответ: 32 карты
Задачи:






Задача 1.
Какой объем информации вы получаете в
ответ на вопрос «Вы выходите на следующей
остановке?».
Задача 2.
Поезд находится на одном из 8 путей. Сколько
бит информации содержит сообщение о том,
что поезд находится на четвертом пути?
Задача 3.
Вы подошли к светофору, когда горел желтый
свет. После этого загорелся зеленый. Какой
объем информации вы при этом получили?
Ответы:









Задача 1.
Человек может ответить только «Да» или «Нет»,
т.е. выбрать один из двух возможных ответов.
Поэтому N=2 значит I=1 бит, т.к. 2=21.
Ответ: 1 бит.
Задача 2.
Из восьми путей нужно выбрать один. Поэтому
N=8, а I=3, т.к. 8=23. (Номер пути не влияет на
количество информации. ).
Ответ: 8=23 – 3 бита.
Задача 3.
Из двух сигналов красного и зеленого нужно
выбрать один – зеленый. поэтому N=2, а I=1 бит.
Ответ: 1 бит. Все задачи из книги О.Л.Соколовой
«Поурочные разработки по информатике»
Задачи:






Задача 4.
При угадывании целого числа в некотором
диапазоне было получено 8 бит информации.
Сколько чисел содержит данный диапазон.
Задача 5.
Сообщение, Петя живет во втором подъезде,
несет 3 бита информации. Сколько подъездов
в доме?
Задача 6.
Сколько информации содержит сообщение,
уменьшающее неопределенность знаний в 8
раз?
Ответы:









Задача4.
N=28=256.
Ответ: 256 чисел.
Задача 5.
Поскольку номера подъездов не повторяются, то
все события равновероятны. Следовательно,
N=23=8.
Ответ:8 подъездов
Задача 6.
Так как неопределенность знаний уменьшается в
8 раз, значит, существовало 8 равновероятных
событий. Сообщение о том, что произошло одно
из них несет в себе 3 бита информации (8=23).
Ответ: 3 бита.
Когда не можем найти целую степень
двойки, то берем ближайшую
большую!
Задача 2.
Поезд находится на одном из 10 путей. Сколько бит
информации содержит сообщение о том, что поезд
находится на четвертом пути?
Из десяти путей нужно выбрать один. Поэтому N=10, а
I=4, т.к. 23=.8
24=.16
Ответ: 4 бита
Решение задач, в условии которых
события не равновероятны
i
=2
(1/p)
P=k/N
где I – количество информации;
P – вероятность события;
N – общее число возможных исходов какого-то процесса;
K - величина, показывающая, сколько раз произошло
интересующее нас событие.
Пример:
Задача .
 В корзине лежат 8 черных шаров и 24 белых.
Сколько информации несет сообщение о том,
что достали черный шар?
 Дано: Кч=8, Кб=24.
 Найти: Iч – ?
 Решение:
 N=Кч+Кб=8+24=32 – всего шаров
 Pч=Кч/N=8/32 = 1/4 -- вероятность того, что
достанут черный шар
(1/p) =2i
(1/(1/4))= 2i. 4= 2i I=2
Пример:
В коробке лежит 64 цветных карандаша.
Сообщение о том, что достали белый
карандаш, несет 4 бита информации. Сколько
белых карандашей было в коробке?
 Дано:N=64; Iб=4.
 Найти: Кб – ?
 Решение:
(1/ Pб) =2i= 24
 Pб=1/16 – вероятность доставания белого
карандаша
 Pб=Kб/N; Кб=Pб/N=1/16/64=4 белых карандаша
 Ответ:4 белых карандаша

Задача:

В классе 30 человек. За контрольную
по математике получено 15 пятерок, 6
четверок, 8 троек и 1 двойка. Какое
количество информации в сообщении,
что Андреев получил пятерку?
Решение:







В классе 30 человек. За контрольную по
математике получено 15 пятерок, 6 четверок, 8
троек и 1 двойка. Какое количество информации в
сообщении, что Андреев получил пятерку?
Дано:N=30; K5=15; K4=6; K3=8; K2=1
Найти: I4 – ?
Решение:
P5=15/30=1/2 – вероятность получения оценки «5»
(1/1/2)= 2i 2= 2i I=1
Ответ: 1 бит
Задача:



Известно, что в ящике лежат 20 шаров. Из
них – 10 синих, 5 – зеленых, 4 – желтых и 1
– красный. Какое количество
информации несут сообщения о том, что
из ящика случайным образом достали
синий шар, зеленый шар, желтый шар и
красный шар?
Дано: Кс=10, Кз=5, Кж=4, Кк=1, N=20
Найти: Iс, Iз, Iж, Iк
Решение:









Pc=Kc/N = 10/20=1/2 – вероятность доставания синего
шара
Pз=Kз/N = 5/20=1/4 – вероятность доставания зеленого
шара
Pж=Kж/N = 4/20=1/5 – вероятность доставания желтого
шара
Pк=Kк/N = 1/20=1/20 – вероятность доставания красного
шара
Iс=log2(1/1/2)=log22=1 бит
I3=log2(1/1/4)=log24=2 бита
Iж=log2(1/1/5)=log25=2,236=3 бита
Iк=log2(1/1/20)=log220=4,47213=5 бит
Ответ: Iс=1 бит; Iз=2 бита; Iж=3 бита; Iк=5 бит
Задача:
Задача 23.
 В ящике лежат белые и черные
перчатки. Среди них – две пары
черных. сообщение о том, что из ящика
достали пару черных перчаток несет 4
бита информации. Сколько пар белых
перчаток в ящике?
 Дано: Кч=2; Iч=4 бита
 Найти: Кб – ?

Решение:
1/Pч= 2i= 24
 Pч=1/16 – вероятность доставания
черных перчаток
 Pч= Кч/N
 N= Кч/Pч=2/(1/16)=32 – всего перчаток в
ящике
 Кб=N - Кч=32-2=30
 Ответ: 30 пар белых перчаток

АЛФАВИТНЫЙ ПОДХОД К ИЗМЕРЕНИЮ
ИНФОРМАЦИИ
Второй способ измерения информации
называется алфавитный.
 При алфавитно-цифровом представлении
информации любое слово, являющееся
последовательностью символов, становится
информацией. Число символов в слове
называется его длиной.
 Определение. Полный набор символов,
который может встретиться в кодируемой
последовательности, называется алфавитом,
а количество символов в алфавите –
предельной мощностью алфавита.

ФОРМУЛА
нахождения количества информации при
алфавитном подходе
N=2m,
где N – мощность алфавита,
а m – количество информации,
необходимое для кодирования 1
символа.
Если в сообщении K символов, то
количество информации, которое
несет сообщение – i=K х m
Пример:





Для передачи текста размером 50
символов потребовалось 300 бит. Какова
предельная мощность алфавита?
(Сколько символов в алфавите?)
Решение:
На один символ приходится 300 / 50 =6
бит.
Мощность алфавита составит 26=64
символа.
Ответ:64 символа
Пример:
Задача 2.
 Найти объем текста, записанного на
языке, алфавит которого содержит 128
символов, а в сообщении 2000 символов.
 Решение:
 N=2m 128 =2m m=7 бит – объем одного
символа
 Iс=m*K=7*2000=14000 бит – объем
сообщения
 Ответ:14000 бит

Задача:

Вожди племени обменялись письмами.
Письмо Тумбо содержало 50 символов.
Юмбо – 30 символов. Количество
информации, переданное в письме
Тумбо содержало 250 бит информации.
А письмо Юмбо на 50 бит больше.
Сколько символов в алфавитах племен
Тумбо и Юмбо?
Решение:
1. 1 символ Тумбо несет 250/50=5бит
информации.
 2. 1 символ Юмбо несет
(250+50)/30=10бит информации.
 3. Nт=2m
 mт=5 Nт=25 =32
 4. Nю=2m
 mю=10 Nт=210 =1024
