ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ

ОСНОВЫ
ТЕОРИИ
ИНФОРМАЦИИ
Презентация лекции по курсу «Общая теория связи»
© Д.т.н., проф. Васюков В.Н., vasyukov@edu.nstu.ru
Новосибирский государственный технический
университет, Новосибирск, пр. К. Маркса, 20
Факультет Радиотехники и электроники
Кафедра теоретических основ радиотехники
Основные понятия и термины
Информация относится к предельно широким понятиям (как
пространство, время, материя и т.п.)
информация
данные
сведения
и т.п.
Для решения инженерных
задач требуется
количественная
характеристика.
В теории и технике связи
используется определение
количества информации,
предложенное
Клодом Шéнноном
(Claude Elwood Shannon,
19162001)
2
Определение количества информации
1. Нужно абстрагироваться от физического
воплощения источника сообщений
2. Нужно абстрагироваться от смыслового
(семантического) содержания сообщений
Тогда сообщение предстаёт как
последовательность символов, случайная с точки
зрения наблюдателя (получателя)
источник
сообщений
a  (a1,..., an ,...)
3
Определение количества информации
источник
сообщений
a  (a1,..., an )
n
 длина,
ak  A
  1,..., K   алфавит источника (K – объем
алфавита)
P(a)  распределение вероятностей, заданное
на множестве всех последовательностей
произвольной длины
может быть каким угодно, но способ вычисления
вероятностей д.б. достаточно простым и удобным
4
Источник без памяти – простейший случай дискретного
источника:
символы в последовательности являются
независимыми, и распределение полностью
определяется набором априорных вероятностей
отдельных символов
n
P(a)  P(a1,..., an )  P(a1) P(a2 )...P(an )   P(ak )
k 1
условная вероятность появления конкретного
символа в любой позиции последовательности
равна безусловной (априорной) вероятности этого
символа
5
В моделях источников с памятью условная
вероятность символа зависит от того, какие символы
ему предшествуют.
В телеграмме на русском языке после буквы «щ» можно
ожидать букв «а», «у», «е», но не «ю», «я», «й» и т.п.
Щ
А
Б
В
…
Й
…
Э
Ю
Я
6
Если условная вероятность очередного символа зависит от одного
предшествующего символа  марковский источник 1 порядка.
Марковские источники могут иметь порядок 2, 3 и т.д.
Обычно чем выше порядок учитываемых связей, тем сильнее
условные вероятности символов отличаются от безусловных
(априорных). Чем больше учитывается предшествующих символов,
тем вернее предсказание очередного:
…(.)
в скобках может быть всё что угодно
…и(.)
…ни(.)
…чни(.) в скобках могут быть буквы в, к, л, м, ц, с, т
…очни(.)
…точни(.)
…сточни(.)
…источни(.) в скобках может быть только буква к
Далее рассматриваются источники без памяти
Буквы в порядке убывания (оценок) вероятностей:
еtaoinhsrdlmuwycfgpbvkxjqz
ое(ё)аитнсрвлкмдпуяызь(ъ)бгчйхжюшцщэф
7
Кодирование
Информационная последовательность символов,
представляющая собой сообщение, может быть
заменена другой, кодовой последовательностью,
состоящей из символов кодового алфавита.
Целью кодирования может быть:
1.более полное использование канала связи
(эффективное кодирование) или
2.Повышение верности передачи
(помехоустойчивое кодирование).
3.согласование сообщения с каналом (напр.,
кодирование в аппарате Бодо).
8
Кодирование
Естественно, кодовые последовательности
характеризуются другими распределениями
вероятностей, нежели информационные
последовательности.
a, b, c, d ,..., z
       ,..., 
кодер
9
Дискретный канал связи
X   x1,..., xL 
Y   y1,..., yM 
канал связи
Полное описание – P(y | x) для всех возможных x и y
описывает вероятностный механизм действия помех в канале.
В случае канала без памяти полностью определяется набором
условных вероятностей для всех пар отдельных символов
P( y j | xi ), xi  X, y j  Y
Если количество символов не изменяется в канале, то
n
n
P( y1 y2 ... yn | x1x2 ...xn )   P( y j | xi )
j 1 i 1
для канала с памятью всё сложнее
10
Согласно теории информации Шеннона*
Информация – это свойство сообщения снимать
(или уменьшать) неопределенность относительно
исхода некоторого случайного опыта (например,
относительно переданного символа).
Количество получаемой информации,
очевидно, должно быть связано со степенью
снятия неопределенности. Так, получая
сообщение о событии, которое достоверно
известно, информации мы не получаем
(неопределенности нет, и снимать нечего).
*известна ещё алгоритмическая теория информации А.Н. Колмогорова,
не получившая (пока?) широкого применения
11
Требования к количественной мере информации
если исход опыта единствен (достоверное
событие), то количество информации в сообщении
о нем должно быть равно нулю;
количество получаемой информации
тем больше, чем более неожиданным
является исход
общее количество информации в нескольких
сообщениях об исходах опытов, независимых в
вероятностном смысле, должно равняться
сумме количеств информации в отдельных
сообщениях (аддитивность информации)
12
Требования к количественной мере
информации
Если определить «неожиданность» сообщения
то выполняется только второе требование
1/ P(a) ,
А если ввести логарифмическую меру, то все три:
1
log m
  log m P(a)
P(a)
m2
me
m  10
[бит]
[нат]
[хартли]
Ральф Хартли
(Ralph Hartley
1888-1970)
13
Количество информации дискретного
источника
Поскольку событие, состоящее в выдаче
сообщения, случайно и происходит с некоторой
вероятностью, то и количество информации,
связанное с этим сообщением, также является
случайной величиной.
Введем собственное количество информации,
доставляемой символом (собственную
информацию символа)
I ( i )   log p( i )
14
Количество информации, вырабатываемой
дискретным источником
Информационная производительность
дискретного источника – среднее количество
информации на символ – математическое
ожидание этой случайной величины.
Для источника без памяти среднее количество
информации, приходящееся на один символ
K
H ( )    p( k )log p( k )
k 1
Энтропия  мера информационной производительности
(на символ) источника сообщений
15
Основные свойства энтропии
K
H ( )    p( k )log p( k )
k 1
1. Энтропия любого источника неотрицательна H ( A)  0.
Это следует из того, что вероятность любого события
неотрицательна и не превосходит единицы
2. Энтропия равна нулю, если один из символов имеет
вероятность 1, а остальные – вероятности 0.
log1/ p
log q
1/ q log e
lim ( p log p)  lim
 lim
 lim
0
1
p 0
p 0 1/ p
q  q
q 
16
3. При заданном объеме алфавита энтропия максимальна,
если все символы равновероятны
H ( )  max
K
при
 pk  1
k 1
Составим целевую функцию (по методу неопр. мн. Лагранжа)
 K

( p1,..., pK )    pk log pk     pk  1


k 1
 k 1

K
Условие экстремума

pi
 K
 K

   pk log pk     pk  1   0, i  1, K
 k 1
 k 1
 
Жозе́ф Луи́ Лагра́нж
(Joseph Louis
Lagrange, 1736-1813)
17
Условие экстремума

pi
 K
 K

   pk log pk     pk  1   0, i  1, K
 k 1
 k 1
 
1
1 1 ln pi
 pi

 0 
1  ln pi     0

ln 2 pi ln 2
ln 2
Решая относительно
pi
получаем
pi  exp( ln 2  1)
вероятность не зависит от i, т.о., энтропия
максимальна при равных вероятностях символов
18
В частности, при K=2 энтропия максимальна при
вероятностях символов ½ и равна 1 биту
Таким образом,
1 бит – это количество информации,
доставляемое одним из двух равновероятных
символов, вырабатываемых источником без
памяти.
19
Совместная энтропия двух источников
H ( , )   p(i ,  j )log p(i ,  j )
i
j
H ( , )  H (, )
─ очевидно
H ( , )   p(i ) p(  j | i )log  p(i ) p(  j | i )  
i
j
логарифм произведения = сумма логарифмов
  p(i ) p(  j | i )log p(i ) 
i
j
 p(i ) p( j | i )log p( j | i )
i
j
20
  p(i ) p(  j | i )log p(i )   p(i ) p(  j | i )log p(  j | i )
i
j
i
j
 p(i ) p( j | i )   p(i ,  j )  p(i )
j
j
тогда первое слагаемое 
 p(i )log p(i )  H ()
i
Второе слагаемое – условная энтропия
 p(i ,  j )log p(  j | i )  H ( | )
i
j
21
Совместная энтропия, таким образом, равна
H (, )  H ()  H ( | )  H ()  H (  | )
Если источники статистически независимы, то
H ( , )  H ( )  H ()
(аддитивность информации)
Условная энтропия двух связанных источников

канал
связи

рассматривается как новый источник
Канал описывается набором всех условных вероятностей
P( | )
Некоторые из них должны быть близки к 1, остальные к 0.
22
Количество информации в символе
относительно символа  i
I (i ;  j )  log
Если
j
p(i |  j )
p(i )
p ( i |  j )  p( i )
, то 0,
Если p ( i |  j )  1 , то столько информации,
сколько несет символ  i
23
Очевидно
I ( i ;  j )  log
 log
p ( i |  j ) p(  j )
p ( i ) p (  j )
p(  j |  i ) p( i )
p ( i ) p (  j )
 log
 log
p(  j |  i )
p(  j )
p( i ,  j )
p( i ) p(  j )

 I (  j ; i )
Это – взаимная информация символов
j
и
i
24
Наблюдение выходной последовательности
символов не снимает полностью неопределенность
относительно переданного сообщения.
Канал характеризуется энтропией входного
алфавита при условии наблюдения выходных
символов.
Чем меньше эта условная энтропия, тем
лучше канал передаёт информацию:
L M
H (  | )   p(i ,  j )log p(i |  j )
i 1 j 1
25
Свойства условной энтропии
1. Если источники сообщений являются независимыми
H (  | )  H ( ),
H ( | )  H ()
p ( i |  j )  p( i )
Действительно, из независимости
L M
L
M
i 1 j 1
i 1
j 1
H (  | )   p(i ,  j )log p(i )   log p(i )  p(i ,  j )
M
Но
 p(i ,  j )  p(i )
j 1
L
откуда H (  | )   p( i )log p( i )  H ( )
i 1
условная энтропия равна безусловной
26
Свойства условной энтропии
2. Если символы источников жёстко связаны,
то условная энтропия равна нулю.
В самом деле, при жёсткой связи в выражении
некоторые условные вероятности равны 1, а
остальные 0. Но как было показано выше, в
этом случае сумма равна нулю.
27
Пример
Пусть на входе двоичного канала действует источник с
равновероятными символами 0 и 1, а искажения символов при
передаче происходят с некоторыми вероятностями
p0  p( y  1| x  0), p1  p( y  0 | x  1).
Найдем количество информации в выходном символе
относительно входного
Безусловные вероятности выходных символов
p( y  0)  p( y  0 | x  0) p( x  0)  p( y  0 | x  1) p( x  1) 
1  p0  p1

2
p( y  1)  p( y  1| x  0) p( x  0)  p( y  1| x  1) p( x  1) 
1  p1  p0

2
28
Взаимные информации
2(1  p0 )
p( y  0 | x  0)
I (0;0)  log
 log
p( y  0)
1  p0  p1
p( y  0 | x  1)
2 p1
I (1;0)  log
 log
p( y  0)
1  p0  p1
2 p0
p( y  1| x  0)
I (0;1)  log
 log
p( y  1)
1  p1  p0
p( y  1| x  1)
2(1  p1)
I (1;1)  log
 log
p( y  1)
1  p1  p0
29
Частные (предельные) случаи
а. Канал без помех
p0  p1  0.
I (0;0)  I (1;1)  1, I (1;0)  I (0;1)  ,
энтропия источника равна 1 биту и взаимная
информация входных и выходных символов равна
также 1 биту при их совпадении, такой канал
обеспечивает передачу информации без потерь
б. «Обрыв канала»
p0  p1  0.5
I (0;0)  I (1;1)  I (0;1)  I (1;0)  0
30
Если энтропия входного источника в отсутствие
передачи равна H ( ),
а после приёма выходного символа она становится
равной H (  | ) , то, очевидно, среднее количество
передаваемой информации на символ равно разности
I ( , )  H ( )  H (  | )
Это взаимная информация входа и выхода канала
(на символ)
H (  | )
– ненадежность, равна 0 при отсутствии
помех в канале и равна энтропии источника
при обрыве канала
31
Вспомним совместную энтропию
H (, )  H ()  H ( | )  H ()  H (  | )
Отсюда следует
I (, )  H ()  H ( | )  H ()  H ( | )  I (, )
а также
H ( | )  H (, )  H ( ),
H (  | )  H ( , )  H ()
Тогда
I ( , )  I (, )  H ( )  H ()  H (, )
32
Производительность источника [бит/с]
H '  Hvп  H / Tп
Скорость передачи информации по каналу [бит/с]
I ( )
I '( ) 
Tп
Пропускная способность канала [бит/с]
1
C  max I '( )  max I ( )
Tп P ( A)
P ( A)
33