Теория информации и передачи сигналов

ГЛАВА 1. Теория информации
и передачи сигналов.
1.1. Основные этапы развития теории информации
и передачи сигналов.
Теория информации, в классическом ее виде, является ветвью
математической теории вероятностей и статистики [62]. Ее абстрактные формулировки применены к любой вероятностной или
статистической системе наблюдений. С этих позиций теория информации используется во многих областях, так же как и теория
вероятностей и статистика. Она играет важную роль в современной
теории связи, которая рассматривает систему связи как стохастический или случайный процесс. Талер [63] отмечает, что статистическую теорию связи часто называют теорией информации.
Математический и статистический по существу характер теории
информации подчеркивался учеными Н. Винером [64], Р. Фишером
[65], К. Шенноном [66], которые внесли значительный вклад в дело
развития этой науки. Идеи теории информации вырастают из
понятия беспорядка или энтропии в термодинамике и статистической механике. Соотношение между понятиями и математической
формой энтропии и информации рассматриваются в работах
А.Н. Колмогорова, А.Я. Хинчина, Л.Б. Бриллюэна, В.
Мандельброта, К. Пауорса, Р. Фишера и других ученых. Мера
количества информации, доставляемого данными о неизвестном
параметре, по Фишеру хорошо известна в теории математической
статистики. Эта мера является самым первым использованием
«информации» в математической статистике, она была выведена
для нужд теории статистических оценок.
Развитие техники связи в первой половине двадцатого столетия привело к возникновению теории информации связи. Элементы
теории информации и передачи сигналов рассматривались в
работах американского ученого Р.А. Хартли в 1928 г. [2], в которых
было предложено логарифмическую меру оценки информации. В
1933 г. опубликована работа В.А. Котельникова [3] в которой
впервые была сформулирована теорема о дискретном представлении сигналов с ограниченным спектром, а также дан ряд практи-
ческих рекомендаций по оценке пропускной способности сигналов
связи. В 1935г. опубликована работа Д.В. Агеева по основам теории
линейной селекции сигналов. В 1946 г. В.А. Котельников в своей
фундаментальной работе [4] заложил основные положения теории
потенциальной помехоустойчивости. Важную роль в становлении
теории и передачи информации сыграл американский математик и
инженер К. Шеннон, опубликовавший в 1947-1948 г.г. свои основополагающие работы [142] и [143], в которых сформулированы
основные положения, касающиеся количественной оценки
информации, и положившие начало теории криптографии в
современном ее понимании.
С этих работ установилось наиболее общее понимание системы связи, с помощью которой можно не только передавать и
принимать сообщения в условиях помех в канале связи, но и
сделать их закрытыми от несанкционированного доступа.
Предложенный К. Шенноном подход к анализу систем связи
стимулировал в дальнейшем их интенсивное развитие и стал
стандартным при исследовании и разработке вычислительных сетей
и систем связи, а полученное им необходимое и достаточное
условие оптимальной передачи сообщений по каналу связи вошло в
учебники.
Некоторые из положений этих работ были строго доказаны
учеными А.Я. Хинчиным и А.Н. Колногоровым, а также американским ученым Л. Файнстейном.
Дальнейшему развитию теории передачи информации
способствовало появление теорий случайных функций и статистических решений. Они позволили установить строгие количественные соотношения в теории передачи информации и сделать ее
точной наукой. К концу 40—50-х годов появились работы ставшие
классическими А.Я. Хинчина (1938 г.) по теории корреляции
стационарных случайных функций, А.Н. Колмогорова (1941 г.) и Н.
Винера (1949 г.) по интерполированию и экстраполированию
стационарных случайных последовательностей, А. Вальда (1950 г.)
по статистическим решающим функциям.
В 50-х годах 20-го века появились монографии советских
ученых, посвященные теоретическим основам теории информации.
В 1957 г. Б.Р. Левин – «Теория случайных процессов и ее применение в радиотехнике». В.С. Пугачев – «Теория случайных функций
и ее применение к задачам автоматического управления». В 1958 г.
появись монографии ученых США В.Б. Давенпорт и В.Л. Рут
[144]. В 1960 г. Д. Мидултон [145].
Позднее вышли учебники по теории информации: А. Фано
(1965 г.); М.В. Назаров, Б.И. Кувшинова и О.В. Попова (1970 г.);
А.Г. Зюко и Ю.Д.Коробова (1972 г.); Д.Д. Кловский (1978 г.);
И.В. Кузьмин и В.А. Кедрус (1977 г.); А.Г. Зюко, Д.Д. Кловский,
М.В. Назаров, Л.М. Финк (1986 г.); Л.Р. Куликовский, В.В. Мотов
(1987 г.); В.И. Дмитриев (1989 г.); В.А. Игнатов (1991 г.); В.А.
Потапов (1999 г.); В.И. Шульгин (2003 г.); [1,5—8] [14—16].
Теория информации, математическим аппаратом которой
является теория вероятностей и математическая статистика, превратились к настоящему времени в строгую и достаточно универсальную науку.
В теории информации и передачи сигналов используют методы функционального анализа, теории вероятностей и математической статистики, теории случайных функций и случайных
процессов, статистической радиотехники, теории оптимальных
статистических решений и др.
Основными в теории информации и передачи сигналов вначале были разделы по структуре сигналов, информации и помехоустойчивости.
По мере получения новых результатов в таких направлениях,
как математическое описание каналов и передачи информации,
создание методов помехоустойчивого и эффективного кодирования,
разделение линии связи, распределение, накопления и передачи
информации в сетях, а также внедрение методов теории информации в информационно измерительную технику, все больше
внимание уделяется системному оптимальному синтезу объектов
информационной техники [9—13].
Значительный вклад в развитие отдельных разделов теории
информации и передачи сигналов внесли А.Н. Колмогоров,
А.Я. Хинчин, В.А. Котльников, А.А. Харкевич, К. Шеннон,
Н. Винер, Д.Мидултон, Р.М. Фано, У. Питерсон, Р.П. Добрушин,
Л.Ф. Бородин, Д.Е. Вакман, Л.Н. Финк, Л.С. Чуткин, Б.Р. Левин,
С.Е. Фалькович, Р.Л. Стратонович, А.Г. Зюко, Н.Л. Гецов, Л.П. Пуртов и многие другие ученые. Теоретической основой системноинформационного подхода явились работы Н. Винера, А.Н. Кол-
могорова и А.Д. Хинчина которые внесли важный вклад в
понимание вероятностной природы шумовых и других случайных
процессов в рассматриваемых в кибернетических явлениях,
моделируемых в пространстве состояний систем. Это позволило в
дальнейшем решать практические задачи на уровне смыслового
понимания информации. В книге «Кибернетика» Н. Винер обратил
внимание на целесообразность рассмотрения «кирпичиков»
мироздания состоящих из элементов, устройств, систем, связи,
управления и информации. Первые три «кирпичика» образуют
произвольную структуру, четвертый характеризует целостность,
пятый – выполняет функции, а шестой – смысловое значение.
Присутствие смысловой информации в кибернетических
системах расширило понимание сущности информации в отличие
от классической постановки определения информации в системах
связи. В настоящее время существует три точки зрения на задачи
теории информации.
К теории информации в узкой классической постановке
относят результаты решения ряда фундаментальных теоретических
вопросов, касающихся повышения эффективности функционирования систем связи. Другая точка зрения состоит в том, что
глобальной проблемой теории информации следует считать
разработку принципов оптимизации системы связи в целом. В
соответствии с третьей крайней точкой зрения к компетентности
теории информации относятся проблемы, и задачи, в формулировку
которых входит понятие информации. Ее предметом считают
изучение процессов связанных с получением, передачей, отработкой, хранением и использованием информации. В такой постановке
она затрагивает проблемы многих наук, в частности кибернетики,
биологии, лингвистики и т.д. В том числе и науки о создании
технических систем.
1.2. Теория информации – основные положения
Вероятностная классическая теория информации окончательно
нашла свое оформление в работах К. Шеннона. К ее результатам
относят результаты решения ряда фундаментальных теоретических
вопросов, касающихся повышения эффективности функциониро-
вания систем связи. В основе этой теории лежит определенный
способ измерения количества информации.
Под информацией в широком смысле понимаются новые
сведения об окружающем мире, которые мы получаем в результате
взаимодействия с ним, приспособления к нему и измерения его и
преобразовании.
Информация – это сведения, являющиеся объектом хранения,
передачи и преобразования [17].
Случайный характер сообщения, сигналов, а также помех
обусловил важнейшее значение теории вероятности в построении
теории связи. Вероятностные свойства сигналов и сообщений, а
также среды, в которой передается сигнал, позволяют определить
количество передаваемой информации и ее потери. Детерминированное сообщение, т. е. заранее известное с полной достоверностью
не содержит информации, и передача его не имеет смысла.
Передачу информации обеспечивает система связи (рис. 1.1).
Передающее устройство
Переобразование
сообщения в
сигнал
(кодирующее
устройство)
Принимающее устройство
b (t) Передатчик
Приемник b (t)
Линия Связи
u (t)
z(t)
Переобразование
сообщения в
сигнал
(декодирующее
устройство)
z (t)
Источник
помех
a
Источник
сообщений
Получатель
сообщений
a
Рис 1.1. Структурная схема системы связи
Система связи состоит из отправителя информации, линии
связи, и получателя информации. Сообщение для передачи его в
соответствующий адрес должно быть предварительно преобразовано в сигнал. Под сигналом понимается изменяющаяся
физическая величина, отображающая сообщение [17]. Сигнал – это
материальный переносчик сообщения.
Физическая среда, по которой происходит передача сигналов
от передатчика к приемнику, называется линией связи.
Совокупность технических средств, для передачи сообщений
от источника к потребителю называется системой связи.
Каналом связи называется совокупность средств, обеспечивающих передачу сигнала от источника сообщений к получателю.
Устройство, преобразующее сообщение в сигнал, называется
передающим устройством.
Устройство, преобразующее принятый сигнал в сообщение,
называется приемным устройством.
Все сообщения по характеру изменения во времени можно
разделить на непрерывные и дискретные.
Непрерывные по времени сообщения отображаются непрерывной функцией времени. Дискретные по времени сообщения
характеризуются тем, что поступают в определенные моменты
времени и описываются дискретной функцией времени. Так как
сообщения носят обычно случайный характер, то непрерывные
сообщения описываются случайной функцией времени, а
дискретные сообщения – как цепь случайных сообщений.
Непрерывные по множеству сообщения характеризуются тем,
что функция, их описывающая может принимать непрерывное
множество значений (континуум значений) в некотором интервале.
Дискретные по множеству сообщения – это сообщения,
которые могут быть описаны с помощью конечного набора чисел
или дискретных значений некоторой функции.
Кодирование – это отображение дискретных сообщений сигналами в виде определенных сочетаний символов.
Декодирование – осуществление обратной операции кодирования, т. е. восстановление по принятому сигналу переданного
сообщения.
Под помехами – подразумеваются любые мешающие внешние
возмущения или воздействия (атмосферные помехи, влияния
посторонних источников сигналов), а также искажения сигналов в
самой аппаратуре (аппаратурные помехи), вызывающие случайное
отклонение принятого сообщения (сигнала) от передаваемого.
При синтезе систем передачи информации решаются две
основные задачи, связанные с передачей сообщений:
1) обеспечение помехоустойчивости передачи сообщений;
2) обеспечение высокой эффективности передачи сообщений.
Под помехоустойчивостью – понимается способность информационной системы противостоять вредному действию помех.
Под верностью – понимается мера соответствия принятого
сообщения (сигнала) переданному сообщению (сигналу).
Под эффективностью системы передачи информации понимается способность системы обеспечивать передачу заданного
количества информации наиболее экономичным способом, т.е.
эффективность будет характеризовать способность системы обеспечить передачу данного количества информации с наименьшими
затратами мощности сигнала, времени и полосы частот.
С помощью преобразователя (рис. 1.1) в передающем
устройстве сообщение а, которое может иметь любую физическую
природу, преобразуется в первичный электрический сигнал в(t).
В передатчике первичный сигнал (обычно низкочастотный)
превращается во вторичный (высокочастотный) сигнал и(t), пригодный для передачи по используемому каналу. Это осуществляется
посредством модуляции.
Приемное устройство обрабатывает принятое колебание
z(t) = u(t) + ξ(t), представляющее собой сумму пришедшего искаженного сигнала и(t) и помехи ξ(t), и восстанавливает по нему
сообщение, â которое с некоторой погрешностью отражает
переданное сообщение а.
Существует различие понятий «информация» и «сообщение».
Под сообщением понимают информацию, выраженную в определенной форме и подлежащую передаче.
Теория информации связи устанавливает критерии оценки
помехоустойчивости и эффективности информационных систем, а
также указывает общие пути повышения помехоустойчивости и
эффективности. Повышение помехоустойчивости практически
всегда сопровождается ухудшением эффективности и, наоборот,
повышение
эффективности
отрицательно
сказывается
на
помехоустойчивости.
1.3. Математические модели детерминированных
сигналов
Все многообразие сигналов, используемых в информационных
системах, можно по своим особенностям разделить на две основные
группы: детерминированные сигналы и случайные сигналы. Детерминированные сигналы характеризуются тем, что в любые моменты
времени их значения являются известными величинами. Сигнал,
значение которого в любые моменты времени будут случайными
величинами, называется случайным.
Деление сигналов на детерминированные и случайные является условным, так как детерминированных сигналов в точном их
понимании в природе нет. Детерминированные сигналы рассматриваются как вырожденные, значения которых в любой момент
известны с вероятностью, равной единице. На практике любой
реальный сигнал случаен в силу воздействия на него многочисленных случайных факторов.
Исследование детерминированных сигналов позволяет:
1) использовать математический аппарат, который проще
аппарата анализа случайных сигналов;
2) полученные выводы могут быть использованы для анализа
случайных сигналов.
Сигналы по своей структуре разделяются на непрерывные и
дискретные.
Непрерывным называется сигнал, который принимает непрерывное множество значений на некотором отрезке времени и в
диапазоне, ограничивающем его максимальную и минимальную
величины.
Дискретным называется сигнал, принимающий конечное множество значений в определенном интервале времени и диапазоне
величин, т.е. сигнал являющийся дискретным как по времени, так и
по уровню.
Сигнал являющийся дискретным по времени, или только по
уровню принято называть дискретно-непрерывным.
Математической моделью – называют систему математических соотношений, описывающих изучаемый процесс или явление.
Построение математических моделей называют математическим
моделирование [18].
Физическими характеристиками сигналов являются длительность T, ширина спектра ∆Fc, динамический диапазон
D = 10 lg(P/Pn) Динамический диапазон характеризует отношение
наибольшей мгновенной мощности (Pmaх = Р) к наименьшей
(Pmin ≥ Рn).
Более общая характеристика – объем сигнала:
Более общая характеристика – объем сигнала:
Vс = T∆FcD.
Важной характеристикой сигналов является база.
υ = 2T∆Fc.
Если υ ≤ 1, то сигнал называют узкополосным (простым).
Если υ > 1, то широкополосным (сложным).
Методы математического описания сигналов и помех объединяет обобщенная спектральная теория сигналов. Наибольшее
распространение получили методы, использующие представление
сигналов в виде колебаний (функций времени) и спектрального
разложения на синусоидальные и косинусоидальные составляющие
(преобразование Фурье). Совокупность методов представления
сигналов имеет вид [8].

S (t )   aê  k (t ), t  [t1 , t2 ] .
k 0
(1.1)
Реальный сигнал представлен в виде суммы ортогональных
составляющих огромным числом способов. Интервал [t1, t2] показывает время действия сигнала.
Представление (1.1) называют разложением сигнала по системе базисных функций. К системе базисных функций предъявляют
следующие требования:
1) для любого сигнала ряд должен сходиться;
2) функции (t ) должны иметь простую аналитическую форму;
3) коэффициенты ак должны вычисляться относительно просто.
Эти трем условиям удовлетворяют системы ортогональных
функций. Условия ортогональности функций:
t2
 i (t ) k (t )dt  0 , i  k .
При i  k
(1.2)
t1
t2
  k (t )dt  Ñk .
t1
2
(1.3)
Число Сk называют нормой базисной функции
Нормированная базисная функция
k (t ) 
Ψk (t )
Cê
 k (t ) .
(1.4)
Новая система  k (t ) удовлетворяет не только условию
ортогональности, но и условию нормировки:
t2
 i (t )k (t )dt  ik
(1.5)
t1
0, i  k
где ik  
– символ Кронекера.
1,
i

k

Систему  k (t ) называют ортонормированной.
Если в (1.1) система ортогональных функций  k (t ) , применяемая для разложения известна, то сигнал определяется набором
весовых коэффициентов, ak, k = 0, 1, 2…, этих функций. При
приближенном представлении сигналов набор чисел ak  конечен.
Такие наборы чисел называется спектрами сигналов [6, 19].
Спектры удобная форма представления сигналов в рамках линейной
теории. Основная задача – правильно выбрать системы ортогональных функций (базис), удобные для анализа прохождения сигнала
через цепи и каналы связи. Таки образом, задачи анализа сигналов
(анализа их формы, внутреннего строения, взаимосвязи элементов и
т.п.) решают с точки зрения прохождения через устройства передачи информации и способности передать информацию.
Для детерминированных сигналов наиболее распространены
методы спектрального анализа, использующие преобразование
Фурье. В роли  k (t ) выступают гармонические функции, а в роли
коэффициентов ak амплитуды гармоник.
Для случайных сигналов наибольшее распространение получили методы корреляционного и спектрального анализов основанные
на преобразовании Хинчина-Винера [8]. Это преобразование,
результат распространения метода Фурье на случайные процессы.
При разложении случайных процессов коэффициенты ak -
случайные величины, а оптимальные базисы определяются через
корреляционные функции этих процессов.
Синтез сигналов может включать структурный синтез (определение формы сигналов) и параметрический (определение параметров сигналов известной формы). Если при синтезе необходимо
обеспечить экстремум функционала (или функции),, который
характеризует качество синтеза, то его называют оптимальным.
Рассмотрим определение коэффициентов ak при разложении
сигнала по системе ортонормированных функций. Представим
сигнал.

S (t )   aê (t ) , t  [t1 , t2 ] .
k 0
Умножим обе части (1.6) на
интервале [t1 , t2 ] получим
 i (t )
t2

t2
t1
k 0
t1
(1.6)
и, проинтегрировав на
 S (t )i (t )dt   ak   (t )i (t )dt
Из (1.5) следует, что в правой части все интегралы при i  k
будут равны 0, а при i = k один из них равен 1, следовательно,
t2
àk   S (t )i (t )dt
(1.7)
t1
Ортогональное разложение (1.6) называют обобщенным рядом
Фурье, а коэффициенты (1.7), – обобщенными коэффициентами
Фурье. Ортонормированные функции удовлетворяют трем указанным ранее условиям. Выбор базисных ортонормированных функций – одна из ответственных задач, ее решение существенно зависит от характера преобразований сигналов в системе. Коэффициенты ak представляют собой эффективные значения составляющих
спектра (обобщенных гармоник), поэтому выделяемая на сопротивлении 10 м средняя мощность сигнала вычисляется по формуле:

aê2
1 t2 2
.
P
 S (t )dt  
t2  t1 t1
k  0 (t 2  t1 )
(1.8)
Соотношение (1.8) называют равенством Парсеваля. Из него
следует что, мощность сигнала равна сумме мощностей всех
составляющих спектра.
Определим коэффициенты, минимизирующие погрешность
ортогонального разложения. Используем среднеквадратичную
погрешность.
2

1 t2  2

2
 
 S (t )   ak k (t )  dt
t2  t1 t1 
k 0

2
(1.9)
Для минимизации 2 необходимо решит систему уравнений
 2
2
 0, k = 0, 1, 2 …; при условии 2 > 0 найти из решения ak опт
ak
k
подставить значения этих коэффициентов в (1.9) и определить
 2min

ak2î ï ò
1 t2 2
.

 S (t )dt  
t1  t2 t1
k  o (t1  t 2 )
(1.10)
Эту задачу решил Фурье. Он показал, что оптимальными
будут коэффициенты, определяемые по (1.7). Если число членов
ряда n<  то имеется некоторая среднеквадратическая погрешность, из-за которой
n
ak2î ï ò
1 t2 2
.
 S (t )dt > 
(
t

t
)
t1  t2 t1
k 0 1
2
(1.11)
Если n   , то это неравенство вырождается в (1.8),
следовательно,  2min  0 .
Таким образом, бесконечный ряд дает адекватное в
среднеквадратическом смысле, ортонормированное разложение
сигнала.
Для реальных сигналов всегда можно указать такое, обычное
небольшое число n при котором 80… 90% мощности заключено в
гармониках с номерами, k  n . Поэтому ряды, используемые на
практике конечны, а число членов ряда определяет допустимые
среднеквадратические погрешности. Относительную погрешность
разложения определяют как отношение P(n) ошибки аппроксимации к мощности P самого сигнала:

( n ) 
 ak2
P(n) k  n 1
 
.
2
P
 ak
(1.12)
k 0
Величина P(n) – та часть мощности, которая оказывается за
пределами используемой полосы частот и не учитывается при
восстановлении сигнала.
По допустимой относительной погрешности и из соотношения
(n)  0 не трудно определить число n удерживаемых членов ряда.
В качестве базисных сигналов используют системы ортогональных функций, Бесселя, Хаара, Уолша, системы ортогональных
полиномов Лежандра, Чебышева, Эрмита, Логгера и др. Примеры
ортогональных разложений по таким функциям и полиномам
рассмотрены в [19, 20]. Реальные сигналы, всегда ограничены во
времени и имеют неограниченный спектр. Для удобства изучения
сигналы часто рассматривают не на конечном интервале [t1 , t2 ] , а на
полубесконечном (0,  ) или на бесконечном (- ,  ). Для
определенности начало отсчета совмещают с началом сигнала или с
серединой. Если сигнал имеет конечную длительность T = t2 – t1,
его рассматривают на интервале [0, Ò] или [– T/2, T/2]. Реальные
сигналы случайны.
Несмотря на это в теории часто рассматривают сигналы
полностью известные в любой момент. Такие сигналы называют
детерминированными. Теория детерминированных сигналов как
теория первого приближения удобна для решения простейших
задач и полезна для развития теории случайных процессов.
Для изучения взаимосвязей сигналов используют такие
характеристики, как взаимная энергия сигналов
T
2
E12   S1 (t ) S2 (t )dt ,

и взаимная мощность.
T
2
(1.13)
P12 
T
2
1
 S1 (t )  S2 (t )dt .
T T
(1.14)
2
Различают сигналы, ортогональные по энергии, когда E12 = 0 и
ортогональные по мощности, когда Р12 = 0. Для ортогональных
сигналов средняя мощность и энергия суммы обладают свойством
аддитивности, т.е.
P
T
2
1
2
 [ S1 (t )  S2 (t )] dt  P1  P2 ,
T T
(1.15)
2
T
2
E   [ S1 (t )  S2 (t )]2 dt  E1  E2 .

(1.16)
T
2
Сигналы ортогональные по мощности, образуют более широкий класс, частью которого являются сигналы ортогональные по
энергии. Из ортогональности по энергии следует ортогональность
сигнала по мощности, но не наоборот. Только на конечном
интервале, когда Т <  , условия ортогональности по мощности и по
энергии
выполняются
одновременно.
Следовательно,
ортогональность сигналов тесно связана с интервалом их
определения. Взаимные энергия и мощность характеризуют степень
сходства сигналов. Если два сигнала полностью совпадают, то Р12 =
Р21 = Р, где Р – мощность сигналов. Такие сигналы называются
полностью когерентными. Для сигналов Р12 = Р21 = 0, сигналы
полностью некогерентные. Если 0 < P12 < P, или 0 < P21 < P, то
сигналы частично когерентны.
Большое значение имеют ортогональности постоянной S0 и
переменной S1,n, составляющих любого сигнала S(t) = S0+S1,n(t), где
постоянная составляющая определяется как среднее значение
1T
сигнала на интервале [0, Т] S0 =
 S (t )dt , а переменная составT0
ляющая S1n(t) = S (t) – S0. Взаимная энергия постоянной и переменной составляющих
T
T
0
0
E0;1, n   [ S (t )  S0 ]S0 dt  S0  S (t )dt 
S02
T
 dt 
0
T
(1.17)
 S0  S1, n (t )dt  S02T  S02T  0
0
Из ортогональности S0 и S1n следует важный вывод о том, что
среднее значение переменной составляющей
T
T
T
0
0
0
 S1,n (t )dt   S (t )dt   S0dt  0 .
Из-за ортогональности постоянной и переменной составляющих сигнала их прохождение через различные цепи может, рассматривается отдельно, а результат определяется простым суммированием.
1.4. Математические модели случайных сигналов
В реальных условиях все сигналы имеют случайный характер.
Поэтому в теории связи источник сообщения следует рассматривать
как устройство, осуществляющее выбор из некоторого множества
возможных сообщений. Каждая конкретная реализация сообщения
возникает с определенной вероятностью, которая в общем случае
зависит от того, какие сообщения передавались ранее. Посылаемая
в канал реализация сигнала является элементом некоторого
множества выбираемого с определенной вероятностью.
Множество, на котором задана вероятностная мера, называют
ансамблем.
Ансамбли сообщений и сигналов могут быть конечными (в
дискретном случае) или бесконечные.
Случайной функцией называется функция одного или
нескольких аргументов, которая при всех или некоторых значениях
этих аргументов является случайной величиной. Ансамбль {Х (t)}
функций времени является случайным процессом. Каждая входящая
функция хr(t) выборочной функцией, или реализацией процесса.
Помехи так же являются случайными процессами, и поэтому по
принятому сигналу можно лишь с некоторой вероятностью
определить, какое сообщение было передано.
Случайный процесс может быть задан на дискретном множестве значений t:t1 t2 …, т.е. дискретный по времени. Такие случайные
процессы называются случайными последовательностями. Процессы, заданные на конечном отрезке времени –Т/2 < t < T/2 называют
финитными.
Для описания вероятностных свойств случайных процессов
рассматривают одномерный, двумерный и т.д. законы (функции и
плотности) распределения [21].
Одномерная функция (интегральный закон) распределения
относящаяся только к одному какому либо сечению случайного
процесса, представляет собой вероятность того, что текущее
значение случайного процесса Х(t) в момент времени t = t, меньше
некоторой текущей неслучайной величины х1, т.е.
Fx(x1t1) = P [X(t1) < x1],
(1.18)
Одномерная плотность (дифференциальный закон) распределения есть производная от функции распределения, т.е.
f X ( x1,t1 ) 
FX ( x1 , t1 )
x1
(1.19)
Величина
ƒX(x1,t1)dx1 = P[x1 ≤ x(t1) < x1 + dx],
(1.20)
позволяет определить вероятность того, что случайный процесс X(t)
в момент времени t = t1 находится в интервале от х1 до х1 + dx.
В (1.18) и (1.19) первый аргумент х1 обозначает возможное
значение случайной величины X(t1) = х1, а второй аргумент t1 является параметром от которого зависят FX(x1, t1) и ƒX(x1, t1).
Двумерная функция распределения
FX(x1t ; x2, t) = P[X(t1)< x1; X(t2) < x2]
(1.21)
относится к двум произвольным сечениям X(t1), X(t2) случайного
процесса и выражает вероятность того, что в момент t1 случайный
процесс принимает значение меньше х1, а в момент времени t2 –
меньше х2.
Соответствующая двумерная плотность распределения
d2
f x ( x1 , t1 ; x2 , t2 ) 
Fx ( x1 , t1; x2 , t2 ) .
dx, dx2
(1.22)
Величина
ƒХ (x1,t1; x2,t2) dx1dx2=
= P[x1<X(t1) < x1 + dx1; x2< X(t2) < x2 + dx2]
(1.23)
определяет вероятность того, что случайный процесс X(t) в момент
величины t = t1 принимает значение, которое находится в интервале
от х1 до х1+ dx1, а в момент времени t = t2 в интервале от х2 до х2+ dx2.
Можно рассматривать трехмерные, четырехмерные и т.д.
функции и плотности распределения случайного процесса X(t),
однако оперировать такими сложными и громоздкими характеристиками крайне трудно.
Случайный процесс, который полностью характеризуется
одномерной плотностью вероятности, является так называемым
чистым случайным процессом или «белым шумом». Все плотности
вероятности белого шума определяются из одномерной плотности
вероятности.
ƒХ (x1, t1; x2, t2 … xntn) =
ƒх (x1, t1) · ƒх (x2, t2)· … ƒХ (xn, tn).
(1.24)
Существует особый класс случайных процессов, впервые исследованных известным математиком А.А. Марковым и называемых марковскими случайными процессами, для которых знание и
значение процесса в момент tk уже содержит в себе всю информацию о будущем ходе процесса, какую только можно извлечь из
поведения процесса до того момента. В случае марковского
случайного процесса для определения вероятностных характеристик процесса в момент tm достаточно знать вероятностные
характеристики для любого одного предшествующего момента tk.
Для марковского процесса справедливо следующее соотношение:
f  ( x1 , t1 ; x2 , t2 ; ...xntn ) 
f ( x ,t ; x ,t ) f ( x ,t ; x ,t )... f  ( xn 1 ,tn 1; xn ,tn ) .
  1 1 2 2  2 2 3 3
f  ( x1,t1 ) f x ( x2 ,t2 )... f  ( xn 1,tn 1 )
(1.25)
Марковские процессы полностью характеризуются двумерной
плотностью вероятности.
Вероятностными характеристиками случайных процессов
являются функции: математическое ожидание, дисперсия,
среднеквадратическое отклонение и корреляционная функция.
1. Математическим ожиданием или средним по множеству
случайного процесса Х(t) называется неслучайная функция mх(t),
которая при каждом значении аргумента t равна математическому
ожиданию соответствующего сечения случайного процесса. Для
дискретной случайной величины
n
mX  M  X (t )    pi xi (t ) ,
i 1
для непрерывной случайной величины

m Õ (t )  M [ Õ (t )]   x f Õ ( x, t )dt ,
(1.26)

где p i – вероятность события случайной величины,
ƒх (x, t) – одномерная плотность распределения случайного процесса для его сечения в момент времени t;
х – возможное значение случайной величины, соответствующее
рассматриваемому сечению процесса.
Математическое ожидание случайного процесса представляет
собой некоторую среднюю кривую, вокруг которой различным
образом группируются все возможные отдельные реализации этого
процесса.
Часто рассматривают так называемый центрированный случайный процесс, под которым подразумевается отклонение случайного процесса от среднего значения

X (t )  X (t )  mX (t ) .
(1.27)
Тогда случайный процесс равен

X (t )  X (t )  mX (t ) .
Математическое ожидание (среднее по множеству) случайного
процесса Х(t) может быть определено по отдельным его реализациям xv(t). При t = ti значения реализаций представляют x1(ti),
x2(ti)… xn(ti) возможные значения случайной величины, математическое ожидание которой находим как среднее арифметическое
значение:
1 n
mX (ti )   xv (ti ) .
n v 1
(1.28)
2. Дисперсией по множеству случайного процесса Х(t) называется неслучайная функция Dх(t), равная математическому ожиданию квадрата разности между Х(t) и его математическим ожиданием mx(t).
2
DX (t )  M  X (t )  mX (t )  


2

   x  mX (t )  f  ( x, t )dt
(1.29)

Дисперсия по множеству реализаций случайного процесса Х(t)
для каждого момента времени t1 рассчитывается по известным его
реализациям xv(ti)
1 n
DÕ (t )   [ xv (ti )  mx (ti )]2 .
(1.30)
n v 1
3. Средним значением квадрата случайного процесса называется величина

x 2 (t )  M x(t ) =  x 2 f Õ ( x, t )dt .
(1.31)

при этом математическое ожидание mx(t), дисперсия Dx(t) и среднее
значение квадрата х2(t) случайной величин связаны соотношением:
x 2 (t )  DÕ (t )  mÕ2 (t ) .
(1.32)
4. Среднеквадратическое отношение случайного процесса Х(t)
представляет собой положительное значение корня квадратичного
из дисперсии.
 x (t )  DÕ (t ) .
(1.32)
5. Среднеквадратическое значение случайного процесса равно
положительному значению квадратного корня из среднего значения
квадрата случайного процесса
xck (t )  x 2 (t )  DÕ (t )  mx2 (t ) .
(1.34)
6. Корреляционной (автокорреляционной) функцией по множеству случайного процесса называется неслучайная функция Rx(t1,
t2), равная математическому ожиданию произведения значений

центрированного случайного процесса X (t ) , взятых при двух
моментах времени t1 и t2



RX (t1 , t2 )  M  X (t1 ) X (t2 )  

 .
 
   x1 x2 f Õ ( x1 , t1 ;x2 , t2 )dx1dx2
(1.35)
 
При t1 = t2= t корреляционная функция равна дисперсии.
RX(t1, t2)| t1  t2  t = RX(t, t) = D(t),
(1.36)
или при t1 ≠ t2
RX (t1 ,t2 )  DÕ (t1 ) DÕ (t2 ) ,
RX(t1, t2) ≤ σx(t1) σx(t2).
(1.37)
(1.38)
7. Нормированная корреляционная функция равна
rx (t1 , t2 ) 
RX (t1 , t2 )
 x1  x2

RX (t1 , t2 )
.
D X 1 , DX 2
(1.39)
8. Корреляционную функцию по множеству случайного процесса Х(t) по известным из опыта его реализациям xv(ti), где v = 1, 2,
3 … n.
1 n
RÕ (ti ; tk )   [ x (ti )  m(ti )] [ x (tk )  m(tk )] .
n 1
(1.40)
9. Для процессов Х(t) и Y(t) совместная функция распределения
Fxy(x, t; y, t2) = P[X(t1) < x; Y(t2) < y],
(1.41)
совместная плотность распределения определяется выражением
2
f XY ( x, t1 ; y, t2 )   FXY ( x, t1 ; y , t2 ) .
xy
(1.42)
10. Взаимной корреляционной функцией по множеству двух цент

рированных случайных процессов X (t) и Y (t) называется неслучайная функция RXY(t1, t2)



Rxy (t1 , t2 )  M  X (t1 ) Y (t2 )  


 
  
 
(1.43)
xyf XY ( x,t1; y, t2 )dxdy
При t1 = t2 = t взаимная корреляционная функция Rxy(t1, t2) условно называется взаимной дисперсией Dxy(t).
Dxy(t) = RXY (t, t)
(1.44)
В случае тождественного равенства нулю взаимной корре

ляционной функции случайные процессы X (t) и Y (t) называются
некоррелированными, а если не равна нулю, то коррелированными
случайными процессами.
11. Случайные процессы делятся на две группы: стационарные и нестационарные. Стационарным называется случайный процесс, у которого определенная группа вероятностных характеристик
инвариантна во времени, т.е. не изменяется при сдвиге времени –
замене аргумента t значением t + t , где t произвольный интервал
времени.
Стационарным в узком смысле случайным процессом Х(t)
называется процесс, для которого плотность распределения ƒХ(x1, t1;
x2, t2; … xn, tn) зависит при любом n только от интервалов t , и не
зависит от положения этих интервалов в области изменения
аргумента t.
Стационарным в широком смысле процессом Х(t) называется
процесс, математическое ожидание и дисперсия которого с течением времени остаются постоянными
M [ X (t )]  mX (t )  mX  const ,
(1.45)
D[ X (t )]  DX (t )  DX  const ,
(1.46)
а корреляционная функция зависит только от разности r =t1 – t2
RX(t1t2) = RX(t1 – t2) = RX( t ).
(1.47)
Стационарно связными в широком смысле являются случайные процессы Х(t) и Y(t) одного и того же аргумента t, если их
взаимная корреляционная функция зависит только от разности
аргументов t1 – t2= t .
RXY(t1, t2) = RXY(t1 – t2) = RXY( t ).
(1.48)
Стационарный случайный процесс Х(t) называется эргодическим, если с вероятностью, близкой единице, средне по множеству для соответствующей вероятностной характеристики равно
среднему по времени.
Стационарная в узком и широком смысле случайная функция
Х(t) является эргодической по отношению к ее математическому
ожиданию mx, если имеет место соотношение [22].
2
  1 t 0 T
 
(1.49)
lim M    X (t )dt  mX   = 0,
T   T

 
  t0
1 T
t
1



 RX (t)  0 .
T  T 0 
T
lim
(1.50)
Стационарная случайная функция Х(t) является эргодической
по отношению к ее корреляционной функции RX( t ), если имеет
место соотношение
2
  1 t0  T
 
lim M     X (t )  mX    X (t  t)  mX  dt  RX (t)    0 . (1.51)
  T t0
 

Условие эргодичности стационарной нормальной случайной
функции Х(t) по отношению к ее корреляционной функции имеет
вид
t
1T
lim  (1  1 )[ RX2 (t1 )  RX (t1  t) RX (t1  t)]d t1  0 .
T  T 0
T
(1.52)
12. Рассмотрим основные вероятностные характеристики свойств стационарных эргодических случайных процессов – среднее по
множеству равно среднему по времени, для основных его
вероятностных характеристик.
Математическое ожидание или среднее значение

1 T
Ì [ X (t )]  x (t ) или mX  xf ( x)dx  lim
 x(t )dt .
T

2
T

T
(1.53)
Дисперсия. Среднее по множеству, равное среднему по времени одной реализации
M [( X  m)2 ]  M [X 2 ]  mX2  x 2 (t )  [ x(t )]2

DX   ( x  mX ) 2 f X ( x)dx 
или

 lim M
T 
1
1


2
 x (t )dt  lim
 x(t )dt 
2T T
2T T


T
T
2
.
(1.54)
Среднее квадратичное отклонение случайного процесса Х(t)
равно
1 Ò 2
X 
 x (t )dt
2T T
(1.55)
Корреляционная функция. При определении корреляционной
функции, характеризующей стохастическую связь между значениями случайного процесса Х(t) в момент времени t и t + t , среднее
по множеству реализаций




M [ X (t ) X (t  t)]  x(t ) x(t  t)
или
 
RX (t)    x1 x2 f X ( x1 , x2 , t)dx1dx2 
 
Ò 
(1.56)

1
 x(t ) x(t  t)dt.
T  2T
Ò
 lim
Если t = 0, то корреляционная функция равна дисперсии случайного процесса:
1 T 2
(1.57)
RX (0)  lim
x (t )  2  DX .

T  2T
T
Размерность корреляционной функции совпадает с размеренностью дисперсии, т.е. равна квадрату размерности процесса.
Физическая сущность корреляционной функции заключается в том,
что она, так же, как и дисперсия представляет собой среднюю
мощность переменной составляющей процесса.
Корреляционная функция являясь «мощностной» характеристикой случайного процесса, не несет информации о фазе реального
случайного процесса.
Два процесса Х(t) и Y(t) называются совместно эргодическими,
если усреднение функций от тех по множеству реализаций с
вероятностью, близкой единицы, дает тот же результат, что и
усреднение по времени одной реализации


M [ X (t ) Y (t


 t)]  x(t ) ó(t  t)
или
 
RXY ( t)    xyf XY ( x, y, t)dxdy 
 
1 T  
 lim
 x(t ) y (t  t)dt
T  2T
T
Нормированные корреляционные функции имеют вид
(1.58)
rXY (t) 
R XY (r )
R (t)
R (t)
 XY
 XY .
 Õ Ó
RÕ (0) RÓ (0)
D Õ DÓ
(1.59)
13. Спектральной плотностью Sx(  ) стационарного, (в широком смысле слова) случайного процесса, называется прямое преобразование Фурье корреляционной функции Rx( t )

S Õ ()   RX (t)e  jt d t ,
(1.60)

где  – параметр преобразования Фурье.
Применяя обратное преобразование Фурье к спектральной
плотности SX(  ); можно получить корреляционную функцию
1 
jt
RX (t) 
 S X ()e d  .
2 
(1.61)
Формулы были получены в одно и то же время учеными
А.Я. Хинчином и Н. Винером, и называются формулами ВинераХинчина.
Основные свойства спектральной плотности стационарной
случайной функции следующие.
Спектральная плотность является вещественной четной
неотрицательной функцией 

S X ()   RX (t)e
 jt


d t   RX (t)cos td t 


(1.62)
 j  RX (t)sin td t.

Корреляционная функция Rx( t ) является четной функцией t ,
поэтому

 RX (t)sin td t = 0,

таким образом

S X ()   RX (t)cos td t ,
(1.63)

S ()  S () .
(1.64)
Из (1.60) и (1.61) следует с учетом свойств четности спектральной плотности

S ()  2  RX (t)cos td t ,
(1.65)
0
1 
RX ()   S ()cos td t .
 0
(1.66)
Интеграл от спектральной плотности равен дисперсии или
квадрату среднего квадратического отношения стационарной случайной функции
DX = 2X = RX(0)
поэтому
DÕ 
2Õ
1 

 S ()d 
2 
(1.67)
Изменение масштаба m переменной t в корреляционной
функции приводит к соответствующему обратному изменению
как масштаба переменной  в спектральной плотности, так
и самой величины спектральной плотности. Корреляционной
функции Rm(τ) = RX(mτ), будет соответствовать спектральная плот1

ность Sm(  ) = SX   .
m m
Нормированная спектральная плотность имеет вид
S X () 
S X ()
,
(1.68)
S X () S X () S X ()


,
2
DX
R X (o )
X
(1.69)

 S X ()d 

или с учетом (1.67):
S X () 
или с учетом (1.63) выражаем через корреляционную функцию

S X () 
 RX (t)cos td t


.
2
X
(1.70)
Так как корреляционная функция RX( t ) = 2X rX( t ) где rX( t ) –
нормированная корреляционная функция, то нормированная спектральная плотность будет иметь вид


S Õ ()   rÕ (t)cos td t  2  rx (t)cos td t .

(1.71)

Физический смысл спектральной плотности выражается значением корреляционной функции при r = 0 (1.57) и (1.67)
1  2
1
RÕ (0)  DÕ  lim
õ(t )dt   S Õ ()d  .

T  2 

(1.72)
Так как дисперсия эргодического процесса с физической точки
зрения представляет собой среднюю мощность переменной составляющей процесса, то физическая сущность спектральной плотности
SX(  ) заключается в том, что она представляет собой распределение
мощности процесса по частотному спектру.
Поэтому SX(  ) называют спектральной плотностью мощности
стационарного случайного процесса. Спектральная плотность мощности случайного процесса не имеет информации о фазе и поэтому
SX(  ) не дает возможности восстановить с помощью обратного
преобразования Фурье (1.61) какую либо реализацию процесса.
Взаимная спектральная плотность SXY(  ) и взаимная
корреляционная функция RXY( t ) двух совместно эргодических


процессов Õ (t) и Y (t) связаны соотношениями прямого и обратного
преобразования Фурье.

S XY ()   RXY (t)e  jt d t ,
(1.73)

RXY (t) 
1 
 jt
 S XY ()e d  .
2 
(1.74)
14. Основные свойства взаимной спектральной плотности.
Взаимная спектральная плотность SXY(  ) является комплексной величиной, причем вещественная часть ее Dхy (  ) есть четная
функция  , мнимая Qxy(  ) нечетная функция  .


S XY ()   RXY (t)cos td t  j  RXY (t)sin td t ,


S XY ()  Re[ S XY ()]  j Im[ S XY ()] ,
или
(1.75)
S XY ()  RXY ()  jQXY () .
(1.76)
(1.77)
В соответствии с (1.74) и (.177)
1 
1 
RXY (t) 
 RXY ()cos td  
 QXY ()sin td  
2 
2 
(1.78)
1 
  [ RXY ()cos t  QXY ()sin t]d.
 
Взаимная дисперсия случайных функций равна интегралу в
бесконечных пределах от взаимной спектральной плотности или от
ее вещественной части
DXY
1 
 RXY (0) 
 S XY ()d  ,
2 
(1.79)
или
DXY
1 
1 

 RXY ()d  
 Re[ S XY ()]d  .
2 
2 
(1.80)
Для вычисления взаимной дисперсии подынтегральное выражение является вещественной четной функцией  .
Изменение масштаба переменной τ у взаимной корреляционной функции приводит к соответствующему обратному изме у взаимной спектральной
нению масштаба переменной
плотности. Если Rxy( t ) соответствует Sxy(  ) то Rxy(m t ) соответст1

вует Sxy   . Это свойство можно получить из (1.74).
m m
Нормированная взаимная спектральная плотность определяется соотношением
S XY () 
S XY ()



S
(

)
d

S
(

)
d



X
Y



 
  



,
(1.81)
или в соответствии с (1.67)
S XY () 
S XY () S XY ()
,

 X Y
DX DY
(1.82)
или в соответствии с (1.79)

S XY () 
 jt
 RXY (t)e d t

DX DY
.
(1.83)
Нормированная взаимная спектральная мощность через
нормированную взаимную корреляционную функцию будет иметь
вид

S XY ()   rXY (t)e jt d t ,
(1.84)

Взаимные спектральные плотности SXY(  ) и SYX(  ) являются
комплексно сопряженными величинами, как и взаимно корреляционные функции
S XY ()  SYX (  ) 

SYX ()  S XY (  ) 
RXY (t)  RYX (  t) 

RYX (t)  RXY (  t) 
(1.85)
Так как свойства взаимных корреляционных функций аналогичны свойствам корреляционных функций
RXY(t1, t2) = RYX(t2, t1).
1.5. Случайные процессы
Под случайными процессами понимается функция времени Xt,
значениями которой являются случайные величины. Таким образом, случайный процесс можно рассматривать как семейство случайных величин {Xt}, где t – временной параметр.
Функция, полученная в результате наблюдения над случайным
процессом, называется выборочной функцией или реализацией
случайного процесса. Выборочная функция ставит в соответствие
каждому значению временного параметра t  T одно из возможных
значений случайной величины Xt. Область возможных значений
функции Xt называют пространством состояния L случайного
процесса.
Конкретные значения хt случайного процесса Xt, наблюдаемые
в ходе эксперимента времени t, является неслучайными величинами, поэтому любую реализацию случайного процесса, полученную в результате наблюдения, следует рассматривать как детерминированную функцию времени.
В общем случае с помощью одной реализации нельзя дать
полную характеристику случайного процесса. Каждая новая реализация, полученная в результате наблюдения, дополняет сведения о
свойствах этого процесса. Поэтому понятие о случайном процессе
так же связывают с некоторым ансамблем функций – множеством
функций (в общем случае бесконечным) заданных явно или с
помощью какого либо признака с определенной на нем вероятной
мерой.
Ансамблем функций случайных процессов могут служить
множества:
– конечное или счетное множество функций xk(t) (k = 1, 2, …)
на котором задано распределение вероятностей {Pk}, где
Pk = P[Xt = xk(t)];
- множество функций xф (t) = Asin(ωt + Ф), где Ф – случайная
величина, плотность распределения которой f(φ);
- множество функций

y (t )   yk
k 
sin (2 F  k )
,
(2 F  k )
(1.86)
где Yk – независимые, нормально распределенные случайные величины.
Признаки, по которым классифицируются случайные процессы, связано:
1) свойствами пространства состояний L;
2) временного параметра Т;
3) статической зависимости {Xt}.
По признакам, связанным с пространством состояний, обычно
выделяют два класса случайных процессов:
1) если множество возможных значений случайных величин
{Xt} конечно или счетное, то процесс относят к классу случайных
процессов с дискретным пространством состояний и к названиям
процессов данного класса обычно добавляют слово «дискретный»;
2) процессы, для которых пространство состояний эквивалентно множеству действительных чисел, относят к классу случайных
процессов с непрерывным пространством состояний, (иногда такие процессы называют действительными случайными процессами.
Другим признаком, по которому осуществляется классификация случайных процессов, является временный параметр Т. При
рассмотрении случайных процессов как последовательности
переходов во времени от одного состояния к другому можно выделить класс процессов, для которых переходы возможны в любые
моменты времени на конечном или бесконечном промежутке
времени Т. Процессы, обладающие этим свойством называются:
случайными процессами с непрерывным временем.
Для другого класса процессов переходы от состояния к
состоянию могут происходить лишь в строго определенные, заранее
обусловленные моменты времени t0, t1, …, составляющие конечное
или счетное множество Т множеств времени называются – случайными процессами с дискретным временем.
Третьим признаком, по которому может осуществляться
классификация случайных процессов, является пространственный
параметр Rn (n – мерное пространство R).
При проявлении случайных процессов во времени в любом
месте пространства, такие процессы называются – 1) случайные
процессы с непрерывным метрическим пространством. Для
другого класса процессов, которые могут проявляться во времени
только на конкретном пространстве называются – 2) случайные
процессы с дискретным метрическим пространством.
Таким образом, в зависимости от того, являются множества L,
T и Rn конечными, счетными или мощности континуума различают
девять основных типа случайных процессов.
1. Дискретный случайный процесс с дискретным временем и
дискретным метрическим пространством;
2. Дискретный случайный процесс с непрерывным временем и
дискретным метрическим пространством;
3. Дискретный случайный процесс с дискретным временем и
непрерывным метрическим пространством;
4. Непрерывный случайный процесс с дискретным временем и
дискретным метрическим пространством.
5. Непрерывный случайный процесс с непрерывным временем
и дискретным метрическим пространством.
6. Непрерывный случайный процесс с дискретным временем и
непрерывным метрическим пространством.
7. Дискретный случайный процесс с непрерывным временем и
непрерывным метрическим пространством.
8. Непрерывный случайный процесс с дискретным временем и
непрерывным метрическим пространством.
9. Непрерывный случайный процесс с непрерывным временем
и непрерывным пространством.
Еще одним признаком, который учитывается при классификации случайных процессов, является зависимость случайных величин {Xt}. Известно, что для математического описания конечного
семейства случайных величин Xt1, Xt2, …, Xtn используются n – мерные законы распределения. В общем случае для исчерпывающего
математического описания случайного процесса Xt, представляющего собой бесконечное семейство случайных величин, необходимо
использовать бесконечно мерные законы распределения.
Поэтому случайные процессы описывают либо приближенно,
используя конечномерные распределения, либо, накладывая специфические ограничения на характер зависимости случайных величин
{Xt}, дают конечномерными распределениями исчерпывающее описание случайного процесса.
И так, чтобы задать случайный процесс, нужно описать
пространство состояний L случайного процесса, временной пара-
метр Т, метрическое пространство Rn, в котором проявляется
случайный процесс, и задать n – мерный закон распределения
семейства случайных величин f X {Xt}, t  T .
Стандартные распределения дискретных случайных величин..
1. Биноминальное
распределение
имеет
вид:
N!
pk 
p k q N  k , где вероятность ð k равна вероятности появk !( N  k )!
ления события А k раз в N независимых опытах при условии, что в
каждом опыте это событие появится не более одного раза и с
вероятностью, равной р и не появилось q=1 – p в остальных N–k
опытах. Для случайной величины x, распределенной по
биноминальному закону с параметрами p и q, основные
характеристики равны: mX  Np , DX  Npq ,  X  Npq .
ak a
2. Распределение Пуассона имеет вид: pk  e , и является
k!
предельным для биноминального, когда число N   опытов
неограниченно увеличивается, а параметр ð  0, но так,
что их произведение сохраняется в пределе постоянным и
равным а. Основные характеристики равны: m X  a , DX  a ,
 X  DX  a .
3. Геометрическое распределение имеет вид: pk  q k p , вероятности pk для последовательных значений k образуют геометрическую прогрессию с первым членом p и знаменателем q; основные
характеристики равны mX  q / p, DX  q / p 2 ,  X  q / p ;
Стандартные распределения непрерывных случайных величин
в технических системах.
1. Нормальное распределение имеет вид:
f ( x) 
1
( x  mX )2
e
2 2X
,
 X 2
где mХ и  X – соответственно, представляют математическое
ожидание и среднее квадратическое отклонение случайной величины. Нормальное распределение возникает в тех случаях, когда
складываются многие независимые случайные величины Х1, Х2, …,
Хп.
X
1
при
X
ba
a < х < b. Числовые характеристики случайной величины Х, имеюab
(b  a)2
щей равномерное распределение: mX 
; DX 
;
2
12
ba
X 
.
2 3
3. Распределение Симпсона имеет вид:
2. Равномерное распределение имеет вид: f ( x) 
2
 2

 b  a (b  a)2 a  b  2 x , x   a, b 
.
f X ( x)  
0, x   a, b 

Случая величина Х имеет треугольное распределение на
4
отрезке [à, b] . Числовые характеристики mX 
[a 2  b 2 
2
(b  a)
2
(b  a)2
ab 
.
2 
  , DX 
24
 2  
Определение вида закона распределения случайной величины
по опытным данным занимает одно из центральных мест при
обработке результатов экспериментов статистическими методами.
Традиционный подход при решении задач сводится к расчету
параметров эмпирического распределения, принятию их в качестве
оценок параметров генеральной совокупности с последующей
проверкой сходимости эмпирического распределения с предполагаемым теоретическим по критериям 2 (Пирсона),  (Колмогорова), 2 (Мизеса). Однако, зависимость методики обработки
результатов эксперимента от предполагаемого теоретического распределения, а также большой объем вычислений, особенно при
использовании 2 , 2 , является недостатком традиционного подхода при определении закона распределения случайной величины.
Создание методов определения закона распределения случайной величины не требующих большого количества выборочных
данных и обеспечивающих достаточную надежность расчета, является актуальной задачей. Одним из таких методов является
графоаналитический метод идентификации закона распределения
показателей качества [90–100].
1.6. Информационные модели сигналов
Передающая информационная система, работает по схеме
рис. 2.1. На вход системы подается совокупность сообщений х1, х2,
…, хn. Задача системы передать совокупность этих сообщений с
достаточно высокой достоверностью на выходе y1, у2, ..., уn без
ошибок или с допустимыми ошибками [33, 34, 35, 36, 37].
x1 
x2 
 Информационная система

xn 
 y1
y
 2


 yn
Рис. 1.2. Информационные системы
В процессе передачи сообщение подвергается многочисленным преобразованиям, существенно меняющим его физические
характеристики. Однако передаваемая информация должна оставаться инвариантной
при всех преобразованиях. Количество
передаваемой получателю информации связано с неопределенностью, которая имела место относительно передаваемого сообщения. Необходимо отметить, что всякая информация получается
потребителем после принятия сообщения, т.е. в результате опыта.
Сообщение, получаемое на приемной стороне, несет полезную
информацию лишь в том случае, если имеется неопределенность
относительно состояния источника сообщений. Мера количества
информации впервые была предложена К. Шенноном в 1948 году и
затем более строго определена А.Я. Хинчиным [38]. Определение
количества информации, содержащейся в сообщении, подчиняется
следующим требованиям:
а) количество информации должно быть аддитивной величиной, т.е. в двух независимых сообщениях оно должно
равняться сумме количества информации в каждом из них;
б) количество информации в сообщении о достоверном
событии равно нулю;
в) количество информации не должно зависеть от качественного содержания сообщения в частности, от степени его важности
для получателя, возможных последствий его передачи и т.д.
Количество информации и неопределенность для всей совокупности сообщений по К. Шеннону можно получать усреднением
по всем событиям.
I ( X )   ( xii )log a
1
  ( xii )log a P( xi )  H ( X ) .
P( xi )
(1.87)
В случае равной вероятности сообщений выражение (1.87) для
количества информации приводится к виду
I (X) = – loga p(xi) = loga n,
(1.88)
1
– количество передаваемых сообщений.
p( xi )
Такая мера количества информации была предложена в 1928
году Р. Хартли. Необходимо отметить что энтропия Н(Х) и
количество информации I(X) соответствуют зависимости (1.87)
однако физический смысл у них различный. Н(Х) выражает среднюю неопределенность состояния источника сообщений, является
объективной характеристикой источника сообщений, если известна
статистика сообщений и может быть вычислена априорно, т.е. до
получения сообщения. I(Х) есть мера недостатка информации о
состоянии отдельной системы. С поступлением информации о
состоянии системы энтропия последнего снижается. I(X)
определяется апостериорно, т.е. после получения сообщения.
Совпадение Н(Х) и I(X) свидетельствует о том, что количество
получаемой информации равно численно энтропии, которая имела
место относительно источника сообщений.
Единица измерения количества информации и энтропии
зависит от выбора основания логарифма в формуле (1.87). При
использовании десятичных логарифмов количество информации и
энтропия определяются в десятичных единицах – дитах. В случае
использования двоичных логарифмов измеряются
количество
информации и энтропия в двоичных единицах – битах. При
где n 
использовании натуральных логарифмов единицей измерения
является натуральная единица – нит.
При анализе информационных процессов в электронновычислительных машинах и других устройствах, функционирующих на основе двоичной системы счисления, удобно пользоваться
двоичными единицами – битами.
При анализе процессов в приборах, работающих в десятичной
(или двоично-десятичной) системе счисления целесообразно пользоваться десятичными единицами – дитами. В математических выкладках удобно пользоваться натуральными единицами – нитами.
Основным недостатком определения количества информации
по К. Шеннону, как отмечают некоторые исследователи, является
то, что количество информации не зависит от качественного
содержания сообщения. Это положение привело к возникновению и
развитию теории ценности информации, сущность которой
сводится к тому, что ценность некоторого сообщения следует
измерять в соответствии с тем эффектом, который достигается в
результате приема этого сообщения. Основоположником теории
ценности информации считается Дж. Максвелл [39].
Сформулируем свойства энтропии дискретных сообщений:
а) энтропия есть величина вещественная ограниченная и
неотрицательная, это свойство следует из того, что вероятность р(хi)
есть величина неотрицательная, заключенная в промежутке 0≤ р(хi)
≤ 1;
б) энтропия детерминированных сообщений равна нулю,
если заранее известно, какое будет событие, например х1, то
вероятность того события равна единице, а остальных нулю, т.е.
р(хi) = 1, р(х2) = р(хn) = 0.
в) энтропия максимальна, если все события равновероятны
1
1
H ( x)max   log à  log à n .
n
i 1 n
n
(1.89)
Как видно из выражения (1.89), в случае равновероятных
событий энтропия возрастает с увеличением количества событий.
Энтропия системы двух альтернативных событий может
изменяться в пределах от нуля до единицы. Энтропия системы двух
событий равна
H(X) = –p(x1) logаp(x1) – p(x2)logа2p(x2) =
= p(x1)logа p(x1) – [1 – p(x1)]logа[1 – p(x1)],
из последнего выражения видно, что энтропия равна нулю при
p(x1)=0; p(x2) = 1
p(x1)=1; p(x2) = 0.
Максимум энтропии будет иметь место когда
p(x1) = p(x2).
Энтропия непрерывных сообщений.
Непрерывное сообщение как случайная величина характеризуется дифференциальным законом распределения вероятности
w(х). Дифференциальная энтропия равна

h( x) = –  w (x)logаw (x)dx.

(1.90)
Величина h(x) зависит от масштаба х, т.е. от выбора единицы
измерения и отдельно не может служить абсолютной мерой
неопределенности непрерывного сообщения [40, 41]. При решении
задач передачи информации часто имеют дело с несколькими
источниками.
Совокупность
сообщений
вырабатываемых
несколькими источниками называется сложным сообщением.
Сообщения первого источника принимают значения x1, x2, ...,
хn с вероятностями p(x1), p(x2) …, p(xn), и сообщения второго
источника принимают значения y1, y2, …, ym c вероятностями p(y1),
p(y2), …, p(ym).
Совместную энтропию совокупности сообщений Х и Y равно
n m
H ( X , Y )    P( xi , y j )log a p( xi , y j ) .
i 1 j 1
(1.91)
Основные свойства энтропии сложных сообщений:
1) При статически независимых сообщениях Х и Y совместная
энтропия равна сумме энтропий сообщения
H(X, Y) = H(X) + H(Y)
(1.92)
2) При полной статической зависимости Х и Y совместная
энтропия равна безусловной энтропии одного из сообщений.
H(X, Y) = H(X) = H(Y)
(1.93)
3) Условная энтропия может изменяться в пределах
0 ≤ H(Y X,) ≤ H(Y)
(1.94)
4) Для совместной энтропии всегда справедливо соотношение
H(X, Y) ≤ H(X) + H(Y)
(1.95)
5) Дифференциальная энтропия объединения непрерывных
случайных величин X и Y имеет вид

h( X , Y )    w( x)log a w( x)dx 

(1.96)
 

  w( x, y )log a w( y x)dxdy  h( x)  h( y x)
 
где h(x) – дифференциальная энтропия сообщения х; h(y/x) – условная дифференциальная энтропия сообщений Y; w (X, Y) плотность совместного распределения Х и Y; w (X/Y) – условная плотность распределения X относительно Y.
В реальных условиях передача сообщений происходит при
воздействии помех.
Вследствие отличия принимаемых сообщений от передаваемых при оценке количества передаваемой информации целесообразнее рассматривать две системы: систему передаваемых X и
принимаемых сообщений Y.
Количество информации вследствие помех будет равно
I ( y j , xi )  H ( xi )  H ( xi / y j )  log a
p( xi / y j )
p( xi )
;
(1.97)
где H(xj) – априорная энтропия сообщения xi,
H(xi/yi) – условная энтропия при получении сообщения yi не полностью.
Среднее количество информации обо всех xi, содержащееся в
одном принятом сообщении yi, можно получить усреднением по
всем xi
n
p( xi / y j )
I ( y j , Õ )   p( xi / y j )log a
(1.98)
p
(
x
)
i 1
i
Количество информации, содержащееся во всей совокупности
принятых сообщений Y относительно всей совокупности переданных сообщений Х, при осуществлении усреднения по всем yj
n n
p ( xi / y j )
i 1 i 1
p ( xi )
I (Y , X )    p( y j ) p ( xi / y j )log a
,
(1.99)
или используя равенство p(yj)p(xi/yj) = p(xi, yj)
n n
p( xi / y j )
i 1 i 1
p( xi ) p( y j )
I (Y , X )   p( y j ) p( xi / y j )log a

(1.100)
 H (X )  H (X /Y )
Таким образом, среднее количество информации, получаемое
при неполной достоверности сообщений, равно разности безусловной энтропии H(X) и условной энтропии H(X/Y), характеризующей
остаточную (апостериорную) неопределенность сообщений. Количество информации, которое содержится в сообщении Y относительно сообщения Х, равно количеству информации содержащейся
в Х относительно Y.
I(Y, X) = I(X, Y)
(1.101)
Сумма I(Y, X) и I(X, Y) – называют полной взаимной информацией.
Для определения количества информации при непрерывных
сообщениях произведем переход от дискретных к непрерывным
случайным величинам через функции распределения плотности
вероятности
p(xi) = w(xi)  xi,
p(yj) = w(yj)  yj,
p(xi, yj) = w(xi, yj)  xi  yj ,
P(xi/yj) = w(xi/yj)  xi ,
(1.102)
где  xi и Δyj – элементарные участки, на которые разбиты шкалы
уровней случайных величин х и у, w(xi) w(yj), w(xi,yj),
w(xi/yj) – значения функций распределения при аргументах
X = xi, Y = yj
Тогда (1.99) (1.102) произведя замены, получим
n
I (Y , X )   w( xi )xi log a [ w( xi ) xi ] 
i 1
n
.
n
(1.103)
   w( xi , y j )xi  y j log a [ w( xi / y j )xi ]
i 1 j 1
Осуществим
получим [5]
предельный
переход
при
 хi  0
и  yj  0

I ( I , X )  h( X )  h( X / Y )    w( X )log a w( X )dX 

 
(1.104)
   w( X , Y )log a w( X / Y )dXdY
 
если учесть, что
w( X / Y ) 
w( X , Y )
,
w(Y )

w( X )   w( X , Y )dY ,

то выражение (1.104) будут иметь вид:
 
I (Y , X )     w( X , Y )log a w( X )dXdY 
 
 
   w( X , Y )log a
 
 
w( X , Y )
dXdY 
w(Y )
(1.105)
w( X , Y )
dXdY
w
(
X
)
w
(
Y
)
 
В отличие от дифференциальной энтропии количество информации не зависит от масштаба непрерывных сообщений, если
масштабы X и Y одинаковы.
   w( X , Y )log a
При полной статистической зависимости передаваемых Х= хi
и принимаемых Y=yj сообщений имеет место отсутствие помех
H(X/Y) = 0.
В этом случае количество информации, содержащееся в Y
относительно Х равно энтропии передаваемых сообщений
I(X,Y) = H(X) – H(X/Y) = H(X)max
(1.106)
При полной статистической независимости сообщений X и Y,
имеет место при высоком уровне помех, когда помехи подавляют
сигнал
I(X, Y) = 0
т.е. сообщение не содержит никакой информации о сообщениях X.
При реальной передаче информации непрерывные сообщения
воспроизводятся с ограниченной точностью, поэтому количество
информации зависит не только от статистики сообщений Х, но и от
способа его воспроизведения. При этом количество информации,
содержащееся в отсчетах Х* относительно сообщения Х, определится разностью дифференциальных энтропий
I(X*, X) = h(X) – h(X/X*),
(1.107)
где h(X/X*) – условная дифференциальная энтропия, характеризующая потерю информации за счет ограничений точности воспроизведения сообщения источником. Выражение (1.107) можно
привести к виду
w( X , X  )
I ( X , X )    w( X , X )log a
dXdY ,
w
(
X
)
w
(
Y
)
 
 

Когда задаются требования к верности воспроизведения Х, в
качестве критерия верности может быть использовано допустимое
значение среднеквадратичного отклонения X*,X

 
 



  ( X  X ) w( X , X )dXdX
 
(1.108)
Наименьшее значение I(X*, X) называют эпсилон энтропий [42]
H  (X) = min I(X*,X) = h(X) – max h(X/X*)
при σ*≤ ε°,
где ε° – допустимое значение ошибки воспроизведения, псилон-энтропия определяет информационную емкость источника непрерывных сообщений при заданном критерии верности воспроизведения
[40].
При определении энтропии и количества передаваемой информации предполагают, что элементы сообщений статистически независимы. Однако в реальных условиях независимость элементов
сообщений – явление редкое.
Очевидно, что при определении энтропии и информации в
сообщениях, элементы которых коррелированны, нельзя ограничиваться только безусловными вероятностями элементов сообщения,
необходимо учитывать и условные вероятности появления
элементов.
Будем предполагать, что передается конечное число сообщений x1, x2, …, xn–1xn коррелятивные связи между элементами сообщений могут распространяться на различные группы элементов.
Если элементы сообщений независимы, то условная вероятность
передачи элемента хi будет равна безусловной
р(xj /x1, x2, …, xn) = p(x)j.
(1.109)
Если имеется коррелятивная связь только между двумя
соседними элементами, то вероятности передачи любого элемента
сообщения будет зависеть лишь от того, каков был предшествующий символ, т.е. условная вероятность передачи элемента xj будет
равна р(xj/xi). В этом случае элементы сообщений составляют
простую односвязную цепь Маркова.
Если коррелятивные связи охватывают три элемента
сообщений, то последние представляют двухсвязную цепь Маркова
и условная вероятность передачи элемента xj будет равна р(xj /xi, xn).
Большинство сообщений в реальных условиях представляют
собой эргодическую последовательность, у которой коррелятивные
связи распространяются на конечное число элементов. При доста-
точной длине такой последовательности с достаточной точностью
могут быть определены вероятности и условные вероятности
появления отдельных сообщений.
Пусть сообщения составляют простую, т.е. односвязную цепь
Маркова. В этом случае энтропия элемента xj будет определяться
условной вероятностью р(xj /xi).
Для данного фиксированного xi энтропия сообщений будет
определяться частной условной энтропией.
n
H ( X1 / xi )    p( x j / xi )log a p( x j / xi ) .
j 1
Произведя усреднение по всем xi, получим выражение для
средней энтропии сообщения.
n
n
n
i 1
i 1
j 1
H ( X )   p ( xi ) H ( X / xi )   p ( xi )  p ( x j / xi )log a p( x j / xi ) 
n
n
(1.110)
   p ( xi , x j )log a p ( x j / xi )
i 1 j 1
В случае наличия коррелятивных связей между тремя элементами энтропия сообщений будет равна
n
n
n
H ( Õ )     p ( xi , xn )  p ( x j / xi , xn )log a p ( x j / xi , xn ) 
n 1 i 1
n
n
n
j 1
(1.111)
    p ( x j , xi , xn )log a p ( x j / xi , xn )
n 1 i 1 j 1
Если коррелятивными связями охвачено большое число
элементов, то энтропия определяется аналогично.
При наличии коррелятивных связей между элементами
энтропия сообщений, а, следовательно, и количество передаваемой
информации уменьшается, причем это уменьшение будет тем
интенсивнее, чем сильнее коррелятивные связи и чем большее
число элементов будет охвачено этими связями.
1.6.1. Избыточность сообщений
Средняя энтропия сообщений при одинаковом количестве
элементов может быть различной в зависимости от статистических
характеристик сообщений. Энтропия максимальная и определяется
выражением (1.88), если элементы сообщений равновероятны и
взаимно независимы. Если поступление элементов сообщений не
равновероятно, то энтропия уменьшается и определяется выражением (1.87).
Еще меньшей будет энтропия при наличии коррелятивных
связей между элементами сообщений. Для случаев, когда
коррелятивные связи схватывают два или три элемента, энтропия
определяется выражениями (1.111). Сообщения, энтропия которых
максимальна, являются оптимальными с точки зрения наибольшего
количества передаваемой информации.
Мерой количественной оценки того, насколько данное
реальное сообщение по своей энтропии отличается от соответствующего ему оптимального сообщения, является коэффициент
сжатия
H(X )
,
(1.112)
H ( X )max
где Н(Х) энтропия реального сообщения;
H(X)max – энтропия соответствующего ему оптимального сообщения.
Если неоптимальное и оптимальное сообщение характеризуется одинаковой общей энтропией, то справедливо равенство
M
nH(X) = n' H(X)max .
где n – число элементов неоптимального сообщения;
n' – число элементов соответствующего оптимального сообщения.
Так как средняя на элемент энтропия оптимального сообщения
максимальна, то число элементов неоптимального сообщения
всегда будет больше числа элементов соответствующего ему
оптимального сообщения. Коэффициент сжатия (1.112) будет равен
n
.
(1.113)
n
Таким образом, реальные сообщения при одинаковой информативности обладают определенной избыточностью в элементах по
сравнению с оптимальными сообщениями.
M=
Мерой количественной оценки избыточности является коэффициент избыточности
Ku 
n  n H ( X )max H ( X )

 1  .
n
H ( X )max
(1.114)
Избыточность приводит к увеличению времени передачи
сообщений, излишней загрузке канала связи. Некоторая избыточность бывает иногда полезной для обеспечения требуемой надежности систем, повышения помехоустойчивости передачи связи
сообщений.
Под производительностью источника сообщений подразумевают количество информации, вырабатываемое источником в
единицу времени. Эту характеристику источника называют также
скоростью создания сообщений или источником входной информации. Поскольку взаимное воздействие помех на источник сообщений принято учитывать эквивалентным изменением характеристик
модели канала связи, то производительность источника сообщений
равна энтропии источника, приходящейся на единицу времени.
Длительность выдачи знаков источником в каждом из
состояний в общем случае может быть различной. Обозначим длительность выдачи знака хі, формируемого источником в состоянии
Sq через τqxi. Тогда средняя длительность выдачи источником одного
знака
R
e
q 1
i 1
tu   p( Sq ) pq ( x1 )tqxi
(1.119)
Производительность источника I ( xi ) можно выразить формулой
I ( X )  H ( X ) / tu
(1.120)
Как следует из (1.119) повышение производительности истоника
возможно не только за счет увеличения энтропии, но и за счет
снижения средней длительности формирования знаков, поэтому
желательно выбирать с обратно пропорциональными вероятностями
их появления.
Основным достоинством статистической меры количества информации является ее универсальность. Информация измеряется в
одних и тех же единицах независимо от ее физической природы и со-
держания. В связи с этим рассмотренная мера количества информации является во многих случаях весьма удобной при анализе и
синтезе сложных информационных систем и наиболее рациональной
при оптимизации характеристик систем. Важным преимуществом
статистической меры количества информации является ее объективность. Статистическая оценка событий не зависит от психологических
факторов, ибо устанавливается на основе экспериментальных данных.
Вместе с тем то обстоятельство, что в основу измерения количества информации положены лишь статистические характеристики
событий, ограничивает возможности данной меры информации.
В ряде случаев важно оценить смысловое содержание (семантику), а также ценность или целесообразность информации. Статистическая мера количества информации не в состоянии обеспечить
решение данных задач.
В последнее время делаются попытки расширения области применения теории информации за счет введения семантических мер
информации, мер содержательности целесообразности информации
[43, 44, 45].
1.7. Информационные системы
Информация в современных условиях выступает, как ресурс
позволяющий минимизировать расходы других ресурсов (сырьевых, материальных, энергетических, трудовых финансовых и т.д.).
Требования к качеству информации в современных условиях
предъявляет высокие требования и к качеству информационного
обеспечения. Современные информационные технологии открыли
новые возможности в организации научной деятельности при
создании современных технических средств информационных
систем. Решаемые информационными системами задачи зависят от
конкретных сфер человеческой деятельности, а практическая их
направленность определяется поставленными на инженерном уровне целями управления и требованиями информационного обеспечения.
Разнообразие в классификации решаемых задач происходит по
причине разнородности технической базы информационных технологий и разнообразия, выполняемых этими системами функций,
влияния структур управления с учетом реальных режимов и
возмущений, в этом числе и случайных, так и вследствие разных
подходов при исследовании информационных систем и однозначности оценок эффективности их функционирования.
Методы решения указанных задач, а также проведение
наиболее перспективной технической политики в области создания
новых информационных технологий и аппаратно-програмных средств
передачи и обработки данных были бы наиболее плодотворны, если
бы опирались на общую теорию информационных систем. Бурный
научно-технический прогресс в информатизации общества диктует
необходимость формирования и развития такой теории.
Информационные системы играют исключительно важную
роль в организации окружающего мира, который представляет собой совокупность взаимосвязанных биологических, технических,
социально-экономических и других систем. Наиболее существенными функциями в организации этих систем является: 1) управление, обеспечивающее сохранение структуры, режим деятельности, реализацию целевых программ организации, а также адаптацию
к изменяющимся условиям; 2) связь (передача информации), так как
управление системой сопряжено с привлечением и обработкой
больших объемов сведений о состоянии и поведении указанных
систем.
Информация как ресурс наряду с энергетическими и материальными ресурсами занимает ключевое место в существовании
экосистем. В сфере человеческой деятельности информация является стратегическим ресурсом, оказывающим огромное влияние на
процессы в экономике, образовании и культуре. Эффективность
управления любой динамической системы во многом определяется
тем, как организовано хранение, поиск, передача, обработка и пополнение информации. Автоматизированные системы, использующие ЭВМ, которые осуществляют эти процессы с целью предоставления пользователям информации в соответствии с их запросами,
называются информационными системами.
Объектами, образующими информационные системы, являются
языки программирования, компьютеры, вычислительные сети и
другие аппаратно-программные средства, предназначенные для выполнения заданных процедур. Они осуществляются без конкретного
смысла, т.е. без обработки содержания, а трансформация данных в
информацию предусматривает наличие некоторых механизмов интерпретации результатов. Оценить смысловое содержание получен-
ных данных может находящийся за пределами системы обработки
данных человек-оператор (пользователь) через систему с помощью
разработанных алгоритмов, логических выводов и эвристических
моделей. Пользователь при рассматриваемом подходе выступает в
роли субъекта системы определяющего ценности исходной и
обработанной информации, и в совокупности с системой обработки
данных формирует и организует эффективное функционирование
информационной системы. Существенным в информации при этом
является содержательный аспект данных (сведений, фактов), а задачей информационной системы становится преобразование исходной в
обработанную информацию, необходимую для принятия решений.
Информация выступает изначально как сырье, а затем продукт,
что кардинально ее отличает как ресурс от материальных, энергетических и других видов ресурсов в сфере производства, для
которой главным является производство и потребление материальных благ. В сферу функционирования информационной системы
входят также системы восприятия (наблюдения, результаты измерений), модели и методы анализа процессов, алгоритмы обработки
сигналов, в том числе использующие теоретико-вероятностные
подходы при исследовании динамических систем, а также прикладные программы реализующие эти алгоритмы на языке компьютеров. В задачах управления на основании анализа результатной
информации и оценки вариантов синтеза, осуществляется выбор
рационального управления системой. В других задачах информационно-справочного и расчетного характера указанный анализ
заканчивается логическим выводом, экспертными оценками или
переходом к следующему этапу научно-исследовательской работы.
Обобщенная схема преобразования информации, взаимосвязей
объектов и субъектов информационной системы [76] представлена
на (рис. 1.3).
С появлением больших информационных систем актуальной
становится проблема управления этими системами. Огромный поток
данных, необходимость их передачи и обработки в интересах
многочисленных расположенных в разных местах пользователей для
выработки соответствующих управленческих решений делает не
эффективным хранение и обработку данных в одном месте. Решение
этой проблемы взаимодействия пользователей лежит на путях
создания локальных и глобальных сетевых инфраструктур (распре-
деленных вычислительных или компьютерных сетей). Указанные
сети являются важной компонентной информационной системы.
Обслуживающая информационную систему и пользователей
система знаний занимает промежуточное положение. Это объясняется тем, что эта система в виде методик, сведений, описания
моделей и алгоритмов может быть придана непосредственно
пользователям или в том или ином объеме в качестве набора
программных модулей хранится в памяти информационной системы и по команде пользователей или внутренним командам
взаимодействует с объектами системы обработки данных (вычислительной сети).
Представленная схема достаточно универсальна и охватывает
широкий спектр задач, выполняемых информационными системами. При использовании этих систем в качестве управляющей
подсистемы – обязательного элемента системы управления, выход
блока принятия решения, в котором производится оценка вариантов
и выбор наиболее рационального управления, замыкают на вход
динамической системы объекта управления.
Если информационная система выполняет самостоятельные
функции научно-исследовательского или информационно-справочного характера, то из схемы исключается динамическая система и к
пользователям с блока принятия решений поступают данные в виде
экспертных оценок логических выводов, проектных решений и т.д.
В случае обмена информации между пользователями, приоритетным становится содержательный аспект этих данных – исходная
и результатная информация. В задачах идентификации и имитационного моделирования осуществляется соответственно формирование информационной модели системы и проверка этой модели на
влияние неблагоприятных факторов и чувствительность к вариациям параметров. В качестве примера можно также указать на
интегрирование информационных систем в современные системы
связи, что расширило возможности информационных технологий.
Современные методы описания процессов в информационных
системах разнообразны и требуют различного смыслового содержания и представления для применения в инженерной практике.
Среди них все большее значение приобретают теоретиковероятностные
методы
использования,
основанные
на
вероятностной трактовке протекающих в информационных систе-
емах процессов. Вероятностный (статистический) подход позволяет
более полно учесть состояние динамической системы, характер
управляющих и возмущающих воздействий, результирующее
поведение информационных потоков в больших вычислительных
сетях и во многих случаях более адекватен практическим задачам.
Круг проблем, вытекающих из указанного подхода, достаточно
широк: описание математических моделей случайных процессов в
информационных системах, формирование на их базе статистических методов проверки гипотез и обнаружения, оценивания и
фильтрации, интерполяции (сглаживания) и экстраполяции (прогнозирования), а также разработке алгоритмов оптимального управления стохастическими системами.
1.8. Квантование сигналов со многими
степенями свободы
Дискретный по структурному параметру сигнал представляет
собой последовательность X 1 , X 2 , ..., X n случайных величин, дискретных или непрерывных. Данную последовательность называют
дискретным случайным процессом.
Дискретные по структурному параметру сигналы называются
импульсные по времени и импульсные по пространству, если
структурным параметром сигнала понимается время или пространство.
Импульсный сигнал (импульсный сигнал – конечной энергии),
информативный параметр которого амплитуда, принимает значение
из конечного множества, называется дискретным по амплитуде.
Этот же сигнал может быть одновременно и непрерывным по
амплитуде по другому информативному параметру, например по
пространству R n , если амплитуда имеет континуум значений, принадлежащих интервалу [ xmin , xmax ] .
Таким образом, сигнал может быть информативным по параметрам – амплитуде (Х), времени (Т) и пространству ( R n ) .
Информативный параметр может быть одновременно дискретным и
непрерывным, например, по пространственно-временному континууму, а также и по другим параметрам, в том числе и по неинфор-
мативным параметрам, как t /To , где t – длительность импульса, To –
длительность паузы между импульсами.
äëèí à
X i : X  {T , R n , X } ;
í åï ð.
äëèí à
TI : T  { X , R n , T } ;
í åï ð.
RIn
(1.121)
äëèí à
: R  { X ,T , R n } .
í åï ð.
Непрерывность параметра сигнала зависит от нормы континуума параметра, в рамках которого он непрерывен по отношению к
другим параметрам и к самому себе.
Для оценки информационного содержания сигнала по информативным параметрам X , T , R n , необходимо определить количество
информации проявления информационных параметров
I    p ( X ,T , R n )log p ( X ,T , R n ) ,
(1.122)
где P – вероятность превышения порогового значения параметров.
Затем определяем количество информации значений информативных параметров из множества возможных значений.
I X   p ( x1 , x2 ,..., xl )log p ( x1 , x2 ,..., xl ) ;
I T   p (t1 , t2 ,..., tk )log p(t1 , t2 ,..., tk ) ;
(1.123)
I Rn   p(t1n , tn2 ,..., tnm )log p(t1n , tn2 ,..., tnm ) ;
Количество информации сигнала со многими степенями
свободы будет равно
k
I ñèã.
 I   I x  IT  I Rn ,
(1.124)
Выражение (1.124) представляет собой комплексный информационный показатель сигнала.
Диапазоны изменений информативных параметров X , T , R n ,
называемый непрерывной шкалой мгновенных значений параметров сигналов, ограничены значениями [ xmin , xmax ] , [tmin , tmax ] ,
[tnmin , tnmax ] , что отражает условие физической реализуемости
сигнала. Непрерывную шкалу мгновенных значений параметров
сигналов
 xe  xmax  xmin ,
(1.125)
 tk  tmax  tmin ,
n
n
n
 Rm  Rmax  Rmin
разбивают на l , k , m интервалов называемых шагами квантования.
n
n
xmax  xmin
tmax  tmin
Rmax
 Rmin
x 
; t 
;  n 
;
R
l
k
m
Границами шагов квантования являются значения:
x  xmin ,
t1n ,..., tnm  tnmax . Из
n
x1 ,..., xn  xmax ; t0  tmin , t1 ,..., tk  tmax ; t0n  tmin
,
множества мгновенных значений принадлежащих і-му шагу
квантования xi , t j , tn , разрешено только одно значение xi , t j , tn
является разрешенным (і-ой уровень квантования). Любое другое из
указанного множества значений округляется до xi , t j , tn . Совокуп-
ность величин x2 (i  1,2,..., n) , t j ( j  1,2,..., k ) , tn  (  1,2,..., m)
образуют дискретные шкалы квантования информативных
параметров сигнала X , T , R n .
Если шкала равномерна, т.е. значения xi , t j , Rn постоянны
на всем протяжении непрерывной шкалы мгновенных значений
параметров сигнала, квантование называют равномерным. Если
постоянство значений xi , t j , Rn не выдерживается – квантование не равномерное. Равномерное квантование получило наибольшее широкое распространение, благодаря простоте технической
реализации.
В результате замены мгновенного значения параметров
сигнала X , T , R n соответствующим уровнем квантования xi , t j , tn
возникает погрешность i  xi  xi ,  j  t j  t j ,   tn  tn , которую
называют ошибкой квантования. Эта погрешность является
случайной величиной. Чаще всего интересует ее максимальное
значение  N  max i , k  max  j , m  max  и среднеквадратическое отклонение  x , T , 
для всего диапазона изменения
Rn
мгновенных значений параметров сигнала. Используются так же
приведенные значения погрешностей и квадратических отклонений
ON   N /( xmax  xmin ) ;
OK   K /(tmax  tmin ) ;
(1.126)
n
OM  M /(tnmax  tmin
);
OX   X /( xmax  xmin ) ;
OK   K /(tmax  tmin ) ;
(1.127)
n
OM  M /(tnmax  tmin
);
С позиции минимизации наибольшей возможной ошибки
квантования непрерывную шкалу мгновенных значений параметров
сигнала целесообразно разбить на x, t , R n шаги квантования и
уровни квантования разместить в середине каждого шага. При этом
максимальная ошибка квантования не превышает 0,5  . Если
каждый уровень квантования выбран равным нижней (верхней)
границе шага квантования, максимальная ошибка квантования
возрастает до величины  .
Среднеквадратическое отклонение ошибки квантования для
i -го, j -го,  -го шага i ,  j ,  зависит не только от шага i, j ,  и
расположения в нем уровня квантования, но и от закона
распределения мгновенных значений сигнала в пределах этого шага
i  xixi1 ( xi  xi ) p ( xi ) dx ;
2
t
(
 j  t j t j  t j
j
 
tn
tn
1
(t
n

) p ( (t j ) dt
2
n
 t
;
(1.128)
) p (t ) dt ;
2
n

где p ( xi ), p (t j ), p ( tn ) – функции плотности мгновенных значений
параметров сигнала.
Считая шаги квантования малыми по сравнению с диапазоном
изменения параметров сигнала, плотность p ( x), p (t ), p (tn ) в
пределах каждого i -го, j -го,  -го
шагов можно принять
постоянной
и
равной
некоторому
среднему
значению
p ( xi ), p (t j ), p( tn ) . При таких предположениях минимальная
среднеквадратическая ошибка δ достигается при расположении
уровня квантования в среднем шаге. Подставим значения i ,  j ,  в


(1.128) проинтегрировав в пределах –
(половина шага) до +
2
2
преобразовываем выражение к виду[8]
i2
;
i   p( xi )i 
12
2

j
;
2j   p(t j ) j 
12
2
n
(1.129)
 2
   p (t )  ;

 12
2
Отметим, что дисперсия ошибки квантования на i -ом, j -ом,
 -ом шаге равна i2 /12,  2j /12,  2 /12 равномерно распределенного
на этом шаге параметров сигнала умноженной на вероятность
p ( xi )i, p (t j ) j , p( tn )  попадания мгновенного значения сигнала
в пределы данного шага.
Дисперсия полной ошибки квантования  2 для всей непрерывной шкалы мгновенных значений параметров сигнала определяется
как математическое ожидание дисперсий  2 /12 на отдельных
шагах квантования:
n
1 n
3
 p( xi )i ;
12 i 1
i 1
k
1 k
3
T    2j 
 p(t j ) j ;
12 j 1
j 1
2X   i2 
(1.130)
m
1
p(tn )3 .
n
R
12
1
При одинаковых шагах квантования i   n ,  j   k ,    m
имеет выражения
 n2 n
2
X 
 p( xn ) n ,
12 i 1
 k2 k
2
(1.131)
T 
 p(tn ) k ,
12 j 1

   

2
Rn
2
n
m


 p(tn ) m .
12 1
n
Так как принимаем  p( xi ) n  1,  p(t j )  k  1 ,  p(tn ) m  1 ,
i 1
2X  2n /12 ,
то
T2  k2 /12 ,
(1.132)
2
2 n   m
/12 .
R
Таким образом, при квантовании с постоянным шагом и
размещением уровней квантования в середине шага (равномерное
квантование) среднеквадратическая ошибка квантования, как для
равномерного, так и для произвольного распределения мгновенных
значений параметров сигнала одинакова
 X  n / 2 3 ,
T  k / 2 3 ,

R
n
(1.133)
  2m / 2 3 .
1.9. Основы теории кодирования
Теория кодирования за последние 50 лет развивалась весьма
интенсивно на основе современных математических методов.
Теория кодирования – раздел теории информации, изучающий коды,
отображающие сообщения заданного вида в слова из символов
некоторого алфавита. Код (франц. code), совокупность знаков
(символов) и система определенных правил, при помощи которых
информация может быть представлена (закодирована) в виде набора
из таких символов, для передачи, отработки и хранения
(запоминания) [89]. Конечная последовательность кодовых знаков
называется словом. Для записей кодов чаще всего используют либо
цифры и числа, либо знаки. Кодирование осуществляется для
обеспечения возможности передачи информации по имеющемуся
каналу связи при удовлетворении заданных требований и выборе
наилучших вариантов, связанных с характеристиками процесса
передачи информации: скорости передачи информации, помехозащищенности и др[89].
В теории кодирования установлено, что для кодирования
сообщений с энтропией сообщения Н можно построить код,
который сообщениям длины n будет ставить в соответствие кодовые слова в двоичном коде, математическое ожидание длины,
которых равно nH, с точностью до величины, бесконечно малой по
сравнению с n , когда n   . Такие коды называются статистическими. Кроме того, установлено, что можно построить коды,
обеспечивающие скорость передачи информации, сколь угодно
близко к пропускной способности каналов связи, при сколь угодно
малой вероятности ошибки. Реализация этой возможности составляет содержание помехоустойчивого кодирования и связана с
построением корректирующих кодов. В теории кодирования большое внимание уделяется поискам способов кодирования и декодирования, близких к оптимальным и достаточно простых при
аппаратурной реализации.
Выбор кода решается совместно с расчетом устройств,
связанных с его реализацией, с учетом их аппаратурной сложности.
Результаты теории кодирования применяются в теории автоматов,
технике связи и радиолокации, биологии и математической лингвистике. Основные положения теории кодирования разработал
американский математик К. Шеннон. Под кодированием
информации в широком смысле понимается преобразование формы
представления информации с целью обеспечения удобства ее
передачи по каналам связи или хранения. При этом
информационный
процесс
можно
рассматривать
как
последовательность этапов кодирования информации.
Оптимальное эффективное кодирование позволяет согласовать источник с каналом и обеспечивает наилучшее использование
пропускной способности канала. Сущность эффективного кодирования заключается в том, что неравномерное распределение вероятностей появления коррелированных символов сообщений с помощью определенным образом выбранного кода переводят в равномерное распределение вероятностей появления независимых
кодовых символов.
Символы сообщений источников без памяти являются независимыми. Обеспечение минимальной средней длины кодовой комбинации и равновероятного появления в ней независимых символов
равносильно увеличению скорости передачи информации до максимальной вследствие того, что за одно и тоже время коротких комбинаций можно передать больше, а это при прочих равных условиях
соответствует передачи большего количества информации.
Наиболее простые правила кодирования заключаются в
составлении каждому символу входного алфавита А слова конечной
длины в выходном алфавите В. Код может быть задан в форме
таблицы, графе, аналитического выражения, т.е. в таких же формах,
в которых задаются отображения.
Кодирующим отображением называется отображение Г множества слов в некотором алфавите А в множестве слов в том же
самом алфавите А или в каком то другом фиксированном алфавите
В. Само кодирующее отображение Г – это правило по которому
осуществляется кодирование.
à : À  Mn ,
(1.134)
M n  B  B 2  ...Bn ,
где А – входной алфавит
В – выходной алфавит
M n – множество кодовых комбинаций
B k – k -я декартова степень множества B(k  1.2,..., n) .
Коды классифицируют по различным признакам, одним из
них является основание кода m, или число различных используемых
в нем символов. Наиболее простыми являются бинарные коды, у
которых m  2.
Далее коды делятся на блочные и непрерывные. Блочными
называют коды, в которых последовательность элементарных
сообщений источника разбивается на отрезки и каждый из них
преобразуется в определенную последовательность (блок) кодовых
символов bi  B , называемую кодовой комбинацией B n (n  1,2,..., M ) .
Непрерывные коды образуют последовательность символов
{bi } , не разделяемую на последовательные кодовые комбинации:
здесь в процессе кодирования символы определяются всей
последовательностью элементов сообщения.
Блочные коды делятся на равномерные и неравномерные. В
равномерных кодах в отличие от неравномерных, все кодовые
комбинации содержат одинаковое число символов (разрядов),
представляемых по каналу элементами сигнала неизменной длительности. Число различных блоков М п – разрядного равномерного
кода с основанием m удовлетворяет неравенству
M  mn
(1.135)
Если в (1.135) имеет место равенство, т.е. все возможные
кодовые комбинации используются для передачи сообщений, то в
том случае код называется простым или примитивным. Он не
вносит избыточности и по этому не является помехоустойчивым.
Избыточностью равномерного кода xk (Каля) называют
величину
xk  1 
log a M
,
n log a m
(1.136)
а относительной скоростью кода
log a M
(1.137)
 1  xk .
n log a m
Если все блоки равномерного кода передавать равновероятно
и независимо друг от друга, то log M представляет собственную
информацию (энтропию), приходящую на каждый блок.
Неравномерные блочные вводы используются практически
только для кодирования источников для устранения или уменьRk 
шения избыточности, вызванной тем, что передаваемые сообщения
не равновероятны.
Идея такого кодирования заключается в том, что более вероятные сообщения кодируются короткими блоками, а менее вероятные
– длинными, в результате чего средняя длина блока уменьшается.
Обеспечение минимальной средней длины кодовой комбинации и равновероятного появления в ней независимых символов
равносильно увеличению средней скорости передачи информации до
максимальной потому, что за одно и то же время коротких
комбинаций можно передать больше, а это при прочих равных
условиях соответствует передаче большого количества информации.
Для идеальных каналов (ошибки в канале отсутствуют)
минимальная средняя длина nm кодовой комбинации равна

nm
 Hu( A) / log a m ,
(1.138)
где Hu( A) – энтропия источника, m – система счисления.
Любое дискретное сообщение или знак сообщения, а также
аналоговую величину сообщения можно привести к числовому
представлению. Передача или хранение при этом сводится к передаче или хранению чисел. Числа можно выразить в какой-либо
системе счисления. Таким образом, будет получен один из кодов,
основанный на данной системе счисления.
Общепризнанным в настоящее время является позиционный
принцип образования системы счисления. Значение каждого символа (цифры) зависит от его положения – позиции в ряду символов,
представляющих число.
l
Q   ai mi 1 ,
i 1
(1.139)
где і – номер разряда данного числа;
l – количество разрядов;
ai – множитель, принимающий любые целочисленные значения
в пределах от 0 до m  1 и показывающий, сколько единиц і-го
разряда содержится в числе.
Чем больше основание системы счисления, тем меньше
число разрядов требуется для представления данного числа, а,
следовательно, и меньше времени для его передачи.
Однако с ростом основания существенно повышаются требования к линии связи и аппаратуре создания и распознавания элементарных сигналов, соответствующих различным символам. Логически элементы вычислительных устройств должны иметь, в том
случае, большее число устойчивых состояний. Поэтому целесообразно выбирать систему, обеспечивающую минимум произведения количества различных символов m на количество разрядов l
для выражения любого числа.
С этих позиций наиболее эффективной системой является
троичная. Незначительно ей уступает двоичная и четверичная.
Сравнивая эти системы с точки зрения удобства физической реализации соответствующих им логических элементов и простоты выполнения в них арифметических и логических действий, предпочтение отдается двоичной системе счисления.
Чтобы сохранить преимущества двоичной системы и удобство десятичной системы, используют двоично-десятичные коды. В
таком коде каждую цифру десятичного числа записывают в виде
четырехразрядного двоичного числа (тетроды). Двоично-десятичный код обычно используется при введении в вычислительную
машину данных, представленных в десятичном коде.
Наиболее целесообразным является код 8-4-2-1. Этот код
относится к числу взвешенных кодов. Цифры в названии кода
означают вес единиц в соответствующих двоичных разрядах.
Среди кодов, отходящих от систем счисления, большое практическое значение имеют такие, у которых при переходе от одного
числа к другому изменение происходит только в одном разряде.
Наибольшее распространение получил код Грея, называемый
циклическим или рефлексно-двоичным. Код Грея используется в технике аналого-цифрового преобразования, где он позволяет свести к
единице младшего разряда ошибку неоднозначности при считывании.
1.10. Передача информации
С точки зрения функционального назначения сигнал следует
рассматривать как средство для передачи информации в
пространстве и во времени, как некоторый материальный носитель
информации.
Различают сигналы статические и динамические. Статические сигналы в основном предназначены для передачи информации
во времени, т.е. для хранения информации с последующим ее
использованием. Динамические сигналы служат в основном для
передачи информации в пространстве.
Такая классификация сигналов до некоторой степени является условной.
Любой сигнал неразрывно связан с определенной материальной системой, независимой системой связи, или системой передачи
информации. Обычно под системой передачи информации понимают систему типа указанной на (рис. 1.4).
Она состоит из источника информации 1, передатчика 2,
канала связи 3, приемника 5, и адресата 6, помехи 4.
Источник информации вырабатывает информацию в форме
сообщений 7.
7
8
1
9
2
X
3
10
4
Y
Z
5
W
11
4
Рис. 1.4. Система передачи информации
Считаем, что источником информации связано определенное
множество сообщений. Генерация некоторого сообщения заключается в случайном выборе одного сообщения из множества возможных. Какое это конкретно сообщение, заранее не известно, по
крайней мере, тому (приемнику), для которого оно предназначается.
Известно лишь, что сообщение принадлежит определенному множеству. Множества возможных сообщений бывают различных
типов. Это, например, конечные множества символов, конечные
наборы детерминированных функций времени, бесконечные множества, элементами которых являются значения некоторой
физической величины или реализации физического процесса и т.п.
Сообщение, принадлежащее конечному или счетному множеству
возможных сообщений, называется дискретным, а сообщение
выбираемое из несчетного множества непрерывным.
Передатчик преобразует сообщение в сигнал. В передатчике
каждое из возможных сообщений 7 на входе преобразуется в одно
из возможных значений сигнала 8 на выходе по строго установленному правилу. Правила, по которым осуществляется преобразование сообщения в сигнал, называются по разному (модуляция,
манипуляция кодирование) в зависимости от типов сообщений и
сигналов.
В качестве сигнала связи могут быть использованы двухпроводная электрическая линия связи, упругая воздушная или другая
физическая среда и д.р.
Собственно физическая среда, по которой передаются сигналы, называется линией связи, одна и та же линия связи может
служить одновременно для реализации нескольких каналов (многоканальная связь).
В любом канале связи кроме сигнала, генерируемого передатчиком рассматриваемой системы связи, действуют другие сигналы
и родственные сигналу по своей физической природе случайные
процессы. Эти посторонние сигналы и процессы накладываются на
полезный сигнал и искажают его[11] .
Поэтому принимаемый сигнал на выходе канала связи отличается от входного передаваемого сигнала. На схеме рис. 1.4 это
отражено выделением источника помех в виде отдельного блока 4.
Приемник осуществляет восстановление переданного источником информации сообщения по принятому сигналу 9.Данная
операция возможна, если известно правило преобразования
сообщения в сигнал, на основании этого вырабатывается правило
обратного преобразования сигнала в сообщение (демодуляция,
декодирование), позволяющее, в конечном счете, выбрать на
приемной стороне сообщение 10 из известного множества возможных сообщений, в идеальном случае полностью совпадающего с
переданным сообщением. Однако, вследствие искажений принятого
сигнала возможна ошибка при восстановлении сообщения.
Адресат в системах связи – это либо непосредственно человек,
либо технические средства, связанные с человеком. В биологических системах связи адресатом является организм.
Каждый
сигнал
имеет
определенную
длительность.
Длительность сигнала характеризует время передачи сообщений
предположительность занятости информационного канала. Таким
образом в качестве первой обобщенной характеристики является
время передачи сигнала Тс. Каждый сигнал характеризуется в
полнее определенным частотным спектром. Теоретически ширина
спектра сигнала конечной длительности неограниченна. Однако
изучение спектров реальных сигналов показывает, что их
спектральная плотность убывает с ростом частоты. Это позволяет
при определенных условиях рассматривать сигналы как процессы с
ограниченным спектром.
Существуют различные критерии ограничения спектра
сигнала. Одним из таких критериев являются допустимые искажения сигнала. Таким образом, второй обобщенной характеристикой
сигнала должна быть ширина его частотного спектра Fc . Третьей
важной характеристикой сигнала является его энергетическая
характеристика – средняя мощность Рс. Однако, поскольку при
передаче на сигнал всегда воздействуют помехи, то в качестве
энергетической характеристики сигнала целесообразно брать
отношение средней мощности сигнала Рс к средней мощности
помехи Рξ. Обычно это отношение выражают в логарифмической
мере D = log2 Pc / Pξ и называют динамическим, причем при оценке
информационной содержательности удобно выражать динамический диапазон через логарифм с основанием два.
Произведение
Vc  Tc  Fc  Dc
(1.140)
принято называть объемом сигнала.
Информационный канал можно характеризовать также тремя
соответствующими параметрами: временем использования канала
Тk шириной полосы частот Fk, и динамическим диапазоном канала
Dk, характеризующим его способность передавать различные
уровни сигнала.
Величина
Vk  Tk  Fk  Dk
называется емкостью канала.
(1.141)
Неискаженная передача сигналов возможна только при условии, что сигнал по своему объему вмещается в емкость канала.
Vc  Vk
(1.142)
Достаточным условием является согласование по всем
Tc  Tc
Fc  Fk
(1.143)
Dc  Dk
Если часть условий (1.143) не обеспечивается, то можно
добиться согласования трансформацией сигнала при сохранении его
объема.
Среднее количество информации, передаваемое по каналу в
единицу времени, называется скоростью передачи информации. В
общем случае скорость передачи информации зависит от
длительности передачи сообщений Т. При достаточно длинных
сообщениях скорость передачи остается постоянной. В связи с этим
аналитически скорость передачи информации выражается следующим образом
I( X , Y )
T 
T
I ( X , Y )  lim
(1.144)
где I (Х,Y) – количество информации, передаваемое сигналом длительностью Т.
Наибольшая теоретически достижимая для данного канала
скорость передачи информации называется пропускной способностью канала.
Пропускная способность информационного канала равна
C  max{I ( X , Y )}
(1.145)
Скорость передачи информации в общем случае зависит от
статических свойств сообщения метода кодирования и свойств
канала. Пропускная способность – это характеристика канала. Она
не зависит от фактической скорости передачи информации.
Скорость ввода информации в канал не должна превышать
пропускную способность канала, иначе не вся информация будет
передана по каналу.
Аналитически скорость ввода информации выражается соотношением
I ( Õ)
T  T
I ( Õ )  lim
(1.146)
где I(X) – среднее количество информации, содержащееся в сообщении на входе канала;
Т – длительность сообщения.
Таким образом, должно быть выполнено условие
I ( Õ)  C
(1.147)
Это (1.147) основное условие динамического согласования
источника сообщения и информационного канала.
Одним из основных вопросов в теории передачи информации
является определение зависимости скорости передачи информации
и пропускной способности от параметров канала и характеристик
сигналов и помех. Эти вопросы были впервые глубоко исследованы
К.Шенноном [33].
Процесс передачи информации неразрывно связан с системой
передачи информации (рис. 1.4). Сообщения в системе связи
передаются непрерывными или дискретными сигналами. По этому
признаку каналы связи классифицируются на непрерывные и
дискретные, соответственно системы передачи информации разделяются на системы с непрерывным и дискретным каналом связи. В
случае системы с дискретным каналом связи на выходе передатчика
2 и входе приемника 5 действует дискретный по структурному
параметру сигнал. Комплекс технических средств, обеспечивающих
передачу дискретного канала, называют дискретным каналом связи,
блок 3.
Во многих типах систем передачи информации дискретный
канал включает непрерывный канал связи, однако при анализе
дискретного канала свойства непрерывного канала связи и источника
помех учитываются косвенно, они появляются в свойствах источ-
ника помех, блок 4. В случае непрерывного канала связи передачи 2
выполняет роль устройство согласования источника сообщений 1 с
непрерывным каналом 3. Передатчик осуществляет преобразование
непрерывного (дискретного) сообщения в непрерывный по
структурному параметру сигнал с такими характеристиками,
которые обеспечивают его прохождение по данному каналу связи.
Сигнал искажается помехой, генерируемой источником помех 4.
Под дискретным каналом передачи информации принято
понимать совокупность, предназначенных для передачи дискретных
каналов [47].
На вход такого канала подаются дискретные сообщения Х,
образующие первичный х1, х2, …, xn. Последние кодируются с помощью преобразователя в передатчике 2 и преобразуются в
кодированные сигналы Y. Для кодирования используются некоторый алфавит символов y1, y2, …, ym, а существо кодирования сводится к представлению отдельных сообщений или последовательности сообщений определенными комбинациями символов используемого алфавита.
Скорость ввода информации
H ( Õ)
 Vx H ( X ) ,
tx
где Н(Х) – средняя энтропия одного сообщения;
rx – средняя длительность сообщения;
I ( x) 
Vc =
1
tx
(1.148)
– скорость выдачи символов сообщения источником.
Средняя длительность rx при отсутствии статических зависимостей между сообщениями определяется
tx

n
 p( xi )t xi ,
(1.149)
i 1
где p(xi) и t xi априорная вероятность и длительность i-го сообщения,
n – количество сообщений.
Среднее количество информации, переносимое одним символом, равно энтропии символа на выходе канала
I (Y )  H ( y )
äâ.åä
.
ñèì â.
(1.150)
Скорость передачи информации
I (Y )  U y H (Y )
где U =
äâ.åä
,
ñ
(1.151)
1
– скорость передачи элементарных символов сигнала;
ty
ty – средняя длительность элементарных сигналов.
Пропускная способность дискретного канала без помех
Ñ  max{U y H (Y )} .
(1.152)
Полагая U y заданной, максимальная скорость передачи будет
равна
C = U y max {H (Y )}=U y log2n ,
(1.153)
при максимальном значении энтропии кодированного сигнала, т.е.
при равномерном распределении вероятностей и статистической
независимости символов алфавита сигналов.
Согласование скорости передачи информации с пропускной
способностью информационного канала производится на основе
теоремы Шеннона для дискретного канала без помех и формулируется:
Если поток информации, вырабатываемый источником, достаточно близок к пропускной способности канала, т.е. если справедливо равенство
(1.154)
I (X) = C –  .
где  – сколь угодно малая величина, что всегда можно найти
такой способ кодирования, который обеспечит передачу всех
сообщений, вырабатываемых источником, причем скорость
передачи информации будет весьма близка к пропускной
способности канала.
(1.155)
I (Z,Y) = C –  .
Однако рассмотренная теорема не отвечает на вопрос, каким
образом нужно осуществлять кодирование. При наличии помех в
канале передачи информации нарушается однозначное соответствие между входными и выходными алфавитами канала. Одному
входящему каналу могут соответствовать различные выходные
сигналы. Вследствие случайного характера помех невозможно
заранее точно установить, какой сигнал может быть принят на
входе канала при посылке определенного входного. Вероятностный
характер связи между входным и выходным алфавитами канала
передачи информации полностью определяется матрицей переходных вероятностей, где – pij условная вероятность перехода i-го
символа входного алфавита в j-ый символ выходного алфавита
n
 pij  1.
j 1
Дискретный канал, по которому передаются только два
элементарных сигнала, называется бинарным каналом. Если все
вероятности правильной передачи сигналов одинаковы и одинаковы
все вероятности искаженной передачи, то такой канал называется
симметричным. Для симметричного бинарного канала матрица
переходных вероятностей имеет вид
pq
qp
где р – вероятность правильной передачи, g вероятность искаженной передачи.
В симметричном канале вероятности искажения всех символов
сигнала одинаковы, в таком канале помехи не зависят от передаваемых сигналов.
Скорость передачи информации по дискретному каналу с
помехами
(1.156)
I (Z, Y)=U y , [ H (Y )  H (Y / Z )] .
Каналы, у которых на каждый передаваемый символ сигнала
помехи воздействуют независимо от того, какие сигналы передавались раньше, называются сигналами без памяти. В таких каналах
помехи не вызывают дополнительных коррелятивных связей между
сигналами.
В случае независимых отдельных символов сигнала выражение (1.136) для канала без памяти будет иметь вид
 n
I (Z, Y) = UY    p( yi )log 2 p ( yi ) 
 i 1
n n

   p ( z j ) P(Yi / Z j )  .
(1.157)
i 1 j 1

В симметричном бинарном канале с помехами максимальная
скорость передачи информации получается при равенстве априорных вероятностей выходных сигналов zj и входных pi. Однако
наличие помех в канале приводит к уменьшению пропускной
способности канала. Для дискретного канала с помехами
К.Шенноном доказана следующая теорема:
Если поток информации, вырабатываемый источником, достаточно близок к пропускной способности канала, т.е. если
справедливо равенство
(1.158)
I (X) = C –  ,
где  – сколь угодно малая величина, что всегда можно найти
такой способ кодирования, который обеспечит передачу всех
сообщений, вырабатываемых источником, а вероятность
ошибочного опознания любого передаваемого сообщения будет
сколь угодно малой, т.е. рНО, где рНО – вероятность непрерывного
опознания переданного сообщения;  – сколь угодно малая
величина.
Таким образом, рассмотренная теорема определяет соотношение между скоростного создания сообщений источником, пропускной способностью канала и достоверностью передачи.
Для приближения скорости передачи к пределу общим
методом как для канала с помехами, так и для канала без помех
является кодирование длинных сообщений [43, 49].
Под непрерывным каналом передачи информации принято
понимать совокупность средств, предназначенных для передачи
непрерывных сигналов [47].
В отличие от дискретных каналов в непрерывных каналах
вместо кодирующих устройств может использоваться более широкий класс различных преобразователей. Для передачи информации
по каналу может применяться модуляция одного или нескольких
параметров сигнала независимо от конкретного характера преобразования сигналов входные, и выходные сигналы непрерывного канала задаются в виде ансамблей непрерывных функций с соответствующими плотностями распределения вероятностей.
Если на вход канала поступает непрерывный сигнал Y(t)
длительностю Т, то вследствие воздействия помех ξ(t) выходной
сигнал Z(t) будет отличаться от входного.
Количество информации, содержащееся в случайном сигнале
Y(t). Определяется зависимостью
Iт(Z, Y) = Hт(Z) – Hт(Z/Y).
(1.159)
В соответствии с теоремой Котельникова, непрерывные сигналы Y(t) и Z(t) могут быть представлены совокупностями отсчетов yi
и zi в дискретные моменты времени, представляющих собой
случайные величины. Распределение совокупности случайных
величин описывается многомерными плотностями распределения
вероятности.
w(y1, y2 …, ym) и w(z1, z2, …, zm).
Энтропия совокупности случайных независимых величин
равна сумме энтропий случайных величин, тогда дифференциальная энтропия на выходе канала будет равна
m
hт(Z) =  h (zi),

(1.160)
i 1
где h(zi) = –  w (zi)log2w(zi)dz – дифференциальная энтропия i-го

отсчета сигнала Z;
Ò
m=
– общее количество отсчетов сигнала Z длительностью
Ò
Т;  Т – интервал временного квантования.
Для стационарных процессов дифференциальная энтропия на
выходе канала равна
Hт(Z) = mh(Z),
где h(Z) – дифференциальная энтропия одного отсчета.
Условная энтропия имеет вид
(1.161)
Hт(Z/Y) = mh(Z/Y),
(1.162)
где h(Z/Y) – условная дифференциальная энтропия одного отсчета.
Таким образом, выражение для количества информации принимают
вид
Ir = (Z,Y) = m[h(Z) – h(Z/Y)].
(1.163)
Скорость передачи информации
Īт = (Z, Y) =
m
[h(Z) – h(Z/Y)] = F0[h(z) – h(Z/Y)]
T
(1.164)
m 1
=
частота временного квантования (отсчета).
T T
Пропускная способность канала
где F0 =
C = max [Īт(Z, Y)] = F0 max [h(Z) – h(Z/Y)].
(1.165)
Максимальное значение правой части выражения (1.165) возможно достичь, варьируя w(Y), так как остальные параметры
относятся к каналу связи, которые мы менять не можем [50].
Для непрерывного канала с помехами К.Шенноном сформулирована теорема:
Если энтропия H (X) источника непрерывных сообщений
определяющая количество информации, вырабатываемое в единицу
времени при заданной оценке q – верности воспроизведения, сколь
угодно близка к пропускной способности канала, т.е. справедливо
соотношение
H (Х) = С – 
где  – как угодно мало, то существует метод передачи, при
котором все сообщения, вырабатываемые источником, могут быть
переданы, а верность воспроизведения при этом как угодно близка к
q. Количество информации, которое может быть передано по каналу
за время его работы Тк при воздействии помех типа белого шума


Iт(Z,Y) = TkFklog2 1  ÐY 
 ÐZ 
(1.166)
Связь между емкостью и пропускной способностью канала
определяется зависимостью
Vk = TkC.
(1.167)
1.11. Прием информации
Основная задача приемника состоит в том, чтобы на основании
принятой реализации решить наилучшим, в определенном смысле
способом задачи:
1) задача обнаружения или различения (имеется ли данный
сигнал в данной реализации);
2) задача восстановления (каковы параметры полезного сигнала). В связи с этим должны быть выбраны критерии, позволяющие по принятому сигналу оптимальным способом решить поставленную задачу.
Задача оптимального приема сообщений в использовании
избыточности, а также имеющихся априорно сведений о свойствах
полезного сигнала помехи и канала для увеличения вероятности
правильного приема [51].
Вследствие того, что на вход приемника поступает сумма
полезного сигнала и помехи, вероятность правильного приема будет
определяться отношением полезного сигнала к помехе.
Для повышения вероятности правильного приема должна быть
произведена предварительная обработка принятого сигнала, обеспечивающая увеличение отношения сигнал, помеха. Таким образом,
приемник должен содержать два основных элемента (рис. 1.5.)
фильтр Ф, обеспечивающий улучшение отношения сигнал/помеха
и решающее устройство РУ, выполняющее главные функции
приема (обнаружения, различения или восстановления сигналов).
Y(f)
Ф
X*
РУ
X
Рис.1.5. Структура приемника информации
Известны следующие методы фильтрации, обеспечивающие
улучшение соотношения сигнал/ помеха:
а) частотная фильтрация;
б) метод накопления;
в) корреляционный метод;
г) согласованная фильтрация.
Все эти методы основаны на использовании различных
свойств полезного сигнала и помехи.
Идея частотной фильтрации основана на отличии спектров
полезного сигнала и помехи. При этом используются линейные
частотные фильтры позволяющие подавлять помеху и улучшать тем
самым соотношение сигнал/помеха. Параметры фильтра определяются спектральными характеристиками сигнала и помехи.
На практике наиболее часто встречаются следующие случаи:
а) на вход приемного устройства поступает узкополосый
сигнал и широкополосная помеха. В этом случае тракт приемного
устройства включается узкополосый фильтр с полосой пропускания
Δωх;
б) на вход приемника поступает широкополосный сигнал и узкополосая помеха. В таких случаях в тракт приемника включают
фильтр, обеспечивающий подавление помехи в полосе Δωξ;
в) на вход приемника поступает периодический сигнал и широкополосная помеха. Как известно, периодический сигнал имеет
дискретный частотный спектр. В этом случае в приемное устройство включают набор фильтров (гребенчатые фильтры), пропускающие лишь дискретные частоты периодического сигнала.
Отношение мощности сигнала к мощности помехи на выходе
фильтра имеет вид
 Ðõ* 
Ðõâõ

(1.168)


Ð
Ð
2

0
  âû õ
где Põ – мощность сигнала на выходе;
Рξ – мощность помехи на выходе;
Рх вх – мощность сигнала на входе;
Р0 – средняя мощность помехи, приходящаяся на единицу
полосы;
μ – постоянная зависящая от формы сигнала µ ≥ ΔƒхТх;
Δƒх – спектр ширины полосы сигнала.
Таким образом, при частотной фильтрации улучшение отношения сигнал/помеха окупается ценой увеличения времени передачи.
Метод накопления применим в том случае, если полезный
сигнал в течение времени приема постоянен или является периодической функцией. Метод состоит в многократном повторении
сигнала и суммировании его реализаций в приемном устройстве.
Такой способ обработки сигнала обеспечивает при отдельных
условиях улучшение отношения сигнал/помеха.
Если в течение времени передачи Тх сигнал постоянен и равен
а, а воздействующая аддитивная помеха равна ξ, то на выходе
накопителя сигнал будет
n
n
Y =  (à )  nà  
i 1
(1.169)
i 1
где n – количество отсчетов за время передачи.
Отношение мощностей сигнала и помехи на выходе интегратора определяется соотношением [5].
 Px 
(T x)
T x 2
T x  Px 



 
 
D
(

)
D
(

)
t
t
t
P
T

x
x
0
0
 âû õ
 P  âõ
(1.170)
где τ0 – интервал корреляции помехи. Таким образом, интегральный
прием обеспечивает увеличение отношения мощности сигнала в
 Òx 
  раз. Помехоустойчивость интегрального приема будет тем
 t0 
выше, чем большее время интегрирования Тх и чем более высокочастотна помеха, (т.е. чем меньше интервал корреляции помехи
τ0).
Корреляционный метод заключается в использовании различия между функциями сигнала помехи. Данный метод эффективный
в случае приема периодических или квазипериодических сигналов.
В приемном устройстве определяется корреляционная функция
поступающей на вход суммы полезного сигнала и помехи.
K y (t)=

2
1
  X (t ) (t ) 
T 

(1.171)
2
 X (t  )  (t  t) dt  K xx  K 
Для определения от каких факторов зависит время, затрачиваемое для выделения полезного сигнала при корреляционном
приеме выразим корреляционные функции Кх(τ) и K  (τ) через
дисперсии и нормированные корреляционные функции τхх(τ) и τзз(τ)
Kxx(τ) = D(x) τxx(τ)
K  (τ) = D(  ) τξξ(τ)
Подставляя (1.161) в (1.160) получим
Ky(τ) = D(x)τxx(τ) + D(ξ)τзз(τ) =




D
Ð
=D(x)  τ
=
D(x)
(
t
)

(
t
)
(
τ
)

(
t
)
t
t
t
õõ


 õõ

Dx
Ðõ  



(1.172)
(1.173)
Из (1.162) видно, что выбор времени приема зависит от
интервала корреляции помехи τ2 и отношения сигнала/помеха.
Общее время, затрачиваемое на корреляционный прием, определяется также временем интегрирования Т, которое выбирается
достаточно большим
Т ≥ 10 τ0
Схема корреляционного приема включает в себя устройство
умножения (YY) интегратор (U), а также блок задержки (Б) (рис.
1.6.)
Y(t)
YY
Y(t)
Y(t – r)
U
Kx(r)
Y(t – r)
БЗ
Рис. 1.6. Структурная схема корреляционного приема информации
Согласованная фильтрация предназначена для выделения сигналов известной формы шумов. Критерием оптимальности согласованных фильтров является получение на выходе максимально
возможного отношения амплитудного значения сигнала действующему значению помехи. Функция передачи таких фильтров [50,52]
имеет вид
S x ( j)
exp{ jT }
K(jω) = C
(1.174)
(

)
Gç
где S x (jω) – комплексно сопряженная функция спектра;
Gξ(ω) – энергетический спектр помехи на входе фильтра;
Т – момент времени наблюдения за сигналом на входе фильтра,
в котором достигается максимум отношения сигнал/помеха;
С – коэффициент пропорциональности.
Реакция на выходе фильтра определяется интегралом свертки.

Y (t )=  [ x(t)  ç(t)]h(t  t)d t 





.
(1.175)
  x(t) x(T  t  t)d t   ç(t) x(T  t  t)d t
Выходная реакция фильтра выражает сумму автокорреляционной функции сигнала и взаимно корреляционной функции
сигнала и помехи. Следовательно, реакция согласованного фильтра
эквивалентна действию корреляционного приемника. Задача выбора
оптимального способа обработки сигналов и выработки при этом
соответствующих критериев составляет содержание теории
статистических решений. Положения этой теории были детально
изложены в [49, 53, 54].
Критерии верности передачи сообщений определяют правило
принятия решения по установлению содержания в принятом
сигнале Y полезного сигнала Х.
Принимаемый сигнал является суммой полезного сигнала и
помехи.
Y(t) = x(t) + ξ(t).
Полезный сигнал может принимать два значения: х, и х0 с
априорными соответственно вероятностями р(х1) и р(х0). Так как
сигнал Х наверняка имеет одно из этих двух значений, то справедливо соотношение
р(x1) + p(x0) = 1.
(1.176)
В принятом сигнале содержится полезный сигнал, один из
вариантов, или отсутствует второй вариант.
В этих условиях могут иметь место два значения апостериорной вероятности р(Х/Y): р(Х1/Y) – условная вероятность наличия полезного сигнала Х при данном значении выборки Y; р(Х0/Y) –
условная вероятность отсутствия х при данном значении выборки Y.
Можно рассматривать два значения функции правдоподобия
L(X): L(x1) = ω(Y/X) – условия плотности вероятности выборки Y
при наличии полезного сигнала Х; L(х0) = ω(Y/х0) – условия плотности вероятности выборки Y при отсутствии Х. Отношение
функции правдоподобия

L( x1) ( y / x1)
,

L( x 0) ( y / x 0)
(1.177)
принято называть отношением правдоподобия.
Выбор правила принятия решения в математическом отношении сводится к оптимальному разбиению пространства принимаемых сигналов V на области υ1 и υ0 при этом конкретное правило
обусловлено принятым критерием [5].
Критерий максимума правдоподобия можно записать в
следующем виде через отношение правдоподобия:
если:
L( )
(1.178)
  x1 >1, то x = x1;
L ( x 0)
L( )
  õ1 < 1, то х = х0 .
L ( x 0)
Критерий максимума апостериорной вероятности предполагает, что значению выборки Y предшествует апостериорная вероятность Р(X/Y) = max, если:
ð( x1 / y )
> 1, то х = х1;
ð( x0 / y)
(1.179)
p( x1 / y )
< 1, то х = х0;
p( x0 / y)
соотношение (1.178) можно представить в виде, если:
p( x1 )
 >1, то х = х1;
P( x0 )
p( x1 )
 >1, то х = х1;
p( x0 )
(1.180)
или через пороговое значение отношения правдоподобия если:
p( x1 )
>
(1.181)
  0 , то х = х1;
p( x0 )
p( x1 )
≤
  0 , то х = х0.
p( x0 )
Следует отметить, что критерий максимума правдоподобия
является оптимальным с информационной точки зрения, т.е. с точки
зрения теории информации наиболее вероятным следует считать то
значение параметра Х, относительно которого в принятом сигнале Y
содержится наибольшее количество информации.
I(Y, x1) = [–log2 p(x1) + log2(x1/Y)];
I(Y, x0) = [log p(x0/Y) – log2 P(x0)];
(1.182)
При этом если:
I(Y, x1) – I(Y, x0) > 0, то x = x1;
I(Y, x1) – I(Y, x0) ≤ 0, то x = x0 ;
(1.183)
или (1.182) представим в виде
(Y / x1)
log2  > 0, то x = x1;
(1.184)
(Y / x 0)
(Y / x1)
log2
log2  ≤ 0, то x = x0.
(Y / x 0)
Критерий идеального наблюдателя (критерий Котельникова)
предполагает гипотезу, при которой обеспечивается минимум
общей ошибки, принятия решения, при этом если:
log2
p( x0 )
(Y / x1)
= >
  0 , то x =x1;
p( x1 )
(Y / x 0)
(1.185)
p( x0 )
(Y / x1)
= ≤
  0 , то x = x0 .
p( x1 )
(Y / x 0)
Критерий Неймана-Пирсона основан на том, что ошибки
первого и второго рода не одинаково опасны, причем ошибка
первого рода, а приводит к таким последствиям, что ее вероятность
необходимо ограничить некоторой очень малой величиной. Вторую
ошибку β желательно при этом обеспечить минимальной.
a = p(Y  υ1/υ0) =   (Y/x0)dY = ξ,
(1.186)
1
Β = P(Y  υ0/υ1) =  (Y / x1)dY  min ,
0
где ξ – наперед заданная величина.
Задача может быть решена методом Лагранжа отыскания
условного экстремума [5].
Правило принятия решения согласно критерию НейманаПирсона исходя из условий (1.185) имеет вид если:
(Y / x1)
=  > 0 , то x = x1;
(Y / x 0)
(1.187)
(Y / x1)
=  ≤  0 , то x = x0.
(Y / x 0)
Критерий минимального риска (критерий Байеса) учитывает
не только не равноценность ошибки первого и второго рода, но и те
последствия, к которым приводят эти ошибки. Для учета этих
последствий введены весовые (коэффициенты ошибок) r10 и r01
приписываемые свойственно ошибкам первого и второго рода.
Усредненная величина
r = r10 p(x0) a + r01 p(x1)β ,
(1.188)
получила название риска, при этом принимается минимальный риск
r = min.
Правило принятия решения (критерий Байеса) имеет вид если:
(Y / x1)
r (x )
=  > 10 0   0 , то x = x1,
(Y / x 0)
r 01( x1 )
(x )
(Y / x1 )
=  ≤ r10 0   0 , то x = x0.
(Y / x0 )
r 01( x1 )
(1.189)
Рассматриваемый критерий наиболее целесообразен экономически, так как обеспечивает минимизацию потерь, обусловленных
ошибками в принятии решений. Но он требует максимальной
априорной информации. Помимо функций распределения ω(Y/X) и
априорных вероятностей р(Х), необходимо также знание весовых
коэффициентов r10 и r01.
Минимаксный критерий представляет собой специальный случай критерия минимального риска, когда априорные вероятности
р(х1) и р(х0) не заданы. Идея минимаксного критерия заключается в
том, что обеспечивается минимум риска при наихудшем соотношении априорных вероятностей р(х1) и р(х0).
Для определения наихудшего соотношения между р(х1) и р(х0),
приравнивают нулю производную от первой части (1.187) по р(х1)
или р(х0).
В результате получается трансцендентное уравнение, обеспечивающее максимум риска. Затем определяется значение отношения правдоподобия

t10 ð ( õ0)

(1.190)
 

(
)
ð
τ
х
01
1
*
*
где р (х0) и р (х1) наиболее неблагоприятные значения априорных
r
вероятностей р(х0) и р(х1) полученные из условия
 0 или
p( x1)
r
 0.
p ( x 0)
Таким образом, правило принятия решения для всех рассмотренных критериев одинаково и сводится к сравнению отношения правдоподобия λ0. Так как λ0 определяет границу между облас-
тями υ1 и υ0 пространства V то каждый критерий определяет способ
разбивки пространства принятого сигнала на области υ1 и υ0.
(Y / x1 )
Равенство
 0 определяет уравнение поверхности раздела
(Y / x0 )
областей υ1 и υ0.
1.12. Информация и статистика
Центральной задачей математической статистики является
разработка методов, позволяющих извлекать, возможно, более
полную информацию об интересующих нас явлениях из ограниченного запаса наблюдаемых данных. Первые существенные шаги в
направлении уточнения самого понятия «информация» были
сделаны основателем большей части современной математической
статистики Р. Фишером.
Мера количества информации, доставляемого данными о
неизвестном параметре, по Фишеру, является самым первым
использованием «информации» в математической статистике и она
была введена в основном для нужд теории статистических оценок в
1925 году.
Понятие
информации
менее
фундаментальное
чем
«достаточность» и «подобие», также определяется для структуры
вне связи с рассматриваемой на ней последующей задачей решения.
В статистике понятие выборка имеет основополагающее
значение, математической статистике – математическая и
конкретная выборки. [70].
Под математической выборкой объема n из генеральной
совокупности Mx понимают n-мерный случайный вектор (Х1, …, Хn)
элементы которого Xi, i = e, …, n, представляют собой взаимонезависимые случайные величины с распределениями, одинаковыми с
распределением Х. Случайный вектор (Х1, ..., Хn) имеет n-мерное
распределение вероятностей (определяемое распределением величины Х) по множеству всех векторов (х1, …, хn). Причем компоненты xi, i = 1, …, n, следует понимать как результаты n независимых
опытов, при которых следует понимать как результаты n независимых опытов, при которых была наблюдена случайная величина Х,
т.е. числа xi, i = 1, …, n являются элементами генеральной совокуп-
ности Мх. Каждый такой вектор (x1, …, xn) называют реализацией
математической выборки (Х1, …, Хn) или конкретной выборкой.
Большую роль играют так называемые функции выборок. Они
определяют правило, согласно которому по результатам выборки
вычисляются характеристики, используемые для оценок параметров, построения доверительных интервалов и проверки статистических гипотез. В зависимости от того, какую функцию – математической или конкретной выборки при этом рассматривают – речь
идет о случайной величине с соответствующим распределением
либо о ее реализации, т.е. о числовом значении.
Примером функции выборки является выборочное среднее,
которое для математической выборки (х1, …, Хn) рассматривается
как случайная величина
X
1
 Xi .
n
(1.191)
Для конкретной выборки (х1, …, Хn) среднее, полученное по
тому же правилу, является отдельным значением.
x
1
 xi .
n
(1.192)
Если через Х обозначим (действительную) случайную величину, то Р(Х < х) есть вероятность события, заключающегося в том,
что случайная величина Х в результате испытания примет значение,
наименьшее чем х. Функцию Fx, определяемую для каждого
действительного числа х как P(X < x) = Fx(x), называют функцией
распределения вероятностей случайной величины Х.
lim Fx ( x) 0,
x 
lim Fx ( x) 1 .
(1.193)
x 
На практике различают случайные величины дискретного
(первичного) типа.
Для дискретных величин х1, х2, …, с вероятностями р1, р2, …,
имеют место следующие соотношения:
P(X = xi) = pi,
і = 1, 2, …;
pi ≥ 0;
n
 pi  1
(1.194)
i
 pi  Fx ( x)
t:xi x
Для непрерывных величин плотность распределения вероятностей обладает следующими свойствами
fx(x) ≥ 0
(–∞ < x < +∞)

 f x ( x)dx  1
(1.195)

x
 f x ( x)dx  Fx ( x) .

Математическое ожидание (среднее значение случайной величины) μ = ЕХ, дисперсию σ = Р2Х, начальный момент k-го порядка
mk = EXk и центральный момент k-го порядка µk =E(X – μ)k,
k = 1, 2, …, случайной величины X определяется следующим образом:
а) для дискретного распределения
   xi pi ,
i
σ2 =  ( xi  )2 pi ,
(1.196)
k
mk =  pi ,
i
σ2 =  ( xi  )k pi .
б) для непрерывного распределения

   xf x ( x)dx;


2   ( x  )2 f x ( x);


mk   x k f x ( x)dx ;


k   ( x  )k f x ( x)dx .

(1.197)
Важными характеристиками распределения, связанными с
моментами являются: стандартное отклонение σ, коэффициенты



вариации   , ассиметрии   3 и эксцесса   4  3 .

4
3
Модой дискретного распределения называют такое значение
xi, которому соответствует наибольшая вероятность pi. Модой
непрерывного распределения называют такое значение х, для
которого плотность fx достигает максимума.
Если Х непрерывная случайная величина с функцией распределения Fx, то ее (нижним) квантилем xg порядка g(0 < g < 1) назы1
вают корень уравнения Fx(xg) = g, квантиль g 
называют
2
медианой.
На практике при различных статистических процедурах с
привлечением таблиц часто применяют критерии значимости на
уровне значимости α(0 < α < 1) однозначно определяет правило, устанавливающее условия, при которых проверяемую статистическую
гипотезу Н следует отвергнуть либо принять на основании
результатов конкретной выборки (х1, …, хn). При этом строят
надлежащую выборочную характеристику гипотезы (статистику) t,
являющуюся функцией от результатов наблюдений. Кроме того,
устанавливают критическую область K в зависимости от а следующим образом:в предположении истинности гипотезы H вероятность того, что значение характеристики принадлежит критической
области K, равной самое большее, а. При осуществлении процедуры
проверки гипотез вначале по результатам конкретной выборки
вычисляют выборочную характеристику t. Если вычисленное
значение характеристики попадает в критическую область K, то
гипотеза Н отвергается. В противном случае, т.е. если значение t не
попадает в критическую область K, гипотеза Н не вызывает
возражений и данные выборки характеризуют ее как весьма
возможную и правдоподобную.
Фактически при проведении статистической процедуры
выдвинутой гипотезе Н противосставляется некая конкурирующая
с ней гипотеза Н1, обычно называемая альтернативной. Обе
гипотезы взаимно исключают друг друга, и в этой связи
проверяемую гипотезу Н часто называют нулевой и обозначают
через Н0. Вследствие этого отклонение гипотезы Н0 означает
принятие гипотезы Н1.
Критические области часто задаются в виде одной из следующих трех фаз:
{t : t > kправ.},
{t : t < kлев.}
{t : (t > kправ.) или (t < kлев.)}.
(1.198)
Таким образом, критические области можно задавать с
помощью их границ kлев. и kправ., которые называют критическими
величинами. При заданном а их значения находят в соответствующих
таблицах. Форма задания критической области зависит от постановки
задачи при статистическом исследовании. В основу понятия
статистической информации Фишером был определен ряд аксиом.
Пусть (Ω, u, Px, x  X) статистическая структура и І – упорядоченная группа. Если информация, содержащаяся в структуре,
задается некоторым элементом i из I, то должны выполняться
следующие условия (69):
1. Информация, доставляемая некоторой статистикой, совпадает с информацией в структуре, индуцируемой этой статистикой.
2. Информация, доставляемая статистикой, не превосходит информации, содержащейся во всей структуре.
3. Информация, доставляемая достаточной статистикой, равна
информации всей структуры.
4. Информация, доставляемая подобной статистикой, равна 0.
5. Информация, доставляемая одной из двух эквивалентных
статистик, одинакова.
Информация, доставляемая парой независимых статистик
равна сумме информаций от каждой из них.
Информация по Фишеру характеризуется из определения:
пусть статистическая структура доминируется мерой v, причем
является подпространством Rs.
dP



,
U
,
 p ,   ,

d

(1.199)
Пространство Ω имеет смысл пространства наблюдений, и
предполагается, что эти наблюдения отвечают некоторой случайной
величине, распределение вероятностей которой априори считается
принадлежащим известному семейству Р.
Это предположение о случайном характере наблюдений и
условия, ему сопутствующие, являются основными признаками, по
которым можно отметить всякую истинно статистическую задачу.
Часто используется обозначение для семейства Р с помощью
введения индекса θ, называемого параметром.
Р = {Рθ, θ  }.
Если случайный вектор Vθ заданной на (Ω, u, pθ) со значениями
(R , BRs),определен для всех θ, центрирован и квадрат его нормы
интегрируем, то информация по Фишеру I(θ) совпадает для всех θ
ковариационной матрицей для вектора Vθ. (BRs – σ алгебра борелевских подмножеств пространства Rs).
s
Vθ(ω) = 
 log p ()    ,
grad
Существование информации по Фишеру это достаточно общее
условие типа регулярности. Если подпространство Ω0 пространства
Ω, задаваемое как
  0 ,
pθ(ω)>0
не зависит от θ, то вектор Vθ определен и центрирован, или, иначе
говоря, можно дифференцировать под знаком интеграла в равенстве
 p ()d   1,
(1.200)
0
поскольку тогда
p ()d   0 ,
 
grad 
(1.201)

и
E(Vθ)=   log p () p ()d   0 .
gradθ
(1.202)
0
Значение информации по Фишеру не зависит от выбора меры
ν, так как
dp dp0 d 

,
d  d  d 
и вектор V0 одинаков для мер  , и,  . Отметим, что сравнение
информационных матриц проводится с помощью сравнения соответствующих квадратических форм.
Рассмотрим вероятностные пространства (х, δ, μi), i = 1, 2, …,
т.е. основное множество элементов х х и совокупность δ всевозможных событий (множеств), состоящих из элементов выборочного пространства х, на которых определены вероятностные меры
μ1 и μ2. S – δ – алгебра подмножеств х, борелевское поле или
аддитивный класс измеримых подмножеств х. Элементы х могут
быть одномерными, дискретными или непрерывными, количественными или качественными. Для инженера элементами х могут
служить наличие или отсутствие сигнального импульса, совокупностью δ – возможные последовательности определенной длины,
образованные символами, обозначающими наличие или отсутствие
импульса, а μ1 и μ2 могут определять вероятности появления таких
последовательностей в соответствии с двумя различными гипотезами Н0 и Н1.
Предполагается, что вероятностные меры μ1 и μ2 абсолютно
непрерывны одна относительно другой, т.е. μ1  μ2.
Вероятностная мера– мера связи случайного события с его
вероятностью. Характеризуется следующими положениями: 1) вероятность события неотрицательное число; 2) вероятность достоверного события равна единице; 3) вероятность суммы несовместимых событий равна сумме вероятностей этих событий[71].
Пусть λ – вероятностная мера такая, что λ  μ1, λ  μ2. Существуют функции fi(x) i=1,2, называемые плотностями вероятностей,
единственные с точностью до множества меры (вероятности), нуль
относительно λ, измеримые, 0 < fi(x) < ∞[λ], i = 1, 2, также, что
i ( E )   fi ( x)d ( x), i = 1, 2,
E
для всех E  S .
Если Hi, i = 1, 2, – гипотеза о том, что Х (Х – обозначение случайной величины, х – конкретное значение Х) принадлежит статистической популяции с вероятностной мерой μi, то из теоремы
Байеса или из теоремы об условной вероятности следует, что
P( H i / x) 
P ( H i ) f ( x )i
 ,
P( H i ) f1 ( x)  P( H 2 ) f 2 ( x)
(1.203)
Откуда получаем
log 2
f1 ( x)
P( H1 / x)
P( H1 )
 log
 log
  ,
f 2 ( x)
P( H 2 / x)
P( H 2 )
(1.204)
где P(Hi), i = 1, 2 – априорная вероятность;
Hi, а P(Hi/х) – апостериорная вероятность Hi при условии, что Х = х.
Правая часть (1.203) является разностью между логарифмами
шансов в пользу Hi до, и после наблюдения Х = х. Эту разность,
которая может быть положительной или отрицательной, можно
рассматривать как «информацию» получаемую в результате наблюдения Х = х, и мы определяем логарифм отношения правдоподобия
log [f1(x) / f2(x)] как информацию в точке Х = х для различения в
пользу H1 и H2.
Средняя информация для различения в пользу H1 против Hi,
при условии x  E  S относительно меры μ1, где dμ1(x) = f1(x)dλ(x),
при совпадении Е со всем выборочным пространством х равна
f1 ( x)
f ( x)
d 1 ( x)   f1 ( x)log 2 1 d ( x) 
f 2 ( x)
f 2 ( x)
P( H1 / x)
P( H1 )
.
  log 2
d 1 ( x)  log 2
P( H 2 / x)
P( H 2 )
I (1: 2)   log 2
(1.205)
Отметим, что последний член (1.204) есть разность между
средним относительно μ1 значением логарифма апостериорных
шансов гипотез и логарифма априорных шансов гипотез.
Следуя аналогичным размышлениям I(2:1) имеет вид
I (2 :1)   f 2 ( x)log 2
f 2 ( x)
d ( x) ;
f ( x)
(1.206)
1
 I (2 :1)   f 2 ( x)log 2
f1 ( x)
d ( x) .
f 2 ( x)
(1.207)
Определим расхождение между I(1:2) и I(2:1)
Ј(1.2) = I(1:2) + I(2:1).
(1.208)
f1 ( x)
d ( x) 
f 2 ( x)
P( H1 / x)
P( H1 / x)
  log
d 1 ( x)   log 2
d 2 ( x) , (1.209)
P( H 2 / x)
P( H 2 / x)
где Ј(1, 2) – мера расхождения между гипотезами Н1 и Н2, или между μ1 и μ2 и является мерой трудности их различения.
Ј(2,1) – симметрична относительно μ1 и μ2 и априорные вероятности P(Hi), i = 1, 2, не входят в ее выражение. Расхождение обладает всеми свойствами расстояния (метрики), определяемого в топологии, кроме неравенства треугольника, и, следовательно, не задает
расстояния. Информационные меры I(1:2) и I(2:1) можно рассматривать в связи с этим как направление расхождения. Меры информации I(1:2), I(2:1) и Ј(1,2) связаны с мерой информации Фишера.
Рассмотрим параметрический случай, когда члены семейства λ
имеют один и тот же функциональный вид, но отличаются
значениями k – мерного параметра θ = (θ1, θ2, …, θk). Предположим,
что θ и θ + Δθ – соседние точки в k – мерном параметрическом
пространстве, которое, по предположению, является открытым
выпуклым множеством в k- мерном евклидовом пространстве, и
f1(x) = f(x,θ), f2(x) = f(x, θ + Δθ) .
Таким образом, I(θ: θ + Δθ) и Ј(θ, θ + Δθ) могут быть представлены в виде квадратных форм с коэффициентами, определенными
информационной матрицей Фишера и имеют вид [63].
f ( x, )
J (,   )   ( f ( x, )  f ( x,   ) ) log 2

f ( x,   )
f ( x, )
d  ( x)   f ( x, )
 log f ( x, ) d ( x) 
(1.210)
F ( x, )
J (1,2)   ( f1 ( x)  f 2 ( x)log 2
1 k k
   g    ,
2  1 1
где
 1 f ( x)   1 f ( x, ) 
g   f ( x, ) 
 d ( x) ,
 
f
(
x
,

)

f
(
x
,

)

 
 

1.211)
и
где
и
I ( :   )    f ( x, ) log 2 f ( x, )d ( x) ,
(1.212)
f ( x)  f ( x,   )  f ( x, ) ,
 log 2 f ( x, )  log f ( x,   )  log 2 f ( x, ) ,
I ( :   ) 
1 k k
  g   .
2 11
(1.213)
Данные выражения основываются на том, что плотность f(x,θ)
для всех х[λ] удовлетворяет условиям существования частных
 log 2 f  2 log 2 f
производных
,
по всем α, β = 1, 2, … k в каждой
2
 x
точке θ = (θ1, θ 2, θn) принадлежащих невырожденному интервалу
А = (θ < θа < θа Δθа) и интегрируемы [λ] по всему пространству и
 f ( x, )H ( x)d ( x)  M  ,
(1.214)
где М не зависит от θ = (θ1, θ2, …, θk), и G = (gaβ) – положительно
определенная информационная матрица Фишера.
1.13. Информационная оценка автоматизированных
систем контроля и управления
Процесс контроля и управления сложными объектами можно
рассматривать как процесс формирования и регулирования физически независимых или взаимосвязанных процессов, приходящих
одновременно либо с некоторым сдвигом во времени.
При контроле и управлении объект можно рассматривать как
многомерную динамическую систему, на которую с закономерными
и случайными управляющими воздействиями или сигналами контроля влияют различные случайные помехи в виде внешних и внутренних возмущений. Состояние такой системы определяется некоторыми выходными параметрами, определенным образом связанными с воздействиями на систему через вектор-оператор системы.
В связи со случайным характером различных воздействий и
возмущений выходные параметры объекта так же будут случайными функциями времени.
Полными вероятностными характеристиками, как выходных
параметров, так и самого объекта, являются дифференциальные
многомерные законы распределения, а так же уравнения для
определения вероятности состояния выходов дискретных систем
при различных вероятностях состояния входных сигналов. Однако
они не дают интегральной качественной и количественной оценки
неопределенности объекта при контроле и управлении, а также
интегральной оценки изменения неопределенности объекта в процессе контроля и управления. Этот недостаток устраняется при
использовании информационных характеристик объекта в процессе
контроля и управления.
Для интегральной оценки неопределенности объекта с
непрерывным количеством состояний в процессе контроля и управления удобно применять дифференциальную энтропию состояния
объекта.

H(X) =  ( X )log 2 ( X )dX
(1.215)

где X(x1, x2, …, xm) – вектор выходных (координат) параметров объекта.
При независимых выходных координатах энтропия объекта
равна сумме частных энтропий, обусловленных неопределенностью
отдельных координат
m
H(X) =  H ( xi ) .
(1.216)
i 1
Энтропия объекта с двумя дискретными состояниями (исправное и неисправное) может быть представлена также в виде
H(X) = – [Pu log2Pu + (1 – Pu) log2 (1 – Pu)]
(1.217)
где Pu – вероятность исправного состояния объекта.
Вероятность исправного состояния объекта связана с многомерной плотностью распределения вероятности ω(х)
Pu =  ( X )dX
Vk
где Vk – область допустимых значений вектора Х.
(1.218)
Случайный разброс параметров объекта обусловлен большим
количеством факторов технологического и эксплуатационного
характера. В такой ситуации согласно центральной предельной
теореме Ляпунова закон распределения параметров очень близок к
нормальному
 x m 
1
( xi ) 
exp  i 2 i 
22
 2i 
где mi и δi – математическое ожидание и среднеквадратическое
отклонение параметра xi.
Тогда многомерная плотность распределения вектора Х при
статической независимости координат xi определяется соотношением [53].
 1 m x k  m k 
1
( X ) 
exp  
(1.219)
.
2
m
2
 k 1  k 
  ... (2)
1 2
m
Энтропия выходных параметров при нормальном законе
распределения xi
H(x1) = log2 δi 2e
откуда среднеквадратическое отклонение параметра
При
объектов
статической
2 h( x i )
δi =
.
2e
независимости
m
Pu = Ï ð ui
i 1
(1.220)
выходных
параметров
(1.221)
где pui – вероятность нахождения в пределах допуска i-го выходного
параметра исправного состояния объекта.
Тогда с учетом (1.218), (1.219), (1.220) получим
m (  )2 


x m 
Pu = 2  h( xi ) e  exp e  i h( x )i  dx1dx2 ...dxm . (1.222)
i 1
i 1 2 i


vx


m
m
Выражение (1.221) показывает зависимость исправного
состояния объекта от энтропии выходных параметров. При наличии
статистических зависимостей между выходными параметрами
данное выражение приводится в [53].
1.13.1. Информационная оценка точности
результата контроля
Контроль – это одна из разновидностей процесса получения,
преобразования, передачи и накопления информации. Под контролем во всех случаях фактически понимается процесс получения
человеком или машиной информации о действительном состоянии
объекта контроля.
Информация получаемая в результате контроля, количественно оценивается уменьшением энтропии от значения Н(Х),
которое характеризует неопределенность объекта контроля перед
контролем, до значения Н(Х/Y), которое остается после получения
результата контроля Y, т.е. как
I = H(x) – H(X/Y).
(1.223)
Апостериорная энтропия Н(Х/Y) определяется распределением вероятностей погрешностей контроля. Так как апостериорная
энтропия Н(Х/Y) обуславливает уменьшение количества информации, получаемой при контроле, то говорят, что погрешности контроля оказывают дезинформационное действие.
Дезинформационное действие погрешности в общем случае
определяется законом распределения, причем при законах
распределения получаются различные значения Н(Х/Y), даже в том
случае, если дисперсии погрешностей одинаковы.
Если погрешность распределения равномерно в пределах
+ Δz ÷ –Δz, то энтропия погрешности
H(X/Y) = log2 2Δz .
(1.224)
Дисперсия погрешности с равномерным распределением
z
 2z
2 1
2
dz 
.
(1.225)
z   z
2

3
z
z
Подставив значение Δz и (1.224) в (1.223), получим
H(z) = H(X/Y) = log2 2 32 .
(1.226)
Если погрешность распределена по нормальному закону, то
энтропия будет равна [5].
H(z) = H(X/Y) = log2 2ó2z
.
(1.227)
Из сравнения выражений (1.226) и (1.227) видно, что при
равных δz дезинформационное действие параллельно распределенных погрешностей больше, чем равномерно распределенных. В
связи с этим [55] введено понятие так называемого энтропийного
значения погрешности контроля. В качестве энтропийного значения
погрешности принято значение погрешности с равномерным законом распределения, которое вносит такое дезинформационное действие, что и погрешности с данным законом распределения
вероятностей.
Энтропийное значение погрешности Δэ с произвольным
законом распределения ω(z) может быть получено из равенства

log22ΔЭ = –  ( z )log 2 ( z )dz  H ( z )

откуда
ΔЭ =
1 H ( z)
2
 2 H ( z ) 1 .
2
(1.228)
Энтропийное значение погрешности связано со среднеквадратическим значением соотношением
ΔЭ = kЭ δz
(1.229)
где kЭ – энтропийный коэффициент, величина которого определяется законом распределения погрешностей.
Наибольшей энтропией при заданном значении дисперсии
обладает нормальное распределение [56], поэтому для него
энтропийный коэффициент kЭ наибольший и равен 2,07. Любое
другое распределение имеет меньшее значение коэффициента kЭ. В
частности для равномерного распределения kЭ = 1,73 [55].
В тех случаях, когда контроль осуществляется по допусковому критерию, т.е. когда целью контроля является установление,
находится или не находится величина контролируемого параметра в
пределах допуска, энтропия погрешности контроля определяется
соотношением
H(X/Y) = – [p0log2p0 + (1 – p0)log2(1 – p0)].
(1.230)
В этом случае величина погрешности может быть определена
соотношением (1.227) и (1.229)
1 h ( X / Y ) 1
ΔЭ = 2
.
(1.231)
2
Под информационной способностью устройства контроля
понимают эквивалентное число различных интервалов, определяющих полученное от устройства контроля количество информации
[55].
Таким образом, согласно определению информационная способность устройства контроля N определяется из соотношения
I = log2 N.
(1.232)
где I – количество информации, получаемой при контроле. Тогда
N = 2I.
(1.233)
Если во всем диапазоне измерений энтропийная погрешность
постоянна, то количество информации I определяется формулой
(1.229). Если же ΔЭ переменные, то в формулу (1.229) в качестве
второго члена должно быть поставлено средневзвешенное, в
соответствии с распределением плотности ω(х), значение условной
энтропии

Hcp(x/y) = –  ( x)H ( x / y )dx .

(1.234)
В реальных условиях контролируемый параметр х подвержен
различным величинам случайным возмущениям. Имеющиеся в
результате этого функции параметра х характеризуют обычно
среднеквадратическим значением  . Энтропия погрешности параметра х имеет вид
  k    ,
(1.235)
где k – энтропийный коэффициент, зависящий от закона распределения.
Можно утверждать, что контролируемый параметр х1,
поступающий на вход устройства, несет количество информации

Ix = H(x) –  ()log 2 ()d  ,
(1.236)

и характеризуется информационной способностью
Nx = 2Ix .
(1.237)
Так как устройство контроля обладает погрешностями, количество информации Iуст. – получаемое на выходе устройство контроля, меньше информации Ix , которую несет параметр х. Потеря
информации при контроле будет иметь вид
ΔI = Ix – Iуст
.
(1.238)
Величина ΔΙ является информационной оценкой совершенства процесса контроля. Обычно пользуются относительной величиной, так называемой информационным код процесса контроля
[55].
k 
I óñò
Ix

log 2 N óñò
log 2 N x
.
(1.239)
В большинстве практических случаев, в реальности, погрешность, вносимая устройством контроля, существенно превышает
флуктуации контролируемого параметра. Поэтому флуктуациями
контролируемой величины можно пренебречь с сохранением весьма
высокой степени точности.
Пропускная способность процесса контроля Vk является
динамической характеристикой и выражает максимально возмож-
ное количество информации, которое можно получить в процессе
контроля в единицу времени [57],
I
Vk = max .
(1.240)
Tk
где Imax –максимальное количество информации, которое можно
получить в среднем при контроле одного объекта;
Tk – математическое ожидание времени, затрачиваемого на
контроль одного объекта.
Если объект контроля имеет один параметр или несколько
параметров, контролируемых параллельно, то Tk определяется
временем контроля одного параметра.
При последовательном контроле нескольких параметров
объекта контроль обычно прекращается после обнаружения первого
отказа. В связи с этим при последовательном контроле время
контроля будет определяться вероятностью обнаружения отдельных
параметров объекта
m
Tk   pi 1tki ,
(1.241)
i 1
где tki – время контроля i-го параметра объекта;
pi-1 – априорная вероятность того, что при контроле (i – 1) параметра отказ объекта не будет обнаружен.
При заданном законе распределения погрешностей контроля
количество информации, полученное в процессе контроля, будет
максимально в случае статистической независимости и при равномерном законе распределения контролируемых параметров. В этом
случае количество информации, получаемое при контроле,
m
m
(x  x )
(1.242)
I max =   H max ( xi )  H ()    log 2 i 2 i1 ,
2  i
i 1
i 1
где xi1 и xi2 – пределы изменения контролируемого параметра.
Подставив (1.240) и (1.241) в (1.239) значения Tk и Imax, получим
m
 log
Vk 
i 1
m
( xi 2  xi1 )
2 i
 pi 1tki
i 1
.
(1.243)
Если при контроле решается двухальтернативная задача, то
максимальное количество информации будет получено при одинаковой вероятности «норма» и «не норма» контролируемых параметров. Выражение (1.242) принимает вид
m log 2
Vk 
m
1

.
(1.244)
 pi 1tki
i 1
Из выражений (1.242) и (1.243) видно, что параметр Vk
является характеристикой быстродействия и точности процесса
контроля. При заданной полученной способности контроля точность контроля может быть повышена в обмен на снижение
быстродействия и наоборот.
1.13.2. Энтропия и информация в системах
автоматического управления
Любой процесс, подлежащий автоматическому управлению,
можно характеризовать совокупностью координат х1, х2, …, хn. Эти
координаты практически всегда имеют разброс относительно номинальных значений. Этот разброс обусловлен многочисленными факторами и имеет случайный характер. Для оценки неопределенности
процесса может быть использована энтропия распределения вероятностей координат управляемого процесса, выражаемая формулой

 H ( x)   ( Õ )log 2 ( X )dX .

(1.245)
Энтропия процесса по существу отличается от информационной энтропии. В системах передачи информации (связи) после
получения информации энтропия объекта уменьшается. Энтропия же
процесса после получения информации о его состоянии наблюдателем не меняется. Энтропия распределения вероятностей координат процесса нельзя изменить измерением этих координат, для
изменения энтропии процесса необходимо управление или восстановление (регулирование), т.е. энтропия процесса может быть измене-
на только за счет воздействия на этот процесс. Основным назначением автоматизированного управления процессом является изменение
отклонений процесса от заданного, уменьшение неопределенности
протекания процесса, т.е. уменьшение энтропии процесса. Управление
процессом может быть непрерывным или дискретным во времени.
При дискретном управлении, управляющие воздействия
поступают на управляемый процесс через интервал времени τ. Если
до передачи управляющих воздействий начальная энтропия
процесса равна Н0(Х). После включения системы управления
энтропия процесса уменьшается до значения Нξ(Х), определяемого
воздействием различного рода возмущений в контуре управления
(погрешность измерителей, преобразователей и исполнительных
устройств, внешних возмущений и пр.) Количество информации,
внесенное при этом в контур управления
I(X) = H0(X) – Hз(X).
Этот процесс будет происходить за определенное количество
тактов работы устройства управления. После подачи каждого
управляющего воздействия энтропия процесса уменьшается на определенную величину. В интервалах между воздействиями энтропия процесса растет.
Количество информации Ik(X), вносимое в контур управления
в k-ом такте работы
Ik(X) = Hk-1(X) – Hk(X) + ΔHk(X),
(1.246)
где Hk-1(X) – энтропия процесса в конце k – 1 такта работы;
Hk(X) – энтропия процесса в конце k-го такта работы;
ΔHk(X) – проект энтропии процесса за интервал дискретности τ
вследствие действия возмущений.
Если за время переходного периода в течение, которого
энтропия процесса уменьшается от значения H0(X) до значения
Hз(X) совершено n тактов работы устройства управления, то общее
количество информации, внесенное в контур управления за это
время равно
n
n
I ï åð (X )=   H k 1 ( X )  H k ( X )   H k ( X ) .
k 1
k 1
(1.247)
В установившемся режиме будет соблюдаться условие
Hk-1(X) = Hk(X);
Ik(X) = ΔHk(X),
(1.248)
т.е. количество информации, передаваемое через контур управления
за интервал дискретности, будет равно приросту энтропии процесса
за счет действия возмущений.
Суммарный прирост количества информации за время переходного периода равен суммарному уменьшению энтропии процесса
n
I ( x)    H k 1 ( X )  H k ( X ) .
(1.249)
k 1
Оценка эффективности автоматической системы контроля
и управления (АСКУ).
С информационной точки зрения эффективности АСКУ
целесообразно оценивать количеством информации, полученной в
определенный интервал времени с учетом экономических затрат. В
связи с этим эффективность АСКУ оценивается величиной
I(X )
,
(1.250)
C
где I(X) – количество информации, получаемое в определенный
интервал времени;
С – стоимость АСКУ.
Критерий (1.249) не нормирован, поэтому не всегда удобен к
использованию.
Обобщенный
статистический
критерий,
выражающий отношение эффективностей и потенциала АСКУ[59,
60, 61, 62]
Kp
Ý
,
(1.251)
Kn
где Kp – эффективность реальной АСКУ,
Kn – эффективность потенциальной (идеальной) АСКУ.
Потенциальная АСКУ обеспечивает получение максимально
возможного количества информации. Это будет иметь место при
максимум априорной и минимум апостериорной энтропии объекта
K
контроля. Следовательно, для потенциальной системы должно быть
равенство априорных вероятностей контролируемых параметров
р(xi) = q(xi),
где р(xi) – вероятность состояния «норма» i-го параметра;
q(xi) – вероятность состояния «не норма» i-го параметра. При
этом априорная энтропия объекта будет равна
m
 H 0 ( x)    p( xi )log 2 ( xi )  q( xi )log 2 q( xi )  .
(1.252)
i 1
В результате осуществления контроля потенциальная система переводит состояние объекта в некоторое более определенное
состояние, при котором характеризуется соответствие с формулой
Байеса апостериорной вероятностью исправного состояния.
P( xi / yi ) 
p ( xi ) 1  i 
p ( xi ) 1  i   q ( xi )i
,
(1.253)
где αί и βί – ошибки первого и второго рода и при этом
q(xi)αi + p(xi)βi = min
(1.254)
и энтропией переходного режима
H1(xi) = – p(xi/yi)log2p(xi/yi) –
– [1 – p(xi/yi)]log2[1 – p(xi/yi)].
(1.255)
Общее количество информации, получаемое потенциальной
системой
m
m
i 1
i 1
I n (x) = I max =  H 0 ( xi )   H1 ( xi ) .
(1.256)
Потенциальная система является нереальной с позиции
максимума количества получаемой информации, она является также
идеальной с позиции простоты работы, т.к. в ней предусматривается
резервирование, доработки получения нужного быстродействия,
объема, веса и т.д. Поэтому потенциальная система при выполнении
указанных условий будет иметь потенциальную стоимость Cmin.
Эффективность потенциальной системы оценивается коэффициентом
I
K n  max .
C min
(1.256)
Диапазон изменения критерия для практических систем
АСКУ близкий к нулю – несовершенная система, близкий к единице – совершенная.
0 < Э <1.
Выводы к главе 1
1. Главное назначение теории информации и передачи сигналов – создать оптимальные системы связи, информационно-измерительные системы и др. Поэтому все направлено на создание
теоретической основы оптимального производства и эксплуатации
изделий информационной техники.
2. Математические модели сообщений, сигналов и помех
разрабатывают для анализа их свойств и синтеза сигналов с
требуемыми свойствами. Для решения используют методы теорий
вероятности, случайных процессов, математической статистики,
функционального анализа и др. Формирование сообщений рассматривают как выбор реализаций величин, последовательностей и
процессов.
3. Разработка математических моделей каналов передачи
информации направлена на определение структуры и параметров
операторов преобразования сигналов в каналах, анализ свойств
каналов и искажений сигналов, синтез каналов с требуемыми
свойствами.
4. Разработка общей теории информационных систем и новой
информационной технологии направлена на повышение эффективности интеллектуального труда, автоматизацию информационных
процедур на основе достижений информатики и вычислительной
техники. Место и роль информационных систем в развивающемся
обществе отражает современные принципы их построения. Они
учитывают достигнутый уровень информационной культуры, необ-
ходимость обеспечения высоких показателей качества предметной
деятельности, возможности управления структурно-информационной избыточностью систем и другие ведущие факторы развития.
5. Основными информационными характеристиками непрерывных дискретных каналов являются скорость передачи информации, пропускная способность и коэффициент использования. Пропускная способность гауссовского непрерывного канала определяется его полосой пропускания и отношением сигнал/шум в канале.
Чем шире спектр сигнала при прочих равных условиях, тем ближе
значение пропускной способности канала к предельному. Поэтому
целесообразно применять широкополосные (шумоподобные)
сигнал-переносчики.
6. Основными характеристиками дискретно-непрерывного канала являются алфавит и вероятности появления входных кодовых
символов, полоса пропускания непрерывного канала, на котором
построен дискретно-непрерывный канал, априорная плотность
f ( s bk1 ) распределения вероятности появления сигнала s2 (t ) при
условии, что передавался сигнал bk 1 . Результатом является определение апостериорной вероятности P ( bk1 s ) того, что при полученном сигнале s2 (t ) передавался кодовый символ bk 1 . Эту вероятность определяют по формуле Байеса. Если демодулятор работает
по алгоритму определения максимума апостериорной вероятности
на его выходе появляется символ, апостериорная вероятность
появления которого больше других.
7. Характеристиками дискретного канала являются алфавит и
априорные вероятности появления входных кодовых символов,
скорость передачи этих символов, алфавит символов копии
сообщений, условия вероятность P ( ai 2 ak1 ) появления символа ai 2
при условии, что был передан ak1 . Результатом анализа служит
определение апостериорной вероятности P ( ai 2 ak1 ) того, что при
полученном символе ai 2 передавался символ ak1 . Апостериорные
вероятности рассчитывают по формуле Байеса.
8. Основными информационными характеристиками дискретных каналов являются скорость передачи информации, пропускная
способность и коэффициент использования. Если помехи в канале
отсутствуют, скорость передачи информации равна производительности кодера. Пропускной способностью канала без шумов называют максимальную скорость передачи информации при фиксированных условиях передачи и приема сигналов. Степень согласования источника с каналом характеризуют отношением скорости
передачи информации к пропускной способности канала, называемым коэффициентом использования канала.
9. Основными информационными характеристиками источников дискретных сообщений являются энтропия, условная энтропия, производительность и избыточность. Энтропия – это среднее
количество информации, приходящееся на один символ сообщения.
Если символы сообщения коррелированны, то энтропия уменьшается. Чтобы это учесть вводят понятие условной энтропии. Она
характеризует среднее количество информации, которое несет
последующий символ сообщения при условии, что уже известен ряд
предыдущих. Корреляционные связи и неравномерность распределения вероятностей появления символов характеризуют избыточность источника – отношение количества информации, теряемой изза воздействия этих факторов, к максимальному количеству
информации, которое несет один символ.
10. Основными информационными характеристиками сточников непрерывных сообщений являются энтропия, условная
энтропия, эпсилон-энтропия, эпсилон-производительность, избыточность и объем информации. Формулу для энтропии источника
непрерывных сообщений получают из формулы для энтропии
источника дискретных сообщений путем предельного перехода.
Среди всех источников с ограниченной и одинаковой мощностью
сигналов наибольшей энтропией обладает источник с гауссовскими
сигналами. Энтропия гауссовского белого шума является максимальной в классе гауссовских непрерывных сигналов. Поэтому
помеха типа «гауссовский белый шум» является наиболее тяжелой
и ее часто используют для оценки качества связи в наихудшем
случае. Отсюда же следует целесообразность применения сигналовпереносчиков, по свойствам близким к гауссовскому белому шуму.
11. Различают три основные задачи приема сигналов: обнаружение,
различение и восстановление. При оптимальном приеме важную
роль играет система,определяющая оптимальную линейную
обработку принятых сигналов, которая обеспечивает максимальное
отношение сигнал/шум на выходе. Оптимальная линейная
обработка сигналов лежит в основе многих способов приема.
12. В качестве оценки эффективности передачи дискретных
сообщений практическое распространение получили коэффициенты
использования мощности сигнала и полосы частот канала. По
физическому смыслу оба коэффициента показывают то максимальное удельное количество дискретной информации, которое можно
передать по каналу при фиксированном отношении сигнал/шум или
при фиксированной полосе частот канала. Увеличение эффективности использования мощности всегда связано с уменьшением
коэффициента использования полосы.
13. Оценка эффективности передачи непрерывных сообщений
сводится к оценке эффективности метода модуляции. Для этого
обычно используют обобщенный выигрыш в отношении сигнал/
шум и коэффициент использования пропускной способности канала. При цифровой передаче непрерывных сообщений используют
методы оценки эффективности многоступенчатых видов модуляции. Эффективность передачи непрерывных сообщений повышают,
устраняя избыточность сообщений, применяя статистическое
разделение, цифровые способы передачи и др.
14. Оценка эффективности передачи информации в сетях является сложной и малоизученной проблемой. Особенности выбора и
использования таких критериев эффективности, как среднее время
задержки сообщений и арендная плата за сеть. Эти комплексные
критерии связаны со временем основными техническими показателями качества передачи информации и могут быть полезны при
анализе эффективности и оптимального синтеза сетей.