Uploaded by xawaget719

Теория информации

МИНОБРНАУКИ РОССИИ
Федеральное государственное бюджетное образовательное учреждение
высшего профессионального образования
НИЖЕГОРОДСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ
УНИВЕРСИТЕТ им. Р.Е.АЛЕКСЕЕВА
Кафедра «Электроника и сети ЭВМ»
Отчет по лабораторной работе №3
по дисциплине: «Прикладная теория информации»
на тему: «Передача непрерывных сообщений»
Выполнил:
Проверил:
Нижний Новгород
2021 г.
Цель работы
Передача по каналу связи непрерывного сигнала от источника к
приёмнику оптимальным образом. Предполагается, что сигнал будет
передаваться в дискретизированном виде – дискретно по отсчетам.
Теоретическая часть
Преимущества цифровой формы представления сигналов
В любую систему информация поступает в виде сигналов. Различные
параметры физических процессов с помощью датчиков обычно
преобразуются в электрические сигналы. Как правило, ими являются
непрерывно изменяющиеся ток или напряжение, но возможно поступление и
импульсных сигналов, как, например, в радиолокации. Печатный текст
отображается буквами, цифрами и другими знаками.
Хотя поступающую информацию можно хранить, передавать и
обрабатывать как в виде непрерывных, так и в виде дискретных сигналов, на
современном этапе развития информационной техники предпочтение
отдается дискретным сигналам, поэтому сигналы, как правило,
преобразуются в дискретные. С этой целью каждый непрерывный сигнал
подвергается операциям квантования по времени (дискретизации) и по
уровню.
Под дискретизацией
подразумевают, преобразование функции
непрерывного времени в функцию
дискретного времени, представляемую
совокупностью величин, называемых
координатами, по значениям которых
исходная непрерывная функция может
быть восстановлена с заданной
точностью. Роль координат часто
выполняют мгновенные значения
функции, отсчитанные в определенные
моменты времени.
Под квантованием подразумевают
преобразование некоторой величины с
непрерывной шкалой значений в
величину, имеющую дискретную шкалу
значений. Оно сводится к замене любого
мгновенного значения одним из
конечного множества разрешенных
значений, называемых уровнями
квантования.
Изменение вида сигнала u(t) (рис. 1.а) в результате проведения
операции дискретизации показано на рис. 1.б, а в результате совместного
проведения операций дискретизации и квантования — на рис. 1.в.
Цифровая форма представления сигнала u(t) (рис. 1.а) показана на рис.
1.г. Для восьми уровней достаточно трех двоичных разрядов. Импульсы
старших разрядов расположены крайними справа.
Причины перехода к дискретному и цифровому выражению
информации заключаются в следующем. Для конкретных задач управления
или исследования интересующего нас объекта обычно требуется значительно
меньше информации, чем ее поступает с датчиков в виде сигналов,
изменяющихся во времени непрерывно. Учет априорных сведений об этих
сигналах и целях их получения позволяет ограничиться отсчетами, взятыми
через определенные моменты времени.
Дискретизация непрерывных сообщений и сигналов
Произвольную кусочно-непрерывную функцию x(t), изображающую
сообщение или сигнал, можно разложить в обобщенный ряд Фурье по
полной системе ортонормированных функций:
𝑥(𝑡) = 𝐶0 𝜑0 (𝑡) + 𝐶1 𝜑1 (𝑡) + ⋯ + 𝐶𝑖 𝜑𝑖 (𝑡) + ⋯, (1)
∞
𝐸𝑥 = ∫ 𝑥 2 (𝑡)𝑑𝑡
(2)
−∞
если энергия функции (2) конечна.
Бесконечная система действительных функций φ0(t), ... , φi(t), ...
называется ортогональной на отрезке [a, b], если
𝑏
∫ 𝜑𝑖 (𝑡)𝜑𝑚 (𝑡)𝑑𝑡 = 0
при 𝑖 ≠ 𝑚,
𝑎
а отдельная функция 𝜑𝑖 (𝑡) называется нормированной, если
𝑏
∫ 𝜑𝑖2 (𝑡)𝑑𝑡 = 1
𝑎
Система нормированных функций, в которой каждые две
различающихся функции взаимно ортогональны, называется
ортонормированной системой. При аппроксимации функции 𝑥(𝑡)
ограничиваются, как правило, конечным числом членов ряда. При заданной
системе функций 𝜑𝑖 (𝑡) и при фиксированном числе членов ряда n значения
коэффициентов 𝐶𝑖 можно выбрать такими, при которых среднеквадратичная
ошибка аппроксимации
𝑏
𝑛
2
∫ [𝑥(𝑡) − ∑ 𝐶𝑖 𝜑𝑖 (𝑡)] 𝑑𝑡
𝑖=1
𝑎
достигает минимума. Минимум среднеквадратичной ошибки
достигается в том случае, когда коэффициенты ряда определяются по
формуле
𝑏
𝐶𝑖 = ∫ 𝑥(𝑡)𝜑𝑖 (𝑡)𝑑𝑡
𝑎
Ряд, с определяемыми таким образом коэффициентами, называется
обобщенным рядом Фурье.
Ортогональная система называется полной, если путем увеличения
количества членов в ряде среднеквадратичную ошибку можно сделать сколь
угодно малой.
Таким образом, по счетному множеству коэффициентов 𝐶𝑖 можно с
определенной точностью восстановить соответствующую функцию 𝑥(𝑡)
можно заменить передачей последовательности коэффициентов 𝐶0 , 𝐶1 , … , 𝐶𝑛 .
Указанную последовательность можно интерпретировать как вектор в n мерном Евклидовом пространстве с координатами 𝐶0 , 𝐶1 , … , 𝐶𝑛 , квадрат
длины которого:
𝑛
2
|𝐶⃗| = ∑ 𝐶𝑖2
𝑖=0
Последнее равенство является обобщением теоремы Пифагора на
случай n-мерного пространства. Путем непосредственных вычислений легко
установить, что энергия сигнала
𝑛
𝐸𝑥 = ∫ 𝑥 2 (𝑡)𝑑𝑡 ≈ ∑ 𝐶𝑖2
𝑖=0
Таким образом, дискретизацией называется замена непрерывной
функции 𝑥(𝑡) последовательностью коэффициентов 𝐶0 , 𝐶1 , … , 𝐶𝑛 (вектором).
Выбор системы ортогональных функций 𝜑𝑖 (𝑡) определяется целью и
физической сущностью решаемой задачи, а не чисто математическими
умозаключениями.
С целью передачи сигнала по каналу связи широко применяется
разложение функции 𝑥(𝑡)в ряд Котельникова, которое позволяет
существенно упростить определение коэффициентов 𝐶𝑖 .
Согласно теореме Котельникова произвольная функция 𝑥(𝑡) с
ограниченным спектром, может быть тождественно представлена счетным
1
числом ее значений, взятых через интервал времени ∆𝑡 = , где 𝐹 – верхняя
2𝐹
граничная частота спектра сигнала. В этом случае функции
sin F(𝑡 − 𝑖∆𝑡)
𝜑𝑖 (𝑡) =
F(𝑡 − 𝑖∆𝑡)
образующие систему ортогональных функций, отличаются друг от
1
друга только сдвигом по оси времени t на величину кратную 𝛥𝑡 =
, при
2∗𝐹
этом каждая из них достигает своего максимального значения в те моменты
времени, когда значения всех остальных функций равны нулю.
Коэффициенты разложения определяются по формуле
∞
1
𝐶𝑖 =
∫ 𝑥(𝑡) 𝜑𝑖 (𝑡)𝑑𝑡
∆𝑡
−∞
которую в результате тождественных преобразований можно привести
к виду:𝐶𝑖 = 𝑥(𝑖∆𝑡), то есть 𝐶𝑖 коэффициент равен значению функции 𝑥(𝑡) в
момент, когда функция 𝜑𝑖 (𝑡) достигает своего максимального значения.
Если дискретизации подлежит нормальный (гауссов) случайный
процесс, энергетический спектр которого имеет прямоугольную форму, то
коэффициенты 𝐶𝑖 будут статистически независимыми случайными
величинами, которые совпадают со значениями случайной функции 𝑥(𝑡),
взятыми с шагом ∆𝑡.
Таким образом, непрерывные сообщения можно передавать в
цифровом виде, то есть в виде последовательности чисел, при этом каждое
число приближенно выражает величину соответствующего коэффициента 𝐶𝑖 .
Эпсилон - энтропия
Проблема передачи непрерывного сообщения заключается в получении
его копии на приемном пункте и, в сущности, сводится к процедуре
воспроизведения сообщения на основе полученной информации. Очевидно, в
данном случае не существует способа, позволяющего получить точную
копию передаваемого сообщения, поскольку это требует бесконечной
точности его воспроизведения, причем неограниченное увеличение точности
требует неограниченного увеличения количества передаваемой информации.
Например, нельзя получить два абсолютно совпадающих графика. Поэтому о
передаче непрерывного сообщения имеет смысл говорить только в том
случае, когда задана точность его воспроизведения.
Передача непрерывного сообщения 𝑥(𝑡) сводится к передаче
последовательности его значений, взятых в дискретные моменты времени.
Все возможные значения функции 𝑥(𝑡) в некоторый момент времени
образуют множество 𝑋.
Отметим, что ξ - энтропия также используется и в качестве
количественной меры производительности источника непрерывных
сообщений, при этом, очевидно, нельзя говорить о производительности
источника не задав точность воспроизведения.
Таким образом, производительность источника можно определить как
минимальное количество информации 𝑣𝐻𝜉(𝑥), необходимое в единицу
времени для воспроизведения непрерывного сообщения 𝑥(𝑡) c заданной
точностью, где 𝑣- число отсчетов сообщения 𝑥(𝑡), передаваемых за единицу
времени.
Равномерная дискретизация. Теорема Котельникова
Дискретизация по частотному критерию. Правило выбора предельного
шага при равномерной дискретизации с использованием модели сигнала с
ограниченным спектром в наиболее четкой форме сформулировано и
доказано акад. В. А. Котельниковым в виде теоремы, получившей в
отечественной литературе его имя.
Сначала, не касаясь вопроса адекватности выбранной модели
реальному сигналу, рассмотрим существо и доказательство теоремы
Теорема Котельникова. Теорема устанавливает принципиальную
возможность полного восстановления детерминированной функции с
ограниченным спектром по ее отсчетам и указывает предельное значение
интервала времени между отсчетами, при которой такое восстановление еще
возможно. Она формулируется следующим образом: функция 𝑢(𝑡),
допускающая преобразование Фурье и имеющая непрерывный спектр,
𝜔
ограниченный полосой частот от 0 до𝐹𝑐 = 𝑐 , полностью определяется
2𝜋
дискретным рядом своих мгновенных значений, отсчитанных через
интервалы времени:
1
2𝐹𝑐
Физическая основа теоремы выявляется при рассмотрении связи между
формой функции и шириной ее спектра. Только в случае, когда спектр
функции безграничен, ее значения в сколь угодно близкие моменты времени
могут изменяться произвольно (корреляционная связь между ними
отсутствует). Сокращение высокочастотной части спектра до граничной
частоты 𝜔1 равнозначно устранению из временной функции выбросов,
которые могли быть сформированы этими высокочастотными
составляющими. При меньших граничных частотах 𝜔2 и 𝜔3 имеем более
сглаженные функции времени. Поскольку значения этих функций в моменты
времени 𝑢(𝑡1 ) и 𝑢(𝑡1 + ∆𝑡) в пределах некоторого интервала ∆𝑡 не могут
изменяться существенно, можно ограничиться значениями функции, взятыми
через интервалы ∆𝑡 (отсчетами).
Адаптивная дискретизация
При адаптивной дискретизации мы ориентируемся на динамические
характеристики конкретной реализации, что позволяет получить
минимальное число выборок, обеспечивающих восстановление этой
реализации с заданной точностью. В основе принципа адаптивной
дискретизации лежит непосредственное слежение за текущей погрешностью
восстановления сигнала ε.
Наиболее широкое применение на практике получили алгоритмы
дискретизации с адаптацией по длине интервала аппроксимации. В процессе
последовательного наращивания интервала аппроксимации производится
сравнение сигнала 𝑢(𝑡) с воспроизводящей функцией 𝑢 ∗ 𝑡, формируемой с
учетом текущих значений динамических характеристик сигнала. Когда
погрешность воспроизведения достигает заданного значения 𝜀0 , наращивание
интервала прекращается и производится отсчет. Интервалы времени между
отсчетами при этом оказываются произвольными.
В качестве воспроизводящих функций наиболее часто используются
степенные алгебраические полиномы нулевой и первой степеней (3).
∆𝑡 =
𝑁
𝑢∗ (𝑡) = ∑ 𝑎𝑖 𝑡 ′
𝑖=0
(3)
При этом возможны как интерполяционные, так и экстраполяционные
способы адаптивной дискретизации Интерполяционные способы не нашли
широкого применения, поскольку их реализация связана с запоминанием
сигнала на интервале аппроксимации и выполнением большого числа
вычислительных операций. Поэтому ограничимся рассмотрением примеров
адаптивной дискретизации на основе экстраполяции
Пример: провести адаптивную дискретизацию реализации
сигнала 𝑢(𝑡), изображенной на рис 3 (слева), с использованием
аппроксимирующего многочлена типа (3) нулевой степени. Наибольшее
допустимое отклонение равно𝜀0 .
Рис. 3
На момент 𝑡𝑖 начала каждого интервала аппроксимирующий полином
∗ (𝑡)
𝑢
принимаем равным 𝑢(𝑡𝑖 ) и вычисляем разность ∆𝑢(𝑡) = 𝑢(𝑡) − 𝑢∗ (𝑡𝑖 ),
которую сравниваем с 𝜀0 . Установление равенства соответствует моменту
𝑡𝑗 + 1 окончания интервала и проведения очередного отсчета. Результаты
дискретизации отображены на том же рисунке (рис. 3, справа).
Практическая часть
Блок-схема

Общий вид схемы

Блок p(t)