(infa_2x)

1) Избыточность и сжатие. Расширения кода. Энтропия. Теорема кодирования
для каналов связи без шума.
Избыточность (E)- это мера бесполезно совершаемых альтернативных выборов.
Разность L - Н называют избыточностью кода.
Сжатие – процесс перекодирования данных с целью уменьшения их объема.
Расширение кода – кодирование комбинации символов (блока), а не каждого символа
в отдельности. Расширения кода - блоки из n символов. При N-кратном расширении
алфавита источника из символов si с заданными вероятностями pi, каждый блок из n
первоначальных символов становится одним символом t i с вероятностью Qi . Все вместе они
образуют алфавит Sn=T.
Энтропия (Н) – мера неопределенности случайного объекта с конечным множеством
состояний Ai , с соответствующими им вероятностями pi. Величину Н называют средним
количеством информации на знак, информацией на знак или энтропией источника
сообщений
1
𝐻 = ∑ 𝑝𝑖 ∙ log(
𝑝𝑖
Теорема Шеннона о кодировании без шума: для n-кратного расширения достаточно
высокой кратности средняя длина кодового слова L может быть сколь угодно близкой к
энтропии источника.
2) Измерение количества информации. Вероятностный, комбинаторный и
алгоритмический подходы к измерению количества информации.
Подход к информации как к мере уменьшения неопределённости знания позволяет
количественно измерять информацию. За единицу количества информации принято такое
количество информации, которое содержит сообщение уменьшающее неопределённость
знания в 2 раза. Такая единица названа бит.
Комбинаторное определение количества информации, исторически появившееся
первым, характеризуется использованием математических функций, оперирующих с
конечными множествами элементов, образующих какое-либо сообщение или систему.
Вероятностный подход к измерению информации основан на вероятностных
допущениях относительно пребывания какой-либо системы в различных состояниях. При
этом общее число элементов (микросостояний, событий) системы не учитывается.
Алгоритмический подход. За количество информации при этом, принимается
значение некоторой функции от сложности каждого из объектов и длины программы
(алгоритма) преобразования одного объекта в другой.
3) Методы обнаружения и коррекции ошибок в дискретных кодах.
Корректирующие коды. Расстояние Хэмминга и его соотношение с корректирующей
способностью кода. Аналоговый, дискретный, квантованный и цифровой сигналы.
Обнаружение ошибок в технике связи — действие, направленное на контроль
целостности данных при записи/воспроизведении информации или при её передаче по
линиям связи.
Исправление ошибок (коррекция ошибок) — процедура восстановления информации
после чтения её из устройства хранения или канала связи.
В системах связи возможны несколько стратегий борьбы с ошибками:
- обнаружение ошибок в блоках данных и автоматический запрос повторной передачи
повреждённых блоков (применяется в основном на канальном и транспортном уровнях);
- обнаружение ошибок в блоках данных и отбрасывание повреждённых блоков
(применяется в системах потокового мультимедиа);
- обнаружение и исправление ошибок (применяется на физическом уровне).
Корректирующие коды — коды, служащие для обнаружения или исправления
ошибок, возникающих при передаче информации под влиянием помех, а также при её
хранении. Для этого при записи (передаче) в полезные данные добавляют специальным
образом структурированную избыточную информацию (контрольное число), а при чтении
(приёме) её используют для того, чтобы обнаружить или исправить ошибки. Естественно,
что число ошибок, которое можно исправить, ограничено и зависит от конкретного
применяемого кода.
Коды обнаружения ошибок могут только установить факт наличия ошибки в
переданных данных, но не исправить её. Используемые коды обнаружения ошибок
принадлежат к тем же классам кодов, что и коды, исправляющие ошибки. Фактически,
любой код, исправляющий ошибки, может быть также использован для обнаружения ошибок
(при этом он будет способен обнаружить большее число ошибок, чем был способен
исправить).
По способу работы с данными коды, исправляющие ошибки, делятся на:
- блоковые коды, делящие информацию на фрагменты постоянной длины и
обрабатывающие каждый из них в отдельности;
- свёрточные коды, работающие с данными как с непрерывным потоком.
Минимальное расстояние Хемминга является важной характеристикой линейного
блокового кода. Она показывает насколько "далеко" расположены коды друг от друга. Она
определяет другую, не менее важную характеристику - корректирующую способность: 2t <
dmin Корректирующая способность определяет, сколько ошибок передачи кода можно
гарантированно исправить.
Под аналоговым сигналом понимают сигнал, непрерывный во времени и
принимающий значение из какого-то промежутка значений.
Дискретный сигнал представляется в виде последовательности значений, взятых в
дискретные моменты времени.
В квантовом сигнале область значений сигнала разбивается на уровни, количество
которых должно быть представлено в числах заданной разрядности.
Под цифровым сигналом понимается сигнал, полученный из аналогового путем
квантования по амплитуде и дискретизации по времени.
Детерминированными сигналами называются сигналы, значения которых в любые
моменты времени являются известными величинами или могут быть заранее вычислены.
Случайным сигналом является такой, значения параметров которого случайны и
заранее не известны и могут быть определены с некоторой степенью вероятности.
4) Этапы аналого-цифрового преобразования.
Преобразование аналогового сигнала в цифровой состоит из двух этапов:
- дискретизация по времени означает, что сигнал представляется рядом своих
отсчетов, взятых через равные промежутки времени, отделенные друг от друга интервалом,
который называется интервалом дискретизации.
- квантование по амплитуде (Квантование представляет собой замену величины
отсчета сигнала ближайшим значением из набора фиксированных величин - уровней
квантования). В информатике под квантованием непрерывной или дискретной величины
понимают разбиение диапазона её значений на конечное число интервалов.
На первом этапе идет дискретизация входного непрерывного сигнала S(t) во времени обычно с постоянным шагом, т.е. через равные интервалы времени. Формируется
последовательность S(n), в которой отсчеты представлены с неограниченной точностью. На
втором этапе происходит квантование величины сигнала по уровню для этих
дискретных моментов времени. Значение каждого отсчета S(n) представляется числом,
состоящим из конечного числа двоичных разрядов. В результате получается новая
последовательность Skv(n).
5) Частотное и временное представление сигналов их смысл и применение.
Понятие спектра сигнала.
Спектральная (частотная) форма представления сигналов использует разложение
сигнальных функций на гармонические составляющие. Это представление параметров
сигнала в виде двух графиков: графика спектра амплитуд и графика спектра фаз.
Временная форма представления сигнала – это описание изменения его параметров в
функции времени. Такая форма описания позволяет определить энергию, мощность и
длительность сигнала.
Спектр сигнала – частотный состав сигнала.
6) Теорема отсчетов Котельникова-Найквиста. Ее практическое значение для
цифро-аналоговых преобразований.
Теорема Котельникова-Найквиста гласит, что, если аналоговый сигнал x(t) имеет
ограниченный спектр, то он может быть восстановлен однозначно и без потерь по своим
дискретным отсчётам, взятым с частотой не менее удвоенной максимальной частоты спектра
Fmax: fдискр>=2*Fmax.
Т.е. для дискретизации аналогового сигнала без потери информации частота отсчётов
должна быть как минимум в два раза выше верхней граничной частоты спектра сигнала.
7) Интервал дискретизации и шаг квантования. На что влияет их выбор?
Интервал дискретизации – временной промежуток между отсчетами. Величину,
обратную интервалу между отсчетами, называют частотой дискретизации. Частота
дискретизации - частота взятия отсчетов непрерывного во времени сигнала при его
дискретизации (измеряется в Герцах).
Очевидно, что чем меньше интервал дискретизации и, соответственно, выше частота
дискретизации, тем меньше различия между исходным сигналом и его дискретизированной
копией. Чем выше частота дискретизации, тем более широкий спектр сигнала может быть
представлен в дискретном сигнале.
Уровни квантования делят весь диапазон возможного изменения значений сигнала на
конечное число интервалов - шагов квантования.
Искажения сигнала, возникающие в процессе квантования, называют шумом
квантования. Шум квантования убывает с увеличением числа уровней квантования.
8) ИКМ, ДИКМ, АДИКМ, дельта-модуляция.
Импульсно-кодовая модуляция (ИКМ) используется для оцифровки аналоговых
сигналов. Практически все виды аналоговых данных допускают применение ИКМ.
Импульсно-кодовая модуляция позволяет представить непрерывный аналоговый сигнал в
форме последовательности равноотстоящих друг от друга импульсов (дискретизация по
времени), амплитуда которых представлена двоичным кодом (квантование по уровню).
Подобное преобразование позволяет существенно повысить надежность передачи и хранения
сигнала.
При дифференциальной ИКМ (ДИКМ) кодируется только разность между
предсказанным значением (на основе предшествующих отсчетов) и фактически измеренным
значением отсчета аналогового сигнала.
Адаптивная ДИКМ (АДИКМ) является разновидностью ДИКМ, которая изменяет
уровень шага квантования, что позволяет еще больше уменьшить требования к полосе
пропускания при заданном соотношении сигнала и шума. В случае использования
адаптивной ДИКМ шаг квантования выбирается адаптивно, в зависимости от скорости
изменения формы сигнала.
При дельта-модуляции в цифровом виде представляется разность величин
последовательных отсчетов сигнала. Основным достоинством данного формата является
простота конструкции устройств реализующих данное преобразование
9) Пропускная способность канала и ее измерение. Теорема Шеннона для канала
связи с шумом. Поток информации с=2*fm*H где f частота а H энтропия.
Максимальный поток информации по передающему каналу или пропускная способность
канала
𝑁
𝐶𝑚𝑎𝑥 = 2 ∙ 𝑓𝑚 ∙ 𝐻𝑚𝑎𝑥 = log 2 (1 + 𝑁 𝑠 )
𝑅
Полосой пропускания (пропускной способностью) оценивается количество
информации, которое может быть передано по каналу. Ширина полосы пропускания
измеряется в битах в секунду (бит/с) - для цифровых сигналов или в герцах (Гц) - для
аналоговых сигналов, например, звуковых волн. Ширина полосы пропускания для
аналоговой системы равна разности вычитания наинизшей передаваемой частоты из
наивысшей.
Теорема Шеннона для канала связи с шумом: для канала с помехами всегда можно
найти такую систему кодирования, при которой сообщения будут переданы со сколь угодно
большой степенью верности, если только скорость передачи сообщения не превышает
пропускную способность канала.