Теория Информации Санкт-Петербург 2009 Часть 4. Кодирование источников с
реклама
Теория Информации Кудряшов Борис Давидович Часть 4. Кодирование источников с заданным критерием качества Санкт-Петербург 2009 Дифференциальная энтропия Для равномерного распределения на интервале длины 2 Примеры 3 Свойства дифференциальной энтропии Доказательство Осталось подставить плотность в определение дифференциальной энтропии 4 Пример преобразования случайной величины 5 Условная дифференциальная энтропия Свойства: Относительная энтропия Кульбака-Лейблера: Свойство: 6 Экстремальные распределения 7 Пример доказательства Для равномерного распределения 8 Взаимная информация для непрерывных ансамблей Свойства: Взаимная информация не изменяется при обратимых преобразованиях с.в. 9 Дифференциальная энтропия случайных векторов Преобразования случайных векторов: тогда где 10 Линейные преобразования гауссовских векторов Например, если то Т.е. из независимых с.в. получаем вектор с заданной корреляционной матрицей. Наоборот, с помощью ортогонального разложения, из заданного вектора можно получить вектор с независимыми компонентами 11 Дифференциальная энтропия гауссовского вектора Пусть K y , x Ty , тогда K x T ' T K Поскольку T – ортогональная матрица, det(T)=1, из теоремы 6.1 следует теорема 6.2. 12 Специальные случаи Многомерное гауссовское распределение тоже экстремальное 13 Доказательство 14 Завершение доказательства 15 Дифференциальная энтропия стационарного процесса 16 Теорема Колмогорова 17 Мера искажения - сообщения - аппроксимирующее множество - побуквенная мера - мера искажения - Вероятностная мера - Абсолютная мера - Квадратическая мера 18 Функция скорость-искажение - Кодовая книга - Скорость кода - Средняя ошибка - Функция скорость-искажение 19 Свойства функции скорость-искажение с равенством при 20 Продолжение доказательства Обозначим 21 Выпуклость функции R(D) соответствуют 22 Максимальное искажение 23 R(D) для двоичного источника Положим Уравнение для Решение 24 R(D) для двоичного источника 25 R(D) для гауссовского источника 26 R(D) для гауссовского источника 27 Граница Шеннона 28 R(D) для гауссовских последовательностей независимых с.в. 29 R(D) для гауссовских последовательностей независимых с.в. 30 R(D) для гауссовских последовательностей 31 R(D) для гауссовских случайных процессов - Корреляционная функция 32 Принцип заполнения водой 33 Обратная теорема кодирования 34 Прямая теорема кодирования 35
