Программа Интерфейсы Теория информации ВМКСиСx

УДК 004(073)
ББК
Перевозник Ю.Я. Рабочая программа дисциплины «Теория информации» по специальности
230101.65 Вычислительные машины, комплексы, системы и сети – СПб.: СУРАО, 2013. _____ с.
Рабочая программа составлена в соответствии с содержанием и требованиями
Государственного образовательного стандарта высшего профессионального образования
(Регистрационный номер N 224 тех / дс от 27 марта 2000г.).).
Рабочая программа утверждена в рамках ООП по специальности 230101.65
«Вычислительные машины, комплексы, системы и сети» на заседании ученого ученого
совета института Протокол № _09-12_ от «_26_»_июня_2013 г.
Председатель ученого совета АНО ВПО «Смольный институт Российской академии
образования»
Б.Я. Советов
Рабочая программа рассмотрена и одобрена на заседании учебно-методического совета
института. Протокол № _6_ от «_13_»_июня_2013 г.
Председатель УМС
А.П. Шарухин
Рабочая программа рассмотрена и одобрена на заседании совета факультета Информационных
технологий. Протокол № _9-12 от «_23_»___мая___2013 г.
Председатель ученого совета факультета
О.А.Кононов
Рабочая программа рассмотрена и одобрена на заседании кафедры информационных систем.
Протокол № 9 от «_23_»___мая___2013 г.
Заведующий кафедрой
О.А.Кононов
2
3.1 Организационно – методический раздел.
Дисциплина посвящена изучению основ теории информации. Обучаемые знакомятся с
понятием информации, подходами к измерению информации, понятием кодирования,
алгоритмами кодирования (эффективное кодирование, помехозащищенное кодирование,
криптографическое кодирование). Подробно рассматривается: теория информации Шенона;
алгоритмы Шенона-Фано, Хаффмана, Лемпеля-Зива; блочное помехозащищенное кодирование,
совершенные и квазисовершенные помехозащищенные коды; современные алгоритмы
шифрования с симметричным и несимметричным ключом.
Успешное усвоение материалов курса является основой для последующего изучения
дисциплин специальности.
Цели и задачи дисциплины
Дисциплина «Теория информации» имеет целью ознакомить студентов с основными
понятиями: информация, кодирование, сигнал и канал связи; - и основными современными
направлениями развития этой науки, в том числе:

изучить теоретические основы и математические модели, необходимые для
исследования информационных процессов и кодирования в каналах связи на
соответствующем уровне формализации;

дать практические навыки вычисления количества информации, способов
кодирования и расчета характеристик сигналов и каналов в рамках изучаемых
методов;

подготовить студентов к дальнейшему образованию в области информации,
кодирования и каналов связи, в частности - к изучению курсов: методы защиты
информации в компьютерных системах; системы, основанные на знаниях;
информационные технологии и др.
Задачи дисциплины – дать основы теории связи и информационных процессов, а также
методов расчета информационных характеристик сообщений и систем.
Требования к уровню освоения содержания дисциплины
В результате обучения студенты должны:
иметь представление:
 о месте и роли информационных процессов в обществе;
 об истории и направлениях развития понятий информация, количества информации;
 о взаимосвязях между характеристиками источников сообщений, каналов связи; о
принципах организации обработки сигналов и сообщений приемником информации;
 о проблемах информационной экологии.
знать:
 основные понятия теории информации и современных информационных технологий:
информация и способы ее вычисления, многообразие ее форм, основные способы
представления информации;
 основные классы кодов, их параметры и способы кодирования, основные каналы связи и
процесс передачи информации по каналам, их основные формально-математические
модели и способы их количественного описания;
 математические доказательства свойств энтропии, информации дискретного и
непрерывного источников; основные теоремы теории информации и кодирования;
 основные принципы и способы кодирования и декодирования информации,
характеристики кодов разного типа, понятие оптимального и помехоустойчивого
кодирования, методы исследования кодов и их применений в ЭВМ и системах защиты
3
информации.
уметь:
 вычислять количество энтропии и информации в сообщениях дискретного источника
канала связи;
 закодировать и декодировать сообщения источника одним из изученных кодов, оценить
его оптимальность и помехоустойчивость, а также декодировать закодированное
сообщение с обнаружением или исправлением возможных ошибок;
 определить основные характеристики симметричного канала связи.
иметь навыки:
 расчета количества информации, вероятности двоичной ошибки на выходе канала связи
и вероятности ошибочного декодирования;
 вычисления спектральных характеристик сигналов, коэффициентов разложения в ряд
Котельникова;
 построения кодирующих и декодирующих алгоритмов для линейных кодов.
4
3.2. Формы текущего и промежуточного контроля.
Очная форма обучения
Вид занятий (учебной работы)
3 сем
ИТОГО:
Лекции
Лабораторные
Практические
КСР
Семинары
32
32
Итого аудиторных занятий:
РГЗ
Реферат
Курсовой проект (работа)
32
32
48
48
80
зачет
48
48
80
Другие виды самостоят. работы
Итого самостоятельных занятий:
ИТОГО:
Вид итогового контроля
Заочная форма обучения
Вид занятий (учебной работы)
Лекции
Лабораторные
Практические
КСР
Семинары
Итого аудиторных занятий:
РГЗ
Реферат
Курсовой проект (работа)
Другие виды самостоят. работы
Итого самостоятельных занятий:
ИТОГО:
Вид итогового контроля
5
3 сем
10
ИТОГО:
10
10
10
70
70
80
зачет
70
70
80
3.3. Объем и распределение часов дисциплины по модулям, разделам, темам и
видам занятий.
5
6
7
8
9
10
11
12
13
2
2
2
2
2
2
2
6
2
2
6
2
4
8
4
2
2
2
2
4
2
2
6
6
8
2
2
2
2
4
2
2
2
2
2
2
6
2
2
6
2
2
8
4
4
4
4
6
6
10
4
4
6
6
10
4
4
4
4
8
32
32
48
48
80
6
Реферат
4
РГЗ
2
Итого аудиторных
2
КСР
2
Практич.
2
Лаборат.
ИТОГО
2
3
4
Понятие о теории информации и
кодировании как о научном
направлении
Знаки и сигналы
Код и кодирование
Энтропия и ее свойства
Условная и частная энтропия и их
свойства
Количество информации и его
свойства
Марковские и эргодические
источники. Теорема Шеннона.
Информационная дивергенция
Параметры кодов
Корректирующие коды
Оптимальное кодирование.
Реальные и идеальные каналы связи и
их характеристики
Основные теоремы теории
информации и кодирования
Применение кодирования для сжатия
информации и криптографической
защиты информации
Всего
Итого сам.работы
1
Раздел дисциплины
Лекции
№
п/п
Другие виды сам.работы
Очная форма обучения
8
9
10
11
12
13
7
2
2
2
2
2
2
10
2
2
10
Реферат
РГЗ
Итого аудиторных
Семинары
Практич.
2
ИТОГО
7
2
Итого сам.работы
2
3
4
5
6
Понятие о теории информации и
кодировании как о научном направлении
Знаки и сигналы
Код и кодирование
Энтропия и ее свойства
Условная и частная энтропия и их свойства
Количество информации и его свойства
Марковские и эргодические источники.
Теорема Шеннона. Информационная
дивергенция
Параметры кодов
Корректирующие коды
Оптимальное кодирование.
Реальные и идеальные каналы связи и их
характеристики
Основные теоремы теории информации и
кодирования
Применение кодирования для сжатия
информации и криптографической защиты
информации
Всего
Другие виды сам.работы
1
Раздел дисциплины
Лаборат.
№
п/п
Лекции
Заочная форма обучения
4
4
6
4
8
4
4
6
4
8
4
4
6
4
8
6
4
6
4
4
6
8
4
4
8
4
4
8
6
4
8
8
10
6
6
6
6
6
6
70
70
80
3.4
Содержание дисциплины
3.4.1. Основные вопросы разделов и тем
1. Понятие о теории информации и кодировании как о научном направлении. История
развития теории.
Вопросы и задачи теории информации и кодирования. Математические основы теории.
Система передачи информации как система: ее математическая модель, состав, структура и
функция. Роль теории информации и кодировании в науке и современном информационном
обществе. Теория информации и информационные технологии.
2. Знаки и сигналы.
Модели сигналов и их классификация. Системы передачи информации (с.п.и.) и каналы связи
(к.с.). Примеры с.п.и. и к.с. Дискретные и непрерывные к.с., их математические модели и
классификация. Понятие о равновероятных и неравновероятных исходах. Дискретный
вероятностный ансамбль как модель источника информации.
3. Код и кодирование.
Примеры кодов и методов кодирования. Классификация кодов. Простые коды, примеры и
способы их построения. Избыточность кодов. Равномерные коды. Понятие разрядности кода и
ее расчет. Количество и объем информации при передаче информации в равномерном коде.
Определение избыточности равномерных кодов. Неравномерные оптимальные коды. Основные
характеристики неравномерного кода, условие Фано. Принципы оптимального кодирования.
Методы построения оптимальных кодов и оценка их оптимальности.
4. Энтропия и ее свойства.
Модель информации по Хартли и формула Хартли: измеримость информации и единицы
измерения. Элементарная информация. Энтропия и информация: модель Шеннона и аксиомы
Шеннона. Применение: энтропия дискретного источника (без памяти). Аксиомы Хинчина и
Фаддеева. Алфавитный способ представления информации. Количество информации в nбуквенном слове и формулы ее расчета. Избыточность сообщений источника. Объем и
количество информации.
5. Условная и частная энтропия и их свойства.
Энтропия объединенного ансамбля и ее свойства.
6. Информация и ее свойства.
Основное свойство информации при ее преобразовании.
7. Марковские и эргодические источники. Теорема Шеннона. Информационная
дивергенция.
8. Параметры кодов
Параметры кодов: объем, расстояние, границы. Связи между расстоянием и корректирущими
свойствами кодов. Граница Симмонса.
9. Корректирующие коды.
Линейные и циклические коды. БЧХ-коды. Коды Хемминга. Их параметры и корректирущие
свойства. Сверточные коды.
10. Оптимальное кодирование.
Префиксные коды. Неравенства Крафта и Макмилана.
8
11. Реальные и идеальные каналы связи и их характеристики
Реальные и идеальные каналы связи и их характеристики: скорость создания информации,
скорость информации и пропускная способность. Симметричные к.с. и другие виды к.с.
12. Основные теоремы теории информации и кодирования.
Неравенства Фано и Файнстейна. Прямая и обратная теоремы кодирования. Их роль в развитии
информационных процессов.
13. Применение кодирования для сжатия информации и криптографической защиты
информации.
Обзорная лекция.
9
3.4.2. Перечень примерных контрольных вопросов и заданий для самостоятельной
работы по темам (модулям).
1.
Сделать обзор применимых для передачи информации знаков и сигналов. Результат
представить в виде файла с таблицей.
2.
Составить перечень моделей простейших сигналов и их аналитических записей.
Результат представить в виде файла с таблицей.
3.
Составить таблицу различных моделей каналов и их формальных записей. Результат –
файл.
4.
Разработать страницу Excel-книги, демонстрирующую в общем виде процедуры
кодирования и декодировании помехоустойчивого линейного блочного кода.
5.
Разработать программу, реализующую процедуру определения требуемых параметров
помехоустойчивого линейного блочного кода по заданным свойствам двоичного канала.
6.
Разработать страницу Excel-книги, демонстрирующую в общем виде процедуры
вычисления энтропии дискретного источника.
7.
Изложить в файле обоснование аксиомы Хинчина.
8.
Разработать страницу Excel-книги, демонстрирующую в общем виде расчет условной и
частной энтропий, энтропии объединенного ансамбля.
9.
Разработать страницу Excel-книги, демонстрирующую в общем виде схему кодирования
циклических кодов.
10.
Разработать страницу Excel-книги, демонстрирующую в общем виде схему
декодирования циклических кодов.
11.
Разработать страницу Excel-книги, демонстрирующую в общем виде схему кодирования
сверточных кодов.
12.
Разработать страницу Excel-книги, демонстрирующую в общем виде схему
декодирования сверточных кодов.
13.
Разработать страницу Excel-книги, демонстрирующую в общем виде оптимальный
алгоритм приема двоичных сигналов в канале с постоянными параметрами и белым
шумом.
14.
Запрограммировать в табличном процессоре формулу вычисления пропускной
способности постоянного канала с шумом и заполнить таблицу результатами расчетов
3.4.3. Темы курсовых работ, рефератов, практических занятий
Практические занятия
1.
Простейшие сигналы. Их свойства и спектры.
2.
Разложение сигналов в ряд Котельникова.
3.
Оценка энтропийных характеристик дискретных и непрерывных случайных величин.
Условная и частная энтропия и их свойства. Энтропия объединенного ансамбля и ее
свойства.
4.
Оценка количества информации.
5.
Оценка информационных характеристик систем.
6.
Помехоустойчивое кодирование. Параметры кодов: объем, расстояние, исправляющая
способность. Оптимальный код источника. Линейный код. Циклический код.
7.
Характеристики каналов связи: скорость создания информации, скорость передачи
информации и пропускная способность. Симметричные к.с.
3.4.4. Примерный перечень вопросов к зачету (экзамену) по модулям учебной
дисциплины.
Вопросы для подготовки к зачету
1.
Энтропия вероятностной схемы дискретного ансамбля.
2.
Условная энтропия в случае двух дискретных ансамблей.
3.
Взаимная информация и ее свойства.
4.
Энтропия непрерывного ансамбля. Дифференциальная энтропия.
10
5.
Условная энтропия в случае двух непрерывных ансамблей.
6.
Взаимная информация двух непрерывных ансамблей.
7.
Источники информации. Энтропия дискретных источников.
8.
Аксиома Хинчина (о типичных последовательностях).
9.
Дискретный источник без памяти. Его производительность.
10. Две теоремы Шеннона об источниках. Марковские и эргодические источники.
11. Обобщенная схема системы передачи информации.
12. Понятие кода. Оптимальное кодирование источника.
13. Префиксные коды. Неравенство Крафта.
14. Помехоустойчивое кодирование. Линейные блочные коды. Параметры.
15. Корректирующие свойства кодов. Кодирование и декодирование линейного кода.
16. Коды Галлея и проверки на четность.
17. Методика определения требуемых параметров линейного кода в канале с шумом.
18. Циклические коды. Полиномиальная процедура кодирования.
19. Циклические коды. Полиномиальная процедура декодирования.
20. БЧХ-коды.
21. Код Хемминга.
22. Сверточные коды.
23. Математические модели канала связи.
24. Пропускная способность канала связи.
25. Прямая и обратная теоремы кодирования.
26. Задача об оптимальном приеме двоичных сигналов.
27. Корреляционный прием сигналов.
28. Виды модуляции. Их отличия.
29. Простейшие сигналы. Их роль в теории информации и связи.
30. База сигнала. Шумоподобные сигналы. Пример.
31. Разделение каналов передачи дискретных сообщений по форме сигнала.
32. Виды разделения каналов передачи по общей среде распространения сигналов.
33. Шифрование сообщений как специфическая задача кодирования.
34. Обобщенный ряд Фурье. Понятие спектра сигнала.
35. Ряд Котельникова. Теорема об отсчетах непрерывного сообщения.
36. Векторное представление сигналов.
37. Постановка задачи об оптимальном приеме двоичных сигналов.
38. Средняя вероятность ошибки в двоичном канале.
39. Оптимальные алгоритмы приема двоичных сигналов.
Вопросы для подготовки к экзамену
3.4.5. Рекомендуемый перечень вопросов для внесения на междисциплинарный
итоговый государственный экзамен.
3.4.6. Рекомендуемые информационные источники.
Основная литература
1. Кудряшов Б. Теория информации: учебник для вузов. СПб.: Питер. 2009. 314с.
2. Кудряшов Б.Д. Теория информации: Учебное пособие. - СПб.: СПбГУ ИТМО, 2010. - 188
с. ( http://window.edu.ru/resource/746/72746/files/itmo495.pdf )
Дополнительная литература
1. Советов Б.Я. Теория информации. Ленинград: Изд-во ЛГУ.1987.
2. Дмитриев В.И. Прикладная теория информации. М., Высшая школа. 2006.
3. Игнатов В.А. Теория информации и передачи сигналов. М., Радио и связь. 2005.
4. Колесник В.Д., Полтырев Г.Ш. Курс теории информации. М., Наука. 2002
5. Галлагер Р. Теория информации и надежная связь. М., Советское радио. 1974.
11
Зюко А.Г., Кловский Д.Д., Назаров М.В., Финк Л.М. Теория передачи сигналов. М., Радио
и связь. 1986.
7. Кловский Д.Д. Теория передачи сигналов. М., Связь 1974.
8. Кловский Д.Д. Теория передачи сигналов в задачах. М., Связь 1974.
9. Кузмин И.В., Кедрус Р.А. Основы теории информации и кодирования Выща школа. 1986.
10. Горяинов В.Т. и др. Примеры и задачи по статистической радиотехнике. М., Советское
радио. 1970.
11. Кавчук С.В. Сборник примеров и задач по теории информации. – Таганрог: Изд.во ТГРУ,
2002.
6.
Периодическая литература (журналы)
1. «Информационные технологии»;
2. «Открытые системы»;
3. «Information Security/ Информационная безопасность»;
4. «Проблемы информационной безопасности. Компьютерные системы»;
5. «Информационное общество»;
6. «Информационные процессы».
Адреса сайтов в сети Интернет, где находится информация по содержанию дисциплины и
необходимая литература.
1. http://att.nica.ru
2. http://www.edu.ru/
3. http://window.edu.ru/window/library
4. http://www.intuit.ru/catalog/
3.4.7. Протокол согласования рабочей программы с другими дисциплинами
специальности (направления).
Наименование базовых дисциплин и
Предложения базовым дисциплинам об
Модулей (тем), усвоение которых
изменениях в пропорциях материала, порядок
необходимо для данной дисциплины
изложения, введение новых тем курса и т.д.
Математика
Информатика
Председатель УМКС ________________________(Ф.И.О.)
Ведущие лекторы ___________________________(Ф.И.О.)
Рейтинг – план дисциплины
Для УМКД второго поколения не предусмотрен
12
План – график самостоятельной работы студента.
Очная форма обучения
По дисциплине «Теория информации»
Факультет Информационных технологий
Специальность (направление) 230101.65 Вычислительные машины, комплексы, системы и сети
Семестр________________ часов в неделю (лек.-практ.-лаб.)_______________________________
факт. кол-во часов самост. работы ______________________________
Распределение часов
учебного плана
Распределение нормативного времени самостоятельной работы студентов
по неделям семестра
Другие виды
отчётности
на
изучение
теории
выполнени
е задания
всего
в том числе
страниц текста
Самост. работа
аудиторные
Вид
занятия
Объем
домашних
заданий
1
2
3
4
5
Лекции
Лабор.
занятия
Практич.
занятитя
РГР, КР,
КП
Итого
13
6
7
8
9
10
11
12
13
14
15
16
17
18
19
Лектор ____________________________________
14
Заочная форма обучения
По дисциплине «Теория информации»
Факультет Информационных технологий
Специальность (направление) 230101.65 Вычислительные машины, комплексы, системы и сети
Семестр________________ часов в неделю (лек.-практ.-лаб.)_______________________________
факт. кол-во часов самост. работы ______________________________
Распределение часов
учебного плана
Распределение нормативного времени самостоятельной работы студентов
по неделям семестра
Другие виды
отчётности
на
изучение
теории
выполнени
е задания
всего
в том числе
страниц текста
Самост. работа
аудиторные
Вид
занятия
Объем
домашних
заданий
1
2
3
4
5
Лекции
Лабор.
занятия
Практич.
занятитя
РГР, КР,
КП
Итого
Лектор ____________________________________
15
6
7
8
9
10
11
12
13
14
15
16
17
18
19
16
Методические основы изучения дисциплины.
5.1. Методические рекомендации (материалы) преподавателю.
Преподавание дисциплины «Теория информации» предусматривает:
- лекции;
- проведение практических занятий;
- использование компьютерных программ;
- опрос;
- консультации преподавателей;
- самостоятельная работа студентов.
Необходимо предусмотреть развитие форм самостоятельной работы, выводя
студентов к завершению изучения учебной дисциплины на её высший уровень.
Содержание лекции должно отвечать следующим дидактическим требованиям:
- изложение материала от простого к сложному, от известного к неизвестному;
- логичность, четкость и ясность в изложении материала;
Преподаватель, читающий лекционные курсы в вузе, должен знать существующие
в педагогической науке и используемые на практике варианты лекций, их дидактические и
воспитывающие возможности, а также их методическое место в структуре процесса
обучения.
Изучение дисциплины начинается с установочных лекций, в которых
раскрываются важнейшие фундаментальные закономерности курса, затем выдаются
варианты контрольных вопросов. Теоретическая подготовка к практическим занятиям и
выполнение их является самостоятельной работой студентов.
Практические занятия всегда идут за лекциями и проводятся в сессию. При
проведении их, так же как и при чтении лекций, рекомендуется пользоваться не только
аналитическим методом связей между явлениями, но и графическим (диаграммами,
графиками, схемами , рисунками).
Методические рекомендации по подготовке и проведению лекции
Лекции составляют основу теоретического обучения и дают систематизированные
основы научных знаний по дисциплине, раскрывают состояние и перспективы развития
соответствующей области науки, концентрируют внимание обучающихся на наиболее
сложных и узловых вопросах, стимулируют их активную познавательную деятельность и
способствуют формированию творческого мышления.
Ведущим методом в лекции выступает устное изложение учебного материала,
сопровождающееся демонстрацией видеофильмов, схем, плакатов, показом моделей,
приборов, макетов, использование мультимедиа аппаратуры.
Лекции читаются заведующими кафедрой, профессорами, доцентами и старшими
преподавателями, как правило, для лекционных потоков. В порядке исключения к чтению
лекций допускаются наиболее опытные преподаватели и ассистенты, имеющие учёную
степень или педагогический стаж не менее пяти лет.
Лекция является исходной формой всего учебного процесса, играет направляющую
и организующую роль в самостоятельном изучении предмета. Важнейшая роль лекции
заключается в личном воздействии лектора на аудиторию.
Подготовка лекции непосредственно начинается с разработки преподавателем
структуры рабочего лекционного курса по конкретной дисциплине. Руководством здесь
должна служить рабочая программа. Учебный план и рабочая программа служат основой
разработки рабочего лекционного курса.
Количество лекций определяется с учетом общего количества часов, отведенных
для лекционной работы.
Основные требования к лекции
17
 Глубокое научное содержание;
 Творческий характер;
 Информационная насыщенность;
 Единство содержания и формы;
 Логически стройное и последовательное изложение;
 Яркость изложения;
 Учёт характера и состава аудитории.
Типы лекций
1.
Учебно-программная лекция освещает главные, узловые вопросы темы.
2.
Установочная лекция своей задачей ставит организационную работу слушателей
по изучению предмета.
3.
Обзорная лекция читается на заключительном этапе изучения или курса.
Основное внимание в лекции сосредотачивается на глубоком, всестороннем
раскрытии главных, узловых, наиболее трудных вопросов темы. Уже на начальном этапе
подготовки лекции преподаватель решает вопрос о соотношении материалов учебника и
лекции. Он выделяет из учебника ведущие проблемы для более глубокого и всестороннего
раскрытия их в лекции.
Важным этапом является определение организационной структуры лекции,
распределение времени на каждый вопрос, вводную часть и заключение.
В ходе подготовки лекции необходимо:
– Определить основное содержание и расположение материала;
– Продумать: где, как, в какой мере использовать методологические
положения ведущих учёных; как использовать документы и другие
материалы;
– Продумать: где и в какой степени расположить материал воспитательного
характера;
– Продумать: какие предложить методические советы по самостоятельной
работе студентов;
– Продумать: как лучше использовать мультимедиа, наглядные пособия,
поясняющие какие-то основные, принципиальные положения лекции.
Педагогическая деятельность преподавателя
В круг задач лектора входят:
1. Установление и поддержание контакта с аудиторией;
2. Создание у слушателей интереса к предмету лекции;
3. Достижение убедительности речи;
4. Эмоциональное воздействие на слушателей;
5. Применение наглядных пособий (мультимедиа, фантомов, приборов и т.п.).
Начало лекции
Лектор должен сообщить чётко, ясно, не торопясь, название темы лекции, дать
возможность слушателям записать его.
Затем изложить вводную часть, в которой сказать:
– О роли и месте данной темы в курсе;
– Дать краткую характеристику литературы;
– Сообщить о распределении времени на тему;
– Если не первая лекция по теме, то провести связь с предшествующей
лекцией.
Далее сообщить план лекции, также дав возможность студентам записать вопросы.
Перед изложением каждого вопроса его надо называть. Завершается рассмотрение
вопроса небольшим выводом. Большую помощь в обобщении и фиксировании материала
оказывает сопровождение объяснен6ия демонстрацией материала с помощью
мультимедиа аппаратуры.
18
Начало лекции имеет большое значение для установления контакта с аудиторией,
для возбуждения у слушателей интереса к теме. В этих целях можно использовать яркий
пример или остро поставленный вопрос, подчеркнуть теоретическое и практическое
значение данной темы в тематическом плане курса и в практической деятельности.
Поддержание внимания слушателей на протяжении всей лекции достигается:
– Логикой изложения материала;
– Глубиной содержания материала;
– Чётким формулированием положений;
– Использованием в лекции новых интересных данных;
– Использование мультимедиа;
– Включение в лекцию материалов из практической деятельности.
Созданию непринужденной, творческой обстановки на лекции способствует
тактичное обращение преподавателя к опыту аудитории, когда он ставит студентов в
определённую ситуацию, дающую им возможность самим прийти к необходимым
выводам.
Лектору следует избегать слов-сорняков и в то же время канцеляризмов в ходе
чтения лекции.
Одним из сложных вопросов методики чтения лекции является обращение с
текстом. Привязанность к тексту вследствие плохой подготовки, недостаточного владения
материалом приводит к ослаблению связи с аудиторией. В то же время не следует, не
владея соответствующими навыками, пытаться проводить лекцию без текста, по памяти.
При этом допускаются ошибки, повторения, ослабление логической нити рассуждения,
пропуски отдельных важных положений темы и т.п.
Важное условие успеха – интонация и выразительность речи, оптимальность её
ритма и темпа, включение элементов юмора и т.п.
Определяя ритм и темп речи, преподаватель учитывает, что слушатели записывают
основные положения, поэтому изменением голоса, паузами, ударениями он облегчает
слушателям усвоение логики лекции, даёт возможность записать основные тезисы.
Заключительная часть лекции
В ней обобщаются наиболее важные, существенные вопросы лекции; делаются
выводы, ставятся задачи для самостоятельной работы.
Существует твёрдый порядок, требующий, чтобы в конце лекции преподаватель
оставил несколько минут для ответов на вопросы.
Методические рекомендации по подготовке и проведению практических занятий
Практические занятия являются одним из основных этапов в процессе обучения,
составляя вместе с лекционным курсом единый комплекс подготовки специалиста.
Практические занятия проводятся в пределах учебных планов. Как семинарские,
так и лабораторные занятия требуют предварительной теоретической подготовки по
соответствующей теме: изучения учебной и дополнительной литературы, в необходимых
случаях ознакомления с нормативным материалом (или описанием соответствующей
аппаратуры).
Рекомендуется при этом вначале изучить вопросы темы по учебной литературе.
Если по теме прочитана лекция, то непременно надо использовать материал лекции, так
как учебники часто устаревают уже в момент выхода в свет. Кроме того, у преподавателя
может иметься и собственный взгляд на те или иные проблемы.
Планирование практических и лабораторных занятий осуществляется с учётом
установленного количества часов.
Основные этапы планирования и подготовки занятий:
– разработка системы занятий по теме или разделу;
– определение задач и целей занятия;
19
определение оптимального объема учебного материала, расчленение на ряд
законченных в смысловом отношении блоков, частей;
– разработка структуры занятия, определение его типа и методов обучения;
– нахождение связей данного материала с другими дисциплинами и использование
этих связей при изучении нового материала;
– подбор
дидактических средств (фильмов, карточек, плакатов, схем,
вспомогательной литературы);
– планирование записей и зарисовок на доске;
– определение объема и форм самостоятельной работы на занятии;
– определение форм и методов контроля знаний студентов;
– определение формы подведения итогов;
– определение самостоятельной работы по данной теме.
Можно рекомендовать следующие основные этапы проведения занятия:
– организационный момент: взаимное приветствие преподавателя и студентов,
проверка отсутствующих, проверка внешнего состояния аудиторий, проверка
рабочих мест и внешнего вида студентов, организация внимания;
– постановка целей занятия: обучающей, развивающей, воспитывающей;
– планируемые результаты обучения: что должны студенты знать и уметь;
– проверка знаний: устный опрос, фронтальный опрос, программированный опрос,
письменный опрос, комментирование ответов, оценка знаний, обобщение по
опросу;
– изучение нового материала по теме:
 организация внимания;
 проблемная ситуация;
 объяснение, беседа;
 связь с предыдущим материалом;
 использование технических средств обучения;
 межпредметные связи;
 воспитательная значимость объяснения;
 развитие умственных способностей студентов в процессе объяснения,
обобщения.
– закрепление материала предназначено для того, чтобы студенты запомнили
материал и научились использовать полученные знания (активное мышление).
Формы закрепления:
 демонстрация студентам фильма;
 решение задач;
 групповая работа (коллективная мыслительная деятельность).
– домашнее задание:
 работа над текстом учебника;
 выполнение упражнений и решение задач;
 выполнение письменных и графических работ.
При проведении практических и лабораторных занятий преподаватель уделяет
внимание формулировкам выводов, способности студентов сравнивать, анализировать,
находить несоответствия, оценивает уровень знаний студентов.
При подведении итогов преподаватель знакомит студентов с результатами
выполнения заданий, оценивает качество выполненной работы каждым студентом.
Методические рекомендации по организации контроля знаний
Для проверки знаний рекомендуется применять метод тестирования, который
отличается объективностью, экономит время преподавателя, в значительной мере
освобождает его от рутинной работы и позволяет в большей степени сосредоточиться на
творческой части преподавания, дает возможность в значительной мере
индивидуализировать процесс обучения путем подбора индивидуальных заданий для
20
–
практических занятий, индивидуальной и самостоятельной работы, позволяет
прогнозировать темпы и результативность обучения каждого студента.
Тестирование помогает преподавателю выявить структуру знаний студентов и на
этой основе переоценить методические подходы к обучению по дисциплине,
индивидуализировать процесс обучения. Весьма эффективно использование тестов
непосредственно в процессе обучения, при самостоятельной работе студентов.
В представленном курсе используются следующие виды контроля:
 входной контроль знаний и умений при начале изучения дисциплины;
 текущий контроль, то есть регулярное отслеживание уровня усвоения материала на
лекциях и семинарских занятиях;
 промежуточный контроль по окончании изучения раздела курса;
 самоконтроль, осуществляемый в процессе изучения дисциплины при подготовке к
контрольным мероприятиям;
 итоговый контроль по дисциплине в виде зачета или экзамена.
Для повышения эффективности самоконтроля в учебно-методических разработках
(в электронном курсе лекций, в методических указаниях к семинарским занятиям) после
каждой темы представлены контрольные вопросы и задания.
Подведение итогов и оценка результатов всех форм самостоятельной работы
осуществляется во время консультаций. Она может проходить в письменной, устной или
смешанной форме с представлением обучающимися конспектов, тезисов и рефератов.
Проверку выполненных заданий и тестов осуществляет преподаватель, читающий
дисциплину.
Итоговой формой контроля является зачет или экзамен.
Методические рекомендации по организации самостоятельной работы студентов
Целью индивидуальных (самостоятельных) занятий является самостоятельное
более глубокое изучение студентами отдельных вопросов курса с использованием
рекомендуемой дополнительной литературы и других информационных источников.
В целом самостоятельная работа студентов направлена на более глубокое
изучение студентами отдельных вопросов курса с использованием рекомендуемой
дополнительной литературы и других информационных источников и включает:
– самостоятельное изучение студентами отдельных вопросов, связанных с
отдельными частями курса. Необходимые для занятий информационные
материалы предоставляются студентам в электронном виде;
– перечень разделов курса, представляемых студентам в форме раздаточного
материала с пометкой «самостоятельно»;
– дополнительная проработка лекционных материалов по записям прочитанных
лекций и представленного раздаточного материала по тематике курса;.
– подготовка к участию в работе семинаров (практических занятий) по
предусмотренным программой темам;
– подготовка и представление рефератов по отдельным вопросам по требованию
преподавателя. Перечень ориентировочных тем рефератов приведен в
Методических рекомендациях для выполнения самостоятельной работы
студентами;
– формирование неясных вопросов для их рассмотрения во время лекционных и
практических занятий с помощью преподавателя.
Для более глубокого изучения курса преподаватель может предлагать студентам в
рамках СРС подготовку докладов и рефератов. Примеры некоторых тем рефератов и
докладов по рассматриваемой дисциплине приведены в методических рекомендациях по
выполнению самостоятельной работы студентов.
21
Форму оценки и контроля СРС преподаватель выбирает самостоятельно в
зависимости от индивидуальных качеств обучаемого и выбранной формы организации
самостоятельной работы.
Критериями оценки результатов внеаудиторной самостоятельной работы
являются:
– уровень освоения учебного материала;
– полнота представлений, знаний и умений по изучаемой теме, к которой относится
данная самостоятельная работа;
– обоснованность и четкость изложения ответа на поставленный по внеаудиторной
самостоятельной работе вопрос;
– оформление отчетного материала в соответствии с известными или заданными
преподавателем требованиями, предъявляемыми к подобного рода материалам.
5.2. Задания студентам по изучению дисциплины.
ОБЩИЕ УКАЗАНИЯ
Успешное освоение дисциплины предполагает активное, творческое участие
студента путем планомерной, повседневной работы.
Изучение дисциплины следует начинать с проработки рабочей программы, особое
внимание, уделяя целям и задачам, структуре и содержанию курса.
САМОСТОЯТЕЛЬНАЯ РАБОТА
2.1. САМОСТОЯТЕЛЬНАЯ РАБОТА СТУДЕНТОВ ПО ИЗУЧЕНИЮ
ПРОГРАММНЫХ материалов
Самостоятельная работа студентов по изучению программных материалов является
основным видом учебных занятий по дисциплине "Сети ЭВМ и средства
телекоммуникаций".
Умение самостоятельно работать необходимо не только для успешного овладения
курсом обучения, но и для творческой деятельности в учреждениях, учебных заведениях.
Следовательно, самостоятельная работа является одновременно и средством, и целью
обучения.
Основными видами самостоятельной работы студентов по курсу дисциплины
являются:
работа на лекциях;
выполнение практических заданий;
выполнение курсового проекта;
самостоятельная работа над учебными материалами с использованием
конспектов и рекомендуемой литературы;

групповые и индивидуальные консультации;

подготовка к экзамену.




На лекциях излагаются лишь основные, имеющие принципиальное значение и
наиболее трудные для понимания и усвоения теоретические и практические вопросы.
Теоретические знания, полученные студентами на лекциях и при самостоятельном
изучении курса по литературным источникам, закрепляются при выполнении
лабораторных и контрольных работ.
Целями проведения практических занятий являются:

обучение
студентов
умению
использовать
имеющиеся
шаблоны
оформления;
22


контроль самостоятельной работы студентов по освоению курса;
обучение навыкам профессиональной деятельности.
При выполнении курсового проекта обращается особое внимание на выработку у
студентов умения пользоваться научно-технической литературой, грамотно выполнять и
оформлять документацию.
Текущая работа над учебными материалами представляет собой главный вид
самостоятельной работы студентов. Она включает обработку конспектов лекций путем
систематизации материала, заполнения пропущенных мест, уточнения схем и выделения
главных мыслей основного содержания лекции. Для этого используются имеющиеся
учебно-методические материалы и другая рекомендованная литература.
Просмотрите конспект сразу после занятий, отметьте материал конспекта лекций,
который вызывает затруднения для понимания. Попытайтесь найти ответы на
затруднительные вопросы, используя рекомендуемую литературу.
Работу с литературой рекомендуется делать в следующей последовательности:
беглый просмотр (для выбора глав, статей, которые необходимы по изучаемой теме);
беглый просмотр содержания и выбор конкретных страниц, отрезков текста с пометкой их
расположения по перечню литературы, номеру страницы и номеру абзаца;
конспектирование прочитанного.
Регулярно отводите время для повторения пройденного материала, проверяя свои
знания, умения и навыки по контрольным вопросам.
Если самостоятельно не удалось разобраться в материале, сформулируйте вопросы
и обратитесь за помощью к преподавателю на консультации.
На групповых и индивидуальных консультациях студенты завершают уточнение
учебных материалов применительно к подготавливаемым мероприятиям (зачет,
выполнение курсовой работы и др.).
Подготовка к зачету и экзамену осуществляется студентами самостоятельно.
Сокращение аудиторных занятий обусловливает необходимость увеличения
самостоятельной творческой работы студентов с учебными пособиями.
Представленные в УМК знания и умения не могут передаваться от преподавателя к
студентам. Они должны стать предметом самоорганизации совместно с преподавателями
порождаемого знания о педагогической деятельности. Студент становится субъектом
образования, включаясь в совместную с преподавателем работу по изменению
содержания изучаемого материала, присутствующего в фактах, предметах, явлениях,
символах, моделях, - во всем, что изучается не только для количественного накопления
знаний, но и для придания им качественных смыслов.
Приступая к изучению дисциплины «Теория информации» студенты должны
ознакомиться с учебной программой, учебной, научной и методической литературой,
имеющейся в библиотеке.
В ходе лекций необходимо вести конспектирование учебного материала, обращать
внимание на понятия, формулировки, термины, раскрывающие содержание излагаемого
материала. Задавайте преподавателю уточняющие вопросы с целью уяснения отдельных
теоретических положений, формулировки терминов.
При подготовке к практическим и лабораторным занятиям изучите основную
литературу, ознакомьтесь с дополнительной литературой. Подготовьте тезисы для
выступлений по учебным вопросам, выносимым на занятия. Составьте план-конспект
своего выступления. В ходе занятия принимайте активное участие в обсуждении
рассматриваемых вопросов, выступайте с докладами, рефератами, обзорами научных
статей. Для более глубокого изучения материала задавайте преподавателю уточняющие
вопросы, при подготовке к экзамену или зачету повторите пройденный материал в
соответствии с перечнем учебных вопросов, выносящихся на экзамен.
23
5.3. Методические указания по выполнению рефератов, курсовых,
самостоятельных творческих работ.
Требования к оформлению:
1. реферат должен содержать: титульный лист, аннотацию, содержание (оглавление),
текст реферата, список используемых источников, приложения.
2. объем реферата не менее 10 страниц формата А4, шрифт TimesNewRoman, кегль 14
пт, междустрочный интервал -1,5, выравнивание текста – по ширине, нумерация
страниц в нижнем колонтитуле;
3. на титульном листе указывается: название реферата, Фамилия И.О. исполнителя,
факультет, специальность, курс, группа;
4. список использованных источников - не менее 3-х, полное указание выходных
данных для книжных и периодических изданий, адреса сайтов с которых
заимствован материал, по тексту реферата должны быть ссылки на источники;
5. реферат должен содержать достоверные и актуальные сведения на достаточном
научном уровне;
6. реферат, кроме текста (формат .doc), может дополнительно содержать:
7. качественные цветные иллюстрации;
8. фрагменты программ;
9. исполняемые модули;
10. фрагменты информационных систем;
11. презентации;
12. другие материалы, качественно дополняющие основную часть реферата;
24
Педагогические измерительные материалы.
1. Предметом исследования кибернетики являются:
системы, рассматриваемые абстрактно, вне зависимости от их материальной природы
строго материальные системы
только системы автоматизированного производства
2. Сущность принципа управления заключается в том, что:
движение и действие больших масс или передача и преобразование больших количеств
энергии направляется и контролируется при помощи еще больших количеств энергии
движение и действие больших масс или передача и преобразование больших
количеств энергии направляется и контролируется при помощи небольших
количеств энергии, несущих информацию
движение и действие малых масс или передача и преобразование малых количеств
энергии направляется и контролируется при помощи больших количеств энергии
3. Теория информации изучает:
аспекты использования данных
измерение информации, ее потока, "размеров" канала связи и т.п.
абстрактные категории различных математических объектов
4. При формальном представлении информации:
ряду однородных объектов ставится в соответствие некий код, позволяющий
индентифицировать любой объект из данных однородных объектов по этому коду
совокупности объектов ставится в соответствие формальный код
каждому описываемому объекту или понятию ставится в соответствие некоторый
числовой код
5. Информация может быть нескольких типов:
Непрерывная
Частотная
Повторная
Устойчивая
Дискретная
6. Чем ниже частота дискретизации, тем:
точнее происходит перевод непрерывной информации в дискретную
менее точно происходит перевод непрерывной информации в дискретную
более эффектинее и быстрее происходит перевод непрерывной информации в дискретную
7. Суть теоремы о выборках заключается в том, что:
частота дискретизации должна быть 44.1КГц
для точной дискретизации ее частота должна быть не менее чем в три разы выше
наибольшей частоты гармоники, входящей в дискретизируемую величину
для точной дискретизации ее частота должна быть не менее чем в два разы выше
наибольшей частоты гармоники, входящей в дискретизируемую величину
8. АВМ служит для:
обработки дискретной информации
обработки непрерывной информации
определения повторных величин
25
1. Информация - это:
объект, несущий в себе определенное значение
материальная сущность, при помощи которой с любой точностью можно описывать любые сущности
нематериальная сущность, при помощи которой с любой точностью можно описывать реальные,
виртуальные и понятийные сущности
2. Общая схема передачи информации имеет вид:
исходная информация - шифровка - сжатие - шумозащитное кодирование - канал связи - декодирование
шумозащитных кодов - дешифровка - распаковка - полученная информация
исходная информация - сжатие - шифрование - шумозащитное кодирование - канал связи (проявляется
действие шумов) - декодирование шумозащитных кодов - распаковка - дешифровка - полученная
информация
исходная информация - шифровка - сжатие - канал связи - распаковка - дешифровка - полученная
информация
исходная информация - шифровка - сжатие - шумозащитное кодирование - канал связи
(проявляется действие шумов) - декодирование шумозащитных кодов - распаковка - дешифровка полученная информация
исходная информация - сжатие - шумозащитное кодирование - канал связи - декодирование
шумозащитных кодов - дешифровка - полученная информация
3. Если дискретные случайные величины X и Y заданы законами распределения P(X=Xi)=pi,
P(Y=Yj)=qj и совместным распределением P(X=Xi,Y=Yj)=pij, то количество информации,
содержащейся в X относительно Y равно:
4. HX + HY - H(X,Y) =
5. Значения дискретной случайной величины X1 и X2 определяются подбрасыванием двух идеальных
монет, а дискретная случайная величина Y равна сумме количества "гербов", выпавших при
подбрасывании этих монет. В Y содержится:
I(Y, X1) = 1.5 бит/сим информации об X1
I(Y, X1) = 0.5 бит/сим информации об X1
I(Y, X1) = 5.0 бит/сим информации об X1
6. Определить характер зависимости между X1 и Z, если задана дискретная случайная величина
Z=(X1+1)2-X2, где независимые дискретные случайные величины X1, X2 могут с равной вероятностью
принимать значение либо 0, либо 1:
невозможно определить характер зависимости, т.к. Z - функция от X_1
Z полностью определяет X_1 и, следовательно, X_1 - это функция от Z
X_1 и Z - не зависимы
26
7. Дискретные случайные величины X1 и X2 определяются подбрасыванием двух идеальных
тетраэдров, грани которых помечены числами от 1 до 4. Дискретная случайная величина Y равна
сумме чисел, выпавших при подбрасывании этих тетраэдров, т.е. Y=X1+X2. Вычислить HY:
8. Канал связи представляет собой:
среду передачи информации
средства для передачи информации
совокупность средств, преобразующих информацию
9. Клод Шеннон предложил способ изменения количества информации:
средствами визуального определения
путем непосредственного использования символов
содержащейся в одной случайной величине, относительно другой случайной величины
10. Укажите свойства меры информации и энтропии:
если X константа, то HX = 0
I(X,Y) = HX + HY - H(X,Y), где
если X, Y независимы, то I(X,Y) = 0
I(X,Y) = 0 только если
I(X,Y) = I(Y,X)
11. Определить HX1, если задана дискретная случайная величина Z=(X1+1)2-X_2, где независимые
дискретные случайные величины X1, X_2 могут с равной вероятностью принимать значение либо 0,
либо 1:
I(Z,X1) = I(X1,X1) = HX1 = 1 бит/сим
I(Z,X1) = I(X1,X1) = HX1 = 1.5 бит/сим
HX1 = 2 бит/сим
12. Кодирование представляет собой:
преобразование дискретной информации
преобразование аналоговой информации
искусственное создание помех в канале связи при передаче информации
13. Если непрерывные случайные величины X, Y заданы плотностями распределения вероятностей
pX(t1), pY(t2) и pXY(t1,t2), то количество информации, содержащейся в X относительно Y равно:
27
14. Известно что
. Для каждого i pij равно либо qj, либо 0 при условии:
HX = I(X,X) = I(X,Y)
15. Функция f-инъекция, если:
на разных значениях аргумента она принимает одинаковые значения
на разных значениях аргумента она принимает разные значения
она зависит от двух и более аргументов
в роли аргумента выступает функция
16. Найти энтропию дискретной случайной величины X, заданной распределением
17. Определить HZ, если задана дискретная случайная величина Z=(X1+1)2-X2, где независимые
дискретные случайные величины X1, X2 могут с равной вероятностью принимать значение либо 0,
либо 1:
HZ = 1 бит/сим
HZ = 2.5 бит/сим
HZ = 2 бит/сим
18. Дискретные случайные величины X1 и X2 определяются подбрасыванием двух идеальных
тетраэдров, грани которых помечены числами от 1 до 4. Дискретная случайная величина Y равна
сумме чисел, выпавших при подбрасывании этих тетраэдров, т.е. Y=X1+X2. Вычислить I(X1,Y):
1. Префиксным называется кодирование:
при котором каждый код не является префиксом другого кода
при котором каждый код является префиксом другого кода
при котором каждому коду соответствует определенный префикс из таблицы значений
2. Перед испытуемым человеком зажигается одна из N лампочек, которую он должен указать.
Проводится большая серия испытаний, в которых каждая лампочка зажигается с определенной
вероятностью pi, где i - это номер лампочки. Среднее время, необходимое для правильного ответа
испытуемого, пропорционально:
числу лампочек N
величине энтропии
28
3. Если задана функция
, где s-это предложение, смысловое содержание
которого измеряется, p(s) - вероятность истинности s, то если
:
4. Найти среднюю длину code3 для дискретной случайной величины X:
ML3(X)=2.2 бит/сим
ML3(X)=2.8 бит/сим
ML3(X)=3 бит/сим
5. Найти среднюю длину code4 для дискретной случайной величины X:
ML3(X)=2.8 бит/сим
ML3(X)=3 бит/сим
ML4(X)=2.2 бит/сим
6. По теории Шеннона:
смысл сообщений НЕ имеет никакого отношения к теории информации
смысл сообщений имеет прямое отношения к теории информации
нельзя дать точный ответ насчет зависимости между смыслом сообщений и теории информации
7. Энтропия определяет:
теорию информации
меру уравновешенности системы
раздел кибернетики
способ кодирования информации
8. Если задана функция
, где s-это предложение, смысловое содержание
которого измеряется, p(s) - вероятность истинности s, то эта функция обладает свойствами:
если s-истинно, то
если
- истинно, то
если
- истинно, то
29
9. Найти среднюю длину code2 для дискретной случайной величины X:
ML2(X)=3 бит/сим
ML2(X)=2.2 бит/сим
ML2(X)=3.2 бит/сим
10. Найти среднюю длину code4 для дискретной случайной величины X:
ML3(X)=2.8 бит/сим
ML3(X)=3 бит/сим
ML4(X)=2.2 бит/сим
11. Энтропия дискретной случайной величины представляет собой:
среднее количество бит, которое нужно передавать по каналу связи о текущем значении данной
дискретной случайной величины, чтобы полностью описать ее
максимум среднего количества бит, которое нужно передавать по каналу связи о текущем значении
данной дискретной случайной величины
минимум среднего количества бит, которое нужно передавать по каналу связи о текущем
значении данной дискретной случайной величины
12. Найти среднюю длину code1 для дискретной случайной величины X:
ML1(X)=2.2 бит/сим
ML1(X)=3.5 бит/сим
ML1(X)=3 бит/сим
13. Дискретная случайная величина X равна количеству "гербов", выпавших на двух идеальных
монетках. Найти энтропию X:
HX=1.5 бит/сим
HX=2.5 бит/сим
HX=1.8 бит/сим
1. Размер сжатия:
может быть сколь угодно большим
не может быть больше некоторого теоретические предела
ограничивается лишь потребностями пользователя
2. Выбрать верные утверждения:
30
для любой дискретной случайной величины
и любого ее кода
для любой дискретной случайной величины
и любого ее кода
3. Суть основной теоремы о кодировании при отсутствии помех заключается в том, что:
при очень малой длине n сообщения, при кодировании методом Шеннона-Фэно всего сообщения
целиком среднее количество бит на единицу сообщения будет сколь угодно мало отличаться от энтропии
единицы сообщения. Данное правило действует только на короткие сообщения
с ростом длины n сообщения, при кодировании методом Шеннона-Фэно всего сообщения целиком
среднее количество бит на единицу сообщения будет очень удалено от энтропии единицы сообщения
с ростом длины n сообщения, при кодировании методом Шеннона-Фэно всего сообщения
целиком среднее количество бит на единицу сообщения будет сколь угодно мало отличаться от
энтропии единицы сообщения
4. Вычислить ML1(X) для блочного кода Хаффмена для X. Длина блока - 2 бита:
1.3 бит/сим
1.7 бит/сим
1.56 бит/сим
5. Недостатками кодирования, основанного на основной теореме о кодировании при отсутствии
помех, являются:
такое кодирование делает невозможным отправку сообщения по частям
отправка сообщения по частям происходит очень медленно
исходная длина кода не должна передаваться вместе с сообщением
необходимость отправки или хранения собственно полученного кода вместе с его исходной длиной
6. Вычислить HX для кодов Хаффмена и Шеннона-Фэно для X. Дискретная случайная величина X
задается следующим распределением вероятностей:
7. Максимально плотно сжимает метод:
Хаффмена
Шеннона-Фэно
Винера
8. Вместе с собственно сообщением нужно передавать таблицу кодов для метода:
Винера
Шеннона-Фэно
Берга
9. По методу Хаффмена код строится:
на основе реляционной теории
структуры
Хаффмена
при помощи двоичного дерева
посредством линейной
31
10. Вычислить ML(X) для кода Хаффмена для X. Дискретная случайная величина X задается
следующим распределением вероятностей:
32