МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ Федеральное государственное образовательное учреждение

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ
Федеральное государственное образовательное учреждение
высшего профессионального образования
«Чувашский государственный университет имени И.Н.Ульянова»
Факультет дизайна и компьютерных технологий
«УТВЕРЖДАЮ»
Проректор по учебной работе
______________ А.Ю. Александров
«______»______________ 20__ г.
РАБОЧАЯ ПРОГРАММА ДИСЦИПЛИНЫ
«Теория информации»
Направление подготовки
230100 Информатика и вычислительная техника
Профиль подготовки
Операционные среды САПР
Квалификация (степень) выпускника
Магистр
Форма обучения
очная
Чебоксары
2011
Рабочая программа основана на требованиях Федерального государственного стандарта
высшего профессионального образования по направлению подготовки 230100 Теория языков
программирования и методы трансляции, утвержденного Приказом Минобрнауки 9.11.2009 №
553.
Составитель: доцент NNNNNNNN (фамилия, имя, отчество) ____________
Рабочая программа рассмотрена и одобрена на заседании обеспечивающей кафедры –
компьютерных технологий (протокол № _____ от ___________2010 г.)
Зав. кафедрой: профессор Желтов Валериан Павлович
Рабочая программа согласована с Методической комиссией выпускающего факультета
Дизайна и компьютерных технологий.
Председатель комиссии, декан: профессор Желтов Валериан Павлович____________
СОГЛАСОВАНО:
Зам. начальника УМУ: доцент М.Ю. Харитонов ____________
1. Цели освоения дисциплины
Изучение основных понятий теории информации и ее приложений к теории и практике
кодирования и декодирования сообщений.
2. Место дисциплины в структуре ООП магистра
Дисциплина входит в вариативную часть профессионально цикла образовательной
программы магистра. Дисциплина базируется на дисциплинах «Высшая математика» (раздел
алгебры), «Теория вероятности и математическая статистика» и является основой для изучения
дисциплин «Основы информационной безопасности», «Криптографические методы и средства
обеспечения информационной безопасности», «Вычислительные сети».
3. Компетенции обучающегося, формируемые в результате освоения дисциплины
Процесс изучения дисциплины направлен на формирование следующих компетенций:
Способен к самостоятельному обучению новым методам исследования, к изменению
научного и научно-производственного профиля своей профессиональной деятельности (ОК - 2);
Применять перспективные методы исследования и решения профессиональных задач на
основе знания мировых тенденций развития вычислительной техники и информационных
технологий (ПК - 1).
В результате освоения дисциплины обучающийся должен:

Знать: объект курса (обеспечение информационной безопасности ее элементный
состав); предмет курса (возможности источников информации и возможности информационного
канала); задачи курса (выбор показателей количества информации и пропускной способности
канала и методов их расчета); место теории информации, как базовой дисциплины для других
курсов; понятие количественной меры информации; понятие условной энтропии и взаимной
информации; понятие дискретного источника сообщений с памятью; понятие избыточности
дискретного источника сообщений; понятие производительности источника дискретных
сообщений и скорости передачи информации; теорему Шеннона для канала без шума;
математическую модель дискретизированного сигнала и спектр дискретизированного сигнала.
 Уметь: согласовать дискретный источник с дискретным каналом; согласовать дискретный
источник с дискретным каналом с шумом; построить помехоустойчивые коды, учитывая
информационный предел избыточности; выбирать, параметры квантования и дискретизации для
непрерывного сообщения; применять теорему Котельникова; оценить ошибки дискретизации и
квантования; оценить информацию в непрерывных сообщениях, то есть энтропию и εпроизводительность источника непрерывных сообщений; определить пропускную способность
непрерывного канала; использовать информационный подход к оценке качества
функционирования систем связи.

Владеть: решением задач на базисе знаний теории информации.
4. Структура и содержание дисциплины
4.1. Структура дисциплины
Общая трудоемкость дисциплины составляет 6 зачетных единиц, 216 часов.
Семестр
Неделя семестра
№
п/п
Виды учебной работы, включая самостоятельную
работу студентов и трудоемкость (в часах)
Раздел
дисциплины
1
Введение.
Понятие
информации
и
источника
сообщения.
Энтропия
источников.
Дискретные
источники
сообщений.
Дискретные
источники
без памяти.
9
1
4
2
Теоремы
Шеннона
об
источниках.
Источники
информации.
Марковские
и
эргодические
источники.
Теорема
о
высоковероятностных
последовательностях.
9
23
4
6
10
3
Энтропия
вероятностной схемы.
Аксиомы Хинчина и
Фадеева. Условная
энтропия.
9
4
4
7
11
4
Взаимная
информация
и
ее
свойства.
Информационная
дивергенция.
Скорость
создания
информации. Граница
Симмонса.
9
5
4
7
18
Лекции
Практ.
зан.
8
8
Лабор.
зан.
КСР
*
СРС
**
Всего
5
17
Из
ауд.
зан. в
интер.
форме
Формы
текущего
контроля
успеваемости
(по неделям
семестра)
Форма
промежуточной
аттестации (по
семестрам)
5
Равномерное
кодирование
источника
сообщений.
Префиксные
коды.
Неравенство Крафта.
Оптимальное
кодирование.
6
67
10
7
17
Кодирование
и декодирование при
наличии
шумов.
Постановка задачи.
Корректирующие
свойства
кодов.
Кодирование
и
декодирование
по
Хэммингу.
Линейные
коды.
Параметры кодов и
их границы.
89
5
9
7
19
10
11
10
9
7
19
8
Групповые
коды.
Порождающая
и
проверочная матрицы
и их свойства.
Код Хэмминга.
12
13
10
9
7
19
9
Циклические коды.
14
4
9
7
19
10
БЧХ
–
коды.
Сверточные коды.
15
5
9
7
19
11
Математическая
модель канала связи.
Пропускная
способность канала
связи.
Прямая и обратная
теоремы
кодирования.
16
17
10
9
7
19
70
70
74
216
7
Итого
9
2
экзамен
* Контроль самостоятельной работы: аудиторные занятия для проверки самостоятельной работы
студентов, приема зачета, проведения текущих консультаций.
** Самостоятельная работа студента, включая курсовой проект, курсовую работу, расчетно-графические
работы.
4.2. Содержание лекционных занятий
1.
Введение. Понятие информации и источника сообщения. Энтропия источников.
Дискретные источники сообщений. Дискретные источники без памяти.
2.
Теоремы Шеннона об источниках. Источники информации. Марковские и
эргодические источники. Теорема о высоковероятностных последовательностях.
3.
Энтропия вероятностной схемы. Аксиомы Хинчина и Фадеева. Условная энтропия.
4.
Взаимная информация и ее свойства. Информационная дивергенция. Скорость
создания информации. Граница Симмонса.
5.
Равномерное кодирование источника сообщений. Префиксные коды. Неравенство
Крафта. Оптимальное кодирование.
6.
Кодирование и декодирование при наличии шумов. Постановка задачи.
7.
Корректирующие свойства кодов. Кодирование и декодирование по Хэммингу.
Линейные коды. Параметры кодов и их границы.
8.
Групповые коды. Порождающая и проверочная матрицы и их свойства. Код Хэмминга.
9.
Циклические коды.
10. БЧХ – коды. Сверточные коды.
11. Математическая модель канала связи. Пропускная способность канала связи. Прямая и
обратная теоремы кодирования.
4.3. Содержание практических занятий
1.
2.
3.
4.
5.
6.
7.
8.
Дискретные источники сообщений. (8 часов)
Взаимная информация. (8 часов)
Кодирование сообщений при отсутствии шума. (9 часов)
Порождающая и проверочные матрицы групповых кодов. (9 часов)
Коды Хэмминга. (9 часов)
Циклические коды. (9 часов)
Сверточные коды. (9 часов)
Пропускная способность каналов связи. (9 часов)
5. Образовательные технологии
В процессе изучения дисциплины используются:
• раздаточный материал для изучения лекционного материала;
• учебный материал в электронном виде;
• контрольные программы по курсу для подготовки к сдаче семестровой аттестации и экзамена;
• программное обеспечение в соответствии с содержанием дисциплины;
6. Учебно-методическое обеспечение самостоятельной работы студентов. Оценочные
средства для текущего контроля успеваемости, промежуточной аттестации по итогам
освоения дисциплины.
6.1. Перечень заданий для самостоятельной работы и проведения текущего контроля.
1.
Подготовка к лекциям, повторение учебного материала предыдущих лекций.
2.
Подготовка к практическим занятиям, повторение изучения лекционного материала.
3.
Изучение материалов лекционного курса по заданиям на самостоятельную проработку,
выдаваемых преподавателем на занятиях.
4.
Модели дискретных источников информации на примере печатных текстов.
5.
Модели Марковских источников информации.
6.
Модели бинарных симметричных и стирающих каналов.
7.
Реализации кодирующих и декодирующих устройств для корректирующих кодов.
6.3. Перечень вопросов к промежуточной аттестации.
1.
2.
Понятие информации и источника сообщения.
Энтропия источников.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
Теоремы Шеннона об источниках.
Марковские и эргодические источники.
Теорема о высоковероятностных последовательностях.
Аксиомы Хинчина и Фадеева.
Условная энтропия.
Скорость создания информации.
Граница Симмонса.
Неравенство Крафта.
Оптимальное кодирование.
Кодирование и декодирование при наличии шумов.
Кодирование и декодирование по Хэммингу.
Групповые коды.
Математическая модель канала связи.
Пропускная способность канала связи.
Прямая и обратная теоремы кодирования.
БЧХ – коды.
Сверточные коды.
Циклические коды.
7. Учебно-методическое и информационное обеспечение дисциплины
а) основная литература:
1.
Б.Б. Самсонов, Е.М. Плохов, А.И. Филоненков, Т.В. Кречет "Теория информации и
кодирования" Феникс 2002. г.
2.
Котоусов А.С. "Теория информации" 2003 г.
3.
Дмитриев В.И. Прикладная теория информации. М.: Высшая школа.1989. 320с
4.
Коган И.М. Прикладная теория информации. М. Радио и связь.1981.216с.
5.
Плтапов В.Н. "Теория информации, кодирование дискретных вероятностных
источников".
6.
Лидовский В.В. "Теория информации"
7.
Блейхер Р. Теория и практика кодов, контролирующих ошибки— М.: Мир, 1986.
8.
Винер Н. Кибернетика— М.: Наука; 1983.
9.
Мастрюков Д. Алгоритмы сжатия информации //''Монитор" 7/93-6/94.
10. Питерсон Р., УЭЛДОН Э. Коды, исправляющие ошибки— М.: Мир, 1976.
11. Плотников В. Алгоритмическая реализация криптографического метода RSA //Монитор" 2/94.
12. Чисар И., Кернер Я. Теория информации— М.: Мир; 1985.
13. Шеннон К. Работы по теории •информации и кибернетики— М., Издательство
иностранной литературы, 1.963.
14. Введение в криптографию /Под общей редакцией В. В. Ящеыко.— М.: МПНМО:
"ЧеРо", 2000.
15. Марков А. А. Введение в теорию кодирования. М.; Наука. 1982.
16. Питерсон У., Уалдон Э .Коды, исправляющие ошибки. М,: Мир, 1576
б) дополнительная литература
1.
Галлагер, Роберт Дж. Теория информации и надежная связь: Пер. с англ./ Роберт Дж.
Галлагер; Ред. М. С. Пинскер, Ред. Б. С. Цыбаков. - М.: Советское радио, 1974. - 719[1] с.
2.
Тарасенко, Феликс Петрович. Введение в курс теории информации: научное издание/
Феликс Петрович Тарасенко; Ред. В. Н. Кессених. - Томск: Издательство Томского университета,
1963. – 239 с.
3.
Шеннон, Клод Эльвуд. Работы по теории информации и кабернетике: Сборник статей:
Пер. с англ./ Клод Эльвуд Шеннон. - М.: Издательство иностранной литературы, 1963. - 829[3] с.
4.
Колесник, Виктор Дмитриевич Введение в теорию информации: Кодирование
источников: Учебное пособие/ Виктор Дмитриевич Колесник, Григорий Шоулович Полтырев;
5.
МВиССО РСФСР. - Л.: Издательство Ленинградского университета, 1980. - 162[2] с
8. Материально-техническое обеспечение дисциплины
Для обеспечения данной дисциплины необходим компьютерный класс, соответствующий
действующим санитарным и противопожарным нормам, оборудованный вычислительными
средствами (ПЭВМ) с установленным программным обеспечением.