ВОЕННО-КОСМИЧЕСКАЯ АКАДЕМИЯ ИМЕНИ А.Ф. МОЖАЙСКОГО Кафедра системы сбора и обработки информации «Теория информации» Лекция № 1 Подполковник, ктн Андрушкевич Д.В. 2 Лекция № 1. СОВРЕМЕННОЕ СОСТОЯНИЕ ТЕОРИИ ИНФОРМАЦИИ Цель: сформулировать первые сведения о становлении дисциплины, порядке ее изучения и требованиями к ней. Учебные вопросы: 1. Состояние развития теории информации в настоящее время. 2. Содержание дисциплины, порядок ее изучения и рекомендуемая литература. 3. Статистические и нестатистические подходы в теории информации. Учебный вопрос № 1 СОСТОЯНИЕ РАЗВИТИЯ ТЕОРИИ ИНФОРМАЦИИ В НАСТОЯЩЕЕ ВРЕМЯ 3 Учебный вопрос № 1 Клод Элвуд Шеннон (Shannon) американский инженер и математик. Основатель современных теорий информации и связи 1916 - 2001 Работой, заложившей основу математической теории информации, является статья К. Шеннона «Математическая теория связи», опубликованная в 1948 году. В этой статье впервые было введено понятие энтропии (количества информации) и были указаны основные задачи и направления развития теории. 4 Учебный вопрос № 1 ТЕОРИЯ ИНФОРМАЦИИ КАК ЧАСТЬ ИНФОРМАТИКИ И КИБЕРНЕТИКИ Предметом изучения для информатики являются основные свойства и закономерности информационных процессов в природе и обществе, особенности их проявления в различных информационных средах (технической, физической, биологической и социальной), методы и средства их реализации, а также использование этих средств и методов в различных сферах. В этом случае рассматривается количественный аспект понятия информации. Кибернетика – это наука об общих законах получения, хранения, передачи и переработки информации. Основными разделами (они фактически абсолютно самостоятельны и независимы) современной кибернетики считаются: теория информации, теория алгоритмов, теория автоматов, исследование операций, теория оптимального управления и теория распознавание образов 5 Учебный вопрос № 1 Клод Элвуд Шеннон (Shannon) американский инженер и математик 1916 - 2001 Ноберт Винер (Norbert Wiener) американский ученый, выдающийся математик и философ 1894-1964 6 Рональд Эйлмер Фишер (Ronald Aylmer Fisher) английский статистик, биолог-эволюционист и генетик 1890-1962 К.Э Шеннон, Р.А.Фишер и Н.Винер в 1948г. независимо друг от друга предложили статистическое определение количества информации. Заложили основной фундамент в теорию информации Учебный вопрос № 1 7 ПОДХОДЫ К ОПРЕДЕЛЕНИЮ ТЕРМИНА «ИНФОРМАЦИЯ» ФИЗИЧЕСКИЙ СИГНАЛЬНЫЙ ЛИНГВИСТИЧЕСКИЙ СЕМАНТИЧЕСКИЙ ПРАГМАТИЧЕСКИЙ КОЛИЧЕСТВЕННОЕ ОПИСАНИЕ КАЧЕСТВЕННОЕ ОПИСАНИЕ Учебный вопрос № 1 8 КОЛИЧЕСТВЕННЫЙ АСПЕКТ ИНФОРМАЦИИ Ральф Винтон Лайон Хартли (Ralph Vinton Lyon Hartley) американский ученыйэлектронщик. 1888-1970 Клод Элвуд Шеннон (Claude Elwood Shannon) американский инженер и математик. 1916-2001 Вероятностно-статистическое представление информации Андрей Николаевич Колмогоров советский математик, один из основоположников современной теории вероятностей. 1903-1987 Уильям Росс Эшби (William Ross Ashby) английский психиатр, специалист по кибернетики, пионер в исследованиях сложных систем. 1903-1972 Интерпретация информации на основе категории различия, разнообразия Учебный вопрос № 1 СЕМАНТИЧЕСКАЯ ТЕОРИЯ ИНФОРМАЦИИ Рудольф Карнап (Rudolf Carnap) немецкоЙегошуа Барамериканский Хиллел философ и логик, израильский ведущий философ, представитель математик и логического лингвист позитивизма и 1915-1975 философии науки 1891-1970 • В построении семантической теории используется символическая логика • Для «измерения» содержания высказывания используется понятие логической вероятности • Теория формализует только вероятностные формы содержания информации • Выступает как отношение информации и объекта или передатчика информации 9 Учебный вопрос № 1 10 ПРАГМАТИЧЕСКАЯ ТЕОРИЯ ИНФОРМАЦИИ Уолтер Ричард Рассел Линкольн Майлз (Walter Акофф (Rassel Richard Miles) Lincoln Ackoff) американский американский психолог, ученый в областях специалист в исследования области операций и теории экспериментальной систем психологии 1919-2009 1885-1978 •Поведенческая модель коммуникации - бихевиористская модель АкоффаМайлса •Целевая устремленность получателя информации на решение конкретной проблемы •Сообщение, переданное получателю, информативно, если оно изменяет его «целеустремленное состояние» Учебный вопрос № 1 11 ФИЛОСОФСКИЕ ПРОБЛЕМЫ ПОНЯТИЯ ИНФОРМАЦИИ «Что такое информация?» Философия помогает раскрыть смысл основных понятий и исходных принципов теории информации. Теория информации оказывает определенное влияние на обогащение категорийного аппарата философии. Теория информации крайне полезна при уточнении содержания, формализации и математизации понятий логики, гносеологии, развития. Общее (философское) определение понятия информации: информация - отраженное разнообразие Учебный вопрос № 2 СОДЕРЖАНИЕ ДИСЦИПЛИНЫ, ПОРЯДОК ЕЕ ИЗУЧЕНИЯ И РЕКОМЕНДУЕМАЯ ЛИТЕРАТУРА 12 Учебный вопрос № 2 ТЕОРИЯ ИНФОРМАЦИИ ЗАДАЧИ ДИСЦИПЛИНЫ ОСНОВНЫЕ ЗНАНИЯ ОСНОВНЫЕ УМЕНИЯ ОСНОВНЫЕ НАВЫКИ • изучение информационных характеристик источников информации • изучение информационных характеристик каналов связи • изучение основных принципов кодирования информации • изучение современных методов сжатия информации • изучение методов помехоустойчивого кодирования информации 13 Учебный вопрос № 2 ТЕОРИЯ ИНФОРМАЦИИ ЗАДАЧИ ДИСЦИПЛИНЫ ОСНОВНЫЕ ЗНАНИЯ ОСНОВНЫЕ УМЕНИЯ ОСНОВНЫЕ НАВЫКИ • информационные характеристики источников сообщений и способы их оценки • информационные характеристики каналов связи и способы их оценки • основные понятия и теоремы кодирования • основные методы сжатия информации и показатели их эффективности • основные методы помехоустойчивого кодирования информации 14 Учебный вопрос № 2 ТЕОРИЯ ИНФОРМАЦИИ ЗАДАЧИ ДИСЦИПЛИНЫ ОСНОВНЫЕ ЗНАНИЯ ОСНОВНЫЕ УМЕНИЯ ОСНОВНЫЕ НАВЫКИ • информационные характеристики источников сообщений и способы их оценки • информационные характеристики каналов связи и способы их оценки • основные понятия и теоремы кодирования • основные методы сжатия информации и показатели их эффективности • основные методы помехоустойчивого кодирования информации 15 Учебный вопрос № 2 ТЕОРИЯ ИНФОРМАЦИИ ЗАДАЧИ ДИСЦИПЛИНЫ ОСНОВНЫЕ ЗНАНИЯ ОСНОВНЫЕ УМЕНИЯ ОСНОВНЫЕ НАВЫКИ • рассчитывать информационные характеристики источников информации и каналов связи • выполнять эффективное кодирование информации по методам Хаффмана, Шеннона, Гилберта-Мура, ШеннонаФанно • применять алгоритмы сжатия текстовой, графической, аудио-, видео- и измерительной информации • применять алгоритмы помехоустойчивого кодирования информации 16 Учебный вопрос № 2 ТЕОРИЯ ИНФОРМАЦИИ ЗАДАЧИ ДИСЦИПЛИНЫ ОСНОВНЫЕ ЗНАНИЯ ОСНОВНЫЕ УМЕНИЯ ОСНОВНЫЕ НАВЫКИ • программирование задач расчета информационных характеристик источников сообщений и каналов связи (энтропийного анализатора) • программирование задач эффективного кодирования информации 17 Учебный вопрос № 2 18 ВИДЫ УЧЕБНОЙ РАБОТЫ 48 часов ЛЕКЦИИ ПРАКТИЧЕСКИЕ ЗАНЯТИЯ Расчет мер информации вероятностных схем 4 часа Построение энтропийного анализатора двоичных последовательностей Решение задач по построению неравномерных побуквенных кодов Решение задач по построению интервальных кодов натурального ряда Практическая реализация эффективных кодов 12 час Помехоустойчивое кодирование 2 часа Зачет с оценкой ВИД ПРОМЕЖУТОЧНОЙ АТТЕСТА-ЦИИ 4 часа 4 часа 16 час 2 теоретических вопроса 1 практический вопрос Учебный вопрос № 2 АНДРУШКЕВИЧ С.С., «ТЕОРИЯ ИНФОРМАЦИИ», УЧЕБНОЕ ПОСОБИЕ, СПБ.: ВКА ИМЕНИ А.Ф.МОЖАЙСКОГО, 2016. – 94 С. АНДРУШКЕВИЧ С.С., «ТЕОРИЯ ИНФОРМАЦИИ». РУКОВОДСТВО И ЗАДАНИЯ К ПРАКТИЧЕСКИМ ЗАНЯТИЯМ, СПБ.: ВКА ИМЕНИ А.Ф.МОЖАЙСКОГО, 2016. – 14 С. ДУХИН А.А., «ТЕОРИЯ ИНФОРМАЦИИ», МОСКВА, ГЕЛИОС АРВ, 2007Г. КУДРЯШОВ Б.Д., «ТЕОРИЯ ИНФОРМАЦИИ», ПИТЕР, 2009Г. 19 Учебный вопрос № 3 СТАТИСТИЧЕСКИЕ И НЕСТАТИСТИЧЕСКИЕ ПОДХОДЫ В ТЕОРИИ ИНФОРМАЦИИ 20 Учебный вопрос № 3 ВЕРОЯТНОСТЬ НЕОПРЕДЕЛЕННОСТЬ 21 КОЛИЧЕСТВО ИНФОРМАЦИИ КЛАССИЧЕСКИЙ равновозможность событий (симметрия) СТАТИСТИЧЕСКИЙ (ЧАСТОТНЫЙ) коллектив: различие и тождество, иррегулярность, устойчивость ЛОГИЧЕСКИЙ характеристика соотношения того или иного высказывания и достоверного знания АКСИОМАТИЧЕСКИЙ некоторая мера подмножеств множества элементарных событий, которая должна удовлетворять некоторым аксиомам Учебный вопрос № 3 ВЕРОЯТНОСТЬ НЕОПРЕДЕЛЕННОСТЬ 22 КОЛИЧЕСТВО ИНФОРМАЦИИ происходит процесс отбора, выбора элемента или подмножества (элемент является подмножеством некоторого множества) из какого либо множества отношение всей совокупности элементов к выбираемым вероятность используется для измерения степени неопределенности в статистической теории информации 1 𝐻 = log = − log 𝑝 противоположность, противоречивое единство 𝑝 вероятности и неопределенности Учебный вопрос № 3 ВЕРОЯТНОСТЬ НЕОПРЕДЕЛЕННОСТЬ 23 КОЛИЧЕСТВО ИНФОРМАЦИИ степень снятой неопределенности в результате передачи сообщений ФОРМУЛА ШЕННОНА устанавливает среднее количество информации для данной совокупности событий: 𝑁 𝐼 𝑘 =− 𝑝𝑘 log 𝑝𝑘 𝑘=1 вероятности наступления событий заранее (априорно) известны 1 𝐼 = − log 𝑝, где 𝑝 = 𝑁 вероятности наступления событий заранее неизвестны ФОРМУЛА ХАРТЛИ: абсолютная негэнтропия → дискретные множества относительная негэнтропия → непрерывных множества Учебный вопрос № 3 24 НЕСТАТИЧЕСКИЕ ПОДХОДЫ В ТЕОРИИ ИНФОРМАЦИИ КОМБИНАТОРНЫЙ КОМБИНАТОРНЫЙ ТОПОЛОГИЧЕСКИЙ АЛГОРИТМИЧЕСКИЙ Теория конечных множеств Комбинаторное количество информации: 𝐼 = log 𝑛, где 𝑛 − число элементов множества В комбинаторике всегда рассматривается конечное число элементов множества. Для комбинаторного количества информации важно лишь количество элементов множества (его мощность). Оно характеризует снятие той неопределенности, которое возникает при выборе одного элемента из некоторой конечной совокупности. Учебный вопрос № 3 25 НЕСТАТИЧЕСКИЕ ПОДХОДЫ В ТЕОРИИ ИНФОРМАЦИИ КОМБИНАТОРНЫЙ АЛГОРИТМИЧЕСКИЙ ТОПОЛОГИЧЕСКИЙ Топология – раздел математики, изучающий топологические свойства пространства, то есть такие свойства, которые остаются неизменными при взаимнооднозначных и непрерывных преобразованиях простейший топологический комплекс – граф 1 3 2 Учебный вопрос № 3 26 НЕСТАТИЧЕСКИЕ ПОДХОДЫ В ТЕОРИИ ИНФОРМАЦИИ КОМБИНАТОРНЫЙ ТОПОЛОГИЧЕСКИЙ АЛГОРИТМИЧЕСКИЙ В основе заложено обобщение статистического определения количества информации и теории рекурсивных функций А Р В Алгоритмическое количество информации (сложность В относительно А) – минимальная длина программы Р получения В из А. Длина программы является по сути длиной некоторого алгоритма, то есть последовательности операций, которые в необходимом порядке предстоит выполнить для того, чтобы воспроизвести исходный объект. Алгоритмическое определение понятия количество информации вводится по аналогии с понятием относительной негэнтропии и выступает как функция связи, отношения двух объектов (систем) и в общем смысле выражает относительное количество различия или тождества этих объектов Учебный вопрос № 3 27 РАЗЛИЧИЕ – ОСНОВА ИНФОРМАЦИИ КАТЕГОРИИ НЕОПРЕДЕЛЕННОСТИ: • взаимозависимость состояний, явлений • наличие тождественных черт, сторон в явлении • процесс превращения возможности в действительность комбинаторный топологический Превращение возможности Базируется на в действительность различии алгоритмический Идея различия и тождества «Информация, не может передаваться в большем количестве, чем это позволяет количество разнообразия» (Эшби. «Введение в кибернетику») Аксиома: любое множество вероятностей, в сумме составляющих единицу, может рассматриваться как соответствующее некоторому множеству, члены которого обнаруживают разнообразие Учебный вопрос № 3 28 РАЗЛИЧИЕ – ОСНОВА ИНФОРМАЦИИ КАТЕГОРИИ НЕОПРЕДЕЛЕННОСТИ: • взаимозависимость состояний, явлений • наличие тождественных черт, сторон в явлении • процесс превращения возможности в действительность комбинаторный топологический Превращение возможности Базируется на в действительность различии алгоритмический Идея различия и тождества «Информация, не может передаваться в большем количестве, чем это позволяет количество разнообразия» (Эшби. «Введение в кибернетику») Аксиома: любое множество вероятностей, в сумме составляющих единицу, может рассматриваться как соответствующее некоторому множеству, члены которого обнаруживают разнообразие Учебный вопрос № 3 РАЗЛИЧИЕ – ОСНОВА ИНФОРМАЦИИ Разнообразие – характеристика элементов множества заключающаяся в их отличии друг от друга, несовпадение РАЗНООБРАЗИЕ СТЕПЕНЬ РАЗНООБРАЗИЯ (логарифмическая функция) ИНФОРМАЦИЯ КОЛИЧЕСТВО ИНФОРМАЦИИ Статистическое количество информации выступает как логарифмическая мера разнообразия множества, то есть информация и разнообразие связаны 29 Задание на самостоятельную работу Ответить на контрольные вопросы 1. 2. 3. 4. Привести понятия, используемые в статистической теории информации. Перечислить подходы к определению понятия вероятности. Дать определение понятия «количество информации». Привести нестатистические подходы в теории информации. 30