1. Лекция №1

Теория информации:
сигналы, данные,
информация
Информатика («Сomputer science») =
Information + automatique
информация + автоматика
Инфоpматика как
процессы
передачи
информации.
НАУКА изучает
и
обработки
Практическое использование результатов информатики как фундаментальной
науки (смысловое ударение на слове automatique) воплощается в информатике
как в отрасли производства, яркими представителями которой, например,
являются два гиганта и вечных конкурента IBM и Apple.
• Информатика как учебная
ДИСЦИПЛИНА, основана на
использовании компьютера, изучает
способы создания, поиска,
преобразования, передачи и
использования информации в
различных сферах человеческой
деятельности.
Прародительницами
информатики
считаются
математика,
кибернетика,
электроника, логика
и лингвистика
Отцы-основатели информатики
Готфрид Лейбниц
1646 - 1716,немецкий
философ, математик,
юрист, дипломат
Джодж Буль
1815 — 1864 английский
математик и логик
Чарльз Бэббидж
1791 — 1871, английский
математик, изобретатель
первой вычислительной
машины
Алан Тьюринг
1912 — 1954, английский
математик, логик,
криптограф, пионер
кибернетики и первый
хакер
Норберт Винер
1894 — 1964,
американский учёный,
основоположник
кибернетики и теории
искусственного
интеллекта
Клод Шеннон
1916 — 2001,
американский инженерсвязист и математик,
основатель теории
информации
Джон фон Нейман
1903 — 1957, математик,
сделавший важный вклад
в квантовую физику,
квантовую логику
Алексей Ляпунов
1911 — 1973,
основоположник
кибернетики, программист
Андрей Ершов
1931 – 1988, советский
учёный, один из пионеров
теоретического и
системного
программирования
Исаак Брук
1902 — 1974, советский
учёный в области
электротехники и
вычислительной техники
Математик, изменивший ход
войны…
Трёхроторная военная немецкая
шифровальная машина Энигма и и
Бомба Тьюринга
4 декабря в России отмечается
День информатики
В этот день Государственный комитет
Совета министров СССР по внедрению
передовой техники в народное хозяйство
зарегистрировал за номером 10475
изобретение И.С.Бруком цифровой
электронной вычислительной машины.
Состав информатики.
Информатику обычно представляют
состоящей из трёх,
неразрывно связанных частей (трех
«китов»):
•Hardware + Software + Brainware
ИНФОРМАТИКА
Инфоpматика — научная
дисциплина с широчайшим
диапазоном применения
pазpаботка вычислительных систем и
пpогpаммного обеспечения,
●теория информации,
●методы искусственного интеллекта,
●методы машинной графики, анимации, средства
мультимедиа;
●средства телекоммуникации, в том числе,
глобальные компьютерные сети, объединяющие
все человечество в единое информационное
●
сообщество.
Различные уровни представлений об
информации
Понятие «информация» (от латинского слова «informatio» —
сведения, данные, знания) рассматривается в качестве
важнейшей сущности мира, являющейся отражением реального
мира и охватывающую всю жизнь, Вселенную и всё, что есть в
жизни.
Информация и теория «всего»:
.
Джон Арчибальд Уилер (1911 - 2008) —
американский физик-теоретик и фантазия на тему
черных дыр.
• В теории информации под информацией
понимают динамический объект,
образующийся в момент взаимодействия
объективных данных и адекватных им
субъективных методов
• В практической
информатике термин
информация – это
сведения, которые
необходимо
обработать с
помощью
компьютера.
Информация и данные
777—333—555 : Спросить Ивана Ивановича о…
Информационные процессы -действия,
выполняемые с информацией
Поиск, сбор,
создание
Обработка,
Обработка,
распространение хранение,
воспроизведение,
использование
•Сообщения – это совокупность знаков или сигналов,
отображающих ту или иную информацию.
•Сигнал – это изменяющийся во времени процесс, то
такой
процесс
может
содержать
различные
характеристики
(например,
при
передаче
электрических
сигналов
могут
изменяться
электрическое напряжение или сила тока). Та из
характеристик,
которая
используется
для
представления сообщений, называется параметром
сигнала.
Аналоговый и цифровой звуковой сигнал
(изменяющийся во времени процесс)
• Линией связи называется физическая среда, используемая для передачи
сигналов
•
Передаваемая информация добирается от источника до приёмника с помощью
сигнала (кода) по каналу связи – некоторой совокупности технических устройств,
обеспечивающих передачу сигнала от источника к приёмнику.
•
Количество информации, передаваемое по каналу связи за единицу времени,
есть скорость передачи информации, или скорость информационного потока.
•
Скорость информационного потока выражается в битах в секунду Бит в секунду
(англ. bits per second, bps) — базовая единица измерения скорости передачи
информации, используемая на физическом уровне сетевой модели OSI или TCP/IP.
•
На более высоких уровнях сетевых моделей, как правило, используется более
крупная единица — байт в секунду (Б/c или Bps, от англ. bytes per second) равная 8
бит/c. Пропускная способность канала связи это максимальная скорость передачи
информации по каналу связи.
Классификация информации
По способу восприятия информации
Визуальная
90%
Аудиальная
9%
Обонятельная
Осязательная
1%
Вкусовая
Классификация информации
Информация
По форме представления
Числовая
Графическая
Текстовая
Комбинированная
Звуковая
Показатели качества информации:
структурированность, смысл, ценность.
ЦЕННОСТЬ ИНФОРМАЦИИ ВЫРАЖАЕТСЯ В СЛЕДУЮЩИХ
ПОНЯТИЯХ:
 Объективность — не зависит от чьего-либо мнения.
 Полнота — достаточна для понимания и принятия
решений.
 Достоверность — отражает истинное положение дел
 Доступность информации — возможно ли получить ту
или иную информацию.
 Ценность (полезность, значимость) — обеспечивает
решение поставленной задачи, нужна для того, чтобы
принимать правильные решения.
 Эмоциональность — вызывает различные эмоции у
людей.
Объективность информации
Парад на Красной площади в 1955 году
Несколько
подходов к
измерению
количества
информации:
• I. Семантический
(смысловой,
субъективный)
• II. Объёмный
• III. Синтаксический
(объективный)
I. Семантический (смысловой,
субъективный)
•
•
•
•
В одном мгновенье видеть
вечность,
Огромный мир - в зерне песка,
В единой горсти –бесконечность
И небо - в чашечке цветка.
• Уильям Блейк
Количество информации. Семантический (смысловой)
подход к измерению информации
Е
Если Полученные сведения, совершенно не понятны и не знакомы
субъекту (отсутствуют в его тезаурусе), количество полученной
информации равно нулю:I
Новая, но не понятная:
«На каком же это языке читается лекция?»
Количество информации. Семантический
(смысловой) подход к измерению информации
Если пользователь все знает, и поступающая
информация ему не нужна, I = 0.
«Сколько можно твердить одно и то же!»
Количество информации. Семантический
(смысловой) подход к измерению информации
Максимальное
количество семантической
информации потребитель
получает, когда
поступающая
информация понятна
пользователю и несёт
ранее не известные
сведения,
I= Imax.
От простого к сложному:
базовые знания + новое
знание
II. Объёмный подход
• Объём информации в сообщении определяется
количеством символов в сообщении. Так
количество информации в двоичном коде равно
общему количеству 0 и 1.
• Пример: Количество информации, которое
содержит число 10010100010001110100 – 20 бит.
• Но одно и тоже число может быть записано
различными способами!
• 100101000100011101002=60734810 ,
III. Энтропийный подход
Количество информации – это числовая характеристика
сигнала, характеризующая неопределенность, которая
исчезает после получения сообщения в виде данного
сигнала.
●
В информации меру неопределенности (неосведомленности)
принято называть энтропией (Н). Получение информации (ее
увеличение) одновременно означает увеличение знания, что, в
свою
очередь,
означает
уменьшение
незнания
или
информационной неопределенности.
●
●
• I=ΔH=HДО ПОЛУЧЕНИЯ СООБЩЕНИЯ –
HПОСЛЕ ПОЛУЧЕНИЯ СООБЩЕНИЯ.
• При этом HПОСЛЕ ПОЛУЧЕНИЯ СООБЩЕНИЯ=0
(неопределённости уже нет).
В теории информации понятие энтропии
помогает ввести единицу измерения
информации
Эта единица носит название
«бит».
Сообщение, уменьшающее
неопределенность знаний в два
раза, несет 1 бит информации
Бит (binary digit – двоичная цифра)
ФОРМУЛА ХАРТЛИ
I
2
=N
Формула Хартли:
Количество информации,
содержащееся в сообщении о том, что произошло одно из N
равновероятных вариантов сообщения , определяется формуле,
предложенной Р.Хартли
I = log2N;
I = M*log2N,
где M- количество символов в сообщении.
●
Ральф Винтон Лайон Хартли (1888 - 1970). Американский учёный-электронщик.
Пример 1.В алфавите одна буква:
А. Сообщение содержит один
символ. Число вариантов N = 1,
I = log21= 0 бит.
• Пример 2. В алфавите две буквы:
• А и Б. Сообщение содержит один
символ. Число вариантов N =2,
• I = log22= 1 бит.
• Пример 3. Подбрасываемая один раз
монета как сообщение: в алфавите
две буквы: орел и решка.
• Сообщение содержит один символ.
• I = 1 бит.
• Пример 4. Подбрасываемый один раз
кубик как сообщение: в алфавите
шесть букв: 1, 2, 3, 4, 5, 6. Сообщение
содержит один символ.
• I = log26= 2.6 бит.
. Свойство аддитивности информации.
• Пусть в алфавите две буквы: А и Б. Первое и второе сообщения
содержат по одному символу. Тогда в первом и во втором
сообщениях – по одному биту информации: I1 = log22= 1 бит;
•
I2 = log22= 1 бит. В двух сообщениях вместе – 2 бита. С другой
стороны, количество информации в сообщении, состоящем из
двух символов (АА, АБ, БА, ББ – 4 варианта),
•
IΣ = log24= 2 бита:
I1 + I2 = IΣ
Формулы Шеннона
Светлейший князь Александр
Чернышев (1786-1857)
Количество информации для
неравновероятных событий
•
50 заданий: 1 покушение, 5 вербовок высокопоставленных
чиновников, 44 похищения документов.
•
Вероятности получения этих разных заданий составляют
соответственно 1/50, 5/50 и 44/50 (неравновероятные события).
•
С точки зрения на информацию как на снятую неопределенность
количества информации в сообщении, полученном разведчиком,
зависит от вероятности получения
данного сообщения.
разведчик (система) может оказаться с разной вероятностью в
различных состояниях (операциях).
•
Вероятность - возможность осуществления события,
• 0≤P ≤1.
H=log2(1/p)
I, бит(количество информации)
3.5
3
2.5
2
1.5
Series1
1
0.5
0
0
0.2
0.4
0.6
0.8
Р, вероятность
1
1.2
Виды операций
1.Похищение
документов
2.Вербовка
3.Покушение на
высокопоставленно главу государства
го чиновника
вероятности
0,88
0,1
0,02
Формулы Шеннона:
КОЛИЧЕСТВО ИНФОРМАЦИИ ДЛЯ НЕРАВНОВЕРОЯТНЫХ
СОБЫТИЙ
состояния
X1
X2
X3
вероятности
P1
P2
P3
Информация I1 о том, что (система) будет
находиться в состоянии X1 равна:
I1 = log2(1/P1); Iср = ΔH= -
𝑵
𝟏 𝑷𝒊 𝐥𝐨𝐠 𝟐 𝑷𝒊 .
.
Это формулы К. Шеннона,
предложенные им 1948 году.
Пример «Будни резидента»
• I1 = log2(1/0.88) = 0,18 бит
• I2= log2(1/0.1) = 3,3 бит
• I3 = log2(1/0.02) = 5,6 бит !!!
Связь между формулами Хартли и Шеннона
«1»
«2»
«3»
«4»
«5»
«6»
вероятнос 1/6
ти
1/6
1/6
1/6
1/6
1/6
-
I(2) = log21/(1/6))= 2.6 бит.
Подбрасываемый один раз кубик как
сообщение: в алфавите шесть букв: 1, 2, 3,
4, 5, 6. Сообщение содержит один символ.
I = log26= 2.6 бит.
Количество информации
Можно использовать логарифмы с другими
основаниями:
I = log21= 0 бит = ln 1 = 0 нат = lg 1 = 0 дит
I = log22= 1 бит = ln 2 = 0.7 нат = lg 2 = 0.3 дит
I = log24= 2 бита = ln 4 = 1.4 нат = lg 4 = 0.6 дит
I = log26= 2.6 бита = ln 6 = 1.8 нат = lg 6 = 0.8 дит
• 1 дит = 3.3 бит
• 8 бит = 1 байт
• 1 Кбайт = 210 байт = 1024 байт
20 байт = 210 Кбайт
•
1
Мбайт
=
2
Единицы
измерения = 1024 Кбайт
30 байт = 220 Кбайт =
•
1
Гбайт
=
2
информации
210 Мбайт = 1024 Мбайт
• 1 Тбайт = 240 байт
• 1 Пбайт = 250 байт
• 1 Эбайт = 260 байт
• 1 Збайт = 270 байт
• 1 Йбайт = 280 байт
Новые стандарты
• Согласно стандарта IEEE 1541-2002, бит
обозначается как «bit», байт – «В»,
• Kило – kibi (обозначается «Ki») = 1024;
• Mега – mebi(обозначается «Mi») = 1024*1024;
• Гига – gibi (обозначается «Gi») =
1024*1024*1024.
•
• 1 кибибайт = 210 байт,
• 1 килобайт = 103 байт