5. Крапивин В.Ф., Кондратьев К.Я. Глобальные изменения окружающей среды: экоинформатика. СПб.: Изд-во СПбГУ, 2002. 724 с. 6. Бондур В.Г., Кондратьев К.Я., Крапивин В.Ф., Савиных В.П Проблемы мониторинга и предсказания природных катастроф Берестовой А.В., Терещенко Р.В., Леонтьев В.О., Кутепов Н.И., Беспалов Д.А. Инженерно-технологическая академия ЮФУ [email protected] ИССЛЕДОВАНИЕ СИСТЕМ СЖАТИЯ ДАННЫХ С ПОТЕРЯМИ И БЕЗ ПОТЕРЬ* В работе исследуется различные методы сжатия данных с потерей данных и без потерь. Производятся сравнения различных методов компрессии, а также отображаются алгоритмы и принципы работы различных методов СЖАТИЕ ДАННЫХ; СЖАТИЕ БЕЗ ПОТЕРЬ; СЖАТИЕ С ПОТЕРЯМИ; МЕТОД ХАФФМАНА; JPEG. Введение. В наше время с большой популярностью используются методы сжатия данных для различных целей программирования. Сжатие данных представляет собой устранение из данных избыточности. Избыточность может выражаться в различных формах. Одним из типов может быть последовательность повторяющихся битов (11111111). Другим последовательности повторяющихся байтов (ХХХХХХХХ). Но также избыточность может проявиться в более крупном масштабе и будет выражаться закономерностями в наборе данных, которые взяты как единое целое либо последовательностями различной длины, которые имеют схожие признаки. Целью сжатия данных является поиск алгоритмических преобразований представлений данных, которые могут позволить получить более компактные сведения необходимого набора данных [1]. * Работа выполнена в Южном федеральном университете при финансовой поддержке Минобрнауки РФ в рамках реализации проектной части гос. Задания N 2.3928.2017/4.6 128 1 Общие принципы построения сжатия данных Все методы сжатия данных основаны на простом логическом принципе. Если представить, что наиболее часто встречающиеся элементы закодированы более короткими кодами, а реже встречающиеся – более длинными, то для хранения всех данных потребуется меньше места, чем если бы все элементы представлялись кодами одинаковой длины. Точная взаимосвязь между частотами появления элементов, и оптимальными длинами кодов описана в так называемой теореме Шеннона о источнике шифрования, которая определяет предел максимального сжатия без потерь и энтропию Шеннона. 2 Виды сжатия 2.1 Сжатие с потерями. Фактически существуют два подхода к сжатию данных: сжатие с потерями и без потерь. Сжатие с потерями – это представление, которое позволяет воспроизводить нечто «очень похожее» на первоначальный набор данных. Преимущество использования методов сжатия с потерями заключается в том, что они зачастую позволяют получать намного более компактные представления данных по сравнению с методами сжатия без потерь. Чаще всего методы сжатия с потерями применяются для обработки изображений, звуковых файлов и видео [5]. 2.2 Сжатие без потерь. Сжатие без потерь предусматривает преобразование представления набора данных таким образом, чтобы затем можно было в точности воспроизвести первоначальный набор данных путем обратного преобразования распаковки. Сжатие без потерь используется, когда важна идентичность сжатых данных оригиналу. Обычный пример — исполняемые файлы и исходный код. Некоторые графические файловые форматы (например, PNG) используют только сжатие без потерь, тогда как другие (TIFF, FLIF или GIF) могут использовать сжатие как с потерями, так и без потерь [1]. 2.3 Сжатие пустых мест. Сжатие пустых мест, по сути, используется для того, чтобы мы могли «удалить то, что нас не интересует». Даже несмотря на то, что этот метод с технической точки зрения представляет собой метод сжатия с потерями, он все равно полезен для многих типов представлений данных, с которыми мы сталкиваемся в реальном мире. 129 2.4 Кодирование по методу Хаффмана. Кодирование по методу Хаффмана рассматривает таблицу символов как целый набор данных. Сжатие достигается путем нахождения «весовых коэффициентов» каждого символа в наборе данных. Некоторые символы используются чаще других, поэтому кодирование по методу Хаффмана предполагает, что частые символы должны кодироваться меньшим количеством бит, чем более редкие символы. Существуют различные варианты кодирования по методу Хаффмана, но исходный и чаще всего применяемый вариант включает поиск самого распространенного символа и кодирование его одним битом, например, 1. И если в закодированной последовательности встречается 0, это значит, что на этом месте находится другой символ, закодированный большим количеством бит [2]. 2.5 Сжатие данных методом JPEG. JPEG (Joint Photographic Expert Group) – один из новых и довольно мощных алгоритмов. При сжатии данным методом качество теряется всегда. При этом всегда есть выбор: отдать предпочтение качеству в ущерб объему, размер файла сожмется приблизительно в три раза, или же наоборот, добиться минимального размера изображения, при котором оно еще останется узнаваемым. Сжатие, при котором различие в качестве между получающимся изображением и оригиналом еще остается незаметным, дает 10-20-кратное сокращение размера файла [3]. Кодирование данных с помощью алгоритма JPEG происходит в несколько этапов: 1) Конвертация цифровой модели изображения. Это позволяет оптимально подойти к выбору степеней компрессии для каждого канала, с учётом особенностей восприятия глазом. 2) Префильтрация, при которой соседние пикселов отдельно в каждом из каналов a и b группируются попарно в горизонтальном и вертикальном направлениях, а яркостной канал L остаётся без изменений. После этого вся группа точек получает усредненное значение. 3) Дискретное косинусное преобразование. Изображение разбивается на компоненты 8*8 пикселов, к каждой компоненте применятся ДКП. Это приводит к уплотнению энергии в коде. Преобразования применяются к компонентам независимо. 130 4) Квантование, в котором в зависимости от выбранного уровня качества, отбрасывается некоторая часть чисел. В результате квантования получается набор составляющих, по которым исходное изображение восстанавливается с заданной точностью (Рисунок 1) Рисунок 1 – Результат восстановления чёрно-белого квадрата одной, четырьмя и пятнадцатью составляющими 5) Зигзаг-обход матрицы – это специальное направление обхода, представленное на рисунке 2. Рисунок 2 – ZigZag обход матрицы 6) Техническая стадия, на которой данные заключаются в оболочку и получают заголовок, в котором указываются все параметры сжатия. 2.6 Недостатки и преимущества методов сжатия с потерями и без потерь. Преимущество методов сжатия с потерями над методами сжатия без потерь состоит в том, что первые делают возможной большую степень сжатия, продолжая удовлетворять поставленным требованиям, а именно — искажения должны быть в допустимых пределах чувствительности человеческих органов физических чувств [4]. Файл при сжатии с потерями может очень сильно отличаться от оригинала на уровни побитового сравнения, но практически неотличим для человека визуально в большинстве случаев. 131 Заключение. Выбрав правильный алгоритм, можно получить значительный выигрыш даже по сравнению с более оптимизированными, но неподходящими методами. Точно так же правильный выбор представления данных зачастую оказывается важнее выбора методов сжатия, которые всегда являются своего рода последующей оптимизацией требуемых функций. Библиографический список: 1. Ватолин Д., Ратушняк А., Смирнов М., Юкин В. Методы сжатия данных // Устройство архиваторов, сжатие изображений и видео. -М.: ДИАЛОГ-МИФИ, 2002. 384 с. 2. Летивин, А.В. Глава 9. Жадные методы: Алгоритм Хаффмана // Алгоритмы. Введение в разработку и анализ –– М.: Вильямс, 2006. 496 с. 3. Д. Сэломон. Сжатие данных, изображения и звука // — М.: Техносфера, 2004. 368с. 4. Жерздев, С.В. Разработка алгоритмов адаптивного сжатия видеоинформации на основе иерархических структур для задач оперативного отображения [Электронный ресурс]. – http://www.dissercat.com/content/razrabotka-algoritmov-adaptivnogoszhatiya-videoinformatsii-na-osnove-ierarkhicheskikh-struk (дата обращения 12.10.2018). 5. Прохоров, А. Сжатие информации с потерями и без [Электронный ресурс]. –– https://compress.ru/article.aspx?id=10581#07 (дата обращения 15.10.18). Бычкова Е.А., Беспалов Д.А. Инженерно-технологическая академия ЮФУ [email protected] ИССЛЕДОВАНИЕ МЕТОДОВ ОБНАРУЖЕНИЯ АНОМАЛИЙ ПОВЕДЕНИЯ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ ПО СИГНАЛАМ С ДАТЧИКОВ РАЗЛИЧНОЙ ФИЗИЧЕСКОЙ ПРИРОДЫ* Данная статья посвящена исследованию подходов к распознаванию аномалий, возникающих в поведении вычислительных систем. Выявление аномалий позволяет предотвратить аварийные ситуации и повысить качество протекающих процессов. В работе приведен обзор методов обнаружения аномалий с * Работа выполнена в Южном федеральном университете при финансовой поддержке Минобрнауки РФ в рамках реализации проектной части гос. Задания N 2.3928.2017/4.6 132
