ОБРАБОТКА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ НА ЭВМ Н. А. Задорина
реклама
Н. А. Задорина
ОБРАБОТКА
ЭКСПЕРИМЕНТАЛЬНЫХ
ДАННЫХ НА ЭВМ
Рекомендовано Методическим Советом
Рыбинской
государственной
авиационной
технологической академии имени П. А. Соловьева
в качестве учебного пособия
Рыбинск 2009
УДК 681.3.06
Задорина Н. А. Обработка экспериментальных данных на ЭВМ:
Учебное пособие. – Рыбинск: РГАТА, 2009. – 100 с.
Учебное пособие написано на основе курса лекций по обработке
экспериментальных данных на ЭВМ для направления 230100 Информатика и вычислительная техника, специальности 230105 Программное
обеспечение вычислительной техники и автоматизированных систем.
В учебном пособии рассматриваются основные задачи, возникающие при обработке экспериментальных данных. Содержит описание
методов и моделей обработки экспериментальных данных; большое внимание уделяется вопросам применения указанных методов и моделей в
инженерной практике.
Рецензенты: кафедра боевого применения автоматизированных систем
управления войсками и связью Военной академии связи
имени С. М. Буденного, г. Санкт-Петербург;
генеральный директор ОАО «КБ «Луч», канд. техн. наук
М. Ф. Шебакпольский.
ISBN 978-5-88435-302-2
Н. А. Задорина, 2009
РГАТА, 2009
3
ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ ...............................................................................................................................4
1. ОБЩАЯ ХАРАКТЕРИСТИКА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ ......................................6
1.1. Типы измерений и характер ошибок в них ..............................................................6
1.2. Задачи, возникающие при обработке экспериментальных данных .......................6
2. ОСНОВЫ ТЕОРИИ СТАТИСТИЧЕСКИХ РЕШЕНИЙ ..........................................................10
2.1. Детерминированные и случайные процессы..........................................................10
2.2. Основные характеристики случайных процессов .................................................16
2.3. Эмпирическая функция распределения ..................................................................19
2.4. Наиболее важные функции распределения ............................................................21
2.5. Оценки параметров распределения .........................................................................24
2.6. Распределение выборочных характеристик ...........................................................27
2.7. Задача точечного оценивания параметров .............................................................30
2.8. Интервальная оценка параметров распределения .................................................33
2.9. Проверка статистических гипотез ...........................................................................37
3. КОРРЕЛЯЦИОННЫЙ АНАЛИЗ ...........................................................................................47
4. РЕГРЕССИОННЫЙ АНАЛИЗ ..............................................................................................53
4.1. Задача регрессионного анализа ...............................................................................53
4.2. Выбор вида уравнения регрессии ............................................................................55
4.3. Вычисление коэффициентов уравнения регрессии. Метод наименьших
квадратов...........................................................................................................................57
4.4. Критерий значимости линии регрессии ..................................................................59
4.5. Множественная линейная регрессия .......................................................................61
4.6. Нелинейные модели регрессии ................................................................................63
4.7. Проблемы практического использования модели множественной регрессии ...64
5. ИНТЕРПОЛЯЦИЯ И СГЛАЖИВАНИЕ ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ ......................67
5.1. Задача интерполяции. Методы интерполяции .......................................................67
5.2. Сглаживание экспериментальных данных сплайн-функциями ...........................72
6. АЛГОРИТМЫ СПЕКТРАЛЬНОГО АНАЛИЗА .....................................................................74
6.1. Спектральное представление сигналов...................................................................74
6.2. Дискретизация по времени. Маскировка частот ....................................................79
6.3. Сглаживающие окна .................................................................................................81
6.4. Дискретное преобразование Фурье .........................................................................84
6.5. Быстрое преобразование Фурье ...............................................................................85
7. ЦИФРОВЫЕ ФИЛЬТРЫ......................................................................................................90
ЗАКЛЮЧЕНИЕ .......................................................................................................................98
БИБЛИОГРАФИЧЕСКИЙ СПИСОК ........................................................................................99
4
ВВЕДЕНИЕ
Широкое применение методов обработки экспериментальной информации связано:
– с математизацией биологических, социологических и других наук;
– с совершенствованием техники экспериментальных исследований;
– с широким применением ЭВМ, в т. ч. встроенных в измерительную
аппаратуру и снабженных математическим обеспечением для обработки
данного класса экспериментов;
– с повышением требований к качеству данных, диктуемым развитием теории.
Целью обработки экспериментальных данных является выявление
закономерностей в характеристиках исследуемых объектов и процессов.
Результаты обработки экспериментальных данных позволяют оценить качество объекта, они необходимы для оперативного управления процессами, решения задач адаптации объекта к изменившимся условиям или
формирования требований ко вновь создаваемым системам.
Методы обработки экспериментальных данных начали разрабатываться более двух веков тому назад в связи с необходимостью решения
практических задач по агробиологии, медицине, экономике, социологии.
Полученные при этом результаты составили фундамент такой научной
дисциплины, как математическая статистика. Первыми работами, положившими начало статистике как самостоятельной науке, были книги
Дж. Граунта «Естественные и политические наблюдения, перечисленные
в прилагаемом оглавлении и сделанные над бюллетенями смертности …»
(1662 г.) и У. Пети «Два очерка по политической арифметике, относящиеся к людям, зданиям, больницам Лондона и Парижа» (1682 г.).
В последние 20 – 30 лет математический аппарат обработки экспериментальных данных получил значительное развитие в связи с необходимостью решения принципиально новых задач. И к настоящему времени
он включает множество различных направлений, которые выходят за пределы классической математической статистики. Многие методы нашли
применение при исследовании технических и человеко-машинных систем,
а также при обработке результатов имитационного (статистического) моделирования.
Современный уровень естественно-научного эксперимента характеризуется большими потоками информации. При этом визуальный просмотр данных, не говоря уже об анализе, не возможен без применения
ЭВМ. Машинная автоматизация обработки приводит к потере таких факторов, как опыт, интуиция исследователя (если при создании программ
5
обработки не предусмотреть возможности выявления абсурдных данных
во входном потоке информации, ЭВМ обработает все подряд и выдаст результат, далекий от истинного). В силу наличия ошибок измерений, случайного характера экспериментальных данных способы обнаружения и
парирования абсурдных наблюдений должны быть статистическими.
Многие эксперименты имеют уникальный характер и требуют дорогостоящего оборудования. При этом необходимо максимальное использование полученной информации, извлечение из нее всех возможных выводов с указанием степени доверия к ним, обусловленной методикой проведения эксперимента и используемыми методами обработки.
Расширение области применения статистических методов в обработке экспериментальных данных связано с внедрением достижений атомной
и ядерной физики (использование радиоактивных изотопов для исследования характеристик изучаемых процессов и т. д.) в смежных с физикой
науках – химии, биологи, геологии, медицине. Объекты, рассматриваемые
в ядерной физике, описываются уравнениями квантовой механики, имеющими стохастический характер. Это продиктовано вероятностной природой причинно-следственных связей. Модели для рассматриваемых процессов являются вероятностными.
При проведении эксперимента и обработке экспериментальных данных широко используется радиоэлектронная экспериментальная и регистрирующая аппаратура, а учет приборных искажений от нее основан на
теории случайных процессов, анализе временных рядов, теории фильтрации.
Обработка результатов экспериментов предполагает знание основных понятий и методов теории вероятностей и математической статистики. Выявление характерных классов задач в обработке экспериментальных
данных и стандартных методов их решения позволяет выделить обработку
результатов экспериментов из многообразия задач прикладной статистики. Например, для класса спектрометрических экспериментов наиболее
распространенным статистическим методом обработки является метод
наименьших квадратов или его заменители, а в социальных науках и биологии широко применяются дисперсионный и корреляционный анализ,
которые сравнительно мало используются при обработке спектрометрических экспериментов.
Кроме того, при обработке результатов эксперимента большее внимание, чем обычно в статистике, уделяется особенностям организации измерений и процесса обработки информации на ЭВМ. Эти особенности
приводят к видоизменению или полной замене статистических методов
при обработке реальных данных.
6
1. ОБЩАЯ ХАРАКТЕРИСТИКА
ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ
1.1. ТИПЫ ИЗМЕРЕНИЙ И ХАРАКТЕР ОШИБОК В НИХ
По отношению к интересующим величинам x1, x2 , , xk измерения
могут носить прямой характер и косвенный характер. Измерения носят
прямой характер, когда измеряются непосредственно величины
x1, x2 , , xk , а косвенный, когда измеряются функции i ( x1, x2 , , xk ) от
совокупности интересующих величин. Прямое измерение является частным случаем косвенного измерения.
Неопределенность экспериментальных данных может быть вызвана
различными причинами. В простейшем случае неопределенность в
наблюдениях обусловлена инструментальными ошибками и носит аддитивный характер. Для наблюдаемых величин y справедливо y = A(x) + ,
где А – оператор, описывающий причинно-следственные связи, x – набор
факторов (причин); – инструментальные искажения. По y определяется
либо механизм процессов А, либо значения ненаблюдаемых факторов x.
В более сложных случаях сама причинно-следственная модель является
стохастичной, к тому же сохраняется неопределенность, вызванная ошибками измерений.
Ошибки могут носить как систематический, так и случайный характер. В первом случае ошибки возникают всегда, когда имеет место, вызвавшие их причины, и обычно приводят к характерным изменениям результатов. Действие же случайных ошибок имеет нерегулярный характер,
и приводит как к завышению, так и к занижению измеряемых величин по
сравнению с истинными значениями. При обработке результатов экспериментов необходим корректный учет и систематических и случайных
ошибок.
1.2. ЗАДАЧИ, ВОЗНИКАЮЩИЕ ПРИ ОБРАБОТКЕ
ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ
Для применения статистического анализа необходима вероятностная
модель регистрируемых величин. Получаемые выводы о природе измеряемых величин могут быть как общими (например, независимость измере-
7
ний, аддитивный характер искажений), так и содержать детальную информацию (например, закон распределения полностью определенный или
с точностью до параметров). Проблема построения модели не является
чисто математической, а требует детального знания изучаемого в эксперименте процесса, методики проведения эксперимента и измерений, и решается в сотрудничестве с экспериментаторами. Даже самые убедительные доводы в пользу конкретной модели измеряемых величин являются
неполными, могут приводить к ошибочным заключениям из-за наличия
неучитываемых факторов, влияния величин друг на друга посредством, не
рассмотренных третьих величин и т. д. Поэтому предлагаемая модель
должна быть проверена на экспериментальном материале. Такая проверка
выполнима, если имеется достаточно большое число наблюдений, и позволяет выделить целесообразные методы дальнейшей обработки.
Полученная экспериментальная информация обычно неоднородна по
качеству. Наряду с основной массой данных, измеренных с возможно малыми ошибками, имеются грубые промахи в измерениях, вызванные экспериментальными ошибками или сбоями при фиксации результатов, а
также при вводе их в ЭВМ. Без анализа данных на качественность, устранения грубых промахов или уменьшения их влияния на результаты последующей обработки можно прийти к ложным выводам об изучаемом объекте. Поскольку визуальный контроль большого объема информации во
многих экспериментах невозможен, приведение данных к однородности
осуществляется с помощью ЭВМ по статистическим критериям.
Для интерпретации, полученной экспериментальной информации,
необходимо «свернуть» ее так, чтобы потери информации были минимальными. Это возможно при учете закона распределения данных, при
выборе соответствующих оптимизационных методов. Поэтому процесс
«свертки» экспериментальной информации имеет в основе статистическую теорию оценок параметров. Полученная свертка информации в
большинстве случаев непригодна для интерпретации из-за наличия систематических аппаратурных искажений, фоновых «загрязняющих» эффектов. Полный учет этих искажений и фонов потребовал бы усилий по созданию их математических моделей и проведению измерений для определения параметров этих моделей, что сравнимо по трудоемкости с основным экспериментом и его анализом. Ввиду малости вклада искажений в
наблюдаемые величины используют огрубленные модели для систематических искажений, а их параметры определяют из небольшого числа сопутствующих основному эксперименту измерений.
8
Актуальной является проблема соответствия предлагаемой модели
экспериментальным данным. Нередко эта модель является огрубленной,
не вполне адекватной изучаемому процессу. Эта приближенность обнаруживается как сопоставлением результатов интерпретации с фактами
соответствующей конкретной науки, так и статистическими методами.
Вычитая из наблюдаемых величин результаты предсказания их в рамках
рассматриваемой модели, получаем остатки, которые могут статистически
исследоваться на случайность, либо на тренды определенного вида. Если
результаты такого сравнения указывают на систематические расхождения
между моделью и экспериментом, то модель нуждается в доработке, введении в нее дополнительных факторов или в полной замене.
После проведения обработки и интерпретации экспериментальной
информации нередко целесообразно вернуться к постановке эксперимента. Обычно некоторые условия эксперимента поддаются контролю и
управлению. В зависимости от их изменения меняются и величины случайных и систематических искажений. Эти проблемы решаются в математической теории планирования эксперимента, а также с помощью имитационного моделирования на основе метода Монте-Карло.
Часто запланированная серия опытов выполняется до конца, получают весь набор экспериментальных данных, который подвергают обработке после проведения эксперимента (off-line-обработка). Если результаты требуют коррекции условий проведения эксперимента, то меняют значения регулируемых параметров и проводят новую серию наблюдений,
которые затем обрабатывают. Однако нередко обработка наблюдений
проводится параллельно с их получением (on-line-обработка). Такая обработка проводится, если результаты обработки используются для непрерывного управления экспериментом. При этом алгоритмы off-lineобработки неудобны, требуют слишком много времени, что делает невозможным эффективное управление. Например, необходимо вычислить
выборочное среднее по выборке объема n наблюдений. В случае off-line1 n
обработки x xi , что требует n + 1 операций. Если же используется
n i 1
on-line-обработка, данные поступают непрерывно:
x ( n ) x ( n 1)
1
xn x ( n 1) ,
n
где x (n ) – выборочное среднее по n наблюдениям.
В общем виде можно выделить 5 этапов обработки данных.
1. Сбор данных.
9
2. Регистрация (может включать передачу). В некоторых практических приложениях можно выполнять всю необходимую обработку данных, используя непосредственно сигналы, поступающие в реальном масштабе времени. Однако в большинстве случаев такой подход непрактичен,
и поэтому требуется запоминание в той ли иной форме или передача сигналов.
3. Подготовка. Исходные данные обычно представляют собой непрерывные изменения электрического напряжения, снимаемые с датчиков. На этой стадии необходимо произвести ряд операций, с помощью которых сигналы с датчиков переводятся в форму, удобную для дальнейшего анализа. Подготовка включает редактирование, масштабирование и
предварительную обработку. Редактирование – это последовательность
операций, применяемых до начала анализа с целью выявить и исключить
аномальные и искаженные сигналы, которые могли возникнуть при сборе
и регистрации данных, например, за счет высокого уровня помех, снижения уровня сигнала при плохой работе датчика. Масштабирование или
дискретизация – это процесс определения моментов времени, в которые
должны быть произведены отсчеты. Перевод непрерывного сигнала в
дискретную форму для численного анализа производится через равные
интервалы времени.
4. Оценивание основных свойств. Корректность методов анализа
случайных процессов, а также интерпретация результатов анализа в значительной степени зависят от некоторых основных свойств анализируемого процесса. К их числу, в первую очередь, относятся стационарность,
присутствие периодических составляющих и нормальность процесса.
Стационарность процесса играет важную роль потому, что методы анализа нестационарных процессов существенно более громоздки, чем в стационарном случае. Если установлено, что в процессе содержатся периодические составляющие, то это позволяет в дальнейшем избежать ошибок при
интерпретации результатов анализа. Предположение о нормальности позволяет существенно упростить аналитическое исследование свойств случайного процесса, не содержащего периодических составляющих. Оценивание основных свойств процесса, т. е. этих трех фундаментальных характеристик, рассматривается как отдельная операция, выполняемая до начала детального анализа. Однако на практике она зачастую осуществляется
как составная часть общего анализа.
5. Анализ. Методы, при помощи которых изучаются свойства случайных процессов логично можно разделить на две группы: методы ана-
10
лиза отдельных реализаций и методы анализа ансамбля реализаций при
известных статических свойствах каждой отдельной реализации.
Схема оценивания статистических свойств отдельных реализаций
включает определение среднего значения, среднего квадрата, ковариационной функции, спектральной плотности, плотности вероятности, анализ
нестационарных и переходных процессов, анализ реализаций периодического и почти периодического процесса, специальные методы анализа.
Процедура определения наиболее важных характеристик совокупности реализаций включает анализ отдельных реализаций, проверку коррелированности реализаций, проверку эквивалентности некоррелированных
реализаций, оценивание взаимных ковариационных функций, оценивание
функций когерентности, оценивание частотных характеристик и др.
2. ОСНОВЫ ТЕОРИИ СТАТИСТИЧЕСКИХ РЕШЕНИЙ
2.1. ДЕТЕРМИНИРОВАННЫЕ И СЛУЧАЙНЫЕ ПРОЦЕССЫ
Любые данные, полученные в результате наблюдения реального физического явления, можно отнести к детерминированному или недетерминированному типу. Детерминированные процессы – это процессы, которые можно описать явными математическими формулами. На практике
часто встречаются физические явления, которые с высокой степенью приближения могут быть описаны точными математическими соотношениями. Например, движение спутника по околоземной орбите, измерение
температуры воды по мере ее нагревания по сути своей являются детерминированными процессами.
Однако существует множество других физических явлений, имеющих недетерминированный характер. Например, высота волн на море,
электрический сигнал на выходе генератора шума – это процессы, которые невозможно описать во всех деталях. Невозможно предсказать точное
значение этих процессов в будущие моменты времени. Эти процессы случайны по своей сути и должны описываться не точными уравнениями, а
при помощи осредненных статистических характеристик.
Во многих случаях трудно решить, относится ли рассматриваемый
физический процесс к детерминированным или случайным. Можно
11
утверждать, что встречающиеся на практике физические процессы не могут быть в полной мере детерминированными, т. к. нельзя исключить возможности того, что в будущем произойдет какое-нибудь событие, которое
повлияет на явление, порождающее процесс, непредсказуемым образом.
Можно утверждать, что нет и истинно случайных процессов, т. к. может
оказаться, что при достаточно полном знании основных механизмов явления порождаемый этим явлением процесс можно описать математическими формулами. Вообще говоря, ни один физический процесс нельзя считать строго детерминированным, т. к. всегда существует возможность того, что полученные в результате эксперимента данные будут носить иной
характер, чем предполагалось, вследствие непредвиденного события, изменившего весь ход процесса. С другой стороны, ни один физический
процесс не имеет строго случайной природы, т. к. при условии достаточно
полного знания механизма изучаемого процесса его можно описать точными математическими соотношениями.
С практической точки зрения решение о случайности или детерминированности конкретного физического процесса основывается на способности воспроизвести процесс в ходе контролируемого эксперимента.
Если многократное повторение эксперимента приводит к одним и тем же
результатам, то этот процесс можно считать детерминированным. Если же
повторение опыта в идентичных условиях приводит к разным исходам, то
такой процесс можно считать случайным.
Процессы, описывающие детерминированные явления, могут быть
периодическими или непериодическими. Примером периодического процесса является синусоидальный процесс, поведение которого во времени
математически выражается формулой
x(t ) X sin(2f0t ) ,
(2.1)
где Х – амплитуда; f0 – циклическая частота, Гц; – начальный фазовый
угол. Периодические процессы можно разделить на полигармонические и
гармонические. Процесс, описанный формулой (2.1), является гармоническим. К полигармоническим процессам относятся периодические процессы, которые математически представляются функцией времени, точно повторяющей свои значения через одинаковые интервалы времени:
x(t ) x(t nT p ) ,
где n = 1, 2, …; Тр – период; f1
1
– основная частота.
Tp
(2.2)
12
Полигармонические процессы могут быть представлены рядом
Фурье:
a0
x(t )
(an cos 2nf1t bn sin 2nf1t )
2 n 1
Tp
2
an
Tp
2
bn
Tp
x(t ) cos 2nf1tdt,
n 0, 1, 2,
(2.3)
0
Tp
x(t ) sin 2nf1tdt,
n 1, 2,
0
или
x(t ) X 0
a
X0 0 ,
2
X n cos(2nf1t n ) ,
n 1
X n an
2
b
bn , n arctg n
an
(2.4)
2
Полигармонические процессы состоят из постоянной компоненты
Х0 и бесконечного множества синусоидальных компонент, называемых
гармониками с амплитудами Хn и начальными фазами n . Частоты всех
гармоник кратны основной частоте f1. В некоторых случаях компонента с
основной частотой может отсутствовать.
Например, периодический процесс формируется в результате сложения трех синусоидальных волн с частотами 60, 75 и 100 Гц. Наибольший
общий делитель равен 5 Гц, т. е. основная частота f1 = 5 Гц, а период
Tp = 0,2 с.
Гармонические процессы представляют собой частный случай полигармонических процессов. Физические явления, описываемые полигармоническими процессами, встречаются намного чаще, чем явления, порождающие простые гармонические процессы.
Непериодические процессы делятся на почти периодические и переходные. Если процесс образован суммой двух и более гармонических
процессов с соизмеримыми частотами, то такой процесс будет периодическим. Однако если процесс образован суммой двух и более гармонических
процессов с произвольными частотами, то он, как правило, не будет периодическим, а именно, сумма двух и более гармонических процессов будет
периодическим процессом тогда и только тогда, когда отношение двух
любых частот есть рациональное число. Почти периодические процессы
определяются математически как функция времени:
13
x(t )
X n sin(2f nt n ) ,
(2.5)
n 1
причем fn / fm не для всех значений индексов являются рациональными
числами. На практике почти периодические процессы порождаются физическими явлениями, в которых одновременно действуют гармонические
процессы, не связанные между собой.
Например, процесс x(t ) X1 sin(2t 1 ) X 2 sin(7t 2 ) X 3 sin(3t 3 )
2 2 3
периодический, т. к. , , – рациональные числа.
3 7 7
Процесс x(t ) X 1 sin( 50t 1 ) X 2 sin(t 2 ) X 3 sin(3t 3 ) – непе1
3
,
риодический, т. к.
иррациональные числа.
50 50
По определению переходные процессы – это все непериодические
процессы, за исключением почти периодических (затухающие колебания,
линейные функции, ступенчатые и т. д.).
Процесс, описывающий случайное физическое явление, нельзя выразить математической формулой, поскольку каждое наблюдение данного
явления дает невоспроизводимый результат. Функция времени, описывающая случайное явление, называется выборочной функцией. Множество
всех выборочных функций, которые могут быть получены при регистрации данного случайного явления, называется случайным или стохастическим процессом.
Случайные процессы делятся на стационарные и нестационарные.
Стационарные случайные процессы в свою очередь делятся на эргодические и неэргодические. Нестационарные случайные процессы классифицируются по особенностям их нестационарностей.
Если физическое явление описывается случайным процессом, то
свойство этого явления можно оценить в любой момент времени путем
усреднения по совокупности выборочных функций, образующих случайный процесс. Совокупность выборочных функций также называют ансамблем. Среднее значение этого случайного процесса в момент времени t1
можно вычислить, взяв мгновенные значения всех выборочных функций
ансамбля в момент времени t1, сложив эти значения и разделив на число
функций. Аналогичным образом ковариацию значений случайного процесса в два различных момента времени вычисляют путем усреднения по
ансамблю произведений мгновенных значений в моменты времени t1 и
t1 + . Среднее значение и ковариационная функция случайного процесса
{x(t)} определяется формулами (2.6) и (2.7) соответственно:
14
1 N
xk (t1 ) ,
N N k 1
(2.6)
1 N
xk (t1 ) xk (t1 ) .
N N k 1
(2.7)
x (t1 ) lim
Rxx (t1, t1 ) lim
В формулах (2.6) и (2.7) суммирование производится в предположении равновероятности всех выборочных функций.
В общем случае, когда x(t1) и Rxx(t1, t1 + ) зависят от момента
времени t1, случайный процесс {x(t)} называется нестационарным. В
случае, когда x(t1) и Rxx(t1, t1 + ) не зависят от момента времени t1,
случайный процесс {x(t)} называется слабо стационарным или стационарным в широком смысле. У слабостационарных процессов x(t1) является постоянной, а Rxx(t1, t1 + ) зависит только от .
Для определения полного набора функций распределения, задающих
структуру случайного процесса {x(t)}, нужно вычислить бесконечное
число моментов, смешанных моментов высших порядков. В том случае,
если все они не зависят от времени, случайный процесс называется строго
стационарным или стационарным в узком смысле.
В большинстве случаев характеристики стационарного случайного
процесса можно вычислить, усредняя по времени в пределах отдельных
выборочных функций, входящих в ансамбль. Например, если взять k-ю
выборочную функцию ансамбля, то среднее значение x(k) и ковариационная функция Rxx(, k), вычисленные по k-й реализации, равны
1T
x (k ) lim xk (t ) dt ,
T T
0
(2.8)
1T
Rxx (, k ) lim xk (t ) xk (t ) dt .
T T
0
(2.9)
Если случайный процесс стационарен, а среднее значение x(k) и
ковариационная функция Rxx(, k), вычисленные по различным реализациям, совпадают, то случайный процесс называется эргодическим. Эргодические случайные процессы образуют очень важный класс случайных
процессов, т. к. все свойства эргодических процессов можно определить
по единственной выборочной функции. На практике стационарные случайные процессы часто оказываются эргодическими. Именно по этой причине свойства стационарных случайных явлений можно определить по
единственной реализации.
15
К нестационарным процессам относятся все случайные процессы, не
удовлетворяющие условию стационарности. Если не наложены дополнительные условия, то свойства нестационарных случайных процессов
обычно зависят от времени и могут быть установлены только путем
усреднения в отдельные моменты времени по ансамблю выборочных
функций, образующих процесс. На практике часто не удается получить
достаточное для точной оценки свойств процесса число реализаций. Этим
объясняется отставание в развитии практических методов измерения и
анализа нестационарных случайных процессов. Понятие «стационарность» относится к средним по ансамблю свойствам случайного процесса.
Однако на практике часто говорят о стационарности или нестационарности данных, представляющих единственную реализацию случайного явления. В этом случае стационарность понимается в несколько ином смысле. Если о единственной реализации говорят как о стационарной, то обычно имеют в виду, что ее свойства, определенные на коротких интервалах
времени, существенно не изменяются от интервала к интервалу. Пусть
среднее значение и ковариационная функция оценены по небольшому интервалу длиной T с началом в точке t1, т. е.
1 t1 T
x (t1, k )
xk (t ) dt ,
T t1
(2.10)
1 t1 T
Rxx (t1 , t1 , k )
xk (t ) xk (t ) dt .
T t1
(2.11)
Если выборочные величины, определенные по формулам (2.10) и
(2.11), сильно изменяются с изменением начального момента времени t1,
выборочная функция называется нестационарной. Если выборочные величины не изменяются существенно с изменением начального момента времени t1, реализация называется стационарной.
Неопределенность экспериментальных данных может быть обусловлена различными причинами. В простейшем случае неопределенность в
наблюдениях обусловлена инструментальными ошибками. В более сложных случаях сама причинно-следственная модель стохастична, неопределенность, вызванная ошибками измерений, сохраняется.
Ошибки могут иметь как систематический, так и случайный характер. В первом случае искажения возникают всегда, когда имеют место
обуславливающие их причины, и приводят к характерным изменениям результатов. Действие же случайных ошибок имеет нерегулярный характер,
приводит как к завышению, так и к занижению измеряемых величин по
16
сравнению с истинными значениями. При обработке результатов экспериментов необходим корректный учет и систематических и случайных
ошибок.
2.2. ОСНОВНЫЕ ХАРАКТЕРИСТИКИ СЛУЧАЙНЫХ ПРОЦЕССОВ
Методы обработки экспериментальных данных опираются на базовые понятия теории вероятностей и математической статистики. К их числу относятся понятия генеральной совокупности, выборки, эмпирической
функции распределения.
Под генеральной совокупностью понимают все возможные значения параметра, которые могут быть зарегистрированы в ходе неограниченного по времени наблюдения за объектом. Такая совокупность состоит
из бесконечного множества элементов. В результате наблюдения за объектом формируется ограниченная по объему совокупность значений параметра x1, x2, …, xn . С формальной точки зрения такие данные представляют собой выборку из генеральной совокупности. Наблюдаемые значения
xi называют вариантами, а их количество – объемом выборки n.
Для описания основных свойств случайных процессов используются
четыре статистические функции:
– среднее значение квадрата случайного процесса – дает представление об интенсивности процесса;
– плотность распределения – характеризует распределение значений
процесса в фиксированных точках;
– автокорреляционная функция;
– спектральная плотность.
Среднее значение квадрата x2 реализации {x(t)} определяется
по формуле
x
2
1T 2
lim x (t ) dt .
T T
0
(2.12)
Физический процесс можно рассматривать в виде суммы статической, т. е. не зависящей от времени, и динамической или флуктуационной
составляющей. Статическую составляющую можно получить, вычисляя
среднее значение по формуле (2.8). Динамическая составляющая определяется дисперсией процесса – средним квадратом отклонения от среднего
значения.
17
Плотность распределения случайного процесса определяет вероятность того, что значения процесса в произвольный момент времени будут
заключены в определенном интервале. Основная цель получения плотности вероятности физического процесса состоит в получении вероятностных законов для его мгновенных значений. Эту функцию также можно
использовать для того, чтобы отличить гармонический процесс от случайного. Опытные специалисты могут по плотности распределения выявить
нелинейные физические эффекты.
Автокорреляционная функция характеризует общую зависимость
значений процесса в некоторый данный момент времени от значений в
другой момент времени (2.9). Автокорреляционная функция – это действительная четная функция с максимумом в точке = 0. График функции
автокорреляции называют автокоррелограммой. Основным приложением
автокорреляционной функции физического процесса является исследование того, в какой степени значения процесса в некоторый момент времени
влияют на значения процесса в некоторый момент в будущем. Автокорреляционная функция представляет собой средство выявления детерминированных процессов, которые могут маскироваться случайным фоновым
шумом.
Спектральная плотность случайного процесса описывает общую
частотную структуру процесса через спектральную плотность среднего
квадрата его значений. Среднее значение квадрата реализации в интервале
частот от f до f + f можно получить, подавая эту реализацию на вход
полосового фильтра с узкой полосой пропускания и осредняя возведенную в квадрат функцию на выходе фильтра:
x2[
1T 2
f , f f ] lim lim x (t , f , f f ) dt ,
f 0 T T
0
(2.13)
где x(t, f, f + f) – составляющие функции x(t), имеющие частоты в
[f, f + f].
Основным применением спектральной плотности физического процесса является исследование его частотной структуры.
На практике часто возникает необходимость описать некоторые общие или совместные характеристики по двум и более реализациям.
Совместная плотность распределения двух случайных процессов
определяет вероятность того, что ординаты процессов в произвольный
момент времени будут заключены одновременно в двух определенных интервалах их значений. Основным применением совместной плотности
18
распределения является установление вероятностных законов для явлений, которые описываются двумя и более процессами, связанными между
собой.
Взаимная корреляционная функция двух случайных процессов
характеризует общую зависимость значений одного процесса от значений
другого. На практике данная функция может применяться для решения
следующих задач.
1. Определение времени задержки. Предположим, что исследователя
интересует, какое время необходимо для того, чтобы сигнал прошел через
заданную систему. Если система линейна, то зная взаимную корреляционную функцию, связывающую сигналы на входе и на выходе системы,
можно найти время задержки. Сигнал на выходе системы смещен во времени относительно сигнала на входе системы. Взаимная корреляционная
функция будет иметь максимум при значении , равном времени, которое
необходимо для прохождения сигнала через данную систему. Однако этот
метод на практике зачастую бывает неприменим, т. к. время прохождения
сигнала через систему может зависеть от частоты сигнала, тогда четко выраженный пик на коррелограмме отсутствует. В этом случае нужно использовать сведения о взаимной спектральной плотности.
2. Определение тракта сигнала. Рассмотрим линейную систему, через которую сигнал может проходить двумя или более различными путями (трактами) и давать на выходе наблюдаемый сигнал. Пусть необходимо точно определить путь прохождения сигнала. Обычно каждому тракту
соответствует определенное время задержки, на взаимной коррелограмме
для каждого тракта появляются отдельные пики, которые дают значимый
вклад в энергию сигнала на выходе системы. Если вычислить предполагаемое время задержки, а затем сравнить с измеренным значением сдвига,
соответствующими положению пиков на взаимной коррелограмме, то
можно найти тракты, которые дают наибольший вклад в энергию сигнала
на выходе.
3. Обнаружение сигналов в шуме и их восстановление. Если сигнал,
который необходимо обнаружить, известен, то вычисляется корреляционная функция сигнала, состоящего из полезного сигнала и шума, с эталонным сигналом.
Взаимная спектральная плотность представляет собой преобразование Фурье взаимной корреляционной функции. Обычно это комплексная величина
Gxy ( f ) C xy ( f ) jQxy ( f ) ,
(2.14)
19
где Cxy( f ) – действительная часть, называется синфазной составляющей;
Qxy( f ) – мнимая часть, называется квадратурной составляющей.
Синфазную составляющую можно представить как среднее произведение функций x(t) и y(t) в узком интервале частот от f до f + f,
деленное на ширину интервала. Такое же определение можно дать и квадратурной составляющей за исключением того, что либо x(t), либо y(t)
сдвинуты во времени таким образом, что составляющие с частотой f
будут сдвинуты по фазе на 90.
1 1T
С xy ( f ) lim lim
x(t , f , f f ) y (t , f , f f ) dt ,
f 0 T f T
0
T
(2.15)
1 1
x(t , f , f f ) y(t , f , f f ) dt ,
f 0 T f T
0
Qxy ( f ) lim lim
где x(t, f, f + f ) и y(t, f, f + f ) – отфильтрованные части процессов x(t)
и y(t); y(t, f, f + f) – функция сдвинута по фазе на 90 относительно
y(t, f, f + f ).
Взаимная спектральная плотность применяется для измерения частотной характеристики системы, измерения времени задержки сигнала, а
также в задачах прогнозирования и фильтрации.
2.3. ЭМПИРИЧЕСКАЯ ФУНКЦИЯ РАСПРЕДЕЛЕНИЯ
Пусть в полученной выборке значение x1 параметра наблюдалось
n1 раз, значение x2 – n2 раз, значение xk – nk раз, n1 + n2 + … + nk = n.
Совокупность значений xi , записанных в порядке их возрастания, называют вариационным рядом, величины ni – частотами, а их отношения к
объему выборки i = ni / n – относительными частотами.
Под распределением понимают соответствие между наблюдаемыми
вариантами и их частотами или относительными частотами. Пусть nx –
количество наблюдений, при которых случайные значения параметра Х
меньше x. Относительная частота данного события равна nx / n. Это отношение является функцией от x и от объема выборки: Fn(x) = nx / n. Величина Fn(x) обладает всеми свойствами функции распределения:
– Fn(x) неубывающая функция, ее значения принадлежат отрезку
[0; 1];
20
– если x1 – наименьшее значение параметра, а xk – наибольшее, то
Fn(x) = 0, когда x x1, и Fn(xk) = 1, когда x xk .
Функция Fn(x) определяется по экспериментальным данным, поэтому ее называют эмпирической функцией распределения. В отличие от
эмпирической функции Fn(x) функцию распределения F(x) генеральной
совокупности называют теоретической функцией распределения, она характеризует не относительную частоту, а вероятность события X x. Из
теоремы Бернулли вытекает, что относительная частота Fn(x) стремится
по вероятности к вероятности F(x) при неограниченном увеличении n.
Следовательно, при большом объеме наблюдений теоретическую функцию распределения F(x) можно заменить эмпирической функцией Fn(x).
При большом объеме выборки (будем считать n большим, если
n 40) в целях удобства обработки и хранения сведений прибегают к
группированию экспериментальных данных в интервалы. Количество интервалов следует выбрать так, чтобы в необходимой мере отразилось разнообразие значений параметра в совокупности, и в то же время закономерность распределения не искажалась случайными колебаниями частот
по отдельным разрядам. Существуют нестрогие рекомендации по выбору
количества k и размера h таких интервалов, в частности:
– в каждом интервале должно находиться не менее 5 – 7 элементов,
в крайних разрядах допустимо всего два элемента;
– количество интервалов не должно быть очень большим или очень
маленьким. Минимальное значение k должно быть не менее 6 – 7. При
объеме выборки, не превышающем несколько сотен элементов, величину
k задают в пределах от 10 до 20. Для очень большого объема выборки
(n 1000) количество интервалов может превышать указанные значения.
Некоторые исследователи рекомендуют пользоваться соотношением
y = 1,441 ln(n) + 1;
– при относительно небольшой неравномерности длины интервалов
удобно выбирать одинаковыми, равными величине h = (xmax – xmin) / k, где
xmax – максимальное; xmin – минимальное значение параметра. При существенной неравномерности закона распределения длины интервалов можно задавать меньшего размера в области быстрого изменения плотности
распределения;
– при значительной неравномерности лучше в каждый разряд
назначать примерно одинаковое количество элементов выборки. Тогда
длина конкретного интервала будет определять крайними значениями
элементов выборки, сгруппированными в этот интервал, т. е. будет раз-
21
лична для разных интервалов (в этом случае при построении гистограммы
нормировка по длине интервала обязательна – в противном случае высота
каждого элемента гистограммы будет одинакова).
Группировка результатов наблюдений по интервалам предусматривает:
– определение размаха изменений параметра х;
– выбор количества интервалов и их величины;
– подсчет для каждого i-го интервала [xi ; xi+1] частоты ni или относительной частоты попадания варианты в интервал.
В результате формируется представление экспериментальных данных в виде интервального или статистического ряда. Графически статистический ряд отображают в виде гистограммы, полигона и ступенчатой
линии. Часто гистограмму представляют как фигуру, состоящую из прямоугольников, основаниями которых служат интервалы длиною h, а высоты равны соответствующей относительной частоте. Однако такой подход неточен. Высоту i-го прямоугольника zi следует выбрать равной
ni / (nh). Такую гистограмму можно интерпретировать как графическое
представление эмпирической функции плотности распределения fn(x), в
ней суммарная площадь всех прямоугольников составит единицу. Гистограмма помогает подобрать вид теоретической функции распределения
для аппроксимации экспериментальных данных.
Полигоном называют ломаную линию, отрезки которой соединяют
точки с координатами по оси абсцисс, равными серединам интервалов, а
по оси ординат – соответствующим относительным частотам. Эмпирическая функция распределения отображается ступенчатой ломаной линией:
над каждым интервалом проводится отрезок горизонтальной линии на высоте, пропорциональной накопленной относительной частоте в текущем
интервале. Накопленная относительная частота равна сумме всех относительных частот, начиная с первого и до данного интервала включительно.
2.4. НАИБОЛЕЕ ВАЖНЫЕ ФУНКЦИИ РАСПРЕДЕЛЕНИЯ
Наиболее важной с точки зрения прикладной статистики является
нормальное (гауссово) распределение. Широко используются в статистике
еще три функции, связанные с нормально распределенными случайными
величинами: 2-распределение; t-распределение; F-распределение.
22
Наиболее важный тип случайной величины, который встречается как
в прикладной, так и в теоретической статистике, величина x(k) с плотно( x x ) 2
стью распределения p ( x)
1
2 x 2
. Данная функция распределе x 2
ния называется нормальным или гауссовым распределением. Нормальное
распределение представляют в более удобной форме, используя нормироx(k ) x
ванную величину z (k )
. Величина z(k) имеет математическое
x
ожидание равное нулю и дисперсию равную единице, плотность вероятe
z2
1 2
e .
ности p( z )
2
Обозначим z величину, которая соответствует заданной вероятности
P(z ) 1 .
1 P ( z )
Тогда
P ( z )
z
p( z ) dz P [ z (k ) z ] 1
или
p( z ) dz P [ z (k ) z ] .
Величину z, удовлетворяющую
z
этим формулам называют 100-процентной точкой.
Нормальное распределение имеет важное значение благодаря центральной предельной теореме, согласно которой распределение суммы независимых случайных величин при весьма общих условиях близко к нормальному при произвольном виде распределения отдельных слагаемых.
Так как реальные физические явления часто представляют собой результат суммарного воздействия многих величин, то нормальное распределение представляет собой хорошее приближение обычно наблюдаемых распределений.
Рассмотрим n независимых случайных величин z1(k), z2(k), … , zn(k),
каждая из которых имеет нормальный закон распределения с z = 0 и
z = 1. Случайная величина 2n z12 z22 zn2 называется 2n величиной
с n степенями свободы. Функция плотности распределения 2 с n степенями свободы
p ( 2 )
n
1
2 2
( )
n
2
n 2
22
e
2
.
(2.16)
23
Математическое ожидание и дисперсия величины 2n равны n и
2n соответственно. 2 -распределение представляет собой частный случай -распределения, величина, равная корню квадратному из 2 с двумя степенями свободы, подчиняется распределению Рэлея, а величина,
равная корню квадратному из 2 с тремя степенями свободы, подчиняется распределению Максвелла. При увеличении числа степеней свободы
2 -распределение приближается к нормальному. В частности, при n 30
величина
2 2n распределена приблизительно по нормальному закону с
математическим ожиданием равным 2n 1 и дисперсией, равной 1.
Пусть y(k) и z(k) независимые случайные величины, y(k) подчиняется распределению 2 , а z(k) – нормальному распределению с матеz (k )
матическим ожиданием равным 0 и дисперсией 1. Величина tn
y (k ) n
называется коэффициентом Стьюдента с n степенями свободы. Математическое ожидание и дисперсия равны 0 и n / (n–2) соответственно, при
n 2. Распределение Стьюдента (t-распределение) было предложено в
1908 г. английским статистиком В. Госсетом, публиковавшим научные
труды под псевдонимом Student. По сравнению с нормальным, распределение Стьюдента более пологое, оно имеет меньшую дисперсию. Это отличие заметно при небольших значениях n, что следует учитывать при
проверке статистических гипотез (критические значения аргумента распределения Стьюдента превышают аналогичные показатели нормального
распределения). Распределение Стьюдента применяется для описания
ошибок выборки при n 30. При n, превышающем 100, данное распределение практически соответствует нормальному, для значений n из
диапазона от 30 до 100 различия между распределением Стьюдента и
нормальным распределением составляют несколько процентов. Поэтому
относительно оценки ошибок малыми считаются выборки объемом не более 30 единиц, большими – объемом более 100 единиц.
Распределению Р. А. Фишера (F-распределению Фишера – Снедекора) подчиняется случайная величина Fn1,n2 y1 (k ) n1 y2 (k ) n2 , равная отношению двух случайных величин у1 и у2, имеющих 2 -распределение с n1 и n2 степенями свободы.
24
2.5. ОЦЕНКИ ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЯ
Значение параметра, вычисленное по ограниченному объему экспериментальных данных, является случайной величиной, т. е. значение такой величины от выборки к выборке может меняться. Следовательно, в
результате обработки экспериментальных данных определяется не значение параметра, а только лишь его приближенное значение – статистическая оценка этого параметра. Получить статистическую оценку параметра
теоретического распределения означает найти функцию от имеющихся
результатов наблюдения, которая и даст приближенное значение искомого
параметра.
Различают два вида оценок – точечные и интервальные. Точечными
называют такие оценки, которые характеризуются одним числом. При малых объемах выборки точечные оценки могут значительно отличаться от
истинных значений параметров, поэтому их применяют при большом объеме выборки. Интервальные оценки задаются двумя числами, определяющими вероятный диапазон возможного значения параметра. Эти оценки
применяются для малых и для больших выборок.
Применительно к каждому оцениваемому параметру закона распределения генеральной совокупности существует множество функций, позволяющих вычислить искомые значения. Например, оценку математического ожидания можно вычислить, взяв среднее арифметическое выборочных значений, половину суммы крайних членов вариационного ряда,
средний член выборки и т. д. Указанные функции отличаются качеством
оценок и трудоемкостью реализации.
Для характеристики эмпирического распределения можно использовать оценки центральных и начальных моментов. Применение находят
моменты до четвертого порядка включительно, т. к. точность выборочных
моментов резко падает с увеличением их порядка, в частности, дисперсия
начальных моментов порядка r зависит от моментов порядка 2r. Она
становится значительной для моментов высокого порядка даже при больших объемах выборки. Выборочные значения моментов определяют непосредственно по выборке или по сгруппированным данным.
Выборочные значения центральных моментов случайной величины
X вычисляются по выборке с применением с формул:
25
1 n
xi ;
n i 1
n
~ 1 ( x )k ,
i 1
k
n i 1
1
(2.17)
k 2, 3, 4 .
Эти величины являются оценками соответствующих теоретических
моментов m1 – m4 и должны рассматриваться как случайные. Вычисления
по формулам (2.17) дают состоятельные, но смещенные оценки моментов
старше первого. Смещение удается устранить введением поправочных коэффициентов, зависящих от объема выборки. Несмещенными и состоятельными будут оценки, вычисленные по формулам:
1 n
2
( xi 1 )2 ,
n 1 i 1
n2
3
3 ,
(n 1)(n 2)
(2.18)
n(n 2 2n 3) 4 3n(2n 3) 22
4
.
(n 1)(n 2)(n 3)
Начальный эмпирический момент порядка r по несгруппированным
данным определяется соотношением
1 n r
r xi , r 1, 2, 3,
n i 1
(2.19)
Центральные и начальные оценки моментов связаны между собой
следующими зависимостями:
1 1 ,
~ 2 ,
2
2
1
3 3 312 213 ,
(2.20)
4 4 413 6122 314 .
В процессе обработки экспериментальных данных проще сначала
определить оценки начальных моментов, потом перейти к смещенным
оценкам центральных моментов и затем вычислить несмещенные оценки.
Квантилью, отвечающей уровню вероятности , называют такое
значение варианты xg, при котором функция распределения случайной
величины принимает значение , т. е. квантиль – это значение аргумента
xg функции распределения, при котором F(xg) = . Эмпирическую кван-
26
тиль находят по заданному значению вероятности , используя вариационный ряд или ступенчатую ломаную линию.
Для описания распределений применяются и другие характеристики:
– среднеквадратическое отклонение 2 ;
– коэффициент асимметрии 1
– эксцесс 2
4
22
3
13
;
;
( x 1 )
.
Коэффициент асимметрии характеризует «скошенность» распределения относительно симметричного нормального.
Коэффициент эксцесса характеризует островершинность распределения относительно нормального.
Стандартизация переменной позволяет упростить расчеты, кроме того, в литературе многие справочные статистические таблицы приводятся
именно для стандартизованных переменных. Математическое ожидание
стандартизованной переменной равно нулю, а дисперсия равна единице.
Величина u называется центрированной и нормированной. Переход от
центрированной и нормированной величины к исходной осуществляется
простым преобразованием x u 1 . Потери информации при стандартизации и обратном преобразовании не происходит.
Каждый элемент экспериментальных данных формируется под влиянием как общих закономерностей, так и особых условий и случайных событий. Следовательно, в обработке экспериментальных данных большой
интерес представляют вопросы оценки величин, характеризующих вариацию значений параметра у разных объектов или у одного и того же объекта в разные моменты времени. Вариацией какого-либо параметра (показателя) в совокупности наблюдений называется различие его значений у
разных элементов этой совокупности. Именно это свойство является объектом исследования большинства методов обработки экспериментальных
данных. Для характеристики вариации нет единого показателя, в этих целях применяются моменты распределения выше первого, производные от
них величины, размах выборки, квантили и другие.
– стандартизованные переменные u
27
2.6. РАСПРЕДЕЛЕНИЕ ВЫБОРОЧНЫХ ХАРАКТЕРИСТИК
Рассмотрим случайную величину x(k), имеющую функцию распределения P(x). Пусть x1, x2, … , xn выборка, состоящая из n наблюденных
значений величины x(k). Любая величина, вычисленная по этим выборочным значениям, тоже будет случайной. Например, среднее значение
выборки x . Если из одной и той же случайной величины x(k) извлекать
ряд различных выборок объема N, то средние значения x , вычисленные
по различным выборкам, будут различаться между собой. Следовательно,
выборочное среднее представляет собой случайную величину, которая
имеет некоторую функцию распределения. Эту функцию называют выборочным распределением выборочного среднего.
Рассмотрим среднее значение выборки объема N независимых
наблюдений случайной величины x(k). В случае нормального распределения случайной величины x(k) с математическим ожиданием x и дисперсией 2x выборочное среднее x
будет распределено нормально с
2x
.
x x и
N
Выборочное распределение среднего значения выборки можно опи(x x ) N
сать при помощи величины z (k )
. Отсюда вытекает утверx
2x
z
ждение P x x x .
N
Пример 2.1.
Пусть необходимо извлечь выборку объема N = 25 независимых
наблюдений нормально распределенной случайной величины x(k) с математическим ожиданием x = 10 и дисперсией 2x = 4. Определим интервал, в который с вероятностью 95 % будет заключено среднее значе
ние. Выборочное среднее x представляет собой одно значение, выбран4
ное из нормально распределенных случайных величин с x 10 и 2x .
25
x x x 10 ( x 10) 5
Используем нормированную величину z
.
x
2
4
25
Для того чтобы найти интервал, в который с вероятностью 95 % за
ключены значения x , необходимо задать такие границы этого интервала,
28
что вероятность попадания x слева от интервала составляет 2,5 % и ве
роятность попадания x справа от интервала составляет 2,5 %.
( x 10) 5
P z1 2
z 2 1 . 1 0,95 0,05 .
2
По
таблице
находим
т. е.
z1 2 z 2 z0,025 1,96 ,
1,96 2
1,96 2
( x 10) 5
10 x
10 , а знаP 1,96
1,96 0,95 ,
5
5
2
чит 9,21 x 10,78 .
В случае если случайная величина распределена по закону, отличному от нормального, из следствий центральной предельной теоремы
вытекает, что при увеличении объема выборки N выборочное распределение выборочного среднего значения выборки приближается к нормальному распределению независимо от вида распределения исходной величины x(k).
С точки зрения практики предположение о нормальности выбороч
ного среднего x становится приемлемым во многих случаях при N 4 и
вполне хорошо оправдывается при объемах N 10. Следовательно, при
достаточно больших объемах выборок в качестве выборочного распреде
ления среднего значения выборки x для случайной величины можно ис(x x ) N
пользовать выражение z (k )
независимо от закона распреx
деления случайной величины.
Рассмотрим дисперсию S 2 выборки объема N независимых
наблюдений случайной величины x(k). Пусть величина x(k) имеет нормальное распределение со средним значением x и дисперсией 2x .
nS 2
2n , n N 1. ВеНайдем распределение выборочной дисперсии
2
x
личина 2 подчиняется распределению 2 с n = N – 1 степенями свободы.
Отсюда следует вероятностное утверждение относительно выборочной
2 2x 2n,
дисперсии до извлечения выборки P S
.
n
Для примера 2.1 найдем интервал, в который с вероятностью 95 %
будет попадать дисперсия. Этот интервал может быть вычислен по фор-
29
2
24S 2
муле P 24 ,1 2
224 , 2 1 . По статистическим таблицам
4
24S 2
2
2
находим 24 ,0.975 12,4 , 24 ,0.025 39,36 , P 12,4
39,36 0,95 ,
4
2,07 S 2 6,56 .
Пусть величина x(k) имеет нормальное распределение со средним
St
значением x и неизвестной дисперсией. Тогда P x n, x .
N
Пример 2.2.
Пусть необходимо извлечь выборку объема N = 25 независимых
наблюдений нормально распределенной случайной величины x(k) с математическим ожиданием x = 10 и неизвестной дисперсией. Определим
интервал, в который с вероятностью 95 % будет заключено выборочное
St
среднее значение. Из формулы
P x n, x следует, что
N
( x 10) 25
P t 24 ,1 2
t 24 , 2 1 . По статистическим таблицам
S
( x 10) 5
t24,0.025 = – t24,0.975 = 2,064, тогда P 2,064
2,064 0,95 и
S
10 0,413S x 10 0,413S .
Рассмотрим дисперсии двух выборок – одной, состоящей из Nx независимых наблюденных значений случайной величины x(k) и другой,
состоящей из Ny независимых наблюденных значений случайной величины
y(k).
Выборочная
дисперсия
определяется
формулой
1 N
S2
( xi x ) 2 . Пусть величина x(k) подчиняется нормальному
N 1 i 1
закону со средним значением x и дисперсией 2x , величина y(k) подчиняется нормальному закону со средним значением y и дисперсией
2y . Укажем распределения выборочных значений дисперсий S x2 и S y2 .
S x2 2x
Fnx,ny ,
S y2 2y
где
nx = Nx – 1,
ny = Ny – 1.
Величина
Fnx,ny
имеет
F-распределение с nx и ny степенями свободы. Отсюда вытекает следующее вероятностное утверждение об отношении выборочных дисперсий:
30
S x2 2x
P 2 2 Fnx, ny; .
S y y
Если выборки состоят из наблюдений над одной и той же случайной
S x2
величиной x(k) = y(k), то формула примет вид 2 Fnx, ny .
Sy
Пример 2.3.
Пусть производится выборка наблюдений объема Nx = 25 из независимых наблюдений нормально распределенной величины x(k) с математическим ожиданием x = 10 и дисперсией 2x = 4 и выборка наблюдений объема Ny = 10 из независимых наблюдений нормально распределенной величины x(k) с математическим ожиданием y = 100 и дисперсией 2y = 8. Определим интервал, в который с вероятностью 95 % будет
заключено отношение выборочных дисперсий.
S x2 4
P F21,9;1 2 2 F21,9; 2 1 . По статистическим таблицам
Sy 8
S x2
1
F21,9;0.975
0,37 . 0,18 2 1,8 .
F21,9;0.025
Sy
2.7. ЗАДАЧА ТОЧЕЧНОГО ОЦЕНИВАНИЯ ПАРАМЕТРОВ
Точечная оценка предполагает нахождение единственной числовой
величины, которая и принимается за значение параметра. Такую оценку
целесообразно определять в тех случаях, когда объем экспериментальных
данных достаточно велик. Не существует единого понятия о достаточном
объеме экспериментальных данных, его значение зависит от вида оцениваемого параметра, предварительно будем считать достаточной выборку,
содержащую не менее чем 10 значений. При малом объеме экспериментальных данных точечные оценки могут значительно отличаться от истинных значений параметров, что делает их непригодными для использования.
Задача точечной оценки параметров в типовом варианте постановки
состоит в следующем.
Имеется выборка наблюдений (x1, x2, … , xn) за случайной величиной
Х. Объем выборки n фиксирован. Известен вид закона распределения
31
величины Х, например в форме плотности распределения f (T, x), где T –
неизвестный (в общем случае векторный) параметр распределения. Параметр является неслучайной величиной. Требуется найти оценку параметра T закона распределения.
Существует несколько методов решения задачи точечной оценки
параметров, наиболее употребительными из них являются методы максимального (наибольшего) правдоподобия, моментов и квантилей.
2.7.1. Метод максимального правдоподобия
Метод предложен Р. Фишером в 1912 г. Метод основан на исследовании вероятности получения выборки наблюдений (x1, x2, … , xn). Эта
вероятность равна f (х1, T) f (х2, T) … f (хп, T) dx1 dx2 … dxn.
Совместная плотность вероятности
L(x1, x2, … , xn; T) = f (х1, T) f (х2, T) … f (хп, T),
(2.21)
рассматриваемая как функция параметра T, называется функцией правдоподобия.
В качестве оценки параметра T следует взять то значение, которое обращает функцию правдоподобия в максимум. Для нахождения
оценки необходимо заменить в функции правдоподобия Т на f (х1, T),
f (х2, T), … , f (хп, T) и решить уравнение L / = 0.
Для упрощения вычислений переходят от функции правдоподобия к
ее логарифму ln L. Такое преобразование допустимо, т. к. функция правдоподобия – положительная функция, и она достигает максимума в той же
точке, что и ее логарифм. Если параметр распределения векторная величина
= (1, 2, … , п),
то оценки максимального правдоподобия находят из системы уравнений
ln L(1 , 2 ,, n )
0,
1
ln L(1 , 2 ,, n )
0,
2
...................................
ln L(1 , 2 ,, n )
0.
n
(2.22)
32
Для проверки того, что точка оптимума соответствует максимуму
функции правдоподобия, необходимо найти вторую производную от этой
функции. И если вторая производная в точке оптимума отрицательна, то
найденные значения параметров максимизируют функцию.
Нахождение оценок максимального правдоподобия включает следующие этапы: построение функции правдоподобия (ее натурального
логарифма); дифференцирование функции по искомым параметрам и составление системы уравнений; решение системы уравнений для нахождения оценок; определение второй производной функции, проверку ее знака
в точке оптимума первой производной и формирование выводов.
Метод максимального правдоподобия позволяет получить состоятельные, эффективные, достаточные, асимптотически нормально распределенные оценки. Метод особенно полезен при малых выборках. Если
функция максимального правдоподобия имеет несколько максимумов, то
из них выбирают глобальный.
2.7.2. Метод моментов
Метод предложен К. Пирсоном в 1894 г. Сущность метода:
– выбирается столько эмпирических моментов, сколько требуется
оценить неизвестных параметров распределения. Желательно применять
моменты младших порядков, т. к. погрешности вычисления оценок резко
возрастают с увеличением порядка момента;
– вычисленные по экспериментальным данным оценки моментов
приравниваются к теоретическим моментам;
– параметры распределения определяются через моменты, и составляются уравнения, выражающие зависимость параметров от моментов, в
результате получается система уравнений. Решение этой системы дает
оценки параметров распределения генеральной совокупности.
Метод моментов позволяет получить состоятельные, достаточные
оценки, они при довольно общих условиях распределены асимптотически
нормально. Смещение удается устранить введением поправок. Эффективность оценок невысокая, т. е. даже при больших объемах выборок дисперсия оценок относительно велика (за исключением нормального распределения, для которого метод моментов дает эффективные оценки). В реализации метод моментов проще метода максимального правдоподобия.
Метод целесообразно применять для оценки не более чем четырех пара-
33
метров, т. к. точность выборочных моментов резко падает с увеличением
их порядка.
2.7.3. Метод квантилей
Сущность метода квантилей схожа с сущностью метода моментов:
выбирается столько квантилей, сколько требуется оценить параметров;
неизвестные теоретические квантили, выраженные через параметры распределения, приравниваются к эмпирическим квантилям. Решение полученной системы уравнений дает искомые оценки параметров.
Дисперсия D(xa) выборочной квантили обратно пропорциональна
квадрату плотности распределения
D(xa) = [(1 – )] / [nf 2(xa)]
(2.23)
в окрестностях точки xa. Поэтому следует выбирать квантили вблизи тех
значений х, в которых плотность вероятности максимальна.
Метод квантилей позволяет получить асимптотически нормальные
оценки, однако они несут в себе некоторый субъективизм, связанный с
относительно произвольным выбором квантилей. Эффективность оценок
не выше метода моментов. Определение оценок может приводить к необходимости численного решения достаточно сложных систем уравнений.
2.8. ИНТЕРВАЛЬНАЯ ОЦЕНКА ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЯ
Интервальный метод оценивания параметров распределения случайных величин заключается в определении интервала (а не единичного значения), в котором с заданной степенью достоверности будет заключено
значение оцениваемого параметра. Интервальная оценка характеризуется
двумя числами – концами интервала, внутри которого предположительно
находится истинное значение параметра. Иначе говоря, вместо отдельной
точки для оцениваемого параметра можно установить интервал значений,
одна из точек которого является своего рода «лучшей» оценкой. Интервальные оценки являются более полными и надежными по сравнению с
точечными, они применяются как для больших, так и для малых выборок.
Совокупность методов определения промежутка, в котором лежит значение параметра Т, получила название методов интервального оценивания.
К их числу принадлежит метод Неймана.
34
Постановка задачи интервальной оценки параметров заключается в
следующем.
Имеется выборка наблюдений (x1, x2, … , xn) за случайной величиной
Х. Объем выборки n фиксирован.
Необходимо с доверительной вероятностью = 1 – определить
интервал от t0 до t1 (t0 t1), который накрывает истинное значение неизвестного скалярного параметра Т.
Эта задача решается путем построения доверительного утверждения,
которое состоит в том, что интервал от t0 до t1 накрывает истинное значение параметра Т с доверительной вероятностью не менее . Величины
t0 и t1 называются нижней и верхней доверительными границами. Доверительные границы интервала выбирают так, чтобы выполнялось условие
P (t0 t1) = .
В инженерных задачах доверительную вероятность назначают в
пределах от 0,95 до 0,99. В доверительном утверждении считается, что
статистики t0 и t1 являются случайными величинами и изменяются от
выборки к выборке. Это означает, что доверительные границы определяются неоднозначно, существует бесконечное количество вариантов их
установления.
На практике применяют два варианта задания доверительных границ:
– устанавливают симметрично относительно оценки параметра, т. е.
t0 Eg , t1 Eg , где Еg выбирают так, чтобы выполнялось доверительное утверждение. Следовательно, величина абсолютной погрешности
оценивания Еg равна половине доверительного интервала;
– устанавливают из условия равенства вероятностей выхода за
верхнюю и нижнюю границу P(T E1) P(T E2 ) 2 .
В общем случае величина Е1 не равна Е2. Для симметричных распределений случайного параметра в целях минимизации величины интервала значения Е1 и Е2 выбирают одинаковыми, следовательно, в таких случаях оба варианта эквивалентны.
Нахождение доверительных интервалов требует знания вида и параметров закона распределения случайной величины . Для ряда практически важных случаев этот закон можно определить из теоретических соображений.
Общий метод построения доверительных интервалов позволяет по
имеющейся случайной выборке построить функцию и (Т, ), распределенную асимптотически нормально с нулевым математическим ожидани-
35
ем и единичной дисперсией. В основе метода лежат следующие положения. Пусть:
– f (х, ) – плотность распределения случайной величины Х;
– ln [L(x, )] – логарифм функции правдоподобия;
– y
ln f ( x, ) ;
– дисперсия y.
Если математическое ожидание М(у) = 0 и дисперсия у конечна, то
1
ln L( x, ) асимптотичераспределение случайной величины w
A n
ски нормально с параметрами 0 и 1 при неограниченном увеличении n.
Рассмотрим случай, когда среднее значение x выборки объема N
значений случайной величины x(k) используется в качестве оценки истинного значения x. Практически полезнее находить для истинного
среднего значения x такой интервал x d , в который с некоторой
степенью достоверности будет заключено истинное значение x. Этот
интервал можно найти, если известно выборочное распределение используемой в качестве оценки выборочной величины. Для нормально распределенной случайной величины с неизвестным средним значением и дисперсией эту вероятность находят следующим образом:
(x x ) N
P tn,1 2
tn, 2 1 , n N .
s
(2.24)
После извлечения выборки значения x и s принимают определенные числовые значения, а значит, не являются случайными. Поэтому данное выражение для вероятности уже не приемлемо, так как величина
(x x ) N
либо попадает, либо не попадает в казанные пределы, т. е.
s
после того, как выборка извлечена, теоретически верное выражение для
0
(x x ) N
вероятности имеет вид P t n,1 2
t n, 2 . Будет ли
s
1
точное значение вероятности равно 0 или 1 обычно не известно. Однако
если повторно извлекается большое число выборок и по каждой из выборок вычисляются x и s, то следует ожидать, что доля случаев, для кото(x x ) N
рых отношение
будет попадать в интервал от tn;1–/2 до tn;/2
s
составит 1 .
36
В таких случаях можно указать интервал, в который, как можно
(x x ) N
ожидать, отношение
попадет с большой степенью достоверs
ности. Такой интервал называют доверительным интервалом.
При оценке среднего значения доверительный интервал можно получить по известным выборочным величинам x и s.
(x x ) N
tn, 2 ;
s
tn, 2 ;
tn,1 2
tn,1 2
x
tn, 2 s
N
x
tn, 2 s
N
(2.25)
x.
Доверительная вероятность, соответствующая данному интервалу,
составляет 1 .
Аналогичные выводы можно сделать для оценок любых параметров.
ns 2
Например, из формулы
x
интервал при оценке дисперсии
ns 2
n;1 / 2
2
2x
n 2 можно получить доверительный
ns 2
n; / 2
, n N 1.
Пример 2.4.
Пусть имеется нормально распределенная случайная величина x(k).
Произведено N = 31 независимых наблюдений этой величины x:
60
63
57
54
61
61
62
47
55
57
56
61
58
61
56
53
65
48
59
69
67
58
54
65
61
59
60
67
43
58
62
Найдем 90 %-е доверительные интервалы для среднего значения и
дисперсии случайной величины х. Определим доверительный интервал с
уровнем доверия 1 для среднего значения x по выборочному среднему x и дисперсии s2 при размере выборки N = 31:
x
t30 , 2 s
31
x
t30 , 2 s
31
x.
37
По статистическим таблицам для = 0,1 находим t30;0.05 = 43,77,
значит интервал имеет вид x 0,3048s x 0,3048s x .
Доверительный интервал дисперсии 2x с уровнем доверия 1
строится по выборочной дисперсии s2 при размере выборки N = 31:
30s 2
30s 2
2
.
x 2
2
30
; 2
30 ;1 2
2
По статистическим таблицам для = 0,1 находим 30
;0, 05 43,77 и
2
2
2
2
30
;0,95 18,49 , поэтому интервал имеет вид 0,6854s x 1,622s .
Вычислим выборочное среднее и выборочную дисперсию и подставим полученные значения в формулы доверительных интервалов. Выборочное среднее вычислим по формуле:
x
1
N
N
xi
58,61.
i 1
Выборочную дисперсию находим по формуле:
1 N
s
( xi x )2 33,43 .
N 1 i 1
2
Доверительные интервалы с уровнем доверия 90 % для среднего
значения и дисперсии случайной величины таковы:
56,58 x 60,37
22,91 2x 154,22 .
2.9. ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ
2.9.1. Сущность задачи проверки статистических гипотез
Статистическая гипотеза представляет собой некоторое предположение о законе распределения случайной величины или о параметрах этого закона, формулируемое на основе выборки.
Различают простые и сложные гипотезы. Гипотезу называют простой, если она однозначно характеризует параметр распределения случайной величины. Например, если l является параметром экспоненциального
распределения, то гипотеза Н0 о равенстве l = 10 – простая гипотеза.
38
Сложной называют гипотезу, которая состоит из конечного или бесконечного множества простых гипотез. Сложная гипотеза Н0 о неравенстве
l 10 состоит из бесконечного множества простых гипотез Н0 о равенстве l = bi, где bi – любое число, большее 10. Гипотеза Н0 о том, что математическое ожидание нормального распределения равно двум при неизвестной дисперсии, тоже является сложной. Сложной гипотезой будет
предположение о распределении случайной величины Х по нормальному
закону, если не фиксируются конкретные значения математического ожидания и дисперсии.
Проверка гипотезы основывается на вычислении некоторой случайной величины – критерия, точное или приближенное распределение которого известно. Обозначим эту величину через z, ее значение является
функцией от элементов выборки z = z(x1, x2, … , xn). Процедура проверки
гипотезы предписывает каждому значению критерия одно из двух решений – принять или отвергнуть гипотезу. Тем самым все выборочное пространство и соответственно множество значений критерия делятся на два
непересекающихся подмножества S0 и S1. Если значение критерия z
попадает в область S0, то гипотеза принимается, а если в область S1, то
гипотеза отклоняется. Множество S0 называется областью принятия гипотезы или областью допустимых значений, а множество S1 – областью
отклонения гипотезы или критической областью. Выбор одной области
однозначно определяет и другую область.
Принятие или отклонение гипотезы Н0 по случайной выборке соответствует истине с некоторой вероятностью и, соответственно, возможны
два рода ошибок. Ошибка первого рода возникает с вероятностью a тогда, когда отвергается верная гипотеза Н0 и принимается конкурирующая
гипотеза Н1. Ошибка второго рода возникает с вероятностью b в том
случае, когда принимается неверная гипотеза Н0, в то время как справедлива конкурирующая гипотеза Н1. Доверительная вероятность – это вероятность не совершить ошибку первого рода и принять верную гипотезу
Н0. Вероятность отвергнуть ложную гипотезу Н0 называется мощностью
критерия.
Рассмотрим случай, когда некоторая несмещенная оценка параметра
̂ вычислена по выборке объема N независимых наблюдений случайной
величины x(k). Предположим, есть основания считать, что истинное значение параметра равно 0. Даже если = 0, то выборочное значение ̂ не будет точно совпадать с 0 из-за выборочной изменчивости
статистики ̂ .
39
Тогда возникает вопрос: если принять гипотезу, что = 0, то на
сколько велико должно быть различие между ̂ и 0, чтобы отвергнуть
гипотезу как ошибочную. Рассмотрим вероятность достижения некоторой
заданной разности между ̂ и 0 на основе выборочного распределения
параметра ̂ . Если вероятность превышения отклонения ̂ от 0 заданного уровня мала, этот уровень следует считать значимым и гипотезу
= 0 следует отвергнуть. Если вероятность превышения заданной разности не является малой, то наличие этой разности можно отнести за счет
обычной статистической изменчивости и гипотезу = 0 можно считать
правдоподобной.
Пусть выборочная величина ̂ , представляющая собой несмещенˆ ) . Если гиную оценку параметра, имеет плотность распределения р (
ˆ ) должна
потеза, состоящая в том, что = 0 верна, то функция р (
обладать средним значением 0. Вероятность того, что параметр ̂ не
будет
превышать
нижнего
уровня
составит
1 2 ,
ˆ 1 2 )
P (
1
2
p(ˆ ) dˆ
2 . Вероятность того, что параметр
̂
ˆ 2 )
превысит уровень 2 , составит P(
p(ˆ ) dˆ
2 . Ве-
2
роятность того, что параметр ̂ выйдет за пределы интервала с границами 1 2 и 2 составляет . Примем величину настолько малой,
чтобы попадание параметра ̂ за пределы интервала ( 1 2 , 2 ) было
маловероятным. Если после извлечения выборки и определения ̂ окажется, что она выходит за пределы интервала ( 1 2 , 2 ), т. е. основания подвергнуть сомнения справедливость проверяемой гипотезы = 0.
Если гипотеза верна, то значение ̂ будет маловероятным. Следовательно, гипотезу равенства величин и 0 следует отвергнуть. Отсюда следует, что вероятность допустить ошибку первого рода равна (равна
уровню значимости критерия).
Если параметр ̂ попадает в интервал ( 1 2 , 2 ), то в этом
случае нет оснований подвергать сомнению справедливость гипотезы и
гипотезу = 0 можно принять.
Малое значение вероятности , используемое для проверки гипотезы, называется уровнем значимости критерия. Интервал значений ̂ , при
40
котором гипотезу можно принять, носит название области принятия гипотезы. Целесообразно полагать одинаковыми значения вероятности выхода
параметра ̂ за нижний и верхний пределы интервала. Такое допущение
во многих случаях позволяет минимизировать доверительный интервал,
т. е. повысить мощность критерия проверки. Суммарная вероятность
выхода параметра ̂ за пределы интервала с границами 1 2 и 2
составляет величину .
Если предположить, например, что истинное значение параметра в
действительности равно + d, то согласно гипотезе Н0 о равенстве
= 0 – вероятность того, что оценка параметра попадет в область
принятия гипотезы, составит .
При заданном объеме выборки вероятность совершения ошибки
первого рода можно уменьшить, снижая уровень значимости . Однако
при этом увеличивается вероятность ошибки второго рода (снижается
мощность критерия). Аналогичные рассуждения можно провести для случая, когда истинное значение параметра равно d.
Единственный способ уменьшить обе вероятности состоит в увеличении объема выборки (плотность распределения оценки параметра при
этом становится более «узкой»). При выборе критической области руководствуются правилом Неймана – Пирсона: следует так выбирать критическую область, чтобы вероятность была мала, если гипотеза верна, и
велика в противном случае. Однако выбор конкретного значения относительно произволен. Употребительные значения лежат в пределах от
0,001 до 0,2.
При выборе уровня значимости необходимо учитывать мощность
критерия при альтернативной гипотезе. Иногда большая мощность критерия оказывается существеннее малого уровня значимости, и его значение
выбирают относительно большим, например 0,2. Такой выбор оправдан,
если последствия ошибок второго рода более существенны, чем ошибок
первого рода. Например, если отвергнуто правильное решение «продолжить работу пользователей с текущими паролями», то ошибка первого рода приведет к некоторой задержке в нормальном функционировании системы, связанной со сменой паролей. Если же принято решение не менять
пароли, несмотря на опасность несанкционированного доступа посторонних лиц к информации, то эта ошибка повлечет более серьезные последствия.
Пример 2.5.
41
Пусть есть основания считать x случайной величины x(k) равной
10. Известна дисперсия величины x(k): 2x 4 . Каков должен быть объем
выборки для проверки гипотезы x 10 при 5 % уровне значимости,
причем вероятность допустить ошибку второго рода при определении
10 % отклонения от гипотезы величина должна составить 2,5 %.
Несмещенная оценка x x . Соответствующее выборочное рас
пределение параметра x можно получить из формулы x x z (k ) x ,
n
где z(k) нормально распределенная случайная величина с x 0 и
2x 1. Верхняя и нижняя границы области принятия гипотезы имеют вид:
x
z / 2 x верхняя граница;
n
x
z1 / 2 x нижняя граница.
n
Если в действительности истинное значение x x d , то ошибка второго рода допускается с вероятностью , когда выборочное значение x лежит ниже верхней или выше нижней границы:
x
z1 x d верхняя граница;
n
x
z x d нижняя граница.
n
Следовательно,
x
z1 x d x z / 2 x ,
n
n
x
z x d x z1 / 2 x .
n
n
В данном примере 2 , значит
x
z / 2 x d x z / 2 x ,
n
n
x
z / 2 x d x z / 2 x .
n
n
Вычитая из второго уравнения первое, получим:
2 x z / 2 2 x z / 2 2d ,
n
n
42
4
x
z / 2 2d ,
n
n2
x
z / 2 ,
d
2
n 4 x z / 2 .
d
Подставляя 2x 4 , d 0,110 1 и z / 2 1,96 , получим n = 62.
Область принятия гипотезы: 10,5 – верхняя граница; 9,5 – нижняя
граница.
Теперь следует извлечь выборку объема n = 62 и вычислить x . Если 9,5 x 10,5 , то гипотезу x 10 можно принять, учитывая возможность 2,5 % риска. Если же x будет вне интервала, то гипотезу x 10
следует отвергнуть, учитывая возможность 5 % риска.
В зависимости от сущности проверяемой гипотезы и используемых
мер расхождения оценки характеристики от ее теоретического значения
применяют различные критерии. К числу наиболее часто применяемых
критериев для проверки гипотез о законах распределения относят критерии 2 Пирсона, Колмогорова, Мизеса, Вилкоксона, о значениях параметров – критерии Фишера, Стьюдента.
2.9.2. Проверка гипотез о законе распределения
Пусть имеется выборка экспериментальных данных фиксированного
объема, выбран или известен вид закона распределения генеральной совокупности. Необходимо оценить по этой выборке параметры закона, определить степень согласованности экспериментальных данных и выбранного закона распределения, в котором параметры заменены их оценками.
Рассмотрим вопрос проверки согласованности распределений с использованием наиболее употребительных критериев.
Критерий 2 К. Пирсона
Использование этого критерия основано на применении такой меры
(статистики) расхождения между теоретическим F(x) и эмпирическим
распределением Fn (x), которая приближенно подчиняется закону распределения 2. Гипотеза Н0 о согласованности распределений проверяется
43
путем анализа распределения этой статистики. Применение критерия требует построения статистического ряда.
Пусть выборка представлена статистическим рядом с количеством
разрядов . Наблюдаемая частота попаданий в i-й разряд ni. В соответствии с теоретическим законом распределения ожидаемая частота попаданий в i-й разряд составляет Fi. Разность между наблюдаемой и ожидаемой частотой составит величину (ni – Fi). Для нахождения общей степени
расхождения между F(x) и Fn (x) необходимо подсчитать взвешенную
сумму квадратов разностей по всем разрядам статистического ряда
(ni Fi ) 2
.
Fi
i 1
2
Величина 2 при неограниченном увеличении n имеет распределение 2. Это распределение зависит от числа степеней свободы k. Число
степеней свободы равно числу минус число линейных связей, наложенных на выборку. Одна связь существует в силу того, что любая частота
может быть вычислена по совокупности частот в оставшихся – 1 разрядах. Кроме того, если параметры распределения неизвестны заранее, то
имеется еще одно ограничение, обусловленное подгонкой распределения
к выборке. Если по выборке определяются f параметров распределения,
то число степеней свободы составит k = – f – 1.
Очевидно, что чем меньше расхождение между теоретическими и
эмпирическими частотами, тем меньше величина критерия. Область принятия гипотезы Н0 определяется условием 2 < 2 (k; ), где 2 (k; ) –
критическая точка распределения 2 с уровнем значимости . Вероятность ошибки первого рода равна , вероятность ошибки второго рода
четко определить нельзя, потому что существует бесконечно большое
множество различных способов несовпадения распределений. Мощность
критерия зависит от количества разрядов и объема выборки. Критерий рекомендуется применять при n 200, допускается применение при n 40,
именно при таких условиях критерий состоятелен (как правило, отвергает
неверную нулевую гипотезу).
Критерий А. Н. Колмогорова
Для применения критерия А. Н. Колмогорова экспериментальные
данные требуется представить в виде вариационного ряда (данные недопустимо объединять в разряды). В качестве меры расхождения между теоретической F(x) и эмпирической Fn(x) функциями распределения непре-
44
рывной случайной величины Х используется модуль максимальной разности d n max F ( x) Fn ( x) .
А. Н. Колмогоров доказал, что какова бы ни была функция распределения F(x) величины Х при неограниченном увеличении количества
наблюдений n функция распределения случайной величины d n n
асимптотически приближается к функции распределения
K ( ) P ( d n )
(1) k exp( 2k 22 ) .
(2.26)
k
Иначе говоря, критерий А. Н. Колмогорова характеризует вероятность того, что величина d n n не будет превосходить параметр l для
любой теоретической функции распределения. Уровень значимости
выбирается из условия P(d n n ) 1 K () , в силу предположения, что почти невозможно получить это равенство, когда существует
соответствие между функциями F(x) и Fn (x).
Критерий А. Н. Колмогорова позволяет проверить согласованность
распределений по малым выборкам, он проще критерия 2, поэтому его
часто применяют на практике. Но требуется учитывать два обстоятельства.
1. В соответствии с условиями его применения необходимо пользоваться следующим соотношением d n max( d n , d n ) , где
d n max
1in
i
i 1
.
F ( xi ) ; d n max F ( xi )
1i n
n
n
2. Условия применения критерия предусматривают, что теоретическая функция распределения известна полностью – известны вид функции
и значения ее параметров. На практике параметры обычно неизвестны и
оцениваются по экспериментальным данным. Но критерий не учитывает
уменьшение числа степеней свободы при оценке параметров распределения по исходной выборке. Это приводит к завышению значения вероятности соблюдения нулевой гипотезы, т. е. повышается риск принять в качестве правдоподобной гипотезу, которая плохо согласуется с экспериментальными данными (повышается вероятность совершить ошибку второго
рода). В качестве меры противодействия такому выводу следует увеличить уровень значимости , приняв его равным 0,1 – 0,2, что приведет к
уменьшению зоны допустимых отклонений.
Критерий Р. Мизеса
45
В качестве меры различия теоретической функции распределения
F(x) и эмпирической Fn (x) по критерию Мизеса (критерию 2) выступает средний квадрат отклонений по всем значениям аргумента x:
2n
Fn ( x) F ( x)
2
dF ( x) .
(2.27)
Статистика критерия
2
n2n
n
1
i 0,5
.
F ( xi )
12n i 1
n
(2.28)
При неограниченном увеличении n существует предельное распределение статистики n 2n . Задав значение вероятности , можно определить критические значения n 2n (). Проверка гипотезы о законе распределения осуществляется обычным образом: если фактическое значение
n 2n окажется больше критического или равно ему, то согласно критерию
Мизеса с уровнем значимости гипотеза Н0 о том, что закон распределения генеральной совокупности соответствует F(x), должна быть отвергнута.
Достоинством критерия Мизеса является быстрая сходимость к предельному закону.
Сопоставляя возможности различных критериев, необходимо отметить следующие особенности. Критерий Пирсона устойчив к отдельным
случайным ошибкам в экспериментальных данных. Однако его применение требует группирования данных по интервалам, выбор которых относительно произволен и подвержен противоречивым рекомендациям. Критерий Колмогорова слабо чувствителен к виду закона распределения и
подвержен влиянию помех в исходной выборке, но прост в применении.
Критерий Мизеса имеет ряд общих свойств с критерием Колмогорова: оба
основаны непосредственно на результатах наблюдения и не требуют построения статистического ряда, что повышает объективность выводов; оба
не учитывают уменьшение числа степеней свободы при определении параметров распределения по выборке, а это ведет к риску принятия ошибочной гипотезы. Их предпочтительно применять в тех случаях, когда параметры закона распределения известны априори, например, при проверке
датчиков случайных чисел.
При проверке гипотез о законе распределения следует помнить, что
слишком хорошее совпадение с выбранным законом распределения может
быть обусловлено некачественным экспериментом или предвзятой пред-
46
варительной обработкой результатов (некоторые результаты отбрасываются или округляются).
Выбор критерия проверки гипотезы относительно произволен. Разные критерии могут давать различные выводы о справедливости гипотезы, окончательное заключение в таком случае принимается на основе неформальных соображений. Точно также нет однозначных рекомендаций
по выбору уровня значимости.
Рассмотренный подход к проверке гипотез, основанный на применении специальных таблиц критических точек распределения, сложился в
эпоху «ручной» обработки экспериментальных данных, когда наличие таких таблиц существенно снижало трудоемкость вычислений. В настоящее
время математические пакеты включают процедуры вычисления стандартных функций распределений, что позволяет отказаться от использования таблиц, но может потребовать изменения правил проверки.
2.9.3. Критерий инверсий
Рассмотрим последовательность N наблюдений случайной величины
x(k). Подсчитаем, сколько раз в последовательности имеют место неравенства xi xj при i j. Каждое такое неравенство называют инверсией.
Общее число инверсии обозначим А. Для множества наблюдений
1, если xi x j ,
hij
0, если xi x j ,
A
N 1
Ai ,
(2.29)
i 1
Ai
N
hij .
j i 1
Если последовательность из N наблюдений состоит из N независимых исходов одной и той же случайной величины, то число инверсий
N ( N 1)
является случайной величиной А со средним A
и дисперси4
2 N 3 3N 2 5 N
2
ей A
. Статистическая таблица процентных точек
72
распределения числа инверсий содержит 100-процентные точки распределения. Критерий инверсий применяется для обнаружения монотонного
тренда.
47
Пример 2.6.
Пусть имеется случайная величина x(k). Произведено N = 8 независимых наблюдений этой величины (x: 5 3 8 9 4 1 7 5). Проверим наличие
тренда в последовательности при уровне значимости = 5 %
Для данной выборки А1 = 3, А2 = 1, А3 = 4, А4 = 4, А5 = 1, А6 = 0, А7 = 1.
А = 3 + 1 + 4 + 4 + 1 + 0 + 1 = 14.
Пусть гипотеза заключается в том, что наблюдения представляют
собой независимые исходы случайной величины x, т. е. тренда нет.
Область принятия гипотезы A8,1 / 2 A A8, / 2 . По таблице находим А8;0,975 = 11, А8;0,025 = 33. Подставляем найденные значения в неравенство 11 14 33 . Так как А = 14 попадает в интервал, заключенный между 11 и 33, то гипотеза должна быть принята с уровнем значимости 5 %.
3. КОРРЕЛЯЦИОННЫЙ АНАЛИЗ
Величины, характеризующие различные свойства объектов, могут
быть независимыми или взаимосвязанными. Различают два вида зависимостей между величинами (факторами): функциональную и статистическую.
При функциональной зависимости двух величин значению одной из
них обязательно соответствует одно или несколько точно определенных
значений другой величины. Функциональная связь двух факторов возможна лишь при условии, что вторая величина зависит только от первой и
не зависит ни от каких других величин. Функциональная связь одной величины с множеством других возможна, если эта величина зависит только
от этого множества факторов. В реальных ситуациях существует бесконечно большое количество свойств самого объекта и внешней среды, влияющих друг на друга, поэтому такого рода связи не существуют, иначе говоря, функциональные связи являются математическими абстракциями.
Их применение допустимо тогда, когда соответствующая величина в основном зависит от соответствующих факторов.
При исследовании функционирования систем многие параметры
следует считать случайными, что исключает проявление однозначного соответствия значений. Воздействие общих факторов, наличие объективных
закономерностей в поведении объектов приводят лишь к проявлению ста-
48
тистической зависимости. Статистической называют зависимость, при
которой изменение одной из величин влечет изменение распределения
других (другой), и эти другие величины принимают некоторые значения с
определенными вероятностями. Функциональную зависимость в таком
случае следует считать частным случаем статистической: значению одного фактора соответствуют значения других факторов с вероятностью, равной единице. Однако на практике такое рассмотрение функциональной
связи применения не нашло.
Более важным частным случаем статистической зависимости является корреляционная зависимость, характеризующая взаимосвязь значений
одних случайных величин со средним значением других, хотя в каждом
отдельном случае любая взаимосвязанная величина может принимать различные значения.
Если же у взаимосвязанных величин вариацию имеет только одна
переменная, а другая является детерминированной, то такую связь называют не корреляционной, а регрессионной. Например, при анализе скорости обмена с жесткими дисками можно оценивать регрессию этой характеристики на определенные модели, но не следует говорить о корреляции
между моделью и скоростью.
При исследовании зависимости между одной величиной и такими
характеристиками другой, как, например, моменты старших порядков (а
не среднее значение), то эта связь будет называться статистической, а не
корреляционной.
Термин «корреляция» впервые применил французский палеонтолог
Ж. Кювье, который вывел «закон корреляции частей и органов животных»
(этот закон позволяет восстанавливать по найденным частям тела облик
всего животного). В статистику указанный термин ввел английский биолог и статистик Ф. Гальтон (не просто связь – relation, а «как бы связь» –
co-relation). Корреляционная связь описывает следующие виды зависимостей:
– причинную зависимость между значениями параметров. Примером такой зависимости является взаимосвязь пропускной способности канала передачи данных и соотношения сигнал/шум (на пропускную способность влияют и другие факторы – характер помех, амплитудночастотные характеристики канала, способ кодирования сообщений и др.).
Установить однозначную связь между конкретными значениями указанных параметров не удается. Но очевидно, что пропускная способность зависит от соотношения уровней сигнала и помех в канале. Иногда причину
и следствие особо не выделяют. В некоторых случаях такая корреляция
49
является бессмысленной, например: если в качестве исходного фактора
взять доходы разработчиков антивирусных программ, а за результат –
количество вновь появляющихся вирусов, то можно сделать вывод, что
разработчики антивирусов «стимулируют» создание вирусов;
– «зависимость» между следствиями общей причины. Подобная
зависимость характерна, в частности, для скорости и безошибочности
набора текста оператором (указанные факторы зависят от квалификации
оператора).
Существование взаимных связей двух и более случайных величин и
их относительную силу можно измерить с помощью корреляционного
момента (коэффициента ковариации):
x, y
1
N
N
( xi x )( yi y ) .
(3.1)
i 1
Этот показатель неудобен для практического применения, т. к. имеет
размерность, равную произведению размерностей вариант, и по его величине трудно судить о зависимости параметров.
Коэффициент ковариации x,y нормированных случайных величин
называют коэффициентом корреляции, его оценка
N
ρ x, y
( xi x )( yi y )
i 1
N
N
i 1
i 1
.
(3.2)
( xi x ) 2 ( yi y ) 2
Коэффициент корреляции зависит не от значений случайных величин, а от их вариаций, так если значение величины увеличить на порядок,
то коэффициент не изменится. Значение коэффициента корреляции лежит
в пределах от – 1 до + 1. Если случайные величины Uj и Uk независимы, то коэффициент корреляции обязательно равен нулю, обратное
утверждение неверно. Коэффициент корреляции характеризует значимость линейной связи между случайными величинами (параметрами):
– при jk = 1 значения uij и uik полностью совпадают. Иначе говоря, имеет место функциональная зависимость: зная значение одного параметра, можно однозначно указать значение другого параметра;
– при jk = – 1 величины uij и uik принимают противоположные
значения. В этом случае имеет место функциональная зависимость;
– при jk = 0 величины uij и uik практически не связаны друг с
другом линейным соотношением. Это не означает отсутствия каких-то
других (например, нелинейных) связей между параметрами;
50
– при |jk| 0 и |jk| 1 однозначной линейной связи величин uij и
uik нет. И чем меньше абсолютная величина коэффициента корреляции,
тем в меньшей степени по значениям одного параметра можно предсказать значение другого.
Интерпретация коэффициента корреляции заключается в следующем: отклонение одной случайной величины от среднего значения на
величину среднего квадратического отклонения приводит в среднем по
совокупности к отклонению другой случайной величины от своего среднего значения на jk ее среднего квадратического отклонения.
Нелинейная связь и разброс данных, вызванный ошибками измерения или неполной коррелированностью случайных данных, приводит к
уменьшению абсолютного значения коэффициента корреляции.
Пусть из случайных величин x и y получена выборка, состоящая из
N пар наблюденных значений. Оценка коэффициента корреляции называется выборочным коэффициентом корреляции и вычисляется по формуле:
N
rx , y
( xi x )( yi y )
i 1
N
N
i 1
i 1
.
(3.3)
( xi x ) 2 ( yi y ) 2
Кроме коэффициента корреляции, применяют и производную от него величину – коэффициент детерминации, равный rx2, y . Коэффициент
детерминации характеризует долю общей дисперсии одного параметра,
которая объясняется вариацией другого параметра.
Для оценки точности выборочного значения rx,y используют функ-
1 1 rx, y
цию от rx,y: w ln
. Распределение случайной величины w мож2 1 rx, y
1 1 xy
но аппроксимировать нормальным распределением с w ln
2 1 xy
и
1
. На основе этих соотношений можно построить доверительN 3
ный интервал для x,y по выборочной оценке rx,y. Из-за выборочной изменчивости оценок корреляции приходится проверять, свидетельствует ли
ненулевое значение выборочного коэффициента корреляции о существовании значимой корреляции между случайными величинами. Для этого
надо проверить гипотезу x,y = 0. При x,y = 0 величина w распределена
2w
51
нормально с w 0 и 2w
z / 2
1
. Поэтому область принятия гипотезы
N 3
N 3 1 rx, y
ln
z / 2 .
2
1 rx, y
Многие объекты исследования характеризуются множеством параметров, и по результатам наблюдения за их функционированием формируются многомерные совокупности (матрицы) экспериментальных данных:
x11
x
X 21
.
xn1
x12 x1n
x22 x2 n
.
.
.
.
xn 2 xnn
Строки такой матрицы соответствуют результатам регистрации всех
наблюдаемых параметров объекта в одном эксперименте, а столбцы содержат результаты наблюдений за одним параметром (фактором, вариантой) во всех экспериментах. Обозначим количество параметров через m
(m 1), а количество наблюдений – через n.
В матрице элемент хij соответствует значению j-й варианты в i-м
наблюдении. Матрица, вообще говоря, может содержать пустые значения
некоторых элементов, например, из-за пропусков в регистрации значений
параметров. В многомерном анализе желательно устранить пропущенные
значения. Для этого существуют специальные приемы, в частности, вычеркивание соответствующих строк матрицы или занесение средних значений вместо отсутствующих. В дальнейшем будем считать, что матрица
не содержит пустых элементов, а параметры объекта характеризуются
непрерывными случайными величинами.
Методы обработки матрицы экспериментальных данных основаны
на следующем предположении: если объект подвергнуть новому обследованию и получить, вообще говоря, другую матрицу данных, то после ее
обработки с помощью тех же методов будут получены результаты, близкие к результатам обработки первой матрицы. Данное предположение
основано на статистической гипотезе формирования матрицы экспериментальных данных. Матрица порождается случайным образом в соответствии с определенной вероятностной закономерностью, а именно: в
m-мерном пространстве параметров существует некоторое (пусть и неизвестное) распределение вероятностей, и каждая строка матрицы появляет-
52
ся в соответствии с этим распределением независимо от появления других
строк.
Каждый столбец матрицы представляет собой случайную выборку
значений одного параметра объекта. Указанное предположение означает,
во-первых, что оценки моментов и параметров распределения, вычисленные по выборке, будут близки к истинным значениям, во-вторых, значения непрерывных функций, построенных по этим оценкам, будут близки к
значениям функций, построенным по истинным значениям параметров.
Используя понятие коэффициента корреляции, матрице экспериментальных данных можно поставить в соответствие квадратную матрицу
оценок коэффициентов корреляции (корреляционную матрицу)
ρ11 ρ12 ρ1n
ρ
ρ 22 ρ 2 n
.
ρ 21
.
.
.
.
ρ n1 ρ n 2 ρ nn
К числу характерных свойств корреляционной матрицы относят:
1) симметричность относительно главной диагонали jk = kj ;
2) единичные значения элементов главной диагонали, kk = 1 (kk соответствует дисперсии стандартизованного параметра uk), k = 1, 2, … , m.
Таким образом, постановка задачи линейного корреляционного анализа формулируется в следующем виде:
– имеется матрица наблюдений;
– необходимо определить оценки коэффициентов корреляции для
всех или только для заданных пар параметров и оценить их значимость.
Незначимые оценки приравниваются к нулю;
– допущения:
выборка имеет достаточный объем. Понятие достаточного объема зависит от целей анализа, требуемой точности и надежности
оценки коэффициентов корреляции, от количества факторов.
Минимально допустимым считается объем, когда количество
наблюдений не менее чем в 5 – 6 раз превосходит количество
факторов;
выборки по каждому фактору являются однородными. Это допущение обеспечивает несмещенную оценку средних величин;
матрица наблюдений не содержит пропусков.
53
Если необходима проверка значимости оценки коэффициента корреляции, то требуется соблюдение дополнительного условия – распределение вариант должно подчиняться нормальному закону.
Задача анализа решается в несколько этапов:
1) проводится стандартизация исходной матрицы;
2) вычисляются парные оценки коэффициентов корреляции;
3) проверяется значимость оценок коэффициентов корреляции, незначимые оценки приравниваются к нулю. По результатам проверки делается вывод о наличии связей между вариантами (факторами).
Корреляционная зависимость не обязательно устанавливается только
для двух величин, с ее помощью можно анализировать связи между несколькими вариантами (множественная корреляция). А кроме линейной,
существуют и другие виды корреляции.
4. РЕГРЕССИОННЫЙ АНАЛИЗ
4.1. ЗАДАЧА РЕГРЕССИОННОГО АНАЛИЗА
Одной из типовых задач обработки многомерных экспериментальных данных является определение количественной зависимости показателей качества объекта от значений его параметров и характеристик внешней среды. Примером такой постановки задачи является установление
зависимости между временем обработки запросов к базе данных и интенсивностью входного потока. Время обработки зависит от многих факторов, в том числе от размещения искомой информации на внешних носителях, сложности запроса. Следовательно, время обработки конкретного
запроса можно считать случайной величиной. Но вместе с тем, при увеличении интенсивности потока запросов следует ожидать возрастания его
среднего значения, т. е. считать, что время обработки и интенсивность потока запросов связаны корреляционной зависимостью.
Корреляционный анализ позволяет установить степень взаимосвязи
двух и более случайных величин. Однако наряду с этим желательно иметь
модель этой связи, которая позволяла предсказывать значение одной величины по конкретным значениям других. Методы решения таких задач
носят название «регрессионный анализ».
54
Постановка задачи регрессионного анализа формулируется следующим образом.
Имеется совокупность результатов наблюдений. В этой совокупности один столбец соответствует показателю, для которого необходимо
установить функциональную зависимость с параметрами объекта и среды,
представленными остальными столбцами. Будем обозначать показатель
через y* и считать, что ему соответствует первый столбец матрицы
наблюдений. Остальные m – 1 (m 1) столбцов соответствуют параметрам
(факторам) х2, х3, … , хm .
Требуется установить количественную взаимосвязь между показателем и факторами. В таком случае задача регрессионного анализа понимается как задача выявления такой функциональной зависимости
y* = f (х2, х3, … , хm), которая наилучшим образом описывает имеющиеся
экспериментальные данные.
Допустим, что количество наблюдений достаточно для проявления
статистических закономерностей относительно факторов и их взаимосвязей; обрабатываемые экспериментальные данные содержат некоторые
ошибки (помехи), обусловленные погрешностями измерений, воздействием неучтенных случайных факторов; матрица результатов наблюдений
является единственной информацией об изучаемом объекте, имеющейся в
распоряжении перед началом исследования.
Функция f (x2, x3, … , xn), описывающая зависимость показателя от
параметров, называется уравнением (функцией) регрессии. Термин «регрессия» (regression (лат.) – отступление, возврат к чему-либо) связан со
спецификой одной из конкретных задач, решенных на стадии становления
метода. Его ввел английский статистик Ф. Гальтон. Он исследовал влияние роста родителей и более отдаленных предков на рост детей. По его
модели рост ребенка определяется наполовину родителями, на четверть –
дедом с бабкой, на одну восьмую прадедом и прабабкой и т. д. Другими
словами, такая модель характеризует движение назад по генеалогическому дереву. Ф. Гальтон назвал это явление регрессией как противоположное движению вперед – прогрессу. В настоящее время термин «регрессия»
применяется в более широком плане – для описания любой статистической связи между случайными величинами.
Решение задачи регрессионного анализа целесообразно разбить на
несколько этапов:
– предварительная обработка экспериментальных данных;
– выбор вида уравнений регрессии;
– вычисление коэффициентов уравнения регрессии;
55
– проверка адекватности построенной функции результатам наблюдений.
Предварительная обработка включает стандартизацию матрицы экспериментальных данных, расчет коэффициентов корреляции, проверку их
значимости и исключение из рассмотрения незначимых параметров. В
результате преобразований будут получены стандартизованная матрица
наблюдений U (через y будем обозначать стандартизованную величину
y*) и корреляционная матрица .
Стандартизованной матрице U можно сопоставить одну из следующих геометрических интерпретаций:
– в m-мерном пространстве оси соответствуют отдельным параметрам и показателю. Каждая строка матрицы представляет вектор в этом
пространстве, а вся матрица – совокупность n векторов в пространстве
параметров;
– в n-мерном пространстве оси соответствуют результатам отдельных наблюдений. Каждый столбец матрицы – вектор в пространстве
наблюдений. Все вектора в этом пространстве имеют одинаковую длину,
угол между двумя векторами характеризует взаимосвязь соответствующих
величин. Чем меньше угол, тем теснее связь (тем больше коэффициент
корреляции).
В корреляционной матрице особую роль играют элементы левого
столбца – они характеризуют наличие или отсутствие линейной зависимости между соответствующим параметром ui (i = 2, 3, … , n) и показателем
объекта y. Проверка значимости позволяет выявить такие параметры, которые следует исключить из рассмотрения при формировании линейной
функциональной зависимости, и тем самым упростить последующую обработку.
4.2. ВЫБОР ВИДА УРАВНЕНИЯ РЕГРЕССИИ
Задача определения функциональной зависимости, наилучшим образом описывающей экспериментальные данные, связана с преодолением
ряда принципиальных трудностей. В общем случае для стандартизованных данных функциональную зависимость показателя от параметров
можно представить в виде
y f (u2 , u3 ,, um ) ε ,
(4.1)
56
где f – заранее не известная функция, подлежащая определению;
ошибка аппроксимации экспериментальных данных.
Указанное уравнение принято называть выборочным уравнением регрессии y на u. Это уравнение характеризует зависимость между вариацией показателя и вариациями факторов.
Регрессионное уравнение не обеспечивает оценку раздельного влияния каждого фактора на показатель, такая оценка возможна лишь в случае,
когда все другие факторы не связаны с изучаемым. Если изучаемый фактор связан с другими, влияющими на показатель, то будет получена смешанная характеристика влияния фактора. Эта характеристика содержит
как непосредственное влияние фактора, так и опосредованное влияние,
оказанное через связь с другими факторами и их влиянием на показатель.
В регрессионное уравнение не рекомендуется включать факторы,
слабо связанные с показателем, но тесно связанные с другими факторами.
Не включают в уравнение и факторы, функционально связанные друг с
другом (для них коэффициент корреляции равен 1). Включение таких
факторов приводит к вырождению системы уравнений для оценок коэффициентов регрессии и к неопределенности решения.
Функция f должна подбираться так, чтобы ошибка была минимальна. В целях выбора функциональной связи заранее выдвигают гипотезу о том, к какому классу может принадлежать функция f, а затем подбирают «лучшую» функцию в этом классе. Выбранный класс функций
должен обладать некоторой «гладкостью», т. е. «небольшие» изменения
значений аргументов должны вызывать «небольшие» изменения значений
функции (экспериментальные данные содержат некоторые ошибки измерений, а само поведение объекта подвержено влиянию помех, маскирующих истинную связь между параметрами и показателем).
Простым, удобным для практического применения и отвечающим
указанному условию является класс полиномиальных функций
y a0
m
a ju j
j 2
m 1
m
m
a jk u j uk a jj u 2j .
j 2 k j 1
(4.2)
j 2
Для такого класса задача выбора функции сводится к задаче выбора
значений коэффициентов a0, aj, ajk, … , ajj, … . Однако универсальность
полиномиального представления обеспечивается только при возможности
неограниченного увеличения степени полинома, что не всегда допустимо
на практике, поэтому приходится применять и другие виды функций.
Частным случаем, широко применяемым на практике, является полином первой степени или уравнение линейной регрессии:
57
y a0
m
a ju j .
(4.3)
j 2
Это уравнение в регрессионном анализе следует трактовать как векторное.
yi a0
m
a j uij i ,
i 1, 2, , n .
(4.4)
j 2
Для выбора вида функциональной зависимости можно рекомендовать следующий подход:
1) в пространстве параметров графически отображают точки со значениями показателя. При большом количестве параметров можно строить
точки применительно к каждому из них, получая двумерные распределения значений;
2) по расположению точек и на основе анализа сущности взаимосвязи показателя и параметров объекта делают заключение о примерном виде
регрессии или ее возможных вариантах;
3) после расчета параметров оценивают качество аппроксимации,
т. е. оценивают степень близости расчетных и фактических значений;
4) если расчетные и фактические значения близки во всей области
задания, то задачу регрессионного анализа можно считать решенной. В
противном случае можно попытаться выбрать другой вид полинома или
другую аналитическую функцию, например периодическую.
4.3. ВЫЧИСЛЕНИЕ КОЭФФИЦИЕНТОВ УРАВНЕНИЯ РЕГРЕССИИ.
МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
Систему уравнений yi a0
m
a j uij i ,
i 1, 2, , n на основе
j 2
имеющихся экспериментальных данных однозначно решить невозможно,
т. к. количество неизвестных всегда больше количества уравнений. Для
преодоления этой проблемы нужны дополнительные допущения. Желательно выбрать коэффициенты полинома так, чтобы обеспечить минимум
ошибки аппроксимации. Для оценки ошибок аппроксимации могут применяться различные меры. В качестве такой меры широкое применение
нашла среднеквадратическая ошибка. На ее основе разработан специальный метод оценки коэффициентов уравнений регрессии – метод наи-
58
меньших квадратов (МНК). Этот метод позволяет получить оценки максимального правдоподобия неизвестных коэффициентов уравнения регрессии при нормальном распределения вариант, но его можно применять
и при любом другом распределении факторов.
Метод наименьших квадратов как вычислительная процедура был
описан Лагранжем в 1806 г. в его труде Nouvelles methodes pour la determination des orbites des cometes. Им также было предложено название этого
метода. Первым, кто связал метод наименьших квадратов с теорией вероятностей, был Гаусс (1809 г.).
В основе МНК лежат следующие положения:
1) значения величин ошибок и факторов независимы, а значит, и некоррелированы, т. е. предполагается, что механизмы порождения помехи
не связаны с механизмом формирования значений факторов;
2) математическое ожидание ошибки должно быть равно нулю
(постоянная составляющая входит в коэффициент a0), иначе говоря,
ошибка является центрированной величиной;
3) выборочная оценка дисперсии ошибки должна быть минимальна.
Рассмотрим МНК применительно к линейной регрессии стандартизованных величин. Пусть между двумя случайными величинами x и y
имеет месть линейная связь. Это означает, что прогноз значения случайy Ax B . Если
ной величины y по заданному значению x имеет вид ~
данные связаны идеальной линейной зависимостью (rx,y = 1), то предсказанное значение ~yi будет в точности совпадать с эмпирическим значением yi при данном xi. Однако на практике обычно отсутствует идеальная
линейная зависимость между данными. Внешние случайные воздействия
приводят к разбросу данных, возможны искажения из-за присутствия нелинейных эффектов. Если предположить существование линейной связи,
то можно подобрать такие значения А и В, которые дадут возможность
предсказать ожидаемое значение yi для любого данного xi. Это означает,
что ~
yi не обязательно совпадет с эмпирическим значением yi, но оно
будет равно среднему значению всех таких эмпирических значений.
По МНК определяются такие значения коэффициентов уравнения
регрессии А и В, которые обеспечивают безусловный минимум выражению
n
n
i 1
i 1
Q ( yi ~
yi ) 2 ( yi Ax i B) 2 .
(4.5)
Минимум находится приравниванием нулю всех частных производных Q, взятых по неизвестным коэффициентам А и В:
59
Q Q
0,
A B
(4.6)
и решением системы уравнений
n
Q
2 ( yi Ax i B ) xi 0 ,
A
i 1
n
Q
2 ( yi Ax i B ) 0 .
B
i 1
(4.7)
Последовательно проведя преобразования (4.7), получим:
n
n
n
2
yi xi A xi B xi 0 ,
i 1
i 1
i 1
n
n
y A x nB 0 .
i
i 1 i
i 1
(4.8)
Из второго уравнения системы (4.8) следует:
y Ax B .
(4.9)
Подставляем выражение (4.9) в первое уравнение системы (4.8), получаем выражение:
n
A
xi yi nx y
i 1
n
i 1
.
xi2
(4.10)
nx
4.4. КРИТЕРИЙ ЗНАЧИМОСТИ ЛИНИИ РЕГРЕССИИ
Проверка значимости регрессии начинается с исследования общей
суммы квадратов отклонений значений
yi
от среднего y :
n
( yi y ) 2 .
i 1
Для метода наименьших квадратов имеет место следующее разложение:
n
n
n
( yi y ) 2 ( ~yi y ) 2 ( yi ~yi ) 2 .
i 1
i 1
i 1
(4.11)
60
Таким образом, сумма квадратов
n
( yi y ) 2
может быть разбита
i 1
на две положительные компоненты:
– сумму квадратов значений регрессии относительно среднего;
– сумму квадратов отклонений относительно линии регрессии
(остаточная сумма квадратов).
Сумма квадратов регрессии есть сумма квадратов разности между
значениями, найденными на основе регрессии, и средним. Сумма квадратов относительно линии регрессии есть сумма квадратов расстояний между наблюдаемыми точками и точками, полученными на основе регрессии.
Если подобранная прямая проходит через все имеющиеся точки, то она
является идеальной и сумма квадратов отклонений относительно этой
прямой будет равна нулю, а вся вариация значений yi объясняется
прямой. С другой стороны, если данные не содержат линейного тренда, то
сумма квадратов регрессии относительно среднего будет мала и почти вся
вариация в изменении yi может быть объяснена как вариация относительно линии регрессии.
Таблица 4.1
Дисперсионный анализ парной линейной регрессии
Источник
вариации
Сумма квадратов
Регрессия
n
B 2 xi2 nx 2
i 1
Остаток
yi2 ny 2 B 2 xi2 nx 2
n
Общая
вариация
n
i1
i 1
n
yi2 ny 2
i 1
Степень
свободы
1
n1
n2
Средний квадрат
2
B xi2 nx 2
i 1
n
n
yi2 ny 2 B 2 xi2 nx 2
i 1
i1
n 1
n
Регрессия будет значимой, если сумма квадратов регрессии относительно среднего будет больше по сравнению с суммой квадратов отклонений относительно регрессии.
Формально необходимо проверить нулевую гипотезу H0: В = 0 против альтернативы H1: В 0. Если В не равно нулю, то регрессия является значимой. Вычисления по проверке значимости регрессии лучше всего
проводить в так называемой таблице дисперсионного анализа. В этой таблице общая сумма квадратов разбита на сумму квадратов регрессии и
остаточную сумму квадратов.
61
средний квадрат регрессии
имеет F-распределесредний квадрат остатка
ние. Если вычисленное значение достаточно велико, то нулевая гипотеза
отклоняется, следовательно, регрессия значима.
Величина F1,n2
4.5. МНОЖЕСТВЕННАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ
Уравнение линейной регрессии имеет вид
yi 0
p
j uij i ,
i 1, 2, , n .
(4.12)
j 2
1
1
X
1
x11 x1 p
x
x
21
2p
Обозначим
,
Y y1 , y2 , , yn T ,
xn1 xnp
1 , 2 , , p , 1 , 2 , , p . Тогда в матричной форме модель
примет вид Y X . Оценкой является уравнение Y Xb e . Для
оценки вектора неизвестных параметров применяется МНК. Условие
минимизации остаточной суммы может быть записано в виде
n
n
S (~
yi yi ) 2 ei2 eT e (Y Xb)T (Y Xb) min .
i 1
(4.13)
i 1
На основании необходимого условия экстремума функции нескольких переменных необходимо приравнять частные производные по этим
переменным к нулю или в матричном виде
S S S
S
.
,
,,
b b0 b1
b p
Для
вектора
частных
производных
(4.14)
получим
формулу
S
2 X T Y 2 X T Xb 0 . Получаем систему уравнений в матричной
b
форме
X T Y X T Xb .
Решением системы (4.15) является вектор b ( X T X ) 1 X T Y .
(4.15)
62
Как и в случае парной регрессии в случае множественной регрессии
общая вариация Q сумма квадратов отклонений зависимой переменной
от средней может быть разложена на две составляющие Q QR Qe ; QR
сумма квадратов отклонений, обусловленных регрессией, Qe сумма
квадратов отклонений, характеризующая влияние неучтенных факторов:
n
Q ( yi y ) 2 Y T Y ny ,
i 1
n
Qe ( yi ~
yi ) 2 Y T Y X T b T Y ,
(4.16)
i 1
QR Q Qe X T bT Y ny .
Уравнение множественной регрессии значимо (т. е. гипотеза о равенстве нулю коэффициентов 1 2 3 0 отвергается), если
Q (n p 1)
F R
F, p ,n p 1 .
Qe p
Одной из наиболее эффективных оценок адекватности регрессионной модели является коэффициент детерминации
Q Qe
Q
Q
R R
1 e 1
Q
Q
Q
eT e
2
n
( yi y )
.
(4.17)
2
i 1
Коэффициент является мерой качества модели, характеристикой ее
прогностической силы. Чем ближе R2 к единице, тем лучше регрессия
описывает зависимость между объясняющими переменными и зависимой
переменной.
Вместе с тем, использование только одного коэффициента детерминации для выбора наилучшего уравнения регрессии может оказаться недостаточным. На практике встречаются случаи, когда плохо определенная
модель регрессии может дать сравнительно высокий коэффициент детерминации. Недостатком коэффициента детерминации является то, что он
увеличивается при добавлении новых объясняющих переменных, хотя это
и не обязательно улучшает качество регрессионной модели. В этом смысле предпочтительнее использовать скорректированный коэффициент детерминации
n 1
Rˆ 2 1
(1 R 2 ) 1
n p 1
(n 1)eT e
n
(n p 1)( yi y )
i 1
.
2
(4.18)
63
В отличие от коэффициента детерминации скорректированный коэффициент детерминации может уменьшаться при введении в модель новых объясняющих переменных, не оказывающих существенного влияния
на зависимую переменную. Однако даже увеличение скорректированного
коэффициента детерминации при введении в модель новой объясняющей
переменной не всегда означает, что ее коэффициент регрессии значим.
4.6. НЕЛИНЕЙНЫЕ МОДЕЛИ РЕГРЕССИИ
Для оценки параметров нелинейных моделей используется два подхода. Первый основан на линеаризации модели и заключается в том, что с
помощью подходящих преобразований исходных переменных исследуемую зависимость представляют в виде линейного соотношения между
преобразованными переменными.
Второй подход обычно применяется в случае, когда подобрать соответствующее линеаризующее преобразование не удается. В этом случае
применяют методы нелинейной оптимизации на основе исходных переменных.
Для линеаризации модели в рамках первого подхода могут использоваться как модели нелинейные по переменным, так и нелинейные по
параметрам.
Если модель нелинейна по переменным, то введением новых переменных ее можно легко свести к линейной. Например, нелинейная модель
yi 0 1 xi1 2 xi 2 путем преобразований z1 x1 , z2 x2 может
быть приведена к линейному виду yi 0 1 zi1 2 zi 2 .
Более сложной проблемой является нелинейность модели по параметрам, так как непосредственное применение МНК для их оценки невозможно. Например, для модели yi e0 1xi12 xi 2 или yi 0 xi11 xi22 . В
ряде случаев путем подходящих преобразований эти модели удается
привести к линейному виду. Для приведенных в примере моделей это
удается
сделать
логарифмированием
( ln yi 0 1 xi1 2 xi 2
и
ln yi ln 0 1 ln xi1 2 ln xi 2 ).
Определение коэффициентов нелинейной регрессии в этом случае
основано на решении системы линейных уравнений. Для этого можно
применять универсальные пакеты численных методов или специализированные пакеты обработки статистических данных.
С ростом степени уравнения регрессии возрастает и степень моментов распределения параметров, используемых для определения коэффициентов. Так, для определения коэффициентов уравнения регрессии второй
64
степени используются моменты распределения параметров до четвертой
степени включительно. Известно, что точность и достоверность оценки
моментов по ограниченной выборке экспериментальных данных резко
снижается с ростом их порядка. Применение в уравнениях регрессии полиномов степени выше второй нецелесообразно.
Если модель нельзя привести к линейному виду, то для оценки параметров необходимо использовать специальные итеративные процедуры
оценивания, например, многомерный метод Ньютона Рафсона. Иногда
решение, основанное на МНК, может быть найдено методом наискорейшего спуска. Очевидно, что для получения нелинейных регрессий необходимы помощь ЭВМ.
Качество полученного уравнения регрессии оценивают по степени
близости между результатами наблюдений за показателем и предсказанными по уравнению регрессии значениями в заданных точках пространства параметров. Если результаты близки, то задачу регрессионного анализа можно считать решенной. В противном случае следует изменить
уравнение регрессии (выбрать другую степень полинома или вообще другой тип уравнения) и повторить расчеты по оценке параметров.
4.7. ПРОБЛЕМЫ ПРАКТИЧЕСКОГО ИСПОЛЬЗОВАНИЯ МОДЕЛИ
МНОЖЕСТВЕННОЙ РЕГРЕССИИ
К числу проблем использования модели регрессии относятся:
– мультиколлинеарность, ее причины и методы устранения;
– использование фиктивных переменных при включении в модель
качественных объясняющих переменных;
– линеаризация модели;
– корреляция между переменными.
Под мультиколлинеарностью понимается высокая взаимная коррелированность объясняющих переменных. Мультиколлинеарность может
проявляться в функциональной (явной) и стохастической (скрытой) формах. При функциональной форме мультиколлинеарности по крайней мере
одна из парных связей между объясняющими переменными является
линейной функциональной зависимостью. В этом случае матрица X T X
особенная, т. е. содержит линейно зависимые векторы-столбцы и ее опре-
65
делитель равен нулю. Это приводит к невозможности решения системы
уравнений и получения оценок параметров регрессионной модели.
Мультиколлинеарность чаще проявляется в стохастической форме,
когда хотя бы между двумя объясняющими переменными существует тесная корреляция. В этом случае матрица X T X не является особенной, но
ее определитель очень мал. Вектор параметров пропорционален ( X T X ) 1 .
В результате получают значительные средние квадраты отклонения коэффициентов регрессии, и оценка значимости коэффициентов по t-критерию
не имеет смысла. Оценки становятся очень чувствительными к незначительному изменению результатов эксперимента и объема выборки. Уравнения регрессии в этом случае, как правило, не имеют реального смысла.
Точных количественных критериев для определения наличия или
отсутствия мультиколлинеарности нет. Один из подходов заключается в
анализе корреляционной матрицы между объясняющими переменными и
выявлении пар переменных, имеющих высокие коэффициенты корреляции (больше 0,8). Другой подход основан на анализе множественного коэффициента детерминации между одной переменной и группой других:
если множественный коэффициент детерминации больше 0,6, это свидетельствует о мультиколлинеарности. Еще один подход состоит в исследовании матрицы X T X . Если определитель или собственные значения
близки к нулю, а также если max значительно отклонено от min , то это
свидетельствует о мультиколлинеарности.
Для устранения или уменьшения мультиколлинеарности используется ряд методов. Самый простой состоит в том, что из двух переменных,
имеющих высокий коэффициент корреляции, одну переменную исключают из рассмотрения. При этом, какую переменную оставить, а какую исключить решают в первую очередь из практических соображений. Другой
метод устранения мультиколлинеарности заключается в переходе от несмещенных оценок, определяемых по МНК, к смещенным
ˆ ( X T X E) 1 X T Y , где некоторое положительное число.
Для устранения мультиколлинеарности может быть использован переход от исходных объясняющих переменных, связанных между собой
корреляционной связью, к новым переменным, представляющим собой
линейные комбинации исходных. При этом новые переменные будут слабокоррелированны или некоррелированны.
Еще одним из возможных методов устранения или уменьшения
мультиколлинеарности является использование пошаговой процедуры
отбора наиболее информативных переменных. На первом шаге рассмат-
66
ривается лишь одна объясняющая переменная, имеющая с зависимой переменной наибольший коэффициент детерминации. На втором шаге
включается в регрессию новая объясняющая переменная, которая вместе с
первой отобранной образует пару объясняющих переменных и т. д. Процедура введения новых переменных продолжается до тех пор, пока будет
увеличиваться соответствующий коэффициент детерминации.
Кроме пошаговой процедуры присоединения переменных используется также процедура удаления переменных. Следует отметить, что какая
бы процедура не использовалась, она не гарантирует определения оптимального в смысле получения максимального коэффициента детерминации набора объясняющих переменных. Однако в большинстве случаев получаемые с помощью пошаговых процедур отбора переменных модели
оказываются оптимальными или близкими к оптимальным.
Анализируя сущность уравнения регрессии, следует отметить следующие положения. Рассмотренный подход не обеспечивает раздельной
(независимой) оценки коэффициентов – изменение значения одного коэффициента влечет изменение значений других. Полученные коэффициенты не следует рассматривать как вклад соответствующего параметра в
значение показателя. Уравнение регрессии является всего лишь хорошим
аналитическим описанием имеющихся экспериментальных данных, а не
законом, описывающим взаимосвязи параметров и показателя. Это уравнение применяют для расчета значений показателя в заданном диапазоне
изменения параметров. Оно ограниченно пригодно для расчета вне этого
диапазона, т. е. его можно применять для решения задач интерполяции и в
ограниченной степени для экстраполяции.
Главной причиной неточности прогноза является не столько неопределенность экстраполяции линии регрессии, сколько значительная вариация показателя за счет неучтенных в модели факторов. Ограничением
возможности прогнозирования служит условие стабильности неучтенных
в модели параметров и характера влияния учтенных факторов модели. Если резко меняется внешняя среда, то составленное уравнение регрессии
потеряет свой смысл. Нельзя подставлять в уравнение регрессии такие
значения объясняющих переменных, которые значительно отличаются от
представленных в выборке экспериментальных данных. Рекомендуется не
выходить за пределы одной трети размаха вариации параметра как за максимальное, так и за минимальное значения фактора.
Прогноз, полученный подстановкой в уравнение регрессии ожидаемого значения параметра, является точечным. Вероятность реализации та-
67
кого прогноза ничтожна мала. Целесообразно определять доверительный
интервал прогноза.
При построении модели множественной регрессии следует соблюдать ряд рекомендаций:
– показатель должен находиться в причинной связи с параметрами;
– уравнение регрессии должно соответствовать логике связи показателя с параметрами;
– параметры не должны дублировать друг друга. Следует исключать
дублирующие параметры, т. е. параметры с коэффициентом корреляции
более 0,8;
– не следует включать параметры разных уровней иерархии.
5. ИНТЕРПОЛЯЦИЯ И СГЛАЖИВАНИЕ
ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ
5.1. ЗАДАЧА ИНТЕРПОЛЯЦИИ. МЕТОДЫ ИНТЕРПОЛЯЦИИ
Пусть z z (x) обычная числовая функция, значения которой экспериментально
установлены
в
точках
x0 x1 xn :
zi z( xi ), i 0, 1, , n . Имеется, кроме того, точка x , x0 x xn . Требуется найти число z (x ) , предполагая данную функцию бесконечно дифференцируемой всюду, где она рассматривается. Решение этой задачи называется интерполяцией. Если указанное число будет найдено не точно, а
приближенно, то необходимо указать явно допущенную ошибку.
Существует несколько методик решения этой задачи. Одной из них
является метод Лагранжа.
Введем функцию
i ( x )
( x x0 )( x x1 ) ( x xi 1 )( x xi 1 ) ( x xn )
, i 0,1, , n . (5.1)
( xi x0 )( xi x1 ) ( xi xi 1 )( xi xi 1 ) ( xi xn )
Ясно, что i ( xi ) 1, а во всех остальных точках i ( xk ) 0, k i .
n
Поэтому многочлен п-ой степени L( x) zi i ( x) принимает в точках
i 0
x0 x1 xn те же значения, что и функция z z (x) . Этот многочлен
68
называется многочленом Лагранжа. Если вместо искомого числа z (x )
взять L (x ) , то ошибку можно указать совершенно точно:
f ( n1) (c)
z x L( x )
( x x0 )( x x1 ) ( x xn ) ,
(n 1)!
(5.2)
где с – некоторая точка из x0 , xn .
Предложенную Лагранжем методику нетрудно распространить на
любое число переменных. Ограничимся далее лишь двумя переменными;
случай трех и более переменных допускает точно такое же обобщение.
Пусть функция z z ( x, y ) оказалась установленной в результате
некоторого эксперимента в точках ( xi , y j ) и имеются числа zij z ( xi , y j ) ,
i 0, , n, j 0, , m . Требуется установить значение данной функции в
некоторой точке ( x , y ) , x0 x xn , y0 y ym . Если это значение будет
найдено приближенно, то указать погрешность. О функции z z ( x, y )
предполагается, что она обладает непрерывными производными всех порядков.
Введем функции
i ( x )
j ( y)
( x x0 )( x x1 ) ( x xi 1 )( x xi 1 ) ( x xn )
, i 0, 1, , n ;
( xi x0 )( xi x1 ) ( xi xi 1 )( xi xi 1 ) ( xi xn )
( y y0 )( y y1 ) ( y yi 1 )( y yi 1 ) ( y ym )
, j 0, 1, , m .
( y j y0 )( y j y1 ) ( y j y j 1 )( y j y j 1 ) ( y j ym )
Ясно, что i ( xi ) 1, j ( y j ) 1, а во всех остальных точках
i ( xk ) 0, k i, j ( yl ) 0, l j.
Поэтому многочлен от двух переменных
L ( x, y )
i n
j m
zij i ( x) j ( y ) ,
(5.3)
i 0
j 0
где zij z ( xi , y j ) , в каждой точке ( xi , y j ) принимает то же самое значение, что и данная функция, т. е. L( xi , y j ) zij . Следуя идее Лагранжа,
примем за значение функции z z ( x, y ) в точке ( x , y ) число L( x , y ) .
Оценим погрешность такого допущения, т. е. выясним, насколько
z( x, y)
L( x , y ) .
велика
разница
между
и
Заметим,
что
69
L ( x, y )
in
j m
i 0
j 0
Ti ( y )
n
m
zij i ( x) j ( y ) i ( x) zij j ( y ) ,
i 0
j 0
m
zij j ( y )
тогда
выражение
можно рассматривать как многочлен Лагранжа для си-
j 0
стемы точек y0 , , ym с соответствующими значениями в них функции
zi ( zi 0 , , zim ) . Поэтому
1 m1 z
z ( xi , y ) Ti ( y )
( y y0 )( y y1 )( y ym ) .
(m 1)! y m1
m 1 z
Частная производная
берется в некоторой точке интервала
y m 1
( xi , ci ) .
n
Выражение L( x , y ) Ti ( y )i ( x ) можно воспринимать как значеi 0
ние при x x многочлена Лагранжа
n
Ti ( y )i ( x) .
Поэтому
i 0
1 n 1 z
z ( x , y ) z ( xi , y )i ( x )
( x x0 ) ( x xn ) ,
n 1
(
n
1
)!
x
i 0
n
(5.4)
n1 z
где частная производная
вычислена в некоторой точке. Учитывая
x n1
вышесказанное, получаем:
1 m 1 z
i ( x )
z ( x , y ) Ti ( y )
(
y
y
)(
y
y
)
(
y
y
)
0
1
m
m 1
(
m
1
)!
y
i 0
n
n 1
1 z
( x x0 ) ( x xn )
(n 1)! x n 1
in
j m
zij i ( x ) j ( y )
i 0
j 0
(5.5)
n m 1 z
1
i ( x )( y y0 )( y y1 ) ( y ym )
(m 1)! i 0 y m 1
1 n 1 z
( x x0 ) ( x xn ).
(n 1)! x n 1
Заметим, что в каждом слагаемом здесь частная производная считается в своей, новой, точке. Поэтому, если считать, что частная производ-
70
n1 z
ная
ограничена по модулю константой Z xn 1 , а частная производn1
x
m 1 z
ная
ограничена по модулю константой Z ym1 , то нетрудно полуm 1
y
чить оценку:
m1
Zy
Z xn1
z ( x , y ) L( x , y )
x x0 x x n
y y0 y y m1 . (5.6)
(n 1)!
(m 1)!
Рассмотрим метод интерполяции по Бернштейну (случаи размерностей 1 и 2). Предположим, что некоторая функция одной переменной
k
z z (x) задана в точках xk
для k 0, 1, 2, , n при некотором фикn
сированном числе n. Это значит, что отрезок [0, 1] разбит на n равных
частей и функция z z (x) задана в точках деления. Положим
i
Bn ( x) z Cni x i (1 x) ni ,
i 0 n
n
(5.7)
где Cni биномиальный коэффициент (число сочетаний из п по i). Многочлен Bn (x) называется многочленом Бернштейна функции z z (x)
степени п.
Можно доказать, что при n функция Bn (x) стремится к функции z z (x) равномерно по x в отрезке [0, 1]. Аналогичное утверждение верно в отношении любой производной функции z z (x) : при n
ds
ds
( z ( x)) при произвольном s (если только у
( Bn ( x)) стремится к
dx x
dx s
функции z z (x ) есть непрерывные производные всех порядков).
На отрезке [0, 1] имеет место следующее неравенство:
Bn ( x) z ( x)
L
2 n
,
(5.8)
где L – число, ограничивающее первую производную функции z (x ) на
отрезке [0, 1] (например, максимум этой производной при условии, что
производная непрерывна).
Следовательно, возникает возможность заменять значения функции
значениями ее многочлена Бернштейна, указывая при этом ошибку замены.
Данная конструкция применима, когда исходная функция z(x) задана в точках деления на равные части единичного отрезка. Кроме того,
71
приближение функции с заданной точностью производится в любой точке
отрезка, т. е. равномерно.
Нетрудно перенести конструкцию с единичного отрезка на отрезок
произвольный, который также делится на равные части и в точках деления
задается исследуемая функция. Пусть z(x) задана на отрезке [a, b] в точx a
ba
k , k 0, 1, , n ; положим y k k
ках xk a
; тогда последнее
n
ba
выражение будет меняться по точкам деления на n равных частей едиn
ничного отрезка; пусть Bn ( y) z (a (b a) yk )Cnk y k (1 y) nk . Заменив
k 0
в последнем выражении y на его выражение через x, получим многочлен
Бернштейна на произвольном отрезке:
Bn ( x)
n
k 0
x a
b a
z ( xk )Cnk
k
x a
1
ba
nk
.
(5.9)
Рассмотрим случай двух переменных. Пусть функция z = z(x, y) задана в точках ( xk , yl ) единичного квадрата (n, m фиксированы,
k
l
k 0, 1, 2, , n, l 0, 1, 2, , m ): xk , yl . Построим двумерный
n
m
многочлен Бернштейна:
Bn,m ( x, y )
k n
l m
z ( xk , yl )Cnk Cml x k y l (1 x) nk (1 y ) ml .
(5.10)
k 0
l 0
Для любых u, v при наличии у функции z непрерывных произ u v
Bn,m
водных соответствующих порядков многочлены
при
xu y v
u v z
n, m стремятся равномерно относительно x, y к функции
.
xu y v
Поэтому при заданной точности возможна замена функции в точке
на значение многочлена Бернштейна в точке в произвольном месте единичного квадрата. Если числа L, M ограничивают первые частные производные функции z, то для всех точек единичного квадрата справедливо
неравенство:
L
M
z ( x, y ) Bn,m ( x, y )
.
(5.11)
2 n 2 m
72
Так же, как и в случае одной переменной, проведенные построения
обобщаются на случай не единичного квадрата, а любого прямоугольника
со сторонами, параллельными осям координат.
На практике функция двух переменных редко задается таблицей,
точки которой расположены так, как этого требует конструкция Бернштейна; поэтому таблицу формируют по заданному условию приближенно, заменяя функцию в узлах соответствующей решетки на числа, которые
строятся тем или иным способом.
5.2. СГЛАЖИВАНИЕ ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ
СПЛАЙН-ФУНКЦИЯМИ
Пусть y f (x) функция на некотором отрезке [a, b]. Фиксируем
произвольное
разбиение
a x0 x1 x2 x N b .
этого
отрезка
на
N
частей
Сплайном порядка m относительно разбиения называется функция S (x) со следующими свойствами:
– на каждом из отрезков [ xi 1 , xi ], i 1, 2, , N эта функция является многочленом степени m: Pi ( x) ai 0 ai1 x ai 2 x 2 aim x m , i = 1,
2, … , N ;
– в
точках
выполняются
равенства
x1 , x2 , , xN 1
d k Pi
dx k
x xi
d k Pi 1
dx k
, i 1, 2, , N 1 , при k 0, 1, , m 1 .
x xi
Таким образом, сплайн это функция на отрезке, связанная с разбиением этого отрезка. Если m = 1, то сплайн называется линейным. Его
график ломаная линия. Поскольку многочлен степени m задается m + 1
своими коэффициентами, в определении сплайна подразумевается
(N – 1) m условия, накладываемые на N (m + 1) коэффициентов. Следовательно, с данным разбиением связан не один сплайн порядка m, а множество сплайнов порядка m. Все сплайны этого множества могут быть
описаны как решение системы линейных алгебраических уравнений, в
котором N + m коэффициентов из общего числа N (m + 1) свободны, а
остальные через них линейно выражаются.
Когда из этого множества требуется отобрать сплайн, близкий в том
или ином смысле к функции y f (x) , говорят о сплайне функции
y f (x) . Например, необходимо найти линейный сплайн, который совпа-
73
дает с данной функцией во всех точках деления данного отрезка:
S ( xi ) f ( xi ), i 0, 1, , N . В этом случае на 2N коэффициентов возникает ровно 2N условий.
Опишем основные процедуры, необходимые для построения сплайна
в общем случае.
Исходная информация: разбиение a x0 x1 x2 xN b и
число m – порядок сплайна. Требуется получить N многочленов
Pi ( x) ai 0 ai1 x ai 2 x 2 aim x m , отыскав все их коэффициенты через
d k Pi
уравнения
dx k
x xi
d k Pi 1
dx k
.
x xi
Всего в уравнениях участвует N (m + 1) коэффициентов aij в качестве неизвестных. Необходимо решить систему линейных алгебраических
уравнений MZ = B, где Z столбец неизвестных; B столбец свободных
членов; M матрица системы. Решаем систему уравнений методом жордановых исключений.
Первая процедура – запись символьного массива строки, которая
расположена над рабочей жордановой таблицей. Это – тот же массив Z,
но записанный в виде строки, имеем dim( Z ) N (m 1) .
Как следует из вида системы уравнений, столбец свободных членов
B состоит из одних нулей.
Будем считать, что матрица M, в которой (N – 1) m строк и
N (m + 1) столбцов, заполнена нулями.
Вторая процедура представляет собой следующее действие: на вход
подается любая из точек x1, , xN 1 и число m; на выходе – вместо
группы некоторых нулей в матрице M записываются новые числа. Пусть
задается точка xt , так что t равно одному из чисел 1, 2, , N 1 .
Строки матрицы M естественным образом разбиваются на группы
по m строк в каждой группе; первая группа – это уравнения для точки
x1 , вторая – для точки x2 и т. д. Фиксируем в матрице M строчки
i (t 1)m , 1, 2, , m , относящиеся к точке xt . Процедура будет
вносить изменения только в эти строчки. Уравнения системы пишутся
группами: для каждой точки xt своя группа. В этой группе участвуют
только многочлены Pt (x) и Pt 1 ( x) . Так что в матрицу M изменения
надо будет вносить только в столбцы, соответствующие переменным
Z ((r 1)(m 1) 1 j ), j 0, 1, , m, r t , t 1. Вне этих столбцов изменений не будет.
74
Полученная в результате система линейных алгебраических уравнений имеет в качестве решения не один, а множество сплайнов. Среди них
с помощью тех или иных дополнительных условий в некоторых задачах
можно выбрать несколько сплайнов, один сплайн или даже не выбрать ни
одного.
6. АЛГОРИТМЫ СПЕКТРАЛЬНОГО АНАЛИЗА
6.1. СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ СИГНАЛОВ
Одним из фундаментальных положений математики, нашедшим широкое применение во многих прикладных задачах (процессы передачи
информации, в теории электротехники, в исследовании движения машин,
в теории корабля и др.), является возможность описания любой периодической функции f (t) с периодом Т, удовлетворяющей условиям Дирихле
(согласно теореме Дирихле периодическая функция должна иметь конечное число разрывов и непрерывность производных между ними), с помощью тригонометрического ряда Фурье
a0
f (t )
ak cos(k1t ) bk sin( k1t ) ,
2 k 1
(6.1)
где 1 2 T частота повторения (или частота первой гармоники); k
номер гармоники.
Этот ряд содержит бесконечное число косинусных или синусных составляющих гармоник, амплитуды этих составляющих ak и bk являются коэффициентами Фурье, определяемыми интегральными выражениями:
2T
ak f (t ) cos(k1t ) dt ,
T0
2T
bk f (t ) sin( k1t ) dt .
T0
Ряд Фурье можно представить в виде
f (t )
a0
Ak cos(k1t k ) ,
2 k 1
где амплитуда Аk и фаза k гармоник определяются выражениями:
(6.2)
75
Ak ak2 bk2 ,
k arctg
bk
.
ak
Гармоническим анализом называют разложение функции f (t), заданной на отрезке [0, Т] в ряд Фурье или в вычислении коэффициентов
Фурье ak и bk .
Гармоническим синтезом называют получение колебаний сложной
формы путем суммирования их гармонических составляющих (гармоник).
Спектром временной зависимости (функции) f (t) называется совокупность ее гармонических составляющих, образующих ряд Фурье.
Спектр можно характеризовать некоторой зависимостью Аk (спектр амплитуд) и k (спектр фаз) от частоты k = k1.
Численный спектральный анализ заключается в нахождении коэффициентов a0, a1, … , ak, b1, b2, … , bk (или A1, A2, … , Ak, 1, 2, … , k)
для периодической функции y = f (t), заданной на отрезке [0, Т] дискретными отсчетами. Он сводится к вычислению коэффициентов Фурье по
формулам численного интегрирования.
На практике широко используется спектральное и временное представление сигналов. Хотя сигналы по своей природе являются случайными процессами, однако, отдельные реализации случайного процесса и некоторые специальные (например, измерительные) сигналы можно считать
детерминированными (т. е. известными) функциями. Последние принято
делить на периодические и непериодические, хотя строго периодических
сигналов не существует.
Простейшим примером периодического сигнала является гармоническое колебание (или гармоника).
Важное значение понятия гармоники для теории и практики объясняется рядом причин:
1) гармонические сигналы сохраняют свою форму и частоту при
прохождении через стационарные линейные электрические цепи (например, фильтры), меняя лишь амплитуду и фазу;
2) гармонические сигналы достаточно просто вырабатываются
(например, при помощи автогенераторов).
Непериодическим сигналом называется сигнал, который отличен от
нуля на конечном интервале времени. Непериодический сигнал можно
рассматривать как периодический, но с бесконечно большим периодом.
Одной из основных характеристик непериодического сигнала является его
76
спектр. Спектром сигнала называют функцию, показывающую зависимость интенсивности различных гармоник в составе сигнала от частоты
этих гармоник. Спектр периодического сигнала это зависимость коэффициентов ряда Фурье от частоты гармоник, которым эти коэффициенты
соответствуют. Для непериодического сигнала спектр это прямое преобразование Фурье сигнала. Спектр периодического сигнала это дискретный спектр (дискретная функция частоты), в то время как для непериодического сигнала характерен сплошной спектр (непрерывный) спектр.
Дискретный и непрерывный спектры имеют разные размерности.
Дискретный спектр имеет ту же размерность, что и сигнал, в то время как
размерность непрерывного спектра равна отношению размерности сигнала к размерности частоты. Если, например, сигнал представлен электрическим напряжением, то дискретный спектр будет измеряться в вольтах [B],
а непрерывный в вольтах на герц [B/Гц]. Поэтому для непрерывного
спектра употребляют также термин «спектральная плотность».
Рассмотрим теперь спектр непериодического сигнала. Для этого
обобщим формулу разложения в ряд Фурье на случай, когда период Т
стремиться к бесконечности. Как нетрудно заметить, при этом непериодическую функцию можно считать периодической. При увеличении Т частота первой гармоники уменьшается, и спектральные линии располагаются чаще. В пределе, при T интервал между линиями в спектре сокращается до нуля, т. е. спектр вместо дискретного становится сплошным,
непрерывным. Математически это можно выразить следующим образом:
T
s( jk ) Ck T s(t )e jt dt
(6.3)
0
и
s(t )
s( jk ) jkt
.
e
T
k
(6.4)
При T частота k может принимать любое «текущее» значе1
d
ние, а переходит в дифференциал d и
переходит в
.
T 2
2
Поэтому окончательно получим:
s ( j )
s(t )e
j t
dt ,
s (t )
1
s ( j)e jt d.
2
(6.5)
77
Эти выражения называются преобразованиями Фурье, которые связывают между собой функцию времени s(t) и комплексную функцию
s(j) в частотной области.
Физический смысл формул состоит в том, что непрерывный сигнал
s(t) имеет непрерывный спектр, т. е. представляется бесконечной непрерывной суммой (интегралом) гармонических колебаний с бесконечно
малыми комплексными амплитудами:
dCk
1
s ( j) d .
2
(6.6)
Функция
2
s( j) lim (Ck T ) lim
T
0
(6.7)
имеет размерность [амплитуда/Герц] и показывает амплитуду сигнала,
приходящуюся на полосу в 1 Гц. Поэтому эта непрерывная функция частоты s(j) называется спектральной плотностью комплексных амплитуд
или просто спектральной плотностью. Комплексные амплитуды периодической функции с периодом Т можно определить по спектральной характеристике непериодической функции такой же формы, заданной в интервале [0, Т]. Сказанное справедливо и по отношению к модулю спектральной плотности:
2
Ak s ( jk ) s (k) .
(6.8)
T
Из этого соотношения следует, что огибающая сплошного амплитудного спектра непериодического сигнала и огибающая амплитуд линейчатого спектра периодического сигнала совпадают по форме и отличаются
лишь масштабом. Энергию непериодического сигнала получим по формуле:
j t
1
1
j t
E s (t ) dt
s( j) s(t )e dt e d 2 s( j) s( j) d ,
2
2
где s(j) и s(– j) комплексно-сопряженные величины.
Так как s( j) s ( j) s 2 ( j) s 2 () , то
1 2
1 2
E s (t ) dt
s ( j) d 2 s () d .
2
2
(6.9)
78
Это выражение называется равенством Парсеваля для непериодического сигнала. Оно определяет полную энергию сигнала. Отсюда следует,
что s2() есть энергия сигнала, приходящаяся на 1 Гц полосы частот около частоты . Поэтому функцию s2() иногда называют спектральной
плотностью энергии сигнала s(t).
Спектр суммы нескольких сигналов
n
s(t ) s1 (t ) s2 (t ) sn (t ) si (t )
i 1
равен сумме спектров этих сигналов
n
s( j) s1 ( j) s2 ( j) sn ( j) si ( j) .
i 1
Спектральная плотность s(j) сигнала s(t + з) или s(t з), полученного при сдвиге сигнала s(t) по оси времени на з , определяется
выражением:
s з ( j) s( j)e j з ,
т. е. сдвиг функции по оси времени приводит к появлению фазового сдвига для всех частотных составляющих, равного .
Если s(j) – спектр функции s(t), то спектру s[j(o – н)], полученному путем сдвига исходного спектра по оси частот на величину o,
соответствует функция:
s2 (t ) s1 (t )e j 0t .
Спектр произведения двух функций s1(t) и s2(t) определяется операцией свертки их спектров:
s12 ( j)
s1 ( j)s2 ( j ( )) d .
Рассмотрим несколько практических моментов спектрального анализа. Обычно, полезно вычесть среднее из значений ряда и удалить тренд
(чтобы добиться стационарности) перед анализом. Иначе периодограмма
и спектральная плотность «забьются» очень большим значением первого
коэффициента при косинусе (с частотой 0.0). По существу, среднее это
цикл частоты 0 (нуль) в единицу времени, т. е. константа. Аналогично,
тренд также не представляет интереса, когда нужно выделить периодичность в ряде. Фактически оба этих эффекта могут заслонить более интересные периодичности в данных, поэтому и среднее, и (линейный) тренд
79
следует удалить из ряда перед анализом. Иногда также полезно сгладить
данные перед анализом, чтобы убрать случайный шум, который может засорять существенные периодические циклы в периодограмме.
6.2. ДИСКРЕТИЗАЦИЯ ПО ВРЕМЕНИ. МАСКИРОВКА ЧАСТОТ
Перевод непрерывного сигнала в дискретную форму для численного
анализа производится через равные интервалы времени. Пусть реализация
x(t) случайного процесса задана в интервале времени от 0 до Т. Преобразование Фурье этой реализации имеет вид
T
X ( f ) x(t )e j 2ft dt .
(6.10)
0
Для того чтобы получить периодическую функцию с периодом Т,
положим, что реализация x(t) непрерывно повторяется. Основное приращение частоты f 1 / T . Разлагая функцию в ряд Фурье, получим
x(t ) An e
j 2 nt / T
1T
, где An x(t )e j 2 nt / T dt . Из формулы (6.10) поT0
лучим
n
X x(t )e j 2nt / T dt AnT .
T 0
T
(6.11)
Таким образом, величина X(n/T) определяет значения коэффициентов An и ординаты x(t) при всех t. Вид функции x(t) в свою очередь
определяет величины X( f ) при всех значениях f. Этот вывод составляет
содержание теоремы о дискретном представлении процесса в частотной
области. Пусть преобразование Фурье X( f ) некоторой реализации x(t)
задано в интервале частот от – В до В Гц и равно нулю вне этого интервала. Интервал физически осуществимых частот составляет 0 – В Гц. Обратное преобразование Фурье имеет вид x(t )
B
X ( f )e
j 2 ft
df . Для того
B
чтобы получить периодическую функцию с периодом 2В Гц, положим,
что функция X( f ) непрерывно повторяется. Основное приращение времени
составляет
t = 1/(2B).
Теперь
X ( f ) Cn e jnf / B ,
где
80
1 B
Cn
X ( f )e jnf / B df . Таким образом, величина x(n/2B) определяет
2B B
значения коэффициентов Сn и, следовательно функцию X( f ) при всех
значениях f. Вид этой функции в свою очередь определяет ординаты x(t)
при всех значениях t. Этот вывод составляет содержание теоремы о дискретном представлении процесса во временной области. Основное приращение времени 1/(2В) называется интервалом Найквиста. Предположим,
что реализация процесса x(t) задана только в интервале времени от 0 до
Т, а ее преобразование Фурье X( f ) – в интервале частот –В – В Гц. Тогда
согласно формуле (6.10), снимая дискретные значения функции X( f ) в
точках, разделенных на шкале частот коинтервалом Найквиста 1/Т в промежутке –В – В, можно найти число дискретных значений, необходимое
для описания функции x(t): N = 2B/(1/T) = 2BT. Снимая дискретные значения x(t) в точках, разделенных на шкале времени интервалом Найквиста
1/(2В) в промежутке от 0 до Т, можно найти, что N = T/(1/2B) = 2BT.
Таким образом, требуется одинаковое число дискретных значений при
выборке их через коинтервал Найквиста по шкале частот и при выборке
через интервал Найквиста по шкале времени. Перевод непрерывной реализации в дискретную форму для численного анализа производится через
равные промежутки времени. Задача заключается в правильном выборе
интервала дискретности t. Согласно формуле, минимальное число отсчетов, нужное для описания реализации длиной Т при ширине спектра В,
есть N = 2BT. Поэтому при постоянном шаге по времени максимальный
интервал дискретизации t 1 /(2 B) . При выборках, отстоящих друг от
друга менее чем на t 1 /(2 B) , будут получаться коррелированные данные, число которых избыточно велико, что вызовет увеличение как объема, так и стоимости расчетов. При выборках, отстоящих друг от друга более чем на t 1 /(2 B) , возможно перепутывание низко- и высокочастотных составляющих процесса. Это явление называется маскировкой
частот. Преобразуем непрерывный сигнал в дискретную форму, интервал
времени между последовательными отсчетами составляет t секунд.
Следовательно, скорость дискретизации равна 1/t отсчетов в секунду.
Для того чтобы дискретная реализация содержала все те же частоты, что и
исходный непрерывный сигнал, на каждый цикл соответствующего колебания должно приходиться, по меньшей мере, два отсчета. Поэтому
наиболее высокая частота, которая может быть выделена при дискретизации 1/t отсчетов в секунду, равна 1/(2t) Гц. Содержащиеся в исходном
сигнале более высокие частоты будут свернуты в диапазон (0…1)/(2t) Гц
81
и будут неотличимы от низких частот этого диапазона. Граничная частота
fc = 1/(2t) называется частотой Найквиста или частотой свертывания
(наложения). Свертывание составляющих исходного процесса в диапазоне
частот [0, fc ] представляет собой процесс гофрирования частот. Для любой частоты f из диапазона [0, fc ] замаскированными оказываются более
высокие частоты (2fc f ), (4fc f ) и т. д. Истинная спектральная плотность будет искажена. Практический способ избавиться от маскировки частот при цифровом анализе заключается в том, чтобы подавить часть сигнала, которая может содержать частоты, превышающие частоту Найквиста. Это делают, ограничивая диапазон частот исходных данных с помощью низкочастотного фильтра. Вырезывающую частоту фильтра принято
задавать 0,7 – 0,8 частоты fc .
Пример 6.1.
Случайные вибрации конструкции измеряются датчиком. Данные
для анализа должны быть представлены в дискретном идее в диапазоне
частот от 0 до 2000 Гц. Требуется определить частоту дискретизации.
Решение. Для получения данных в диапазоне частот до 2000 Гц без
ошибок маскировки частот сигнал следует пропустить через фильтр с
вырезывающей частотой 2000 Гц. Частота Найквиста 2000/0,8 = 2500 Гц.
Необходимый интервал дискретности t = 1/(22500) = 0,2 мс, частота
съема должна составить 5000 отсчетов в секунду.
6.3. СГЛАЖИВАЮЩИЕ ОКНА
На практике, при анализе данных обычно не очень важно точно
определить частоты основных функций синусов или косинусов. Хотелось
бы найти частоты с большими спектральными плотностями, т. е. частотные области, состоящие из многих близких частот, которые вносят
наибольший вклад в периодическое поведение сигнала. Это может быть
достигнуто путем сглаживания значений периодограммы с помощью преобразования взвешенного скользящего среднего. Предположим, ширина
окна скользящего среднего равна m (должно быть нечетным числом).
Наиболее часто используемые преобразования:
– окно Даниэля;
– окно Тьюки;
– окно Хемминга;
82
– окно Парзена;
– окно Бартлетта.
Окно Даниэля (Daniell, 1946) означает простое (с равными весами)
сглаживание скользящим средним значений периодограммы, т. е. каждая
оценка спектральной плотности вычисляется как среднее m/2 предыдущих и последующих значений периодограммы.
В окне Тьюки (Blackman and Tukey, 1958), или Тьюки Ханна
(Hanning) (названном в честь Julius Von Hann), для каждой частоты весá
для взвешенного скользящего среднего значений периодограммы вычисляются как
j
j 0,5 0,5 cos
p
(6.12)
для j от 0 до p при p = (m 1)/2.
В окне Хемминга (названного в честь R. W. Hamming), или Тьюки –
Хемминга (Blackman and Tukey, 1958), для каждой частоты весá для взвешенного скользящего среднего значений периодограммы вычисляются
как
j
j 0,54 0,46 cos
p
(6.13)
для j от 0 до p при p = (m 1)/2.
В окне Парзена (Parzen, 1961) для каждой частоты весá для взвешенного скользящего среднего значений периодограммы вычисляются как
j 1 6
2
j
j
6
p
p
j
j 21
p
3
для j от 0 до p/2,
3
для j от
p
1 до p.
2
(6.14)
(6.15)
В окне Бартлетта (Bartlett, 1950) весá вычисляются как
j 1
j
p
(6.16)
для j от 0 до p.
За исключением окна Даниэля, все весовые функции приписывают
больший вес сглаживаемому наблюдению, находящемуся в центре окна и
меньшие веса значениям по мере удаления от центра. Во многих случаях
все эти окна данных получают очень похожие результаты.
83
84
6.4. ДИСКРЕТНОЕ ПРЕОБРАЗОВАНИЕ ФУРЬЕ
Рассмотрим особенности вычисления спектров сигналов на ЭВМ.
Как следует из формул преобразования Фурье, процедура нахождения
спектра сигнала требует проведения интегрирования непрерывных функций времени. Цифровые вычислительные машины в силу своей природы,
оперируют с дискретизированными по времени и уровню функциями, а
операцию интегрирования могут выполнять лишь приближенно на основе
того или иного численного метода. В связи с этим был разработан специальный вариант преобразования Фурье, названный дискретным преобразованием Фурье (ДПФ), при реализации которого обрабатываются дискретизированные значения (отсчеты) сигнала и спектра, а вместо интегрирования функции проводится суммирование ее дискретных значений. Рассмотрим вывод формулы ДПФ. Пусть задан непрерывный сигнал s(t) на
интервале [0, T ] своими отсчетными значениями s1, s2, … , sN – 1, взятыми
соответственно в моменты времени 0, dt, … , (N 1) dt полное число отсчетов N = T/dt. Мысленно предположим, что эти отсчетные значения
сигнала повторяются на оси времени бесконечное число раз.
В результате сигнал становится периодическим.
Поставим в соответствие такому сигналу математическую модель в
виде модулированной по амплитуде периодической последовательности
-импульсов (-функция):
N 1
sT t sk (t kt ) .
(6.17)
k 0
Представим это выражение комплексным рядом Фурье
sT t
Cn e jt
(6.18)
n 1
с коэффициентами
1 T
Cn
sT (t )e jt dt .
Tt 0
(6.19)
Вводя безразмерную переменную Е = t/dt и выполняя преобразования последней формулы, получим:
1
Cn
Nt
Nt N 1
sk (t kt )e
0
k 0
j 2
nt
T
dt 1
N
N 1
N
s k ( E k ) e
k 0
0
j 2
nE
N dt
. (6.20)
85
Используя фильтрующее свойство -функций, получим искомую
формулу ДПФ:
1
Cn
N
N 1
sk e
j 2
nk
N
.
(6.21)
k 0
6.5. БЫСТРОЕ ПРЕОБРАЗОВАНИЕ ФУРЬЕ
Преобразование Фурье действительной или комплексной функции
x(t), заданной на бесконечном интервале, представляет собой комплексную величину (6.10). Если область интегрирования не ограничена, то преобразования Х( f ) не существует, когда реализация x(t) обладает всеми
свойствами стационарного случайного процесса. Ограничив интервал
задания функции x(t), приняв его равным [0, T ], можно построить финитное преобразование Фурье:
T
X ( f , T ) x(t )e j 2ft dt .
(6.22)
0
Предположим, что функция x(t) представлена N дискретными
наблюдениями с интервалом дискретности t. Тогда реализация x(t)
представляет собой последовательность
xn x(nt ),
n 0, 1,, N 1.
(6.23)
Дискретная аппроксимация финитного преобразования Фурье при
произвольном f есть
N 1
X ( f , T ) t xn e j 2nft .
(6.24)
n0
Для расчета функции X ( f , T ) обычно выбираются дискретные значения частоты
k
k
fk
.
(6.25)
T Nt
Преобразованная последовательность дает на этих частотах преобразование Фурье
X ( f k ) N 1 j 2kn / N
Xk
xn e
, k 0, 1, , N 1.
t
n0
(6.26)
86
Преобразование однозначно только до значения k = N /2, поскольку
этой точке соответствует частота Найквиста.
Обозначим W (u) e j 2u / N , тогда
X (k )
N 1
x(n)W (kn),
k 0, 1, , N 1 .
(6.27)
n 0
Последняя формула представляет собой преобразование Фурье последовательности x(n), содержащей конечное число N членов. Для
расчета всех X(k) необходимо выполнить примерно N 2 операций умножения и сложения комплексных чисел.
Быстрое преобразование Фурье основывается на представлении
величины N в виде ряда сомножителей и в выполнении преобразования
Фурье для более коротких последовательностей, число членов в которых
определяется соответствующими сомножителями. Если N может быть
представлено в виде произведения p целых и больших единицы чисел:
p
N ri r1r2 rp ,
i 1
то последовательность X(k) может быть найдена итеративно путем расчета суммы p слагаемых:
N r1 преобразований Фурье, каждое из которых потребует 4r12
операций с действительными числами;
N r2 преобразований Фурье, каждое из которых потребует 4r22
операций с действительными числами;
…………………………………………………………………………
N rp преобразований Фурье, каждое из которых потребует 4r p2
операций с действительными числами.
Таким образом, общее число операций над действительными числами составляет
p
4( Nr1 Nr2 Nrp ) 4 N ri .
(6.28)
i 1
При использовании быстрого преобразования Фурье (БПФ), а не
стандартного метода получаем коэффициент ускорения вычислений
(к.у.в.)
87
N2
к.у.в.
p
4 N ri
i 1
N
p
.
(6.29)
4 ri
i 1
Представим индексы n и k из формулы (6.27) следующим образом:
k
n
p 1
0
i 0
k ri ,
p 1
0
i 0
k 0,1, , r 1 1, r0 1,
n rm 1 i , n 0,1, , rp 1, rp 1 1.
Фиксируя поочередно k и n , можно убедиться, что величины n
и k принимают значения от 0 до N 1, где N есть произведение всех
значений ri . Тогда
X (k ) X (k0 , k1 , , k p 1 )
r p 1 r p 1 1
n0 0 n1 0
r2 1
r1 1
x(n0 , n1 , , n p 2 , n p 1 )W (kn)
,
n p 2 0 n p 1 0
где W (kn) W (k[n0 n1rp n p (rp rp 1 r 1 ) n p 1 (rp rp 1 r2 )]) .
Величину k можно представить как
k k0 k1r1 k 1r1r2 r 1 (r1r2 r )(k k 1r 1
k p 1r 1r 2 rp 1 ) ,
следовательно
kn p (rp rp 1r 1 ) (k0 k1r1 k 1r1r2 r 1 )n p (rp rp 1 r 1 )
Nn p (k k 1r 1 k p 1r 1r 2 rp 1 ) .
Величина W для любого аргумента, кратного N, равна единице,
поэтому при 1, 2, , p
W (kn p rp rp 1 r 1 ) W [(k0 k1r1 k 1r1r2 r 1 )n p rp rp 1 r 1 ] .
При 1 имеем
j
k0 n p 1 N
W (kn p 1rp rp 1 r2 ) W (k0 n p 1rp rp 1 r2 ) W
e
r1
2 k 0 n p 1
r1
.
Экспоненциальное выражение для преобразования Фурье функции
x(np – 1), состоящее из r1 членов. Переменные k0 и np – 1 принимают значения от 0 до r1 1, поэтому для расчета каждого значения X(k0) нужно
r12 операций умножения и сложения.
88
Алгоритм БПФ.
С
учетом
полученных
преобразований
выражение
W (kn) W (k[n0 n1rp n p (rp rp 1 r 1 ) n p 1 (rp rp 1 r2 )])
можно представить в виде
k 1n p N
,
W (kn) T (k0 , k1 , , k 2 )W
r
1
p
1, 1,
T (k0 , k1 , , k 2 ) W [(k0 k1r1 k 2 r1r2 r 2 )(n p rp rp 1r 1 )],
2, , p.
Величины типа Т часто называют «ориентирующими коэффициентами». Подставим полученные выражения в формулу преобразования
Фурье.
X (k0 , k1 , , k p 1 )
r p 1
k p 1n0 N
T (k0 , k1 , , k p 2 )W
n0 0
rp
r p 1 1
r2 1
k p 2 n1 N
k1n p 2 N
(6.30)
T (k0 , k1 , , k p 3 )W
T (k0 )W
r
r
n1 0
n
0
2
p 2
p 1
r1 1
k0 n p 1 N
.
x(n0 , n1 , , n p 2 , n p 1 )W
r
n p 1 0
1
Согласно формуле (6.30), искомое преобразование Фурье может
быть построено за p итераций. В формуле преобразования Фурье рассмотрим последнюю внутреннюю сумму. Пусть
A1 (k0 , n0 , n1 , , n p 2 )
r1 1
k0 n p 1 N
.
x
(
n
,
n
,
,
n
,
n
)
W
0 1
p2
p 1
r
n p 1 0
1
Имея в виду все возможные значения, которые могут принимать
величины n0 , n1 , , n p 2 , уравнение дает N r2 преобразований Фурье
функции x(np – 1), каждое из которых требует r12 операций.
Пусть
A2 (k0 , n0 , n1 , , n p 3 )
r2 1
k1n p 2 N
.
A1 (k0 , n0 , n1 , , n p 2 )T (k0 )W
r
n p 21 0
2
89
Имея в виду все возможные значения, которые могут принимать величины k 0 , n0 , n1 , , n p 3 , уравнение дает N r2 преобразований Фурье
функции x(np – 2), каждое из которых требует r22 операций.
Продолжая эти рассуждения до -го шага, где = 2, 3, … , p 1, положим
A (k 0 , k1 , , k 1 , n0 , n1 , , n p 1 )
r 1
A 1 (k0 , k1 , , k 2 , n0 , n1 , , n p )T (k0 , k1 , , k 2 )
n p1 0
k 1n p N
.
W
r
Имея в виду все возможные значения, которые могут принимать
величины k0 , k1 , , k 2 , n0 , n1 , , n p 1 , уравнение дает N r преобразований Фурье функции x(np – ), каждое из которых требует r2 операций.
На последнем шаге формула дает
X (k0 , k1 , , k p 1 ) Ap (k0 , k1 , , k p 1 )
r p 1
k p 1n0 N
.
rp
Ap 1 (k0 , k1 , , k p 2 , n0 )T (k0 , k1 , , k p 2 ) W
n0 0
Имея в виду все возможные значения, которые могут принимать
величины k0 , k1 , , k p 2 , уравнение дает N rp преобразований Фурье
функции x(n0), каждое из которых требует rp2 операций.
Последовательность действий по полученным формулам приводит к
результату, суть которого есть БПФ, причем комплексные числа здесь заменены действительными.
Выражение
A (k0 , k1 , , k 1 , n0 , n1 , , n p 1 )
r 1
k 1n p N
.
r
A 1 (k0 , k1 , , k 2 , n0 , n1 , , n p ) T (k0 , k1 , , k 2 ) W
n p1 0
и есть алгоритм быстрого преобразования Фурье, оно служит основой для
многих применяемых сейчас численных методов расчета преобразования
Фурье.
90
7. ЦИФРОВЫЕ ФИЛЬТРЫ
Предмет цифровой фильтрации данных (сигналов) является введением в широкую и фундаментальную область цифровой обработки информации. Под фильтрацией понимают любое преобразование информации (сигналов, результатов наблюдений), при котором во входной последовательности обрабатываемых данных целенаправленно изменяются
определенные соотношения (динамические или частотные) между различными компонентами этих данных.
Преобразование динамики сигналов (и данных, которые несут эти
сигналы) осуществляется в системах. Системы, избирательно меняющие
форму сигналов (амплитудно-частотную или фазово-частотную характеристику), устранение или уменьшение помех, извлечение из сигналов
определенной информации, разделение сигналов на определенные составляющие и т. п., называют фильтрами. Соответственно, фильтры с любым
целевым назначением являются частным случаем систем преобразования
сигналов.
К основным операциям фильтрации информации относят операции
сглаживания, прогнозирования, дифференцирования, интегрирования и
разделения сигналов, а также выделение информационных (полезных)
сигналов и подавление шумов (помех). Основными методами цифровой
фильтрации данных являются частотная селекция сигналов и оптимальная
(адаптивная) фильтрация.
Линейными называют системы, которые осуществляют преобразование линейных комбинаций входных сигналов в суперпозицию выходных сигналов. Принцип реализации линейных систем, физический в виде специальных микропроцессорных устройств, или алгоритмический в
виде программ на ЭВМ, существенного значения не имеет и определяет
только их потенциальные возможности.
В общем случае термином цифровой фильтр называют аппаратную
или программную реализацию математического алгоритма, входом которого является цифровой сигнал, а выходом – другой цифровой сигнал с
определенным образом модифицированной формой и/или амплитудной и
фазовой характеристикой. Классификация цифровых фильтров обычно базируется на функциональных признаках алгоритмов цифровой фильтрации, согласно которому цифровые фильтры подразделяются на 4 группы:
– фильтры частотной селекции;
– оптимальные (квазиоптимальные);
91
– адаптивные;
– эвристические.
Наиболее изученными и опробованными на практике являются цифровые фильтры частотной селекции.
В одномерной дискретной линейной системе связь между входом и
выходом (входной и выходной дискретными последовательностями значений сигнала – отсчетами), задается линейным оператором преобразования L:
y(kt L x kt .
(7.1)
Это выражение отображает краткую запись линейного разностного
уравнения
M
N
am y(kt mt ) bn x(kt nt ) ,
m0
(7.2)
n 0
где k = 0, 1, 2, … порядковый номер отсчетов; t – интервал дискретизации сигнала; am и bn вещественные или, в общем случае, комплексные коэффициенты. Положим a0 = 1, и, принимая в дальнейшем t = 1,
т. е. переходя к числовой нумерации цифровых последовательностей значений сигналов, приведем его к виду:
y (k )
N
M
bn x(k n) am y(k m) .
n 0
(7.3)
m 1
Оператор, представленный правой частью данного уравнения, получил название цифрового фильтра, а выполняемая им операция цифровой
фильтрации данных (информации, сигналов). Если хотя бы один из коэффициентов am или bn зависит от переменной k, то фильтр называется
параметрическим.
При нулевых значениях коэффициентов am уравнение переходит в
уравнение линейной дискретной свертки функции x(k) с оператором bn:
y (k )
N
bn x(k n) .
(7.4)
n 0
Значения выходных отсчетов свертки для любого аргумента k
определяются текущим и «прошлыми» значениями входных отсчетов. Такой фильтр называется нерекурсивным цифровым фильтром (НЦФ). Интервал суммирования по n получил название «окна» фильтра. Окно
фильтра составляет N + 1 отсчет, фильтр является односторонним каузальным, т. е. причинно обусловленным текущими и «прошлыми» значе-
92
ниями входного сигнала, и выходной сигнал не может опережать входного. Каузальный фильтр может быть реализован физически в реальном
масштабе времени. При k n, а также при k m для фильтра, проведение
фильтрации
возможно только при задании начальных условий для точек x(k),
k = 1, 2, … , N, и y(k), k = 1, 2, … , M. Как правило, в качестве начальных
условий принимаются нулевые значения, или продление первых отсчетов
входных сигналов или его тренда назад по аргументу.
При обработке данных на ЭВМ ограничение по каузальности снимается. В программном распоряжении фильтра могут находиться как «прошлые», так и «будущие» значения входной последовательности отсчетов
относительно текущей точки вычислений k, при этом уравнение фильтра
будет иметь вид:
y (k )
N
bn x(k n) .
(7.5)
n N
При N = N фильтр называется двусторонним симметричным. Симметричные фильтры, в отличие от односторонних фильтров, не изменяют
фазы обрабатываемого сигнала.
Так как реакция НЦФ на единичный входной импульс (а также и на
любой произвольный входной сигнал) всегда конечна и ограничена размером окна фильтра, такие фильтры называют также фильтрами с конечной импульсной характеристикой (КИХ-фильтры).
Техника выполнения фильтрации не отличается от техники выполнения обычной дискретной свертки двух массивов данных.
Сумма коэффициентов фильтра определяет коэффициент передачи
(усиления) средних значений сигнала в окне фильтра и постоянной составляющей в целом по массиву данных (с учетом начальных и конечных
условий). Как правило, сумма коэффициентов фильтра нормируется к 1.
Имеется целый ряд методов обработки данных, достаточно давно и
широко известных, которые по существу относятся к методам цифровой
фильтрации, хотя и не называются таковыми. Например, методы сглаживания отсчетов в скользящем окне постоянной длительности. Так, для линейного сглаживания данных по пяти точкам с одинаковыми весовыми
коэффициентами используется формула:
yk 0,2( xk-2 xk-1 xk xk 1 xk 2 ) .
С позиций цифровой фильтрации это не что иное, как двусторонний
симметричный нерекурсивный цифровой фильтр:
93
2
y (k )
bn x(k n),
n 2
bn 0,2 .
Для операции фильтрации характерны следующие основные свойства: дистрибутивность, коммутативность, ассоциативность.
Фильтрация однозначно определяет выходной сигнал y(k) для установленного значения входного сигнала при известном значении импульсного отклика фильтра h(n).
Фильтры, которые описываются полным разностным уравнением
y (k )
N
M
bn x(k n) am y(k m) .
n 0
(7.6)
m 1
принято называть рекурсивными цифровыми фильтрами (РЦФ), так как в
вычислении текущих выходных значений участвуют не только входные
данные, но и значения выходных данных фильтрации, вычисленные в
предшествующих циклах расчетов. С учетом последнего фактора рекурсивные фильтры называют также фильтрами с обратной связью, положительной или отрицательной в зависимости от знака суммы коэффициентов
am. По существу, полное окно рекурсивного фильтра состоит из двух составляющих: нерекурсивной части bn , ограниченной в работе текущими
и «прошлыми» значениями входного сигнала (при реализации на ЭВМ
возможно использование и «будущих» отсчетов сигнала) и рекурсивной
части am, которая работает только с «прошлыми» значениями выходного
сигнала. Фильтры такого типа называют также фильтрами с бесконечной
импульсной характеристикой (БИХ-фильтры).
Операции, относящиеся к рекурсивной фильтрации, также известны
в обычной практике, например интегрирование.
Если на вход нерекурсивного фильтра подать единичный импульс
(импульс Кронекера), расположенный в точке k = 0, то на выходе фильтра получим его реакцию на единичный входной сигнал, которая определяется весовыми коэффициентами bn оператора фильтра:
y(k ) L[(0)] bn (k n) h(k ) bn .
(7.7)
Для рекурсивных фильтров реакция на импульс Кронекера зависит
как от коэффициентов bn фильтра, так и от коэффициентов обратной связи am .
Функция h(k), которая связывает вход и выход фильтра по реакции
на единичный входной сигнал и однозначно определяется оператором
преобразования фильтра, получила название импульсного отклика фильтра (функции отклика).
94
Определение импульсной реакции на практике требуется, как правило, только для рекурсивных фильтров. Если выражение для системы известно в общей форме, определение импульсной реакции производится
подстановкой в уравнение системы импульса Кронекера с координатой
k = 0 при нулевых начальных условиях. Сигнал на выходе системы будет
представлять собой импульсную реакцию системы.
Определение импульсной реакции физической системы обычно производится подачей на вход системы ступенчатой функции (функции
Хевисайда), которая равна u(k) = 1 при k 0, и u(k) = 0 при k 0:
g (k )
N
N
h(n)u(k n) h(n) .
n 0
(7.8)
n0
Отсюда
h(k ) g (k ) g (k 1) .
(7.9)
Функция g(k) получила название переходной характеристики системы (перехода из одного статического состояния в другое).
Удобным методом решения разностных уравнений линейных систем
является z-преобразование. Применяя z-преобразование к обеим частям
равенства (7.2), c учетом сдвига функций y(k m) z mY ( z ) , получаем:
M
N
Y ( z ) am z m X ( z ) bn z n ,
m0
(7.10)
n 0
где X(z), Y(z) – соответствующие z-образы входного и выходного сигнала.
Полагая a0 = 1, получаем в общей форме функцию связи выхода фильтра
с его входом – уравнение передаточной функции системы в z-области:
N
H ( z)
Y ( z)
X ( z)
bn z n
n0
M
1
am z
.
(7.11)
m
m 1
Для нерекурсивных фильтров, при нулевых коэффициентах am:
H ( z)
N
bn z n .
(7.12)
n0
При проектировании фильтров исходной, как правило, является
частотная передаточная функция фильтра H(), по которой вычисляется
ее z-образ H(z) и обратным переходом в пространство сигналов определяется алгоритм обработки данных. В общей форме для выходных сигналов фильтра:
95
Y ( z) H ( z) X ( z) ,
M
N
m
Y ( z )1 am z X ( z ) bn z n ,
m 1
n0
N
M
n0
m 1
(7.13)
Y ( z ) X ( z ) bn z n Y ( x) am z m .
После обратного z-преобразования выходной сигнал фильтра во
временной области имеет вид:
y (k )
N
bn x(k n)
n 0
M
am y(k m) .
(7.14)
m 1
При подаче на вход фильтра единичного импульса Кронекера о,
имеющего z-образ (z) = zn = 1, сигнал на выходе фильтра будет представлять собой импульсную реакцию фильтра y(k) h(k), при этом
Y ( z)
H ( z)
Y ( z ) hk z k ,
( z )
k 0
(7.15)
т. е. передаточная функция фильтра является z-образом ее импульсной
реакции. При обратном z-преобразовании передаточной функции соответственно получаем импульсную характеристику фильтра.
Фильтр называется устойчивым, если при любых начальных условиях реакция фильтра на любое ограниченное воздействие также ограничена. Критерием устойчивости фильтра является абсолютная сходимость
отсчетов его импульсного отклика.
Анализ устойчивости может быть проведен по передаточной функции. В устойчивой системе значение H(z) должно быть конечным во всех
точках z-плоскости, где |z| 1, а следовательно, передаточная функция не
должна иметь особых точек (полюсов) на и внутри единичного круга на
z-плоскости. Полюсы H(z) определяются корнями многочлена знаменателя передаточной.
Проверка на устойчивость требуется только для рекурсивных цифровых фильтров (систем с обратной связью), нерекурсивные системы всегда устойчивы.
От z-образов сигналов и передаточных функций подстановкой
z e jt в уравнение (7.10) можно перейти к Фурье-образам функций,
т. е. к частотным спектрам сигналов и частотной характеристике фильтров, а точнее – к функциям их спектральных плотностей:
96
M
N
m0
n0
am A()e jkt jmt bn B()e jkt jnt ,
A()e jkt
M
am e jmt B()e jkt
m0
M
N
m0
n0
N
bn e jnt ,
(7.16)
n0
A() am e jmt B() bn e jnt .
Передаточная частотная функция (частотная характеристика при
а0 = 1)
N
H ()
A()
B()
bn e jnt
n0
M
1
am e
jmt
.
(7.17)
m 1
Аналогично z-преобразованию, частотная характеристика фильтра
представляет собой Фурье-образ его импульсной реакции, и наоборот.
При t = 1
H ( )
h ( n ) e jn ,
n
1
h( n)
H ( ) e j n d .
2
(7.18)
В общем случае H() является комплексной функцией, модуль которой R() называется амплитудно-частотной характеристикой (АЧХ), а
аргумент () – фазово-частотной характеристикой (ФЧХ):
R() H () Re 2 H () Im 2 H (),
() arctg
Im H ()
.
Re H ()
(7.19)
Области применения НЦФ и РЦФ обычно обуславливаются видом
их передаточных функций.
В принципе, нерекурсивные цифровые фильтры универсальны и
способны реализовать любые практические задачи обработки сигналов.
Это и понятно, так как реакция рекурсивного цифрового фильтра на единичный импульс Кронекера представляет собой импульсный отклик нерекурсивного цифрового фильтра, а следовательно, задачи, решаемые рекурсивными фильтрами, могут выполняться и нерекурсивными, но при
условии отсутствия ограничений по размерам окна. В первую очередь это
касается реализации фильтров с бесконечной импульсной характеристи-
97
кой с незатухающим или слабо затухающим импульсным откликом,
например, интегрирующих или фильтров рекурсивной деконволюции.
Ограничение по размерам окна является скорее не теоретическим, а чисто
практическим. Нет смысла применять нерекурсивный фильтр с огромными размерами операторов и тратить машинное время, если та же задача во
много раз быстрее решается рекурсивным фильтром.
Существенным преимуществом нерекурсивных цифровых фильтров
является их устойчивость, возможность выполнения в виде двусторонних
симметричных фильтров, не изменяющих фазу выходных сигналов относительно входных, и реализации строго линейных фазовых характеристик.
С другой стороны, нерекурсивные фильтры могут быть преобразованы в рекурсивные фильтры, если есть возможность z-полином передаточной функции нерекурсивного фильтра выразить в виде отношения
двух коротких z-полиномов рекурсивного цифрового фильтра, что может
дать существенное повышение производительности вычислений. Как правило, такая возможность имеется для сходящихся степенных рядов. Отношение двух z-полиномов позволяет реализовать короткие и очень эффективные фильтры с крутыми срезами на частотных характеристиках.
98
ЗАКЛЮЧЕНИЕ
Эмпирические исследования являются основным источником объективной информации о характеристиках процессов, протекающих в реальных объектах. Получение экспериментальной информации связано с решением ряда проблем по организации регистрации первичных параметров, их сбора и обработки.
Экспериментальные данные представляют собой лишь наборы возможных случайных значений показателей, зарегистрированных в некоторые моменты времени. Каждое зарегистрированное данное представляет
собой частное проявление некоторой закономерности. В обобщенном виде
цель обработки экспериментальных данных состоит в выявлении присущей этим данным закономерности путем использования сведений о каждом отдельном событии и представлении искомой закономерности в количественном виде.
Следует помнить, что результаты обработки экспериментальных
данных не гарантируют достоверного описания неизвестных показателей
или закономерностей, их необходимо рассматривать только лишь как более или менее удачную аппроксимацию соответствующих характеристик.
Выбор или разработка методов преобразования экспериментальных
данных для оценивания требуемых показателей предполагает формализацию описания процедур первичной, предварительной и основной обработки результатов регистрации.
Первичная обработка данных направлена на преобразование зарегистрированных величин к виду, удобному для последующего хранения и
обработки. При этом не требуется применения сложного математического
аппарата. В ходе первичной обработки данные подвергаются «сжатию»
(например, результат регистрации заносится в соответствующий классификационный разряд статистического ряда) и записываются в специальные массивы, хранящиеся в основной или внешней памяти ЭВМ.
Предварительная обработка данных связана с их обобщением, сортировкой по системным событиям и периодам наблюдения.
Основная обработка зарегистрированных данных направлена на
определение тех показателей и функций, которые вытекают из целей экспериментального исследования. Реализация соответствующих процедур
предусматривает широкое использование сложного математического аппарата с большим объемом вычислений.
Предварительная и основная обработка выполняются в фоновом режиме, поэтому обработка вообще может проводиться с использованием
вычислительных средств вне реального масштаба времени.
99
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Бендат Дж., Пирсол А. Прикладной анализ случайных данных. –
М.: Мир, 1989.
2. Де Бор К. Практическое руководство по сплайнам. – М.: Радио и
связь, 1985.
3. Тихонов А. Н., Уфимцев М. В. Статистическая обработка результатов экспериментов: Учебное пособие. – М.: МГУ, 1988.
4. Себер Дж. Линейный регрессионный анализ. – М.: Мир, 1980.
5. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. В 2-х
томах. – М.: Финансы и статистика, 1986 – 1987.
6. Браммер К., Зиффлинг Г. Фильтр Калмана – Бьюси. – М.: Наука,
1982.
7. Дайнтбегов Д. М., Калмыкова О. В., Черепанов А. И. Программное обеспечение статистической обработки данных: Учебное пособие. –
М.: Финансы и статистика, 1984.
8. Лоусон Ч., Хенсон Р. Численное решение задач методом
наименьших квадратов. – М.: Наука, 1986.
9. Отнес Р., Эноксон Л. Прикладной анализ временных рядов. – М.:
Мир, 1982.
Учебное издание
НАТАЛЬЯ АЛЕКСАНДРОВНА ЗАДОРИНА
ОБРАБОТКА ЭКСПЕРИМЕНТАЛЬНЫХ
ДАННЫХ НА ЭВМ
Учебное пособие
Зав. РИО М. А. Салкова
Редактор Л. В. Калинина
Компьютерная верстка Е. В. Шлеина
Подписано в печать 20.04.2009.
Формат 6084 1/16. Уч.-изд.л. 6,25. Тираж 100. Заказ 19.
Рыбинская государственная авиационная технологическая академия имени П. А. Соловьева
(РГАТА)
Адрес редакции: 152934, г. Рыбинск, ул. Пушкина, 53
Отпечатано в множительной лаборатории РГАТА
152934, г. Рыбинск, ул. Пушкина, 53
