В. Л. ГОРОХОВ,
В. В. ЦАПЛИН
ПЛАНИРОВАНИЕ И ОБРАБОТКА
ЭКСПЕРИМЕНТОВ
Министерство образования и науки
Российской Федерации
Санкт-Петербургский государственный
архитектурно-строительный университет
В. Л. ГОРОХОВ, В. В. ЦАПЛИН
ПЛАНИРОВАНИЕ И ОБРАБОТКА
ЭКСПЕРИМЕНТОВ
Учебное пособие
Санкт-Петербург
2016
УДК 002.53:004.89
Рецензенты: д-р техн. наук, профессор А. Н. Жуковский (Петербургский государственный университет); д-р техн. наук, профессор Т. А. Дацюк (СПбГАСУ)
Горохов, В. Л.
Планирование и обработка экспериментов: учеб. пособие /
В. Л. Горохов, В. В. Цаплин; СПбГАСУ. – СПб., 2016. – 88 с.
ISBN 978-5-9227-0608-7
Содержит краткое изложение основ многомерного статистического анализа и теории планирования экспериментов применительно к проблемам безопасности жизнедеятельности, безопасности в техносфере, управления и мониторинга техногенными рисками.
Предназначено для студентов обучающихся по направлению 280700 –
«Техносферная безопасность» по профилю «Безопасность жизнедеятельности в техносфере» при изучении дисциплин «Теория системного анализа и принятия решений в БЖД», «Управление рисками, системный анализ
и моделирование», «Планирование и обработка экспериментов», «Инфокоммуникационные системы техносферной безопасности», «Когнитивные
технологии управления рисками в техносфере».
Ил. 19. Библиогр.: 19 назв.
По настоятельной просьбе авторов некоторые рисунки (а также обозначения матриц, векторов, регистры переменных, начертание символов и др.)
оставлены в первоначальном виде.
Рекомендовано Редакционно-издательским советом СПбГАСУ в качестве
учебного пособия.
ISBN 978-5-9227-0608-7
© В. Л. Горохов, В. В. Цаплин, 2016
© Санкт-Петербургский государственный
архитектурно-строительный университет, 2016
4
Статистическое невежество и статистические
ошибки так же широко распространены и столь же
опасны, как и логические ошибки, которые принято объяснять банальной неграмотностью. Для человека математически безграмотного невозможно понять некоторые сравнительно новые методы
мышления, которыми широко оперирует современное человечество. Сегодня мы мыслим, подбираем факты, формулируем выводы, пользуясь приемами, обусловленными научным подходом. Таким
образом, современный культурный человек должен
быть не только «гуманитарно», но математически
грамотен.
«15 to 18». A report of the Central
Advisory Council for Education.
Crowther Report, 401, HMSO, 1959
5
Введение
Методология современного естествознания, техносферной безопасности, социальных наук, информатики и современной экономики предполагает количественное описание явлений и, следовательно,
проведение множества разнообразных экспериментов и измерений.
Кроме того, логическое осмысление результатов экспериментов, следуя концепциям естествознания, требует обработки экспериментальных данных с целью сжатия объема количественных данных. Принятие логически обоснованных решений относительно выдвинутых
естественнонаучных, социальных и экономических гипотез в области
техносферной безопасности должно опираться на обработку данных
эксперимента и сопровождаться количественными характеристиками
качества принимаемых решений.
Такая обработка повсеместно осуществляется на основе методов теории вероятностей и математической статистики. Обращение
современной инженерии к изучению статистических закономерностей обусловлено тем, что вероятность является необходимым атрибутом сложных природных, технических, социальных и экономических систем.
Поэтому многие аспекты и идеи современного естествознания,
математики, экономики и техники требуют предельно четкого и ясного понимания вероятностных и статистических понятий. Более
того, современная практика работы инженеров связана с использованием статистических методов обработки данных и планирования
эксперимента. Поэтому ознакомление будущих специалистов в области безопасности техносферы с ключевыми понятиями планирования и обработки данных эксперимента требует тщательного освоения основ теории вероятности и принципов математической
статистики.
Согласно основным принципам естествознания и установленными научным сообществом соглашениям, принято, что обработка результатов измерений (в целях получения воспроизводимого
результата) всегда строится на основе теории проверки статистических гипотез и теории статистического оценивания. Успешность использования статистики связана с адекватностью применяемых статистических методов и задач, поставленных естествоиспытателем.
6
Введение
Адекватное применение статистических моделей и методов позволяет дать объективную количественную оценку характеру воздействия
технических объектов на среду, а также установить причинно-следственные связи в экономических и социальных явлениях. Наоборот, применение математических методов, не адекватных изучаемым
природным, социальным и экономическим явлениям, может привести к катастрофическим ошибкам и значительным убыткам. Поэтому глубокое понимание студентами природы статистических методов,
предполагающее их использование в планировании экспериментов,
предста­вляется весьма актуальным.
В настоящее время существует целый набор программных средств,
позволяющих реализовать большинство современных методов анализа и планирования экспериментов, проверки статистических гипотез и теории оценивания (например, системы STATGRAPHICS,
STATISTICA, SPSS, EXCEL, а также интегрированные (универсальные) системы MATLAB, MATHEMATICA, MAPLE).
К сожалению, успешная работа с этими программными пакетами
предполагает адекватное понимание ключевых терминов теории вероятности и статистики, таких как вероятность события, случайная
величина, значение случайной величины, распределение вероятностей, доверительный интервал, уровень значимости, статистический критерий, оценка и т. д. Незнание этих понятий или их неправильное толкование делают использование мощных программных
средств не только бесполезным, но и опасным.
Кроме того, требуется правильно сформулировать статистическую задачу планирования и обработки данных эксперимента исходя из конкретного практического материала, а после решения задачи дать правильную интерпретацию полученных результатов
эксперимента.
Однако методология организации эксперимента, как и методика интерпретации результатов экспериментов, развитая и описанная
в трудах основоположников прикладной статистики1, к сожалению,
малодоступны для начинающих и рядовых пользователей статистических пакетов.
1
Крамер Г. Математические методы статистики. М.: Мир, 1976. 2. Нейман Ю.
Вводный курс теории вероятностей и математической статистики. М.: Наука, 1968.
3. Леман Э. Проверка статистических гипотез. М.: Наука, 1978. 4. Кендал М. Д.,
Стьюарт А. Статистические выводы и связи. М.: Наука, 1973.
7
Планирование и обработка экспериментов
Существует ряд попыток первоначального и вместе с тем обстоятельного изложения статистической идеологии2. К сожалению, педагогическая практика показывает, что даже изучение обширной учебной литературы по теории вероятностей и статистике не всегда дает
нужный результат. Багаж знаний, почерпнутых из полезной научнопопулярной литературы, не исправляет положения, так как изложение
ее материала носит фрагментарный характер и не дает систематической картины, столь необходимой в практической работе.
Отсюда становится понятным известное негативное отношение
к статистике, которое с гениальным сарказмом было сформулировано Б. Дизраэли: «Существует три типа лжи: есть просто ложь, есть
отвратительная ложь и есть статистика». Такая негативная реакция
вызвана тем, что пользователи математической статистики не желали вникать в глубокий и тонкий смысл вводимых понятий и давали им наивную трактовку. А как следствие этой наивной трактовки
и возникали те трагические или смехотворные результаты, принимаемые якобы на основе математической статистики.
Еще одна трудность в истолковании и применении вероятностных
понятий состоит в том, что чисто математическую теорию вероятностей (понимаемую как математическую структуру, в отношении которой среди компетентных математиков разногласий нет), часто путают
со способами применения и интерпретации вероятностных методов
в естествознании, экономике и других приложениях. Речь идет о взаимосвязи математической теории вероятностей с окружающим нас
миром. В данной работе подчеркивается экспериментальная природа
вероятностных понятий прикладной статистики. Прикладная теория вероятностей и статистика представляются как инженерная наука. Здесь
подробно обсуждаются те эксперименты, которые ее делают таковой.
Следующий этап инженерного анализа, учитывающий измерительные
2
Броуди М. Б. О статистическом рассуждении. М.: Статистика, 1968. 2. Дайменд С.
Мир вероятностей. Статистика в науке. М.: Статистика, 1970. 3. Гольцман Ф. М.
Физический эксперимент и статистические выводы. Л.: ЛГУ, 1982. 4. Агекян Т. А. Теория
вероятностей для астрономов и физиков. М.: Наука, 1974. 5. Муромцев К. К., Бурова Т. В.
Элементы математической статистики независимых величин. Математические методы
в медико-биологических исследованиях. Л.: ЛПМИ, 1991. 6. Исаев А. А. Статистика
в метеорологии и климатологии. М.: МГУ, 1988. 7. Глотов Н. В. Биометрия. Л.: ЛГУ,
1982. 8. Боровиков В. В. Популярное введение в программу STATISTICA. М.: Финансы
и статистика, 1996. 9. Тюрин Ю. Н., Макаров А. А. Анализ данных на компьютере.
М.: Финансы и статистика, 1995.
8
Введение
аспекты эксперимента, осуществляется в теории статистических измерений. В данном пособии упор делается на детальном показе, как и чем
полезна вероятностная теория и что она может дать специалисту в его
повседневной работе. Между тем именно эти аспекты часто либо опускаются в учебниках, либо упоминаются вскользь.
Грамотное применение математической статистики в экономике,
технике связи, информатике, военной технике позволило получить
фундаментальные практические результаты, чему все мы являемся
свидетелями. Поэтому задачей данного пособия является предельно
четкая формулировка прикладных вероятностных моделей математической статистики, способствующая успешному применению этих
моделей в ноксологии, прикладной экономике, экологии и технике.
Авторы пособия старались давать предельно четкие операциональные определения некоторым «трудным» терминам математической статистики и теории вероятностей, кажущимся с позиций «здравого смысла» ясными и понятными (если не очевидными), а на самом
деле – с точки зрения формальной логики и практики эксперимента – таковыми не являющимися. В этом кроется большое «коварство»
природы вероятностных и статистических понятий. Именно поэтому
многие понятия математической статистики большинству людей кажутся наивными и очевидными, а процедуры, предлагаемые математической статистикой, – громоздкими, сложными и непонятными.
Чтобы преодолеть это недоразумение, авторы пособия прибегают
к нескольким методическим приемам, позволяющим правильно распределить внимание и усилия читателя.
Прежде всего, в тексте специально выделены малым шрифтом
те фрагменты текста, в которых даются вводные замечания (прелюдии) и методические замечания (интерлюдии). Их можно пропустить
при штудировании канонических определений, составляющих основное содержание пособия. Определения и термины обозначены жирным шрифтом.
Помимо этого, малый шрифт выбран для оформления простых
и подчас шутливых примеров. И наконец, выделены малым шрифтом
места, дающие более глубокое содержание материала («крещендо»).
Эти фрагменты тоже можно пропустить при первоначальном изучении материала; они предназначены для пытливых и любознательных
читателей. Остальные читатели могут вернуться к этим фрагментам
в процессе практической работы.
9
Планирование и обработка экспериментов
Еще раз подчеркнем, что тем, кто хочет быстро ознакомиться с предметом в первом приближении, данное пособие можно изучать, пропуская выделенные малым шрифтом места. Смысл и актуальность данного пособия, по мнению авторов, состоит в том, чтобы
дать студентам еще одну возможность для самостоятельного глубокого освоения предмета.
В любом случае читатель должен как следует продумать принципиальные вопросы, связанные с самим понятием вероятности. По мере
необходимости читателю следует обращаться к литературе, указанной авторами, и (или) к преподавателям, читающим соответствующие
курсы. Такое индивидуальное, глубокое осмысление предмета в сочетании с внимательным изучением курсов и беседами с преподавателями является отличительной чертой обучения в высшей школе. Без
него невозможно серьезное освоение дисциплин, изучаемых в вузе.
А прикладная статистика и теория вероятности предоставляют качественный и полезный материал для такого размышления.
10
И обратился я, и видел под Солнцем, что
не проворным достается успешный бег, не храбрым – победа, не мудрым – хлеб, и не у разумных – богатство, и не искусным – благорасположение, но время и случай для всех их.
Екклесиаст
Глава 1. ВЕРОЯТНОСТНЫЙ ПОДХОД
ДЛЯ ПЛАНИРОВАНИЯ И ОБРАБОТКИ
ЭКСПЕРИМЕНТА
1.1. Операциональное определение вероятности
Прелюдия
«Случайность», «неожиданность», «невероятность», «непредсказуемость», «неопределенность» – это слова, которые отражают широкий круг
важных явлений в нашей жизни. Мы слышим их с детства и часто считаем синонимами. Мы привыкли к ним, поэтому их смысл кажется нам очевидным. Обыденный смысл этих понятий сводится к мысли о том, что для
нас категорически невозможно предвидеть появление того или иного случайного явления.
Кроме того, эти слова, к сожалению, отражают слишком широкий круг
явлений; многие из этих явлений при серьезном размышлении оказываются совершенно разными по своей природе. Мы часто говорим: «Весьма вероятно, что я выйду завтра утром на прогулку»; при этом мы незаметно для
себя в общей форме резюмируем ряд сложных размышлений, из которых
одни относятся к нашему поведению, поведению различных лиц, а другие –
к явлениям природы.
Обыденным понятиям и словам «случайность», «неожиданность» противостоят не менее обыденные слова и понятия «достоверность», «детерминированность». Все эти слова отражают свой круг явлений, которые тоже нам привычны. Действительно, ряд явлений в окружающей нас
природе имеет жесткую причинную связь (детерминированные явления).
11
Глава 1. Вероятностный подход для планирования и обработки эксперимента
Поэтому, употребляя слово «случайность», часто хотят подчеркнуть, что речь
идет об отсутствии причинности. Этот факт часто обозначают словом «хаос».
Именно такой смысл придавали этому слову древние греки.
Между тем опыт естественных наук показал, что за кажущимся миром
случайных явлений можно обнаружить детерминированные закономерности,
которые позволяют с великой пользой ориентироваться в реальности. Оказалось, что среди широкого круга явлений, которые мы обозначали словами
«случайность», «неожиданность», «невероятность», «непредсказуемость»,
«неопределенность», можно выделить некоторое множество явлений, в которых все же проявляются некоторые закономерности (причинные связи). Этот
круг явлений и получил в естествознании и математике специальное название – «круг случайных явлений» (а сами закономерности получили довольно
странное название «случайные закономерности»). Именно этот круг явлений
и изучается теорией вероятностей и математической статистикой.
Следует сразу сказать, что вне рамок этого круга осталось немалое число
явлений (например, явления любви, ненависти), которые не описываются теорией вероятностей; они обозначаются в естествознании и математике как неопределенные явления.
Таким образом, слова, которые в обыденной жизни были синонимами, теперь приобретают специальный смысл и обретают статус терминов. К сожалению, это осознается не сразу и требует определенных усилий от учащихся. Поэтому в данном пособии определению и разъяснению
понятий придается большое значение и уделяется много места. Приводятся
детальные объяснения, и только после этого даются краткие, удобные для
запоминания, стандартные определения. К сожалению, краткость определений вводных разделов стандартных курсов по теории вероятностей и статистике не способствует правильному пониманию ключевых вероятностных
идей. Теперь перейдем к систематическому изложению материала.
В естествознании и технических науках при изучении явлений природы предполагается, что некоторые явления можно многократно повторить с одним и тем же результатом (этот результат называется исходом). Само повторение явления, приводящее к результату,
иногда тоже называют исходом или испытанием.
Такие организованные и многократно повторяемые явления
часто называют экспериментом. Чтобы более ярко подчеркнуть повторяемость явлений в эксперименте, некоторые авторы говорят
о серии экспериментов. В качестве результата эксперимента могут
выступать и числа, получившие названия числовых характеристик
12
1.1. Операциональное определение вероятности
явлений (физических величин, переменных, параметров, факторов). Физические величины служат для количественного описания основных явлений природы. А для точных наук очень важно и характерно, что физические величины используются и в целях определения
новых явлений (таким образом, естествознание избегает тавтологий).
Интерлюдия
Роль числа необыкновенно важна для человечества даже в обыденной
жизни. Еще в древности мудрец Соломон сказал: «Бог сотворил все мерою
и числом».
Подводя итог, можно сказать, что явления, для которых выполняются означенные выше условия, в естествознании принято называть детерминированными.
Чтобы подчеркнуть, что эти явления специально организуются,
их называют естественнонаучным экспериментом. Эксперименты
тщательно контролируются с целью избежать неуправляемых внешних воздействий. Если нельзя контролировать само изучаемое явление, то естествоиспытатель пытается контролировать окружающие
условия. Если и с этим возникают проблемы, то естествоиспытатель старается регистрировать условия, в которых происходит исследование. Подобная ситуация часто возникает в биологии, экологии, медицине и социологии. Такой процесс называется научным
наблюдением. Понятие детерминированности хорошо согласуется
с фундаментальным в естествознании принципом причинности, который гласит, что одно явление природы (причина) может повлечь
за собой другое явление природы (следствие).
Интерлюдия
Отметим, что этот факт детерминированности многих явлений был замечен людьми весьма давно, что нашло отражение в мировой литературе и зафиксировано в обыденном сознании людей («Восходит Солнце, и заходит Солнце, и спешит к месту своему, где оно восходит». – Экклезиаст).
Поскольку трудности восприятия вероятностных понятий связаны с обыденным пониманием изучаемых явлений, далее в интерлюдиях авторы постараются отмечать, как трактуются вероятностные явления в обыденном
сознании и как они трактуются в естествознании. Здесь возможны разительные отличия в трактовках, которые и являются источником трудностей.
Кроме того, не следует забывать, что природа устроена не так просто, как нам
13
Глава 1. Вероятностный подход для планирования и обработки эксперимента
хотелось бы. Единственным утешением является то, что все-таки она позволяет нам «кое-что» упорядочить. И это «кое-что» породило современную науку и технологию. Пример грандиозного объекта, порожденного современной технологией, – Большой телескоп азимутальный (БТА), представленный
на рис. 1.1. Этот инструмент олицетворяет собой современный подход к естественнонаучному познанию мира. В нем воплощены все возможности рационального описания мира: организация эксперимента, научное наблюдение,
количественное описание результатов наблюдений и экспериментов.
Рис. 1.1. Большой телескоп азимутальный (БТА) Специальной астрофизической обсерватории Российской академии наук (САО РАН)
Интерлюдия
Отметим, что естествоиспытатели часто используют обыденные слова (или цепочки слов) для обозначения специально организованных экспериментов. Такие слова и цепочки слов приобретают весьма специальный
смысл, отражающий свойства именно тех экспериментов и явлений природы, которые в данных экспериментах участвуют. Эти слова получили название научных терминов. Часто в научной и технической литературе эти
термины используются без разъяснения со стороны авторов. Последние
14
1.1. Операциональное определение вероятности
поступают так из-за уверенности в том, что их книги читают люди по крайней мере с законченным средним образованием. Среднее образование предполагает, что люди, его получившие, не только знают о существовании научных терминов, но и помнят смысл основных научных терминов, умеют
вовремя их распознать и правильно интерпретировать. На это и рассчитывают авторы.
Разумеется, часто, увы, это не так! Читатель с «обыденным сознанием»
часто не предупреждается об этом и толкует термины как слова естественного («обыденного») языка. Правда, иногда термины выбираются столь
удачно, что смысл слов из обыденного языка почти совпадает со смыслом термина. Но это бывает крайне редко. К сожалению, обычно обыденный смысл слова прямо противоречит смыслу термина (или весьма далек
от него) и тем самым запутывает нетвердого в своих знаниях читателя. Иногда слова, взятые из обыденной жизни в качестве терминов, вообще носят
несуразный или метафорический характер. Это вызвано тем, что несуразность (или метафоричность) слов позволяет их легко и прочно запоминать,
а это также очень важно. Все это напоминает мнемонические приемы, которые используют фокусники. К сожалению, иногда термин, принятый для
физической величины (переменной), используется как термин для обозначения самого явления, которое эта физическая величина характеризует. Например, термин время используется и для самого явления, и для
физической величины, которая это явление описывает. В математической
статистике подобным термином является, например, фактор. Иногда в литературе термин фактор используется и для определения самого изучаемого явления, и для обозначения физической величины, которая характеризует одно из свойств этого явления. (Например: экологический фактор,
климатический фактор.)
Еще раз напомним, что для того чтобы явления многократно повторялись, требуется организация эксперимента с тем, чтобы он отвечал ряду требований. Прежде всего, требуется постоянство условий,
в которых осуществляется данное явление. Кроме того, повторить
эксперимент с одинаковым результатом может любой другой человек, опирающийся на описание исследуемого явления (воспроизводимость). И наконец, еще раз подчеркнем, что подобное повторение
явления должно сопровождаться специальными числами, которые характеризуют именно данный тип явлений. Эти числа получили название числовых характеристик явлений. В физике это физические
величины, в экономике – экономические характеристики и т. д. В ма15
Глава 1. Вероятностный подход для планирования и обработки эксперимента
тематической статистике эти величины обозначаются как переменные, факторы, параметры распределений и т. д. Описанная процедура получила название естественнонаучный эксперимент (далее
для краткости эксперимент).
Интерлюдия
Введенные определения имеют чрезвычайно важный и глубокий
смысл, поэтому заслуживают осмысления. Сами термины в настоящей работе, как уже отмечалось во Введении, выделены жирным шрифтом (при
первом употреблении). В определениях, которые тоже выделены жирным
шрифтом, могут использоваться как слова из обыденной жизни, так и термины. В удачных определениях краткой комбинацией слов из обыденной
жизни можно выразить смысл термина. Поэтому рекомендуется заучивать
определения и термины, встречающиеся в первых разделах данного пособия, наизусть, что в сочетании с глубоким самостоятельным размышлением над их смыслом гарантирует осознанное и правильное применение
терминов и понятий в практической деятельности и при общении с коллегами. Индивидуальное размышление, продумывание – это абсолютно
необходимая работа над собой, над своим интеллектуальным развитием,
что во многом и составляет суть процесса обучения в высшей профессиональной школе.
Итак, ЭКСПЕРИМЕНТОМ (ИСПЫТАНИЕМ) называется
такое взаимодействие человека с природой, при котором появляется конкретный тип явлений (результат эксперимента – исход)
и выполняются следующие требования к эксперименту: повторяемость, воспроизводимость, постоянство условий и описание с помощью числовых характеристик.
Однако при изучении явлений природы иногда возникают ситуации,
когда некоторые явления могут появиться, а могут и не появиться. Такие
явления в вероятностной идеологии называются СОБЫ­ТИЯМИ.
Интерлюдия
Огромную роль таких явлений люди заметили давно и придавали этим
явлениям большое значение, обозначая их словами из обыденного языка –
«рок», «случай». (См. эпиграф: «И обратился я, и видел под Солнцем, что
не проворным достается успешный бег, не храбрым – победа, не мудрым –
хлеб, и не у разумных богатство, и не искусным – благорасположение, но время
и случай для всех их». – Экклезиаст).
16
1.1. Операциональное определение вероятности
Явления, которые порождают события, иногда называют недерминированными системами. Более четко, СОБЫТИЯ – это явления,
которые могут произойти, а могут и не произойти.
Пример
В качестве таких явлений (событий) можно указать на явления дождя, выпадения снега и другие метеорологические явления (рис. 1.2).
Рис. 1.2. Пример случайного природного события
Технические аварии, выход из строя технического оборудования
в настоящее время представляются в виде событий. В медицине в качестве события может выступать конкретная болезнь, в экономике –
банкротство предприятия и т. д.
До XVII в. считалось, что строго формально такие явления (события) не могут изучаться в точном естествознании, поскольку над
ними нельзя поставить эксперимент, который понимается как указано
выше. Однако необходимость естественнонаучного описания таких
явлений уже была очевидна для таких естествоиспытателей, как Блез
Паскаль, Рене Декарт, Пьер Ферма. Поэтому основоположники теории вероятности нашли следующий выход.
Они согласились рассматривать в естествознании события, которые могут происходить или нет, но потребовали, чтобы типы возможных событий были перечислены заранее до эксперимента,
17
Глава 1. Вероятностный подход для планирования и обработки эксперимента
и выставили условие к эксперименту, что никаких других типов событий в результате эксперимента произойти не должно.
Кроме того, хотя бы одно из этих перечисленных событий в результате эксперимента должно обязательно произойти. (Конечно,
для этого надо будет определенным образом организовать эксперимент.) Этот перечень типов событий получил название «полная группа элементарных событий». Подобный перечень типов событий
должен быть представлен экспериментатором до эксперимента; при
этом экспериментатор обязан гарантировать, что других типов событий в этих вероятностных экспериментах не появится.
Крещендо
Полная группа событий называется еще полной системой событий, пространством элементарных событий, охватывающим множество событий.
Разумеется, это была идеализация реальных явлений. Но самое
удивительное в том, что даже при такой идеализации можно выделить явления, отвечающие соблюдению этих условий (например, игра
в кости). И таких явлений оказалось достаточно много. Именно для
них и была построена прикладная теория вероятностей и математическая статистика.
Итак, если эти и все остальные, перечисленные выше, требования на эксперимент выполняются, то возможно при многократном
повторении исхода эксперимента (явления) подсчитать, сколько раз
наблюдалось явление (число успехов) конкретного выбранного типа
(успех). Затем, поделив это число на число многократных повторений эксперимента (число испытаний), можно получить характеристику (относительную частоту успехов), которая оказывается почти
постоянной (при большом числе повторений исходов эксперимента)
и может выступать в качестве повторяемого и воспроизводимого результата серии экспериментов. В этой роли данной характеристике
(термину) присвоено специальное название: ВЕРОЯТНОСТЬ (ЧАСТОТНАЯ ВЕРОЯТНОСТЬ).
Теперь указанная процедура отвечает всем требованиям к естественнонаучному эксперименту. Только в качестве эксперимента
выступает уже целая серия из N повторяемых экспериментов, в результате которых появляется возможность подсчитать (вычислить) частотную вероятность. Если затем повторить серию экспериментов,
18
1.1. Операциональное определение вероятности
то снова получится значение частотной вероятности, которое будет
близко по значению к вероятности, вычисленной в предыдущей серии
экспериментов. Главное, что теперь снова есть одинаковый результат,
получаемый при повторении эксперимента. Этот одинаковый результат есть частотная вероятность. Такой модифицированный эксперимент
(вернее, серия экспериментов, серия испытаний) получил название ВЕРОЯТНОСТНОГО ЭКСПЕРИМЕНТА, и он полностью удовлетворяет требованиям естественнонаучного эксперимента.
Пример такого вероятностного эксперимента – рулетка (рис. 1.3). Несмотря на азартный характер этого эксперимента, у него есть все признаки, характерные для вероятностного эксперимента.
Рис. 1.3. Рулетка – пример вероятностного эксперимента
Пример
Так, вероятностным экспериментом, удовлетворяющим принципам
естествознания, является серия из большого числа (N > 100) бросаний монеты с последующим вычислением частоты выпадения «решки» (успеха).
Эта серия называется «вероятностный эксперимент». Полученная физическая величина – частотная вероятность – есть результат эксперимента. Этот
результат останется прежним, если серию бросаний монеты повторить.
Возможны небольшие вариации этого числа, которые вызваны вероятностной природой явления, но вся прелесть для естествоиспытателя состоит
в том, что этими вариациями на практике можно пренебречь. Фактически
мы принимаем относительную частоту за вероятность. Вероятность выступает как постоянный результат эксперимента, который теперь будет называться вероятностным экспериментом.
19
Глава 1. Вероятностный подход для планирования и обработки эксперимента
Интерлюдия
К сожалению, не всякие явления (события), которые могут происходить
или нет, удовлетворяют перечисленным выше требованиям. Между тем
в обыденном сознании их тоже часто называют случайными событиями,
что принципиально неверно!
Опираясь на обыденное сознание, увы, часто говорят о случае, случайности и для ситуаций, когда перечисленные выше условия не выполняются.
Огромное количество ошибок, недоразумений связано с тем, что пользователь не проверяет перечисленные выше требования в отношении тех событий, для которых он хочет использовать понятие «вероятность». Здесь сказывается «магия» древнего обыденного слова «случай».
Так, например, нельзя вычислить вероятность будущего исторического события, поскольку это событие принципиально не может повториться,
так как все исторические события уникальны. С точки зрения естествознания здесь нет случайного события. Отсутствие полной группы событий также является непреодолимой преградой для использования понятия
«вероятность».
Хорошим примером ложных парадоксов, которые в шутливой форме высмеивает Станислав Лем в своем эссе «О невозможности жизни»
(в книге «Идеальный вакуум»), является монолог героя, который доказывает невозможность появления конкретного человека на свет. Этот вывод делается на основании вычисления вероятности этого события, которое
равно, по мнению героя, нулю. А поскольку герой все-таки появился на свет,
то его существование является наглядным подтверждением того, что наука
никуда не годится!
Здесь парадокс заключается в том, что нарушены все требования к вероятностному эксперименту, в котором якобы вычисляется эта вероятность, и, следовательно, использовать понятие «вероятность» здесь категорически нельзя. Станислав Лем со всем присущим ему сарказмом
показывает, как неправильная трактовка научных понятий может быть использована для дискредитации науки и научных методов в целом и статистики в частности.
Это особенно актуально, потому что подобные попытки опровержения
(на основе якобы вероятностных понятий) достижений науки продолжаются до сих пор в псевдонаучной литературе. Здесь фокус заключается в том,
что происходит подмена строгого научного понятия ВЕРОЯТНОСТЬ обыденным пониманием этого слова. Обыденное понимание сводится к пониманию того, что это событие может произойти или не произойти без всяких
дополнительных ограничений.
20
1.1. Операциональное определение вероятности
Таким образом, количественное описание определенных событий
осуществляется в естествознании с помощью величины под названием ВЕРОЯТНОСТЬ. Чтобы подчеркнуть, что для некоторых типов
событий возможно вычисление вероятностей, некоторые авторы называют такие события СЛУЧАЙНЫМИ СОБЫТИЯМИ.
Именно и только для случайных событий можно дать количественное описание этих удивительных явлений, которые могут произойти,
а могут не произойти.
Интерлюдия
Еще раз отметим, что в обыденном сознании практически все события,
которые могут произойти или нет, часто ошибочно отождествляют со случайными событиями. А это неверно! Случайными событиями можно
называть только такие события, для которых выполняются перечисленные
выше условия. И это неспроста! Дело в том, что при выполнении этих условий можно вычислить (из результатов вероятностного эксперимента) уникальную физическую величину (переменную), которая характеризует возможность появления события (явления, которое может произойти, а может
и не произойти). Эта величина называется вероятностью случайного события (или просто вероятностью).
Итак, для естествоиспытателя ВЕРОЯТНОСТЬ – это количественная мера предсказуемости события в рамках конкретной схемы вероятностного эксперимента (ВЕРОЯТНОСТНОГО
ИСПЫТАНИЯ).
Интерлюдия
Напомним еще раз, что естественные науки обладают как минимум двумя методологическими достоинствами:
1) возможностью удобного и краткого упорядочивания огромного числа явлений природы и логического сведения их к крайне малому набору явлений;
2) возможностью количественного предсказания возникновения некоторых явлений и результатов экспериментов.
Следствием этих полезных свойств естественных наук явилось развитие современной технологической цивилизации. Прикладная теория вероятностей и статистика следуют этой традиции для случайных событий.
При этом предсказание результатов эксперимента и его описание даются
с помощью специальных величин, так называемых вероятностей.
21
Глава 1. Вероятностный подход для планирования и обработки эксперимента
Еще раз подчеркнем: для количественного получения («измерения») вероятностей необходимы наличие полной группы элементарных событий, воспроизводимость, повторяемость, стабильность условий эксперимента.
Интерлюдия
Осуществляется многократное бросание монеты (при постоянных условиях). Полная группа элементарных событий – это орел и решка. Решка выбирается в качестве благоприятного события (успеха). Производится многократное повторение бросания (испытания). Подсчитывается число
успехов, которое делится на число повторений бросания (число испытаний). Получается оценка вероятности.
Часто говорят, что эксперимент, проводимый для этой цели, предполагает появление набора элементарных событий, которые называются элементарными исходами. Они представляют собой полную
группу несовместных событий.
Задать полную группу элементарных событий означает, что
перед экспериментом требуется перечислить все виды событий, которые могут произойти в результате вероятностного эксперимента.
Кроме того, надо так организовать эксперимент, чтобы хотя бы одно
событие из полной группы произошло. При этом явлений, не входящих в полную группу элементарных событий, происходить не должно. За это отвечает экспериментатор.
Крещендо
Как следует из постановки задачи, множество элементарных событий
должно быть счетным! Более сложные физические применения теории вероятностей допускают бесконечность множества элементарных событий, но
счетность обязательна. При первом ознакомлении с теорией вероятностей
эти тонкости, связанные с бесконечностью и счетностью множеств, можно
не рассматривать. О них здесь упоминается для пытливых и «продвинутых».
Из элементарных событий (исходов) могут составляться сложные,
или составные, события. Такие события могут быть несовместными
или совместными. События называются несовместными, если они
не могут произойти оба при осуществлении определенного комплекса условий эксперимента. Для совместных событий все наоборот.
22
1.1. Операциональное определение вероятности
Интерлюдия
Существует еще один способ задания составных событий. Возможно организовать проведение вероятностного эксперимента, в котором создаются
как минимум две полные группы несовместных событий A1, A2, A3, ..., An
и B1, B2, B3, ..., Bn. Затем образуются составные события из пар событий,
принадлежащих этим группам.
Выделенное заранее событие (в том числе и составное) называется
благоприятным. Другое название благоприятного события – успех.
Согласно гипотезе Мизеса, испытание считается случайным,
если при повторении эксперимента (серии экспериментов) подсчитанное число (nA) благоприятных событий (A), нормированное на число
повторений (N, число испытаний) эксперимента f (относительная частота благоприятных событий) «стремится» к фиксированному числу,
которое и называется ЧАСТОТНОЙ ВЕРОЯТ­НОСТЬЮ P.
Экспериментальное подтверждение этого факта в естествознании
трактуется как «сходимость» частот к вероятности.
Крещендо
Здесь естествоиспытатели (проявляя некоторую логическую нетребовательность) фактически отождествляют вероятности с частотами. Такой
подход связан со многими логическими трудностями, ибо при ограниченных числах повторений экспериментов частота немного отличается от вероятности. Поэтому Рихард фон Мизес и предложил рассматривать частоты в определенных бесконечных последовательностях экспериментов и их
результатов, которые называются коллективами, или генеральными совокупностями. Поскольку на практике приходится иметь дело с конечным числом экспериментов и их результатов, такая совокупность называется выборочной совокупностью, или выборкой. Здесь важным является
то, что принципиально возможно построить эксперимент с выборкой значительно большего размера. Эту выборку можно (в некотором смысле) уподобить генеральной совокупности. Поэтому инженер, когда говорит о генеральной совокупности, имеет в виду такую принципиальную возможность
получить выборку большего размера.
Итак, после вычисления частоты на основе результатов повторяемых экспериментов оказывается, что величина может прини23
Глава 1. Вероятностный подход для планирования и обработки эксперимента
мать значение от 0 до 1. Такая структура получения данной величины показывает, что и вероятность меняется от 0 до 1. Если вероятность
равна 1, то говорят, что событие достоверно. Если вероятность равна 0,
то говорят что событие невозможно. Остальные значения вероятности
трактуются как количественная мера возможности появления данного случайного события.
Крещендо
В природе возможны ситуации, когда вероятность равна нулю, а событие не является невозможным. Это происходит в том случае, когда множество элементарных событий несчетно (например, когда мы бросаем иглу
на отрезок). Эта ситуация пока здесь не рассматривается. Но эта ситуация
изменится, если естествоиспытатель начнет связывать случайные события
с действительными числами. Например, случайное событие – заболевание
гриппом – связывается с температурой тела больного. Температура – это
физическая величина, которая измеряется на множестве действительных
чисел. Но действительные числа несчетны. Значит, нельзя составить полную группу событий. И как в этой ситуации вычислять вероятность появления конкретной измеренной физической величины? На этот интригующий вопрос отвечает раздел, описывающий распределение вероятностей
действительных случайных величин в теории вероятности.
С учетом предыдущих рассуждений, отмечающих небольшое отличие частоты от вероятности, полученная частота называется
ЗНАЧЕНИЕМ ОЦЕНКИ частотной вероятности. Сама процедура
(алгоритм (1.1)) подсчета называется ОЦЕНКОЙ вероятности.
Еще раз подчеркнем, что, вообще говоря, возможно вычисление
оценок вероятностей как для элементарных событий, так и для составных, однако прямое вычисление вероятностей составных событий часто затруднительно. Поэтому удобнее вычислить (оценить)
вероятности элементарных событий и затем, пользуясь соответствующими правилами алгебры событий, определить вероятности составных событий.
Крещендо
Эксперименты по оценке (измерениям) вероятностей конкретных событий проводились неоднократно. Так, эксперименты с монетой проводились, например, в XVIII в. Бюффоном (тысячи испытаний), в XIX в. – Пирсоном (десятки тысяч испытаний), в ХХ в. – RAND Corporation (сотни тысяч,
24
1.1. Операциональное определение вероятности
миллионы испытаний). Все эти эксперименты подтвердили возможность
частотного подхода к измерению вероятности.
Более того, на таком подходе основана вся современная физика и техника. Поэтому излагаемые ниже фундаментальные закономерности теории
вероятностей и математической статистики могут считаться строго установленными экспериментальными фактами – экспериментальными законами. В математике многие из этих фактов представлены в виде аксиом,
из которых делаются логически последовательные выводы (доказываются
теоремы). Такая схема изложения теории вероятностей и математической
статистики является основной для математики; будучи отражена в обширной учебной литературе, она представляет собой в этом смысле математическую теорию. Между тем в естествознании уже давно используется тот
факт, что различные следствия теории и аксиомы согласуются с имеющимися в нашем распоряжении эмпирическими данными (например, в геометрии). Поэтому нет сомнений в том, что существует сходство между математической теорией и структурой наблюдаемого нами мира. Более чем
вероятно, что согласие математической теории с опытом будет иметь место
и в дальнейшем (разумеется, при условии строгого контроля условий проведения экспериментов). Подобный подход характерен для большинства
применений математики в естественных и гуманитарных науках. Именно
такая естественнонаучная трактовка вероятностных понятий последовательно рассматривается в данном пособии. Итак, далее материалы теории
вероятностей и статистики излагаются как материалы чисто естественнонаучной дисциплины.
Еще раз отметим, что в математике многие из экспериментальных фактов представлены в виде аксиом, из которых делаются логически последовательные выводы (доказываются теоремы). Такая схема изложения теории
вероятностей и математической статистики является основной для математики и, по сути своей, – математической теорией в полном смысле этого термина. Именно в такой форме она и представлена в обширной учебной литературе (в том числе для практиков, не являющихся математиками
по профессии).
Итак, для количественного описания природных явлений в недетерминированных системах с помощью теории случайных событий
в основном применяются следующие приемы:
· частотный способ получения величин вероятностей;
· вычисление вероятностей сложных (составных) событий
с помощью алгебры случайных событий, а также (в ряде случаев)
составных событий на основе частотных оценок.
25
Глава 1. Вероятностный подход для планирования и обработки эксперимента
Различные явления в области естествознания, техники, экономики,
социологии и экологии (например, наличие/отсутствие либо повышение/понижение показателя, отражающего загрязнение среды) могут
описываться простыми или составными событиями.
Пример
Пусть требуется оценить биоразнообразие с помощью теории случайных событий. Элементарным событием в этом случае является выявление
методами биологии представителя какого-либо вида, т. е. такого уровня организации живого, который невозможно получить скрещиванием с другими
видами. Виды организмов классифицируются с помощью биологических
определителей; следовательно, существуют четкие способы различать события. На участке территории вид может наблюдаться или нет. Важным условием адекватности аппарата случайных событий определенной задаче является требование многократного контроля наличия или отсутствия вида при
одинаковых условиях (таких как сезон наблюдения, вид экосистемы, те или
иные метеорологические факторы).
1.2. Методика вычислений вероятностей событий
Еще раз рассмотрим методы вычисления вероятностей и методы
операций с ними. Теперь, поняв идейную сторону явлений, можно сосредоточиться на систематическом, рецептурном, детальном изложении методики.
Итак, для расчета вероятности прежде всего требуется: а) перечислить типы случайных событий (исходов), которые могут произойти
в данном эксперименте (полная группа событий); б) определить исходя из полной группы событий то событие, которое нас интересует (благоприятное событие, успех); в) провести N экспериментов;
г) подсчитать, сколько раз появилось в этой серии экспериментов благоприятное событие. Далее вычисляется вероятность благоприятного
события p. Частотный способ расчета вероятности p можно представить в следующем виде:
где n – число благоприятных событий, полученных в N экспери­
ментах.
26
1.2. Методика вычислений вероятностей событий
Интерлюдия
Подобный расчет вероятности в статистике называется оценкой. Оценкой называется процедура обработки итогов эксперимента (итоги эксперимента могут быть представлены числами, и тогда требуется их расчет; если
же это события, то происходит подсчет событий), а результат работы процедуры называется значением оценки. Правда, в некоторых работах результат вычисления оценки авторы тоже называют оценкой; при этом предполагается, что читатель из контекста способен понять, идет ли речь о процедуре
вычисления либо о ее результате. Также результат расчета вероятности часто называют вероятностью; при этом в целях прояснения смысла излагаемого материала часто говорят о процедуре оценивания.
Пример
При прогнозировании отказов автоматики при единичном включении
(один эксперимент) на очистных сооружениях возможны два типа события:
А – отсутствие отказа; В – отказ. Нас интересует событие В.
Пусть общее число экспериментов, проведенных на заводе, равно
10 000. Из них число событий В составило три случая. Вычисляя оценку вероятности, получаем значение оценки вероятности отказа автоматики при
включении: р = 0,0003.
Эмпирический опыт подсказывает, что при большом N данный способ дает вычисление вероятностей, при котором увеличение количества экспериментов обратно пропорционально разбросу частотных
значений вероятности. Такое явление получило название частотной
сходимости оценки вероятности к «истинной вероятности» при увеличении числа испытаний.
Есть еще способы вычисления вероятностей, более уязвимые
с практической точки зрения, но, с учетом их частого изложения
в учебниках, требующие особого рассмотрения.
Классический способ расчета вероятности (модель урны
с шарами). Существует еще один способ вычисления вероятностей,
который является частным случаем частотного способа при условии равновозможности испытаний (равная вероятность для всех
испытаний), – классическая вероятность. Разумеется, равновозможность проверяется частотными методами. Классический
способ часто воспринимается учащимися как основной, но это
не так. Еще более «затемняет дело» его название: классический
27
Глава 1. Вероятностный подход для планирования и обработки эксперимента
способ расчета вероятности. Суть способа заключается в сле­
дующем:
а) определяется число типов событий M (не экспериментов!);
б) предполагается, что все события равновозможны;
в) вероятность каждого типа события рассчитывается как 1/M.
Пример
Система опроса случайным образом контролирует величину концентрации нефти с семи датчиков. Множество случайных событий состоит
из семи событий: выбор 1-го датчика, 2-го и т. д. Если выбор каждого датчика равновозможен, его вероятность составляет р = 1/7.
Интерлюдия
На практике предположение о равновозможности событий следует постоянно проверять частотным способом. Таким образом, метод классических вероятностей сводится к частотному методу.
Субъективный способ определения вероятности. Уже в XVIII в.
Байес пытался вводить субъективное понимание вероятности (субъек­
тивная вероятность), что позволяло выносить суждения о результатах единичных испытаний и даже мысленных опытов. В рамках
данного метода вероятности элементарных или составных событий
задаются экспертами на основе опыта наблюдения искомых событий.
Естественное условие введения экспертной вероятности следующая:
сумма всех вероятностей возникновения событий равна единице.
Пример
Охотоведы, наблюдавшие кабанов, считают, что вероятность наличия
у самки определенного числа детенышей следующая: ни одного – 10 %;
один – 40 %; два – 30 %; три – 20 %; более трех – 10 %.
Интерлюдия
Субъективный метод целесообразен в том случае, если данные вероятности можно перепроверить другим методом, в первую очередь частотным.
При определении вероятности следует как минимум использовать группу
независимых экспертов, примерно равных по компетентности.
К сожалению, для разных групп экспертов субъективная оценка вероятности будет принципиально разной. Это означает, что не работает один из фундаментальных принципов естествознания – принцип
28
1.2. Методика вычислений вероятностей событий
воспроизводимости результатов. Поэтому во избежание ошибок и разочарований следует остерегаться применения субъективного метода.
Геометрический способ расчета вероятности. При применении
геометрических вероятностей в качестве случайных событий выступают факты появления тех или иных геометрических фигур, а для вычисления вероятностей используют их числовые геометрические характеристики (например, площадь фигуры). Этот способ весьма коварен,
ибо требуется учесть и обеспечить счетность полной группы элементарных событий. При формулировке задачи в геометрической трактовке
это бывает весьма непросто.
Крещендо
В качестве псевдогеометрических фигур могут выступать элементы фазового пространства. Таким образом, дается определение вероятности в теоретической физике. Например, в монографии Ландау и Лифшица вероятность Р того, что объект находится в данном состоянии (в данном элементе
фазового пространства), вычисляется как
P = limT→∞(t / T),
где t – время, в течение которого объект находится в данном состоянии;
T – полное время наблюдения объекта.
Вопрос о количественной мере предсказания событий предстает здесь
весьма сложным: необходимо учитывать систему координат, форму объектов.
Кроме того, возможны неоднозначности, связанные с геометрическими и топологическими свойствами (несчетность, непрерывность) природных объектов. Фактически в естествознании опять все сводится к частотной проверке.
Возможны парадоксы (типа парадокса Бюффона).
Пример
Для определения биоразнообразия растительности Макинтайр (McIntire)
в начале 50-х гг. ХХ в. предложил метод случайных секущих (трансект). Секущая длиной L случайным образом накладывается на ареалы растительности и считаются длины отрезков li секущей, соответствующие границам
ареала вида i. При большом числе случайных пересечений N вычисляется
отношение p = (1 / N) S (li / L), которое при близкой к шарообразной форме
ареалов соответствует доле ареала на площади (площадь подразумевается
много большей площади ареалов).
Для этой же цели используется метод бросания на площадь, занятую разными видами растительности, квадрата с длиной стороны 1 м.
29
Глава 1. Вероятностный подход для планирования и обработки эксперимента
Рассчитывается доля площади квадрата, занятая одним видом ni = (Si / 1) м2
(где S – площадь квадрата, м2). При большом количестве случайных наложений также вычисляется отношение
Для подсчета плотности обитания животных С на территории следовым
методом применяется формула Формозова
где L – расстояние, которое проходит охотовед; b – средняя длина следа;
n – число пересечений при этом следов животных.
Здесь возникает проблема размерности вычисляемой величины. При вероятностном подходе стремятся иметь дело с относительными величинами,
из которых формируются выборки. В противоположной ситуации требуется, чтобы процедура вычисления вероятностных характеристик тоже носила размерный характер.
Интерлюдия
При вычислении вероятностей частотным способом необходимо самыми различными методами увеличивать количество испытаний, чтобы повысить надежность определения вероятности. При оценке вероятностей редких событий целесообразен сбор сведений о событиях как
для аналогичных объектов, так и близких по функции, а также сбор мнений множества примерно близких по компетентности экспертов об одном событии. Этот прием часто используется биологами, социологами,
ас­трономами.
1.3. Особенности организации статистического
эксперимента и испытаний в рамках
выборочного подхода
При организации испытаний, связанных с анализом случайных
событий, в области естествознания и экономики необходимо учесть
и объем повторных экспериментов, и адекватные практической задаче наборы элементарных и составных событий. Кроме того, нужно
правильно представить влияние изменчивости объектов, чтобы
30
1.3. Особенности организации статистического эксперимента и испытаний...
обеспечить возможность создания постоянных условий вероятностного эксперимента, столь необходимых для получения воспроизводимых результатов. Как отмечалось выше, для этого необходимо провести большое число экспериментов в одинаковых условиях. Считается,
что явление в целом описывается генеральной совокупностью событий, а экспериментатор получает выборку (выборочные данные)
из нее для статистической оценки вероятностей событий.
Соответственно, следует различать процессы аналитического получения величин вероятностей (по формулам вычисления вероятностей) и их оценки на основе выборочных данных, состоящей в подсчете произошедших событий (на основе подсчетов успехов).
Для обеспечения воспроизводимости результата вероятностного эксперимента необходимо соблюдать основной принцип формирования выборки – обеспечение представительности (репрезентативность) выборки (иногда говорят о необходимости проверки на
случайность выборочных данных и проверки на отсутствие тенденциозности в организации эксперимента).
Репрезентативность выборки – это свойство выборочных данных
в принципе содержать сведения об изучаемых явлениях природы.
Отсутствие сведений в данных может быть вызвано разными причинами, которые представлены ниже.
1. Нерепрезентативность вследствие малого объема выборки.
Прежде всего, данных (набор случайных исходов) может быть так мало,
что отклонение значений оценки вероятности (выборочные значения
оценки) от истинной вероятности случайного события может быть так
велико, что бессмысленно использовать на практике эти оценки.
2. Нерепрезентативность вследствие подтасовки выборочных
данных. Если результаты случайных экспериментов не имеют никакого отношения к изучаемому явлению, то очевидно, что их дальнейшая обработка никакого смысла не имеет. Это может произойти
в результате мошенничества или из-за непродуманной методики эксперимента (например, не учитываются требования к вероятностному
эксперименту, описанные выше). Это можно трактовать как неадекватность вероятностной модели.
Интерлюдия
Приведенные выше выкладки показывают, что неслучайность выборки
и ее тенденциозность укладываются в приведенную ранее схему.
31
Глава 1. Вероятностный подход для планирования и обработки эксперимента
Часто в природных явлениях трудно обеспечить отсутствие изменения условий от одного испытания к другому. Такой эффект называется вариабельностью. Он создает изменение значений параметров,
которое обозначается как тренд. В подобной ситуации для устранения трендов используется подход, при котором в эксперимент специально вносится случайный элемент, вероятностный характер которого
строго постоянен и фиксирован. Это позволяет разрушить возможный
тренд параметров, которые должны быть постоянны в вероятностном
эксперименте. Такая процедура искусственно переводит неконтролируемые изменения условий эксперимента в вероятностные, которые
возможно учесть на вероятностном языке. Данный подход был открыт
Рональдом Фишером и получил название метода рандомизации.
Пример
Если изучается воздействие кислых осадков на листья деревьев, то необходимо учесть все виды деревьев на территории, собрав их пробы на солнечных и затененных участках с различными типами почв. Случайность
означает необходимость выбирать объекты так, чтобы вероятностный характер явлений не искажался тенденциозностью организации выборки.
Кроме того, вероятностный механизм может помогать повышать инвариантность результатов экспериментов к систематическим искажениям. Для
этого эксперимент часто организуют так, чтобы вероятность попадания событий в выборку была одинаковой (обычно для этого применяются таблицы случайных чисел – метод рандомизации). Отсутствие тенденциозности
достигается тем, что эксперименты должны проводиться в одинаковых условиях (например, некорректно сравнивать количество лягушек на болоте
и на пустыре). То есть не должно быть зависимых событий от каких-либо
природных особенностей, кроме исследуемых.
Интерлюдия
Для количественного контроля практической приемлемости объема выборочных данных разработан специальный метод, который получил название выборочного метода. В нем вводится специальная величина, называемая доверительной вероятностью, которая характеризует отклонение
значений оценки вероятности от истинной вероятности случайного события в зависимости от объема выборки и процедуры вычисления оценки
вероятности. Суть метода состоит в том, чтобы заранее определить (с точки зрения практической ценности) допустимую вероятность отклонения
значений оценки и потом вычислить минимально необходимый объем выборки, необходимый для обеспечения этой вероятности. Метод особенно
32
1.3. Особенности организации статистического эксперимента и испытаний...
полезен в экономических и социальных исследованиях. Он позволяет реализовать строгий научный подход к количественной характеризации качества (достоверности, репрезентативности выборки) статистического анализа при малых выборках. Непонимание сути выборочного метода часто
используется недобросовестными людьми для обмана потребителей, принимающих термины за слова из обыденной жизни, смысл которых кажется им понятным, если не очевидным. Примером служит статистическая
обработка результатов социологического обследования, базирующаяся на
выборках с минимальным объемом, доверительная вероятность которого
близка к 1 для всего диапазона измеренных значений.
Итак, правильная организация вероятностного эксперимента для
исследования явлений в естествознании и социальных науках необычайно важна по целому ряду причин, которые представлены ниже.
1. Современные химико-аналитические методы предполагают
весьма дорогостоящее получение экспериментальных данных по
сверхмалым количествам проб (весом в десятки граммов, объемом
в несколько миллилитров), что обусловливает особые требования
к представительности (репрезентативности) выборки.
2. Принципиально невозможно собрать полный набор сведений
об технологических комплексах, экосистемах, экономических и социальных системах (это примеры сложных систем), поэтому полученные выводы будут опираться на ограниченный и фиксированный
по набору перечень типов событий, которые должны отразить закономерности развития сложных систем. Ставится задача не собирать
все данные о сложной системе, а отслеживать существенные события и зависимости в состоянии окружающей среды с помощью контроля минимального числа специально выбранных данных.
3. Если не учесть различные факторы, определяющие место, время,
периодичность отбора выборочных данных, то задача анализа теряет
смысл: настолько могут быть невоспроизводимы результаты.
Условия организации случайных экспериментов должны быть связаны с конечной целью работы. Если цель работы – очистка среды
и управление природопользованием, то имеет смысл фиксировать события с тех мест, которые позволяют управлять процессами очистки
(технологические растворы, стоки прибрежных предприятий).
Не менее важным и ключевым с точки зрения конечного результата использования вероятностных методов является выбор адекватных
33
Глава 1. Вероятностный подход для планирования и обработки эксперимента
поставленной практической задаче процедур (алгоритмов, оценок)
вычисления частотных вероятностей.
Все это объясняет необходимость предельно четкого понимания
как процессов организации и планирования вероятностного эксперимента, так и смысла и конструкции процедур вычисления вероятностных характеристик для получения достоверных результатов с помощью вероятностных методов.
1.4. Практическое использование теории случайных событий
при организации экспериментов. Нечисловая статистика
Как показано выше, при соблюдении правил организации вероятностного эксперимента появляется возможность количественного
описания случайных событий, в качестве которых могут выступать
любые явления. Количественная характеристика – вероятность случайного события – позволяет описать возможность появления явления в серии вероятностных экспериментов.
Пример
Пусть проводится социальный опрос отдельной группы населения, в котором спрашивают пол опрашиваемых и наличие привычки к курению.
В данной ситуации ответы каждого реципиента могут выступать как случайное событие, а сам опрос – как случайный эксперимент. Часто для удобства обработки данных факт появления явления (в нашем случае случайного
события) обозначается специальным символом. Так, ответ «пол мужской»
кодируется цифрой «1», ответ «пол женский» – цифрой «2». На второй ответ о курении возможны следующие ответы: «некурящий», «изредка курящий», «курящий», которые можно закодировать цифрами «1», «2», «3».
С точки зрения теории вероятности и статистики кодирование происходящих явлений в виде специальных символов или цифр называется введением номинальной шкалы. Сами символы называются номинальными переменными. Вероятностный эксперимент, в результате
которого получаются подобные номинальные переменные, называется
экспериментом с номинальными шкалами. Эти номинальные переменные могут подвергаться лишь некоторым математическим опера34
1.4. Практическое использование теории случайных событий...
циям. Это означает, что не все вероятностные характеристики можно
получить на основе таких номинальных переменных. Тем не менее,
ряд вероятностных характеристик (включая вероятности) можно получить, осуществляя операции над номинальными переменными.
В примере с ответом на второй вопрос о курении цифровая кодировка отмечает различные качественные (номинальные) характеристики явления (устанавливается определенный порядок между явлениями): некурящий – это хорошо, изредка курящий – это плохо,
а курящий – это очень плохо. Подобное ранжирование позволяет уловить определенные количественные вероятностные связи. При таком
использовании переменных последние обозначаются как порядковые переменные, а сам эксперимент трактуется как эксперимент
с порядковыми шкалами.
Для такого варианта возможны вычисления частот этих явлений,
которые можно трактовать как вероятности в некоторых ситуациях.
Кроме того, возможно вычислить степень вероятностной связи между
переменными и серединные значения в упорядоченной последовательности. Для этого используются алгоритмы и программы SPSS
и Excel, которые называются анализом таблиц сопряженности. Следует особо подчеркнуть, что такой подход обеспечивает надежный
статистический анализ данных для выявления различий в выборках
и наличие в последних статистических зависимостей. Еще раз подчеркнем, что здесь обрабатываются номинальные переменные! Речь
фактически идет об объективном анализе качественных явлений. Для
таких номинальных переменных полноценный статистический анализ, который используется для переменных со шкалами отношений
и интервальными шкалами, невозможен.
Пример
Ниже представлен пример анализа (рис. 1.4) номинальных и порядковых
данных в пакете SPSS. Кодировочная таблица данных сформирована в Excel.
Далее в пакете SPSS формируем набор данных в редакторе данных IBM
SPSS Statistics. Для этого в редакторе задаем тип переменных, нажимая
кнопку переменные, и затем переносим кодировочную таблицу в набор
данных, нажимая кнопку данные. Затем выбираем в меню процедуру анализ и затем следующие окна:
• описательные статистики;
• частоты.
35
Глава 1. Вероятностный подход для планирования и обработки эксперимента
Рис. 1.4. Анализ порядковых статистик
Здесь появляется окно, в котором мы задаем наборы данных. Это файлы событий «курение» и «пол». Появляется возможность объективного количественного описания данных эксперимента на языке частот и вероятностей, что открывает возможность объективного количественного описания
принимаемых решений. Далее следуют расчет и результаты: таблица частот
и диаграмма (рис. 1.5).
36
1.4. Практическое использование теории случайных событий...
а)
Таблица частот по курению
Валидные
б)
Валидные
1,00
2,00
3,00
Итого
Частота
Процент
6
2
2
10
60,0
20,0
20,0
100,0
Валидный
процент
60,0
20,0
20,0
100,0
Накопленный
процент
60,0
80,0
100,0
Распределение курильщиков соответственно полу
1,00
2,00
Итого
Частота
Процент
6
4
10
60,0
40,0
100,0
Валидный
процент
60,0
40,0
100,0
Рис. 1.5. Анализ порядковых статистик
37
Накопленный
процент
60,0
100,0
Глава 1. Вероятностный подход для планирования и обработки эксперимента
Кроме случайных событий, в качестве данных эксперимента могут
выступать и случайные величины. Описание случайных величин
с помощью распределений вероятностей дается во всех курсах теории
вероятностей и математической статистики и предполагается известным читателям. Реализация соответствующих процедур дается в программах статистического анализа (например, SPSS), где для обозначения возможности анализа случайных величин используют шкалы
интервалов и шкалы отношений. Часто используется термин числовые шкалы.
В данной работе, посвященной планированию экспериментов
и обработке результатов измерения множества характеристик сложных технических и природных систем, центральное внимание уделяется статистической обработке многомерных данных, представленных в числовой шкале.
38
Глава 2. МНОГОМЕРНЫЙ
СТАТИСТИЧЕСКИЙ АНАЛИЗ
2.1. Статистическая модель порождения многомерных
данных. Матрицы переменных (данных)
Как уже отмечалось, сложность изучения природного и природнотехнического явления (именуемого в дальнейшем объектом) заключается в том, что он часто описывается несколькими типами переменных (параметров, характеристик, физических величин).
Интерлюдия
К сожалению, термин «параметры» уже занят и используется для обозначения параметров функции распределения случайных величин. Поэтому его
использование в качестве синонима термину «переменная» не рекомендуется.
Эти переменные часто представляют собой случайные события
или случайные величины. Для их измерения используют перечисленные выше номинальные, порядковые, интервальные шкалы,
а также шкалы отношений и процедуры оценивания.
Совокупность этих переменных описывается в виде так называемой матрицы данных.
Для вероятностного описания подобных явлений или объектов
была развита схема вероятностного многомерного эксперимента
(многомерный эксперимент), состоящая в том, что при планировании такого эксперимента отбирается совокупность конкретных
объектов, которые с точки зрения экспериментатора являются представителями одного класса или нескольких классов объектов и характеризуются набором переменных.
Пример
Выбирается конкретная совокупность студентов, которые характеризуются следующими переменными: рост, вес, ширина плеч, объем легких,
успеваемость и т. д. В процессе эксперимента эти переменные измеряются
для всех студентов.
39
Глава 2. Многомерный статистический анализ
В процессе эксперимента измеряются значения этих переменных
для всех выбранных объектов. Такие значения образуют таблицы
многомерных данных, математически представляемые как матрицы. Для обозначения столбцов, строк и матриц будет использоваться жирный шрифт.
Матрицы данных позволяют описывать наборы измеренных переменных для огромной совокупности объектов. Подобные матрицы
для совокупности объектов могут представлять собой описание фрагментов сложных систем био- и техносферы. Совокупность таких матриц может выступать как кибернетическая модель для описания
сложных природных и техносферных систем.
Интерлюдия
Геосфера Земли, как и элементы техносферы, могут рассматриваться
как сложные системы и описываться в виде набора кибернетических моделей. Кибернетические модели обычно представляются как системы иерархических таблиц многомерных данных. Структура каждой сферы задается
матрицами структуры и матрицами отношений в этой рассматриваемой
сфере. Аналогичным образом сфера может быть представлена матрицами состояний, описывающих поведение элементов как сложных систем.
В современной геоэкологии, географии, промышленной экологии декомпозиция элементов, служащая для реализации системного подхода,
проводится следующим образом. Географическая сфера Земли (биосфера
по В. И. Вернадскому) определяется как кибернетическая система с прямыми и обратными связями двух сфер: {SG = SFG, SAG}, где SFG – физико-географическая сфера и SAG – техносфера (антропосфера). Это самостоятельные сложные системы, представленные векторами и матрицами со своими
структурами GFG, GAG и связями RFG, RAG.
Так, SFG = {GFG, RFG}; SAG = {GAG, RAG}, где GF = {ak}, GAG = {zk} являются множествами элементов, из которых состоят GFG и GAG. RFG RAG отражают множество связей каждой сферы между элементами, а также между
элементами и средой.
Например, физико-географическая сфера SFG состоит из пяти основных
элементов SFG = {a1 a2 a3 a5}: атмосферы, гидросферы, литосферы, почвы
и биосферы. Отношения между элементами разных сфер тоже можно задавать соответствующими матрицами, описывающими многомерные данные. В свою очередь, учитывая иерархическую структуру сложных систем,
можно для примера описать структуру гидросферы. Структура гидросферы может быть задана своими наборами матриц следующим образом:
40
2.1. Статистическая модель порождения многомерных данных...
a2 = {g1 g2 g9}. Здесь могут быть представлены оболочки океанов и морей;
стоковые оболочки; воды бессточных озер; вода в атмосфере; воды ледников; воды мерзлых пород; подземные воды затрудненного водообмена;
воды, связанные с минералами литосферы; воды биосферы.
Введение системных моделей позволяет осуществлять количественное
описание и моделирование гео- и техносферы на основе многомерного статистического анализа c использованием программы SPSS. Учет временнóй
составляющей процессов возможен за счет математического моделирования динамики процессов с использованием пакета MATLAB. Учет пространственной компоненты в настоящее время решается за счет средств
и алгоритмов геоинформационных систем типа ARC GIS INFO.
Далее в рамках эксперимента измеряются эти переменные.
Результаты подобного эксперимента можно представить в виде так называемой матрицы данных X = (xij).
Обозначим число объектов через n, а число переменных разного типа через k. В этой матрице элемент xij указывает значение, которое принимает j – параметр на i-м объекте. Тогда матрица данных X
имеет вид
Таким образом, результаты экспериментов представлены в виде
матрицы, строки которой соответствуют различным наблюдаемым
объектам (измерениям всех переменных для данного объекта),
а столбцы – переменным, описывающим состояния каждого объекта
(измерениям данной переменной для всех объектов). Операция преобразования строк и столбцов (транспонирование) обозначается символом Т.
Пример
Пусть имеется 8 спортсменов и 6 переменных, характеризующих этих
спортсменов. В эксперименте измеряются значения этих переменных для
всех спортсменов. Образуется матрица данных X = (xij). Эта матрица вводится в систему SPSS (рис. 2.1).
41
Глава 2. Многомерный статистический анализ
Рис. 2.1. Матрица многомерных данных X,
введенная в набор данных SPSS
Представляет интерес оценивание вероятностных свойств всей совокупности этих переменных каждого типа, как это описывается для
одномерных случайных величин. Это оценивание параметров распределений: среднее, дисперсия, сдвиг, масштаб, асимметрия, эксцесс, энтропия. Кроме того, между переменными различного типа
возможно наличие вероятностных зависимостей, измерение которых
тоже представляет большой научный и практический интерес. Речь
идет о существовании зависимостей, выражаемых через параметры
многомерного распределения, в свою очередь оцениваемых с помощью специальных оценок, таких как коэффициент парной корреляции, частной корреляции, множественной корреляции.
Интерлюдия
К сожалению, для описания этой многомерной совокупности случайных величин приходится использовать достаточно громоздкий аппарат матричного анализа (векторные представления).
Увы, взаимодействия в нашем мире многомерны, поэтому для их отслеживания без подобного усложнения описания не обойтись. Далее для обозначения столбцов, строк и матриц будет использован жирный шрифт.
Так, например, многомерная нормальная плотность распределения представляется в виде
42
2.2. Многомерный корреляционный анализ данных. Корреляционные матрицы данных
где X – n-компонентный вектор столбец; μ – n-компонентный вектор среднего значения; Σ – ковариационная матрица размера n×n; (X – µ)T – транспонированный вектор (X – µ); Σ–1 – матрица, обратная Σ; |Σ1/2| – детерминант матрицы Σ.
Ковариационная матрица описывается как Σ = E[(X – µ)(X – µ)T], где
E – символ математического ожидания. Важно отметить, что линии постоянной плотности вероятности образуют гиперэллипсоиды с постоянной
квадратичной формой вида (X – µ)T Σ–1(X – µ). Главные оси этих гиперэллипсоидов задаются так называемыми собственными векторами, а длины
этих осей – собственными значениями. Величину, определяющую расположение эллипсоидов (X – µ)T Σ–1(X – µ), называют маханаболисовым расстоянием от X до μ. Объем этих гиперэллипсоидов служит мерой разброса
значений случайных величин (значений переменных) относительно среднего значения.
2.2. Многомерный корреляционный анализ данных.
Корреляционные матрицы данных
На основе матрицы данных X появляется возможность изучить,
как статистически связаны переменные разного типа. Напомним, что
последние описывают характеристики явления, которое является источником многомерных данных.
Пример
Заданы три переменных: дефицит крови, вязкость крови и гематокритная величина. Получены измерения этих величин для 10 пациентов. Измерения составляют матрицу матрицы данных X. Требуется на основе матрицы данных X изучить связи между этими переменными.
Для многомерного анализа корреляционных данных используется
ряд оценок: коэффициенты парной корреляции Пирсона ril, непараметрический коэффициент корреляции Спирмена, коэффициенты частной корреляции r12/3, 4, …, k.
Коэффициенты парной корреляции характеризуют «тесноту»
линейной зависимости между двумя переменными, распределенными по нормальному закону. «Теснота» – это метафора, которая отражает механизм статистической связи между двумя случайными величинами. Подробное количественное описание этой статистической
43
Глава 2. Многомерный статистический анализ
связи как параметра двумерных или многомерных распределений содержится во всех руководствах по теории вероятностей и математической статистике и предполагается известным читателю.
Парный и частный коэффициент корреляции изменяется в пределах от –1 до +1. Чем ближе коэффициент корреляции к 1, тем сильнее зависимость между переменными. Если коэффициент больше
нуля, связь положительная, если меньше – то отрицательная.
Рассмотрим оценку коэффициентов парной корреляции Пирсона ril. Для этого вычисляются средние – E(Xj) – и средние квадраты
ошибки (S):
На основе наборов коэффициентов парной корреляции для каждой пары переменных строится матрица корреляций R, которая
используется для выяснения статистических связей между переменными разного типа. Матрица корреляций выступает в качестве достаточно универсальной системной модели для описания сложных систем. Кроме того, матрица корреляций используется для выявления
главных факторов:
Крещендо
Увы, природа устроена так, что возможны статистические связи между
переменными разного типа, охватывающие множество других переменных.
Пример
Приведем шутливый пример, впервые предложенный Пирсоном и подчеркивающий специфику анализа многомерных данных. Наличие множества свойств у объектов эксперимента приводит к существованию множества переменных, описывающих эти свойства. Между переменными
44
2.2. Многомерный корреляционный анализ данных. Корреляционные матрицы данных
в сложных системах могут наблюдаться цепочки косвенных статистических связей. Последние могут создавать иллюзию статистической зависимости между конкретной парой переменных. Так, если вы измеряете такие
переменные, как человеческую рождаемость и численность прилетевших
летом аистов, то, измеряя парный коэффициент корреляции, вы можете обнаружить значимую связь между этими переменными – и тем самым «доказать» гипотезу, что аисты приносят младенцев.
Между тем в реальности существует еще третья переменная, которая характеризует число солнечных, теплых дней (и ночей) лета. Именно эта переменная связана как с числом прилетевших аистов, так и с количеством
влюбленных пар, использующих теплые летние дни для уединения на природе. К сожалению, парный коэффициент корреляции измеряет как прямую
зависимость между выделенными переменными (в данном случае это число аистов и количество младенцев), так и косвенную (численность аистов –
количество теплых дней – число влюбленных пар). Это и приводит к забавному парадоксу. Поэтому, измеряя парный коэффициент корреляции, надо
быть уверенным, что явление или объект, породивший анализируемые данные, не имеет косвенных связей между измеряемыми переменными.
Таким образом, если возможны статистические связи между переменными разного типа, охватывающие множество переменных,
коэффициенты парной корреляции позволяют регистрировать
не только связь между данной парой переменных, но и связи, косвенно затрагивающие другие переменные (на фоне действия других
типов переменных). Для отсечения этих «косвенных связей» и вычисления только прямых связей между парой переменных используются так называемые частные коэффициенты корреляции r12/,k
(в других обозначениях r12/3, 4, …, k). Эти коэффициенты характеризуют тесноту связи двух переменных при исключении влияния всех
остальных переменных.
Интерлюдия
Детальный механизм отсечения связей реализован методами матричного анализа и кратко представлен формулой
r12 / k =
R12
;
R11R22
Здесь Rjl – алгебраическое дополнение элемента rjl. Напомним, что алгебраическое дополнение Rjl элемента матрицы rij равно определителю
45
Глава 2. Многомерный статистический анализ
матрицы, полученной вычеркиванием в первоначальной матрице строки
и столбца, умноженного на (–1)i+j.
Между тем в практике анализа данных иногда требуется количественно оценить, как в целом влияют все связи между переменными
на одну конкретную переменную. Для этого используют множественный коэффициент корреляции.
Множественный коэффициент корреляции r1 характеризует
тесноту связи между одной переменной (называемой результативной) и остальными переменными. Квадрат этой величины называется
множественным коэффициентом детерминации. Он характеризует
долю дисперсии результативной переменной, обусловленной влиянием остальных переменных.
Интерлюдия
|R|
Его детальный механизм представлен формулой r1 = 1
, где |R| –
R1
определитель матрицы R.
Для проверки статистической достоверности оценки коэффициентов частной и парной корреляции используется идеология проверки статистических гипотез, описанная в стандартных курсах по
теории вероятности и математической статистики. Проверяемый коэффициент корреляции считается достоверным (значимым), если
отвергается гипотеза H0: r = 0 и принимается гипотеза H1: r ≠ 0.
В качестве решающего правила используется критерий Стьюдента:
tнабл ≥ tкрит = Сα.
Здесь tнабл – статистика Стьюдента:
где n – число наблюдаемых объектов; l – число типов переменных.
Качество принимаемых решений характеризуется, вообще говоря, ошибками первого и второго рода в концепции Неймана–Фишера или достигаемым уровнем значимости в концепции Пирсона.
В пакете SPSS вычисляется только достигаемый уровень значимости (обозначается как p, Знч.) в концепции Фишера.
46
2.2. Многомерный корреляционный анализ данных. Корреляционные матрицы данных
Пример
Заданы три переменных: дефицит крови, вязкость крови и гематокритная величина. Требуется изучить связи между указанными переменными
с помощью программы SPSS. Для этого формируется (с помощью редактора SPSS) Набор данных – многомерный массив. Затем в программе выбирается окно Парные корреляции, а затем и алгоритм – Парный коэффициент Пирсона (рис 2.2).
Рис. 2.2. Набор данных и окно парных корреляций SPSS
Получаем результаты расчета (рис. 2.3). На распечатке работы программы в первой таблице приведены параметры средних и дисперсий по параметрам. Вторая таблица представляет матрицу парных корреляций. Здесь
в каждой ячейке представлен коэффициент парной корреляции между соответствующими переменными; ниже в той же ячейке представлен достигаемый уровень значимости – Знч., который указывает возможную достоверность наличия данного эффекта (если Знч. невелик – например,
составляет 0,01, то это говорит возможной достоверности). Далее, если достоверность эффекта велика, то значение коэффициента парной корреляции обозначается в программе звездочкой. И наоборот, если Знч. большой
(например, составляя 0,66), то это означает малую достоверность эффекта. Так, если коэффициент парной корреляции для пары параметров гематок–вязкость имеет большой достигаемый уровень значимости (0,66),
то это означает малую достоверность этого эффекта.
47
Глава 2. Многомерный статистический анализ
Рис. 2.3. Результаты расчета в SPSS парных корреляций Пирсона
и матрица корреляций с достигаемыми уровнями значимости (Знч.)
и объемами выборки (N)
Если нет достоверных сведений, что данные распределены по нормальному закону, целесообразно использовать процедуру вычисления
коэффициента Спирмена. Дело в том, что отклонение от нормальности многомерных данных может исказить оценки коэффициентов
парной корреляции. Процедура вычисления коэффициента Спирмена
является непараметрической, т. е. она меньше зависит от вида распределения данных. Кроме того, данная непараметрическая процедура
работает и в случае нелинейных связей между переменными.
Пример
Для примера ниже приведены результаты работы SPSS по вычислению
коэффициента непараметрической ранговой корреляции Спирмена
для тех же данных. Результаты вычисления показывают значительные уточнения оценки коэффициента корреляций.
48
2.2. Многомерный корреляционный анализ данных. Корреляционные матрицы данных
Рис. 2.4. Результаты расчета в SPSS парных корреляций Пирсона
и матрица корреляций с достигаемыми уровнями значимости (Знч.)
и объемами выборки (N)
Из проведенного многомерного анализа с помощью SPSS следует, что
параметр дефицит циркулирующей крови имеет достоверную (уровень
достигаемой значимости Знч. = p = 0,001) значимую корреляционную связь
с параметрами вязкость крови и гематокритной величиной. Связь между
параметрами вязкость крови и гематокритная величина – слабая, прямая и незначимая (уровень достигаемой значимости Знч. = p = 0,66). Эти
результаты сопоставляются и подтверждаются за счет вычислений параметрической (коэффициента Пирсона) и непараметрической оценки корреляции коэффициента Спирмена.
Крещендо
Корреляционная матрица обладает важными математическими характеристиками, которые используются для ряда матричных вычислений при
анализе многомерных данных. Это собственные векторы корреляционной матрицы и собственные числа, которые соответствуют собственным
векторам.
49
Глава 2. Многомерный статистический анализ
Если R матрица n × n и имеем вектор-столбец α, то путем перемножения можно получить новый вектор-столбец, имеющий то же направление,
что и данный вектор. Этот новый вектор можно получить, умножая исходный вектор на некоторый скаляр Λ. Получаем Rα = Λα, или (ΛE – R)
α = 0. Здесь E – единичная матрица, |ΛE – R| – характеризующая матрица матрицы R, det(ΛE – R) характеристическая функция матрицы
R, det(ΛE – R) = 0 – характеристическое уравнение матрицы R. Искомый скалярный множитель Λ является одним из n корней характеристического уравнения матрицы R. Они называются собственными значениями
матрицы R. Каждому из этих значений соответствует свой вектор-столбец.
Этот вектор-столбец называется собственным вектором матрицы и определяет главные оси матрицы R. Собственный вектор Uj есть решение уравнения (ΛjE – R)Uj = 0.
2.3. Многомерный регрессионный анализ данных
Регрессионный многомерный анализ позволяет количественно описать зависимость одной переменной Y, которая считается случайной
величиной от остальных переменных (X), выступающих в качестве детерминированных величин. Переменная X называется независимой
переменной (либо входной переменной), а переменная Y – зависимой переменной (либо выходной переменной, либо откликом).
Интерлюдия
Следует пояснить и уточнить смысл введенных терминов. К сожалению,
закрепившаяся на практике терминология часто приводит к неправильному
пониманию сути дела.
Термин независимые переменные означает лишь то, что эти переменные «управляют» и определяют конкретное значение случайной величины Y, которое она принимает, будучи зависимой от Х. Термин независимые
переменные подчеркивает тот факт, что в рамках регрессионного анализа
значения x считаются детерминированными для величин X и являются результатами измерений в эксперименте. Поэтому существуют синонимы этого термина, подчеркивающие данный факт (входные переменные). Если
переменные с точки зрения экспериментатора и физики процесса являются
случайными величинами, то аналогичные уравнения и модели можно развивать, и эти методы называются методами конфлюэнтного анализа.
В реальной ситуации мы имеем дело с матрицей многомерных данных – набором переменных, в котором по первой строке идут типы
50
2.3. Многомерный регрессионный анализ данных
переменных, а по первому столбцу – набор объектов. В этой ситуации
в рамках регрессионного анализа мы выбираем среди этих переменных
одну, которую называем Y-зависимой переменной, и тогда остальные переменные выступают как независимые переменные X в том смысле, что
они измеряются в эксперименте и определяют значение переменной Y. При
этом мы не должны забывать, что эти независимые переменные X могут
на самом деле зависеть друг от друга. Важно отметить, что эти зависимости
между независимыми переменными X, устанавливаемые методами многомерного корреляционного анализа, играют важную роль в регрессионном
и конфлюентном анализе, определяя степень влияния той или иной переменной Х на зависимую переменную Y.
При этом задается модель зависимости этих переменных y = f(x).
Эта модель может быть задана в виде линейной зависимости или
в виде других элементарных функций. В простейшем случае, который
рассматривается здесь, предлагается следующая модель:
Y = a0 + b1 X 1 + ... + b j XJ + ..... + bk XK + ε.
Здесь ε – нормально распределенная случайная величина с нулевым средним и единичной дисперсией, a0, bj – параметры уравнения.
Таким образом, на основе многомерных данных X одна переменная
задается как зависимая Y, а остальные переменные задаются независимыми переменными XJ (в структуре уравнения это предикторы);
предлагается оценить параметры этого уравнения, т. е. построить линейное уравнение регрессии вида
Y = a0 + b1 X 1 + ... + b j XJ + ... + bk XK .
Процедура оценивания называется множественной регрессией. Коэффициент регрессии bj показывает, на какую величину в среднем изменится переменная Y (результативный признак, отклик), если
переменную XJ увеличить на единицу его измерения. Очень важно
то, что это уравнение регрессии позволяет, зная оценки a0, aj и задавая
конкретные значения XJ, прогнозировать отклик Y.
Крещендо
Детализация вычислений дается в рамках матричного анализа. Вектор
оценок коэффициентов регрессии b в матричной форме вычисляется как
b = ( X T X) −1 X T Y,
51
Глава 2. Многомерный статистический анализ
где X – матрица размерности [n×(k + 1)]; XT – транспонированная матрица;
(XTX)–1 матрица, обратная матрице XTX.
Оценка ковариационной матрицы коэффициентов регрессии вектора b
имеет вид
Для изучения достоверности (значимости) уравнения регрессии снова используется идеология проверки статистических гипотез. Уравнение считается достоверным (значимым), если отвергается гипотеза H0: b0 = b1 = … = bk = 0. В качестве решающего правила
используется F-критерий: Fнабл ≥ Fкрит = Сα. Здесь Fнабл – статистика
F-критерия:
где θ = (Xb)T(Xb), θost = (Y – Xb)T(Y – Xb).
Для проверки значимости отдельных коэффициентов регрессии используют критерий Стьюдента. Коэффициент регрессии
считается достоверным (значимым), если отвергается гипотеза
H0: bj = 0 и принимается гипотеза H1: bj ≠ 0. В качестве решающего правила используется критерий Стьюдента: гипотеза H0 верна,
если выполняется неравенство tнабл ≥ tкрит = Сα. Качество принимаемых решений характеризуется, вообще говоря, ошибками первого и второго рода в концепции Неймана–Фишера или достигаемым уровнем значимости в концепции Пирсона. В пакете
SPSS вычисляется только достигаемый уровень значимости (обозначения: p, Знч.) в концепции Пирсона. Здесь tнабл – статистика
Стьюдента:
52
2.3. Многомерный регрессионный анализ данных
tнабл =
bj
sb
.
Пример
Имеется 20 трудовых коллективов (объектов), которые характеризуются
8 параметрами условий труда и быта: X1 – заселенность помещений; X2 –
удельный объем помещений; X3 – обращаемость к врачам; X4 – доля лиц,
привлекаемых к работам повышенной вредности; X5 – доля лиц в командировках; X6 – знание правил профилактики; X7 – время с момента появления
новых сотрудников;Y – уровень заболеваний.
Для прогноза уровня заболеваемости строится линейное уравнение
регрессии (рис. 2.5). В SPSS заполняем многомерный набор данных с помощью редактора. Затем используем команды анализ, регрессия, линейная регрессия и получаем результат в виде оценок параметров уравнения регрессии:
Рис. 2.5. Результаты расчета в SPSS линейного уравнения регрессии
Итак, уравнение имеет вид Y = 166 + 0,132X1 – 2,2X2 – 0,033X3 + 0,39X4 +
+ 0,135X5 – 0,33X6 – 6,25X7. Так как уровни значимости достигают значений выше 0,5, для коэффициентов bj при переменных XJ можно исключить
переменные с коэффициентами b3 и b5 (уровни достигаемых значимости
составляют 0,95 и 0,83 соответственно). Таким образом, уравнение регрессии Y = 166 + 0,132X1 – 2,2X2 + 0,39X4 – 0,33X6 – 6,25X7. Если ужесточить
требования к уровням значимости, то уравнение регрессии будет выглядеть
так: Y = 166 – 2,2X2 – 6,25X7.
Для проверки значимости модели используют уровень значимости
по критерию Фишера, который содержит сводка для модели (рис. 2.6).
53
Глава 2. Многомерный статистический анализ
Рис. 2.6. Результаты расчета модели регрессии (распечатка программы)
Здесь достигаемый уровень значимости F-критерия очень мал (например, 0,000), что говорит об информационной способности и достоверности
выбранной модели. Коэффициент детерминации (R-квадрат) достаточно велик: R-квадрат = 0,893, что также подтверждает информационную способность выбранной модели регрессии.
2.4. Многомерный факторный анализ данных
Основная идея факторного анализа состоит в том, что при анализе
данных эксперимента, когда измеряется большое число переменных,
некоторые из этих переменных удивительным образом оказываются
сильно коррелированными между собой! Подобная ситуация может
быть обусловлена тем, что экспериментаторы выбрали не самые
принципиальные и существенные переменные для описания явления
(зачастую подобное происходит из-за того, что в предложенном эксперименте именно эти переменные были доступны измерению). При
этом фундаментальные, ключевые переменные выпали из поля зрения исследователя.
Но природа явлений такова, что измеряемые переменные связаны с ключевыми (но не измеренными) переменными, благодаря чему
коррелируют между собой, так как описывают различные аспекты
более важных (подчас фундаментальных, но ненаблюдаемых) переменных. Корреляция между такими «косвенными» переменными обусловлена тем, что они, будучи связаны с ключевыми переменными,
сильно превышают их по количеству. Таким образом, косвенные, измеряемые переменные «управляются», определяются немногочисленными фундаментальными переменными. Ирония в том, что именно фундаментальные переменные и не удается напрямую измерить.
54
2.4. Многомерный факторный анализ данных
Такие гипотетически существенные и фундаментальные переменные
ввиду их важности специально обозначили как главные факторы
(или просто факторы).
Крещендо
Отметим, что часто и сами явления, которые описываются факторами,
тоже называют факторами. Эти фигуры речи укоренились, и считается, что
профессионалы в состоянии исходя из контекста быстро догадаться, о чем
идет речь: о факторах как переменных или о факторах как явлениях, которые этими переменными характеризуются.
Еще одним необычайно важным аспектом для исследователя является возможность обнаружения главных факторов по результатам обработки многомерных данных. По сути, это одна из самых важных
функций научного и инженерного исследования.
Основная идея факторного анализа предполагает наличие заранее неизвестных фундаментальных факторов и заключается в их
обнаружении, а также в косвенном количественном их описании.
Суть метода факторного анализа состоит в том, чтобы при анализе матрицы многомерных данных (с большим числом измеряемых параметров разных типов) вычислять матрицы многомерных
парных корреляций (R) и на их основе выявлять небольшое число
факторов.
Крещендо
Корреляционная матрица обладает важными математическими характеристиками, которые используются для ряда вычислений матричными методами при анализе многомерных данных. Это такие характеристики, как
собственные вектора корреляционной матрицы и собственные числа,
которые соответствуют собственным векторам.
Если R матрица n × n , а α – вектор-столбец, то путем перемножения
можно получить новый вектор-столбец, имеющий то же направление, что
и данный вектор. Этот новый вектор можно получить, умножая исходный вектор на некоторый скаляр Λ. Получаем Rα = Λα, или (ΛE – R)α = 0.
Здесь E – единичная матрица; |ΛE – R| – характеризующая матрица
матрицы R; det(ΛE – R) – характеристическая функция матрицы R;
det(ΛE – R) = 0 – характеристическое уравнение матрицы R. Искомый
скалярный множитель Λ является одним из n корней характеристического
уравнения матрицы R. Эти корни называются собственными значениями
55
Глава 2. Многомерный статистический анализ
матрицы R. Каждому из этих значений соответствует свой вектор-столбец.
Этот вектор-столбец называется собственным вектором матрицы и определяет главные оси матрицы R. Собственный вектор Uj есть решение уравнения (ΛjE – R) Uj = 0.
Для построенной корреляционной матрицы определяются так называемые собственные значения и соответствующие им собственные векторы. Для определения собственных значений используются вычисленные значения диагональных элементов матрицы.
Статистически они интерпретируются как относительные дисперсии
простых факторов.
На основе этих вычисленных величин и определяются факторы.
Полученные факторы позволяют группировать множество исходных
измеряемых переменных на группы, являясь обобщающими показателями последних. Значения факторов – это стандартизованные значения с нулевыми средними и единичными дисперсиями.
Пусть измеряется k параметров для n объектов в матрице данных Xj:
Матрица данных Xj содержит стандартизованные значения xij
с нулевыми средними и единичными дисперсиями. Предполагается
существование факторов f 1, f 2, …, f m, называемых общими факторами. При этом m < k. Среди общих факторов можно выделить главные факторы f, которые обладают пороговыми значениями специальных характеристик, таких как собственные значения главных
факторов (начальные собственные значения), вклады (процент
дисперсии) и накопленный вклад факторов (кумулятивный
процент).
С геометрической точки зрения матрица данных Xj, представляемая как облако точек в многомерном пространстве (размерность
пространства k) различных типов переменных, теперь представляется как облако точек в многомерном пространстве факторов гораздо меньшей размерности m. Кстати, именно поэтому факторный
56
2.4. Многомерный факторный анализ данных
анализ представлен в программе SPSS в разделе «сокращение раз­
мерностей».
В факторном анализе предполагается линейная связь между измеряемыми переменными x и факторами f:
m
x j = ∑ atj f t + ζ j,
t =1
где atj – подлежащие определению коэффициенты, обозначаемые как
факторные нагрузки; ζj – дополнительный вектор случайных величин, который описывает действие помеховых воздействий на процесс
получения матрицы данных Xj.
Факторную нагрузку можно связать с коэффициентом корреляции
любых двух переменных, так как сумма произведений нагрузок некоррелированных факторов есть коэффициент корреляции двух переменных.
С геометрической точки зрения это означает, что в качестве факторных нагрузок надо брать проекции переменных на соответствующие факторы. В этом смысле совокупность всех факторных нагрузок
представляет собой матрицу геометрических преобразований (в факторном анализе она называется матрицей факторных нагрузок A).
Подобная конструкция, включающая случайный механизм, преподносится как факторная модель, где случайные величины ζj представляют «шум», «помеху» и называются характерными факторами. Значения характерных факторов имеют среднее равным нулю,
но дисперсия не фиксирована.
Введение характерных факторов необходимо, поскольку в природе возможно наличие независимых случайных факторов, которые,
увы, не позволяют построить корректную факторную модель. Такая
ситуация возникает, когда дисперсии характерных факторов велики.
Кроме того, важным уточнением существования модели главных факторов является условие m < (k – 1) / 2.
Факторную модель можно представить как уравнение регрессии
переменной xj с факторами: f1, f2, ..., fm.
Интерлюдия
В матричном (векторном) представлении факторная модель имеет вид
X = AF. Аппроксимация переменных X с помощью F требует вычисления матрицы преобразования A, которая состоит из так называемых факторных нагрузок. При вычислении факторных нагрузок необходимо, чтобы первый
57
Глава 2. Многомерный статистический анализ
из общих факторов обладал попарными корреляциями между исходными переменными, которые малы, если влияние на них этого фактора учтено.
Следующий общий фактор аналогично находится из условия максимального ослабления попарных корреляций между исходными переменными, еще
не исключенными после учета влияния первого общего фактора и т. д.
Другими словами, процедура вычисления факторных нагрузок
(по сути, корреляций) сводится, прежде всего, к выявлению главных факторов и оценки для них факторных нагрузок. Для этого на основе матрицы парных коэффициентов корреляции R вычисляются собственные значения главных факторов (начальные собственные значения), вклады
(процент дисперсии) и накопленный вклад факторов (кумулятивный
процент).
Исходя из этих значений выбираются главные факторы, у которых
собственные значения достаточно велики (например, больше 0,5). На основе вкладов (процента дисперсии) и накопленного вклада факторов
уточняется, с какой полнотой выбранные главные факторы моделируют (описывают) исходную совокупность данных X. Для этих факторов
и всех исходных переменных строится матрица нагрузок (корреляций).
Другое название этой матрицы – матрица факторов.
Крещендо
Способы вычисления собственных значений – главных факторов
(«итого»), вкладов факторов (процент дисперсии), накопленных вкладов
факторов (кумулятивный процент) и матрицы факторов – могут быть различны. Это связано с тем, что все вышеперечисленные величины являются (с точки зрения математической статистики) оценками параметров распределения данных (коэффициентами корреляций дисперсиями и т. д.)
и, следовательно, процедуры их оценивания могут быть разными. Это могут быть метод наименьших квадратов, метод максимального правдоподобия и т. д. Поэтому в программных пакетах (например, в SPSS)
предлагается уточнить метод вычисления этих величин с учетом их статистической природы.
Пример
Заданы восемь переменных: X1 – продолжительность цикла работ
за время вахты; X2 – жесткость погоды во время вахты; X3 – количество нарушений труда и отдыха; X4 – относительная доля курящих в смене вахты; X5 – относительная доля лиц отягощенных анамнезом и наследственностью в смене; X6 – средняя оценка специальной подготовки; X7 – средняя
оценка физической подготовки; Y – уровень заболеваемости (рис. 2.7).
58
2.4. Многомерный факторный анализ данных
Рис. 2.7. Данные для факторного анализа
Требуется изучить связи между этими переменными и выявить группы переменных, объединенных в небольшое число факторов. Кроме того,
необходимо построить уравнение линейной связи между одной измеряемой переменной Y и факторами. Для этого используется программа SPSS.
Прежде всего вычисляются описательные статистики для всех переменных
и матрица корреляций (рис. 2.8). Это необходимо для проверки выполнения
условий, при которых возможно использование факторного анализа. К таким условиям относятся нормальность случайной выборки, необходимый
объем выборки и стационарность изучаемых явлений.
Затем в SPSS вычисляются собственные значения главных факторов
(обозначение – «итого»), вклады факторов (обозначение – «% дисперсии») и накопленный вклад факторов (обозначение – «кумулятивный
процент»). Программа SPSS требует указать метод вычисления указанных величин. В приведенном на рис. 2.9 примере выбирается метод максимального правдоподобия.
Еще раз напомним, что собственные значения главных компонент
указывают, насколько данный фактор «связывает» переменные в новую
общность. Вклад фактора (% дисперсии) показывает, насколько данный
фактор влияет на разброс (дисперсию) значений переменных.
В данном примере анализ этих характеристик позволяет пользователю
выделить в качестве главных факторов первый и второй. Программа SPSS,
исходя из собственных значений главных факторов, выбирает наиболее статистически значимые главные факторы 1 и 2. Затем программа SPSS
59
Глава 2. Многомерный статистический анализ
вычисляет матрицу факторов (исходную матрицу факторных нагрузок
нагрузок-корреляций) для этих двух факторов и матрицу повернутых
факторов. Достоверность полученных нагрузок факторов измеряется проверкой статистических гипотез и достигаемого уровня значимости (который
принимает значение 0,005, что означает достаточную значимость полученных результатов). С точки зрения геометрии матрица повернутых факторов
позволяет уточнять факторы за счет ортогонального вращения (с помощью
метода варимакса). Факторы повернутой матрицы вместе с матрицей факторных нагрузок могут рассматриваться как результат факторного анализа.
Описательные статистики
x1
x2
x3
x4
x5
x6
x7
Y
Среднее
105,0000
6,1333
15,2667
41,0000
17,4667
3,8533
3,8467
136,5333
x1
1,000
,665
,730
,279
,091
-,405
-,459
,778
Корреляция x1
x2
x3
x4
x5
x6
x7
y
Знч. (одно- x1
сторонняя) x2
,003
x3
,001
x4
,157
x5
,374
x6
,067
x7
,043
y
,000
a
Детерминант = 7,652E-006.
Стд. отклонение
45,45799
3,24844
9,38438
21,34747
6,80196
,61396
,67809
68,68340
Матрица корреляцийa
x2
x3
x4
,665
,730
,279
1,000
,816
,134
,816
1,000
-,089
,134
-,089 1,000
,007
-,183
,877
-,409
-,181
-,771
-,327
-,080
-,793
,656
,543
,590
,003
,001
,157
,000
,317
,000
,376
,317
,376
,491
,257
,000
,065
,259
,000
,117
,389
,000
,004
,018
,010
Анализ, N
15
15
15
15
15
15
15
15
x5
,091
,007
-,183
,877
1,000
-,651
-,657
,568
,374
,491
,257
,000
,004
,004
,014
x6
-,405
-,409
-,181
-,771
-,651
1,000
,954
-,746
,067
,065
,259
,000
,004
,000
,001
Рис. 2.8. Описательные характеристики и корреляции
(распечатка работы программы SPSS)
60
x7
-,459
-,327
-,080
-,793
-,657
,954
1,000
-,760
,043
,117
,389
,000
,004
,000
,001
2.4. Многомерный факторный анализ данных
Фактор
1
2
3
4
5
6
7
8
Полная объясненная дисперсия
Начальные собственные значения
Итого
% дисперсии
Кумулятивный %
4,575
57,186
57,186
2,340
29,251
86,437
,405
5,062
91,499
,355
4,443
95,941
,164
2,051
97,992
,130
1,623
99,615
,017
,217
99,832
,013
,168
100,000
Рис. 2.9. Результаты (распечатка работы программы SPSS) вычисления на SPSS следующих величин: собственные значения главных факторов (Итого), вклад факторов (% дисперсии) и накопленный вклад факторов
(Кумулятивный процент)
Исходя из значений факторных нагрузок (рис. 2.10) для переменных необходимо дать предметное истолкование отдельным факторам. В данном
примере один главный фактор связывает переменные X1, X2, X3 и Y. Этот
главный фактор можно обозначить как психоэмоциональное и физическое
напряжение людей коллектива в неблагополучных условиях погоды и напряженных условиях труда. Другой главный фактор связывает переменные X4,
X5, X6 и Y. Его можно обозначить как снижение требований к коллективу
и уровню его подготовки. Эти главные факторы (f1, f2) обуславливают уровень заболеваемости Y в данном примере.
Матрица повернутых факторовa
x1
x2
x3
x4
x5
x6
x7
y
1
Фактор
,269
,134
-,158
,826
,725
-,907
-,964
,629
2
,783
,849
,987
,042
-,070
-,328
-,235
,651
Метод выделения: Максимальное правдоподобие.
Метод вращения: варимакс с нормализацией
Кайзера.
a
Вращение сошлось за три итерации.
Рис. 2.10, начало.
61
Глава 2. Многомерный статистический анализ
Матрица факторовa
Фактор
1
2
x1
,735
x2
,820
,381
,257
x3
,999
-,012
x4
-,080
,823
x5
-,175
,707
x6
-,192
-,945
x7
-,091
-,988
Y
,552
,718
Метод выделения: Максимальное правдоподобие.
a
Извлеченных факторов: 2.
Требуемых итераций: 18.
Критерий согласия
Хи-квадрат
30,098
Ст. св.
13
Знч.
,005
Рис. 2.10, окончание. Результаты (распечатка работы программы SPSS) вычисления на SPSS матриц главных факторов и значения критерия согласия.
Серый фон выделяет статистически значимые факторы
Теперь можно представить, как выглядит линейная связь между измеряемым параметром Y и главными факторами: Y = 0,552f1 + 0,718f2.
Это и есть модель уровня заболеваемости как главных факторов: «психоэмоционального и физического напряжения людей коллектива в неблагополучных условиях погоды и напряженных условиях труда» и «снижения
требований к коллективу и уровню его подготовки». Коэффициенты модели указывают, что все главные факторы оказывают значительное влияние
на величину заболеваемости.
Таким образом, данный пример характеризует возможности многомерной корреляционной статистики для выявления следующих параметров: а) корреляция между переменными; б) регрессионные зависимости между выделенной переменной и остальными; в) группы
переменных, которые могут объединяться на основе некого общего
свойства. Напомним, что эти группы переменных обозначаются как
главные факторы.
62
2.5. Многомерный анализ данных методом главных компонент
Существует еще один механизм выявления связей между набором
переменных, основанный на изменении дисперсии значений последних при варьировании выделенной переменной. Этот метод получил
название метода главных компонент. Он использует похожие технически инструменты матричного анализа. В пакете SPSS он представлен как один из вариантов факторного анализа.
2.5. Многомерный анализ данных методом
главных компонент
Основная идея факторного анализа свелась к тому, что можно
представить матрицу переменных в виде набора новых типов переменных, число которых значительно меньше из-за того, что новые
переменные объединяют некоторые типы исходных переменных
по корреляционным свойствам. Между тем объединение исходных
типов переменных возможно и по их дисперсионным свойствам. Выявление новых типов переменных на основе дисперсионных свойств
развивается в методе главных компонент. Выявление дисперсионных свойств осуществляется за счет определения элементов матрицы на основе идеи минимизации отличия ковариационной матрицы
исходных переменных от ковариационной матрицы аппроксимирующих переменных F*. Таким образом, метод главных компонент
предназначен для преобразования системы k исходных типов переменных в систему m новых показателей (системы главных компонент). Главные компоненты не коррелируют между собой и упорядочены по величине собственных дисперсий, причем первая главная
компонента имеет наибольшую дисперсию, а последняя – наименьшую. Выявление новых переменных, отражающих особые свойства явлений (объектов) и приводящих к самостоятельным вариациям данных, является весьма продуктивным способом проведения
экспериментов.
В рамках метода главных компонент совершается оценка матрицы
парных коэффициентов корреляции R. Затем происходит преобразование матрицы R в диагональную матрицу Λ собственных значений
характеристического многочлена |Λ E – R|. Собственные значения характеризуют вклады соответствующих главных компонент.
63
Глава 2. Многомерный статистический анализ
Интерлюдия
С использованием матричного анализа ниже представлена краткая схема реализации процедур метода главных компонент.
Для получения собственных значений имеем матричное уравнение
вида: RU = ΛjU. Здесь искомый собственный вектор – это U, а Λj – собственное число. Каждое собственное число матрицы R представляет собой величину дисперсии соответствующей главной компоненты. По сути,
речь идет о доле дисперсии, соответствующей данной компоненте. Таким
образом, матрица R преобразуется в диагональную матрицу собственных
значений |Λ E – R|, где E – единичная матрица.
Далее факторные нагрузки (матрица факторных нагрузок) вычисляются как решение матричного уравнения A = V Λ1/2, где V – матрица
преобразования, составленная из собственных векторов Uj матрицы R.
Собственный вектор Uj есть решение уравнения (Λj E – R)Uj = 0.
Матрица компонент (компонентных нагрузок) A используется для
предметной интерпретации главных компонент. Напомним, что главные
компоненты есть линейные функции исходных переменных. Матрицу значений главных компонент можно получить из уравнения F* = A–1Z, где Z –
матрица нормированных значений исходных переменных. Полученные
главные компоненты F* позволяют классифицировать множество исходных переменных на группы, обобщающими показателями которых являются главные компоненты F*.
Геометрическая идея метода главных компонент легко интерпретируется в двумерном случае. Задаются две переменные X1, X2.
Переменные имеют нормальное распределение и коррелированны.
Если рассматривать эти переменные как двумерный массив, то его
максимальная дисперсия не будет совпадать ни с одной из переменных. Для двумерного массива могут быть выделены два ортогональных направления, одно из которых отразит максимальную дисперсию
массива. Направление, отражающее максимальную изменчивость
массива, будет представлено первой главной компонентой (I, длинные стрелки на рисунке), а ортогональное направление изменчивости – второй главной компонентой (II, короткие стрелки на рисунке
(рис. 2.11).
Метод главных компонент и дисперсионный анализ опираются
на изучение дисперсионных свойств выборки и представляют собой
мощный естественнонаучный метод выявления причинно-следственных связей в природе и технике.
64
2.5. Многомерный анализ данных методом главных компонент
а)
б)
в)
Х2
2
1,0
15
1
0,5
−2
10
5
0
5
10
15 Х1
−1
1
1,0
2
0,5
0,5
−1
0,5
−2
10
1,0
Рис. 2.11. Геометрическая идея метода главных компонент
Пример
Для метода главных компонент проведена обработка данных из предыдущего примера; результаты обработки представлены на рис. 2.12.
С точки зрения предметного представления они практически аналогичны
предметному анализу из предыдущего примера. (Серый маркер фиксирует статистически значимые переменные которые включаются в главные
компоненты.)
Матрица компонентa
Компонента
1
2
x1
,702
,554
x3
,439
,846
x2
,617
,666
x4
,774
-,538
x5
,662
-,628
x6
-,893
,254
x7
-,888
,308
Y
,941
,172
Метод выделения: Анализ методом главных
компонент.
a
Извлеченных компонент: 2.
Рис. 2.12. Пример расчета на SPSS главных компонент
(распечатка работы программы SPSS)
65
Глава 2. Многомерный статистический анализ
2.6. Многомерная классификация
Меня вам, друг мой, не сразить.
Зачем вы приняли мой вызов?
Так что ж от вас мне отхватить,
Прелестнейший из всех маркизов?
Бедро? Иль крылышка кусок?
Что подцепить на кончик вилки?
Так решено: сюда вот, вбок
Я попаду в конце посылки.
Эдмон Ростан. «Сирано де Бержерак»
До сих пор в процессе многомерного статистического анализа проводился анализ переменных, анализировались связи между переменными (корреляционный анализ), а также зависимость одной выделенной переменой от остальных (регрессионная зависимость);
переменные объединялись в группы согласно их связям и дисперсиям
(факторный анализ и анализ главных компонент).
Между тем источники значений факторов – объекты. Именно объекты порождают строки в матрице данных. Их число n. Эти объекты
тоже могут быть разбиты на группы (сгруппированы) с учетом статистических связей между переменными, которыми и характеризуются.
Поскольку статистическая связь между переменными позволяет объединять их в группы (классы), можно воспользоваться этой группировкой для выявления особых свойств объектов, приводящих к такой
группировке. Например, имея совокупность объектов, называемых
учащимися, и измеряя такие параметры, как вес и рост, можно провести группировку этих объектов на две группы: студентов и студенток.
В геометрической интерпретации источники (объекты) представляют собой точки в многомерном пространстве переменных. Это означает, что наличие связей переменных будет приводить к образованию многомерных облаков из этих точек. Точки (источники значений
переменных) задаются координатами (переменными); следовательно,
статистически связанные между собой переменные будут образовывать в пространстве облака из точек.
Появляется возможность выявлять эти облака, а тем самым и совокупности точек (источников данных, объектов исследования),
66
2.6. Многомерная классификация
которые обладают особенными статистическими свойствами. Такая
операция выявления определенных совокупностей объектов называется классификацией.
Следует особо отметить, что в науке и технике задача отнесения
объекта к определенной совокупности – одна из наиболее фундаментальных. Сам факт выявления определенных совокупностей объектов
столь важен, что для обозначения этих совокупностей введен специальный термин класс объектов. Поэтому операция их выявления получила название классификации объектов.
Напомним, что значения многомерных данных являются нормально распределенными случайными величинами. В этой ситуации
задача классификации объектов может рассматриваться как развитие задачи проверки статистических гипотез на случай многих
гипотез. В рамках такого подхода отдельные гипотезы могут трактоваться как классы. Отметим, что при этом формируются решающие правила (критерии), которые и осуществляют процесс принятия решения – отнесения объекта (выборки) к одной из гипотез
(отнесение к одному из классов). Это и есть операция классификации объектов.
В геометрической интерпретации для проверки двух гипотез (нулевая гипотеза и альтернативная гипотеза) объекты образуют облака
точек на линии. Решающее правило «сравнивает» координату точки
с величиной порога Cα. Порог Cα. определяется характеристиками
распределений для нулевой и альтернативной гипотезы. Решающее
правило представляет собой неравенство ψ(x) ≥ Cα, где статистика ψ(x) – преобразование случайных величин x, которое и дает координату точки на линии. Если значение статистики оказывается выше
порога, то принимается решение о принятии альтернативной гипотезы. В противном случае принимается нулевая гипотеза.
Для многомерной формулировки задачи классификации объекты
представляются точками в многомерном пространстве переменных,
а порог представляет собой набор гиперповерхностей в этом многомерном пространстве. Эти гиперповерхности разделяют пространство на области, в которых и располагаются облака точек разных
классов. Таким образом, решающее правило определяет, где именно
расположена точка, представляющая конкретный объект, относя его
к соответствующему классу.
67
Глава 2. Многомерный статистический анализ
Крещендо
Рассмотрим на языке матричного анализа, как проверка гипотез (классификация) осуществляется с помощью решающего правила. Для многомерного варианта классификация на ν классов ωi (где i = 1, …, ν) осуществляется
с помощью разделяющих функций (дискриминантных функций) gi(Z).
Здесь Z означает матрицу многомерных ненормированных данных. Вид
этих разделяющих функций: gi(Z) = log p(Z| ωi) + log p(ωi).
Для многомерной нормальной плотности распределения имеем разделяющую функцию в следующем виде:
Для одинаковых ковариаций дискриминантная функция в матричном
представлении имеет вид
где
Кроме того, предполагается, что набор гипотез (классов) формируется до начала процесса классификации. Однако в ряде случаев такой
набор классов до начала классификации не существует. В таких ситуациях на основе дополнительной обучающей выборки происходит
формирование набора классов. При этом операция классификации
объектов включает на первом этапе операцию формирования набора классов (другое название – операция интерпретации дискриминантных функций). Итак, задачи классификации объектов можно
достаточно грубо разбить на два типа.
В первом случае операции отнесения объекта к одному из классов предшествует операция выявления (операция формирования
набора классов, обучения) на основе представленных данных (обучающая выборка) определенной совокупности классов. Каждая обучающая выборка сопровождается специальной меткой, которая говорит о том, что данная выборка описывает конкретный класс объектов.
Благодаря этому оцениваются параметры решающего правила, осуществляющего классификацию объектов на основе главной выборки
(матрицы данных). И только потом осуществляется классификация
объектов. Такая классификация будет называться дискриминантным
анализом (классификация с обучением).
68
2.7. Многомерный линейный дискриминантный анализ
Во втором случае пользователь уже заранее знает типы классов.
Такая классификация трактуется как классификация без обучения,
или кластер-анализ.
2.7. Многомерный линейный дискриминантный анализ
Наиболее распространенным типом дикриминантного анализа
является линейный дискриминантный анализ. Решающие правила Ψ(x) ≥ Cα здесь строятся на основе линейных дискриминантных
функций. Геометрически линейность означает, что гиперповерхности представляют собой гиперплоскости. Для случая двух классов
объекты – точки концентрируются в двух облаках и могут быть разделены (k – 1)-мерной гиперплоскостью. Уравнение гиперплоскости
может быть представлено в виде
a1x1 + a2x2 + ... + akxk – b = 0,
k
∑ ai xi − b = 0,
i =1
где ai, ak – коэффициенты, характеризующие наклон гиперплоскости
к координатным осям, а b-параметр характеризует расстояние гиперплоскости до начала координат.
Гиперплоскость разбивает многомерное пространство с помощью
решающего правила (дискриминантной функции) на две области g(x) < b и g(x) ≥ b, которые и характеризуют классы. Попадание
точки в эти области и будет определять класс объекта. Качество классификации, осуществляемое с помощью решающего правила, определяется из знания распределения вероятностей k-мерных случайных величин X и априорной вероятности P(ωi) появления объектов
определенного класса (ωi). Структура дискриминантной функции
k
задается следующим образом: g ( x) = ∑ ai xi.
i =1
Значения g(x) также являются случайными величинами и для лучшего разделения классов объектов-точек принадлежащих к разным
классам нужно, что бы значения этих величин отстояли друг от друга
как можно дальше. Процедуры дискриминантного анализа разработаны и работают для случая многих классов. Для задачи с ν классами
используется (ν – 1) дискриминантных функций.
69
Глава 2. Многомерный статистический анализ
Интерлюдия
Для матричного представления классификации на множество ν классов
при одинаковых ковариациях дискриминантная функция имеет вид
где
Как было указано выше, первый этап дискриминантного анализа предполагает работу с обучающими выборками. На этом этапе на основе обучающих выборок (обучающие наборы переменных) оцениваются коэффициенты ai и b. Первый этап оценки параметров решающих функций
сопровождается предметной интерпретацией и выбором классов, удовлетворяющих пользователя и обладающих достаточной достоверностью.
Число классов тоже может быть подобрано по обучающим выборкам с использованием процедур, аналогичных процедурам факторного анализа.
Происходит выбор и настройка (обучение) дискриминационной функции.
Второй этап осуществляет классификацию основной выборки
с помощью настроенной на первом этапе решающей дискриминационной функции.
Пример
Чтобы наглядно показать использование дискриминантного анализа,
возьмем многомерные данные демографической статистики. Имеется многомерная таблица 20 стран, у которых измерены следующие демографические переменные: среднее число детей в семье X1; доля молодежи населения
моложе 15 лет X2; валовый внутренний продукт X3, приходящийся на душу
населения, тыс. долларов США; плотность населения X4, тыс. чел. на 1 км2;
процент грамотных X5. На основе предыдущих демографических исследований выделяются два класса стран. В один класс (А) попадают такие страны, как Бразилия, Мексика, Польша, Венгрия, Китай, Филиппины и Индия,
а в другой класс (Б) входят, например, Великобритания, Италия, Австрия, Нидерланды, Австралия, Германия, Канада и США. Эти данные выступают как
обучающие выборки. Требуется определить, в какую из групп (А или Б) входит каждая из следующих стран, тоже представленных в многомерных данных: Россия, Беларусь, Украина, Замбия и Эфиопия (при этом каждая из этих
пяти стран входит только в одну из двух групп А и Б).
Используем программу SPSS для проведения дискриминантного анализа. Введем в окно ввода исходных данных пакета SPSS матрицу значений переменных, соответствующих 20 названным странам. Формируем новую переменную, которая задает класс объекта (страны), значения которой
70
2.7. Многомерный линейный дискриминантный анализ
установим равными единице для стран группы А, двойке для стран группы
Б, а для остальных стран оставим пустыми.
Выбираем в меню группу программ классификация и выбираем алгоритм
дискриминация. В рамках этого алгоритма задаем переменные которые используются при анализе для дискриминации объектов. Задаем переменную,
которая будет выступать как классифицирующая (VAR005). Затем после нажатия кнопки Define Range задаем для нее диапазон значений 1–2. Устанавливаем требование (флажок Predicted group membership) вывести результаты
классификации в виде дополнительных столбцов исходной таблицы данных,
в которых указана проведенная классификация объектов (dis_1) и вероятности попадания объектов в эти классы (dis 1_1, dis 2_1). По окончании работы
программы появляется исходная таблица данных с дополнительными столбцами, в которых указаны результаты классификации представленных объектов и вероятности попадания этих объектов в указанные классы (рис. 2.13).
Нормированные коэффициенты канонической дискриминантной функции
x1
x2
x3
x4
x5
Функция
1
-1,408
1,249
1,519
,992
-,290
Рис. 2.13. Пример расчета на SPSS методом дискриминантного анализа
71
Глава 2. Многомерный статистический анализ
В результате оказалось, что изначально все 15 стран были правильно
разбиты по группам, а пять стран, которые необходимо было классифицировать, отнесены к группе А. При желании пользователь может вывести таблицу нормированных коэффициентов канонической дискриминантной функции. Эта таблица позволяет представить в аналитическом
виде дискриминантную функцию g(x) = –1,408x1 + 1,249x2 + 1,519x3 +
+ 0,992x4 – 0,29x5.
72
Глава 3. Планирование многофакторных
экспериментов
3.1. Активные и пассивные многофакторные
эксперименты
«Я Солнце встать заставлю перед вами!
Я чувствую, восторг мне наполняет грудь,
Заря появится пред вашими глазами
Прекрасней, чем когда-нибудь!»
Эдмон Ростан. «Шантеклер»
Прелюдия
Ранее считалось, что результат эксперимента может дать сведения при
воздействии на одну характеристику явления (одну независимую переменную, один фактор). «Изменяй только один фактор, все прочие держи
постоянными» – таков был девиз естествоиспытателя-экспериментатора
в XIX в. Такой подход получил название однофакторного эксперимента.
Он успешно и достаточно долго работал, пока предмет исследования позволял так контролировать эксперимент.
Однако к середине XX в. естественные науки и технологии приступили к экспериментальному изучению таких явлений, в которых действует
большое число взаимозависимых факторов, различных по своей природе, силе и характеру воздействия. Впервые с этими явлениями столкнулись медики и представители сельскохозяйственных наук. Затем настала
очередь химиков и фармацевтов. Эти явления получили название сложных (больших) систем. При экспериментах с ними в силу их специфики
приходится оценивать влияния каждого фактора, порядок их изменения,
измерения и взаимодействия. Очевидно, что в такой ситуации концепция
однофакторного эксперимента привела бы к физически и экономически
невозможному количеству экспериментов. Для преодоления этой драматической ситуации Р. Фишером была предложена концепция многофакторного эксперимента.
73
Глава 3. Планирование многофакторных экспериментов
Пример
Предположим, что требуется экспериментально оценить на животных
эффективность комплексного действия нескольких лечебных препаратов.
Зависимая переменная – это процент выздоровевших особей. Поскольку здесь мы имеем дело со сложной системой «эффект–лечение», результат
принципиально будет определяться не только дозами лекарств и временем
их введения, но и порядком применения препаратов, состоянием животных,
условиями их содержания и т. д.
Суть концепции многофакторного эксперимента состоит в том, что
возможно запланированное в соответствии с определенным правилом
(план эксперимента) изменение лишь некоторых независимых переменных (факторов), после чего зависимая переменная (результат эксперимента) фиксируется в виде вспомогательных зависимых переменных.
Далее с помощью специальных алгоритмов (процедур) математической
статистики удается на основе обработки измеренных значений вспомогательных зависимых переменных получить искомые значения зависимых
переменных. При этом число необходимых экспериментов резко сокращается по сравнению с числом однофакторных экспериментов. Что еще
очень важно, точность и погрешность многофакторного эксперимента остаются приемлемыми для экспериментатора.
Перед ознакомлением с концепцией планирования многофакторных экспериментов еще раз сформулируем задачу эксперимента.
Итак, мы изучаем некоторое явление. Оно может носить природный характер (цунами, землетрясение, галактика, звезда, облако и т. д.) или представлять собой инженерное изделие (самолет, ракету, сооружение или технологический процесс). Явление может быть
представлено несколькими образцами, на которых и осуществляется эксперимент. Суть эксперимента сводится к тому, что при одинаковых и фиксированных условиях эксперимента для каждого образца (объекта) осуществляются измерения ряда характеристик явления
(это могут быть физические величины разного типа или качественные состояния явления). Эти результаты измерений определяются как
переменные.
Часть этих переменных представляет для исследователя особый
интерес. Они выделяются как Y, описывают ключевые свойства явления и называются зависимыми переменными (параметрами состояния, или выходными параметрами). Другая часть переменных X называется независимыми переменными (управляющими
74
3.1. Активные и пассивные многофакторные эксперименты
параметрами, или входными параметрами). При этом эти переменные X влияют на переменные Y, поэтому первые называются независимыми (в смысле, что не зависят от Y). Еще один тип переменных (ε)
описывает случайные возмущающие воздействия на объекты и трактуется как случайные (случайные параметры).
Управляющие параметры X в задачах планирования эксперимента часто называют факторами. Этот термин уже был использован в многомерном статистическом анализе для обозначения групп
переменных, связанных между собой статистическими связями. Поэтому эту группу переменных ранее обозначили как некоторую обобщенную переменную фактор. Отсюда видно, что понятие управляющих переменных близко по смыслу к уже введенному термину
фактор. Вместе с тем точный смысл термина диктует контекст его
применения.
Еще раз отметим, что при проведении некоторых экспериментов
можно влиять на объекты с тем, чтобы управляющие переменные
(параметры) X принимали необходимые для экспериментатора значения. Это можно трактовать как управление переменными (отсюда
и название управляющие переменные).
Интерлюдия
Часто в обыденном сознании совпадение двух явлений во времени вызывает у человека иллюзию, что одно явление вызывает другое. Этот эффект
получил название ошибки Шантеклера. В пьесе Эдмона Ростана петух по
имени Шантеклер думал, что именно его кукареканье заставляет восходить
Солнце. Поэтому в науке и инженерии самым тщательным образом проверяют, действительно ли можно управлять явлением в эксперименте.
Термин управляющие переменные подчеркивает, что эти переменные в процессе эксперимента могут изменяться. Основное требование к факторам – управляемость. Под управляемостью понимается установление нужного значения фактора уровня и поддержание его
в течение всего опыта. В этом состоит особенность активного эксперимента. Такая ситуация определяется как активный эксперимент.
Интерлюдия
Фактором в случае активного эксперимента называется любая экспериментальная переменная (описывающая объект эксперимента, явление,
75
Глава 3. Планирование многофакторных экспериментов
которое изучается экспериментальным способом), которую изменяют
от эксперимента к эксперименту (примеры – давление, температура, время, концентрация). Если этой переменой нельзя приписать количественное
значение (измерить переменную в эксперименте), то фактор может носить
качественный характер (номинальная шкала переменных). Факторным (правильнее – многофакторным) экспериментом называется эксперимент, в котором используют все возможные комбинации факторов.
Пример
Пусть согласно условиям эксперимента каждая из двух переменных
фиксируется на двух уровнях. В этой ситуации возможны четыре комбинации условий эксперимента. Такой эксперимент называется двухуровневым
факторным экспериментом. Набор состояний объекта, в котором он должен находиться в процессе последовательности экспериментов, называется
планом эксперимента и обозначается как 22.
В ситуации, когда исследователь не может управлять этими параметрами, а может только их измерять, эксперимент называется пассивным. Ситуация пассивного эксперимента иногда встречается
в астрономии, социальных науках, науках о Земле, биологии, медицине, сельском хозяйстве и, конечно, при описании техносферных аварий и катастроф.
В пассивном эксперименте исследователь не имеет возможности воздействовать на изучаемый объект, поэтому задача планирования эксперимента сводится к рациональной организации пассивного
сбора измерительных данных. Такая ситуация возникает в астрофизике, когда астроном не может по своему желанию устанавливать состояния изучаемого объекта на интересующем его уровне (например,
на звезде). Похожая ситуация возникает в медицине. Часто пассивный
эксперимент ассоциируется с научным наблюдением. Рациональная
организация пассивного эксперимента включает такие темы, как
выбор типов измеряемых переменных, задание числа измерений каждой переменной, выбор метода обработки экспериментальных данных. Это также позволяет значительно интенсифицировать труд исследователя, сократить сроки и затраты на эксперименты, повысить
достоверность выводов по результатам экспериментов. Для определения качества эксперимента используют характеристики погрешности
и продолжительности эксперимента.
76
3.1. Активные и пассивные многофакторные эксперименты
Для пассивного эксперимента используют методы описанного выше многомерного регрессионного, корреляционного, факторного анализа и методов многомерной классификации. Перечисленные
методы позволяют количественно описывать совокупность многомерных данных экспериментов. Поэтому математические уравнения,
которые представляют эти методы, могут рассматриваться как математические модели объектов эксперимента. Такой подход некоторыми авторами называется кибернетическим; его суть сводится к тому,
что объект эксперимента рассматривается как «черный ящик» и описывается входными X и выходными переменными (воздействиями) Y на основе математических моделей многомерного анализа.
Подобный кибернетический подход достаточно универсален
и позволяет единым образом описывать объекты самой различной
природы. Кроме того, именно такое описание позволяет описывать
сложные (большие) системы. Методы и процедуры подбора адекватных моделей для конкретных объектов по результатам экспериментов получили название методов идентификации.
Планирование пассивных экспериментов сводится к оценке
адекватности многомерных моделей. Под адекватностью модели понимают ее способность предсказывать значения Y для заданных значений Xi с требуемой точностью. Как известно, точность оценки коэффициентов регрессии зависит от уровня случайных воздействий,
так что для получения точных оценок число экспериментов N должно значительно превосходить число (K + 1) оцениваемых коэффициентов регрессии. Планирование пассивного эксперимента сводится в том числе к выбору объема экспериментов n из соотношения
n = N – (K + 1). Точность регрессионной модели оценивается на основе изучения суммы квадратов отклонений Y от значений, найденных для Y по уравнению регрессии S2R. Кроме того, вычисляют дисперсию, характеризующую погрешность эксперимента S2y. Затем
вычисляют F-отношение и проверяют гипотезу об адекватности представления результатов регрессионной моделью.
Что касается активного эксперимента, то он осуществляется
по заранее составленному плану (планирование активных экспериментов). При этом предусматривается одновременное изменение
всех или некоторых параметров, влияющих на объект, что позволяет
сократить общее число экспериментов.
77
Глава 3. Планирование многофакторных экспериментов
3.2. Планирование активных
многофакторных экспериментов
Планирование активного эксперимента предполагает возможность задания тех уровней факторов (переменных), которые представляют смысл для экспериментатора (X). Задание значений для конкретных типов факторов, как известно, определяет состояние объекта
эксперимента. Если перебрать все наборы уровней факторов, то образуется множество всех состояний объекта эксперимента. Если a –
число уровней факторов и K – количество типов факторов, то число
различных состояний объекта S = aK. Как уже отмечалось, если факторов много, то использование традиционного подхода (однофакторный эксперимент) при последовательном изменении факторов
в каждом эксперименте займет очень долгое время, т. е. число экспериментов неприемлемо возрастает.
К сожалению, многие важные для социума природные и технические явления (например, био-, техносфера) обладают астрономическим числом состояний и требуют астрономического числа экспериментов для собственного описания. Кроме того, эти явления имеют
целый ряд фундаментальных свойств, которые препятствуют проведению однофакторных экспериментов. Суть таких фундаментальных свойств состоит в том, что эти явления не допускают изменения
только одного фактора за один раз, ибо столь сильно коррелируют,
что изменение одного фактора служит непосредственной причиной
изменения других, иногда очень многих факторов. Такие явления получили название сложных (больших) систем. Их изучение выделено в специальный раздел науки, которая называется теорией систем
и системотехникой. Примеры таких сложных систем – это уже упоминаемые биосфера и техносфера, а также химические, металлургические, космические производства и технологии.
Между тем современная технологическая цивилизация вынуждена переходить к изучению подобных сложных систем. Это и является стимулом к организации многофакторных экспериментов в области управления техносферой и техносферной безопасностью.
Итак, астрономическое число состояний сложных систем вынуждает отказываться от всех возможных вариантов экспериментов для полного многофакторного описания явления. Предлагается
выбор некоторого достаточно небольшого набора факторов, которые
78
3.2. Планирование активных многофакторных экспериментов
изменяются одновременно в одном эксперименте. Тем самым сокращается общее число экспериментов и воплощается парадигма многофакторного эксперимента.
Здесь возникает проблема выбора явлений (набор факторов), которые следует включить в последовательность экспериментов. Именно выбор факторов (и их набор состояний), измерение которых
обеспечит полноценное описание явления и достаточно малое количество этих фиксированных состояний для сокращения числа испытаний, и получил название планирование многофакторных активных экспериментов.
Еще раз подчеркнем, что необходимо включить все ключевые факторы и все их существенные значения, которые могут влиять на характерное поведение объекта эксперимента. Многофакторный эксперимент – в отличие от однофакторного, заново проводимого при
изменении любого параметра и, таким образом, требующего плана последовательных действий (плана полного перебора, или полного факторного плана), предполагал изменение сразу нескольких факторов.
Оказывается, что если одновременно (согласно определенным
правилам) изменить (и измерить) два фактора-параметра или более,
то после проведения такого эксперимента точность эксперимента существенно не изменится, но число необходимых экспериментов сократится. Такие эксперименты и стали называться многофакторными.
Задание набора значений факторов по определенным правилам получило название планирования многофакторных экспериментов.
Геометрически можно говорить о многомерном пространстве факторов. Значение фактора, установленного или измеренного в процессе эксперимента, есть точка на этой оси. Здесь оси координат задаются факторами разного типа. Совокупность точек в этом
пространстве – это геометрическое представление конкретного плана
эксперимента. Геометрические образы в факторном пространстве
эксперимента описывают возможности экспериментатора при организации эксперимента.
Эта идея получила свое наиболее полное воплощение в разработках Р. Фишера и называется принципом многофакторности.
Интерлюдия
Не менее важен для организации экспериментов принцип оптимального (рационального) представления результатов эксперимента,
79
Глава 3. Планирование многофакторных экспериментов
предложенный В. В. Налимовым. Это перспективное направление получило название когнитивной компьютерной графики, интеллектуальных
сетей и интерфейсов.
В основе алгоритмов, помогающих в выборе набора уровней факторов или выборе набора факторов, лежит ряд идей. Это идеи сбалансированности, ортогональности, блочности и рандомизации факторов.
Сбалансированность отражает фундаментальные свойства симметрии,
присущие природным явлениям, и это свойство следует учитывать при
организации эксперимента. Ортогональность отражает необходимость
выделять в процессе эксперимента независимые переменные. Факт независимости некоторых групп переменных позволяет сокращать число
возможных вариантов экспериментов. Блочность при выборе факторов отражает необходимость выделять отдельные стороны явления (и их
факторы) в особые матрицы данных (блоки), для которых в эксперименте удается достичь однородности в условиях экспериментов. И для этих
блоков строятся отдельные планы. Рандомизация отражает возможность
преодолеть неоднородность в условиях эксперимента. Неоднородность
в условиях эксперимента устраняется за счет случайного механизма выбора последовательности отдельных этапов экспериментов.
Важным достоинством активного эксперимента является возможность задания структуры факторов с учетом многомерных моделей
объектов экспериментов. Это модели: 1) многомерной регрессии;
2) факторного анализа; 3) корреляционного анализа; 4) дисперсионного анализа; 5) распознавания образов. Знание модели позволяет математически корректно сократить число необходимых факторов
и их уровней. Для иллюстрации изложенных идей рассмотрим следующий простой, но вместе с тем наглядный пример.
Пример многофакторного эксперимента
Нужно взвесить два объекта Z и G. Имеются весы и набор разновесов.
Требуется определить вес каждого объекта z и g с помощью двух взвешиваний. Однофaкторный эксперимент диктует, что сначала надо измерить
один объект, затем второй. При этом точность каждого измерения связана с погрешностью и равна σ. Если хотят повысить точность (уменьшить
погрешность), то следует еще раз взвесить тот же объект. Как хорошо известно, согласно законам статистики точность увеличивается с числом измерений. Для этого надо увеличить число (испытаний) экспериментов
(взвешиваний).
80
3.2. Планирование активных многофакторных экспериментов
Однако если использовать многофакторный подход, то можно за два
взвешивания значительно увеличить точность измерения веса объекта.
Суть многофакторного эксперимента состоит в том, что в рамках одного
испытания разрешается произвести взвешивание сразу двух объектов (задаются сразу две переменные, изменяются два фактора).
В данном простом примере вознаграждением за концепцию многофакторного эксперимента явилось удвоение точности эксперимента. Итак,
чисто практически многофакторность здесь свелась к тому, что можно положить оба объекта на одну чашу весов и получить сумму их весов s= z + g.
Второе испытание в рамках многофакторного эксперимента можно построить, поместив один объект на одну чашку весов, а другой объект на другую чашку. В этом испытании получаем результат испытания как разность
весов d = g – z. Точность определяется числом взвешиваний. Так как удалось дважды взвесить каждый объект и при этом использовать всего два испытания, точность возросла вдвое.
Более общее определение будет следующим: каждое испытание можно осуществлять так, чтобы оно давало сведения о двух параметрах или
более. В этом суть многофакторного эксперимента. Число использований каждого испытания в любом сбалансированном множестве испытаний возрастает пропорционально числу испытаний. Но при этом необходимы алгоритмы выбора параметров (факторов), которые измеряются
в одном испытании. Эти алгоритмы и называются планами многофакторных экспериментов. Следует отметить, что в случае многофакторных экспериментов требуются дополнительные операции, с помощью
которых после эксперимента вычисляются факторы, полезные экспериментатору.
Применение методов планирования многофакторных экспериментов рассмотрено ниже применительно к регрессионному анализу.
Осуществляется многофакторный промышленный эксперимент, в котором выход Y зависит от трех независимых переменных (факторов)
X1, X2, X3. В рамках модели регрессионного анализа нужно оценить
значения коэффициентов регрессии a0, a1, a2, a3 линейного уравнения
Y = a0 + a1X1 + a2X2 + a3X3. Это необходимо для сохранения симметрии
структуры факторного плана.
Для организации плана эксперимента каждую переменную кодируют на двух уровнях, обозначаемых как «–1» или «+1». Они означают нижний и верхний уровни изменения фактора. Фактически происходит переход от числовых шкал переменных к номинальным.
81
Глава 3. Планирование многофакторных экспериментов
Интерлюдия
Разумеется, если описание факторов носит номинальный характер,
то планирование многофакторных экспериментов в этом случае тоже возможно и даже обеспечивает лучшую наглядность.
Возможность в рамках одного испытания изменять (фиксировать)
сразу несколько параметров легко фиксируется в представлении плана
эксперимента в виде следующей таблицы (рис. 3.1).
Номер
опыта
План эксперимента
Результаты
эксперимента
X0
X1
X2
X3
1
+1
+1
-1
-1
Y1
2
+1
-1
+1
-1
Y2
3
+1
-1
-1
+1
Y3
4
+1
+1
+1
+1
Y4
Рис. 3.1. Пример плана эксперимента
Использование данного плана многофакторного эксперимента
позволяет повышать точность результатов эксперимента (выигрыш
в дисперсии в разы).
Интерлюдия
Эта таблица представляет собой частную реализацию матрицы Адамара. В данном случае число измерений равно числу оцениваемых параметров. Подобная ситуация называется насыщенным планом. Так бывает
не всегда, и эта более сложная ситуация фиксируется как ненасыщенный
план. План обладает несколькими важными свойствами, которые и обеспечивают эффективность планирования многофакторных экспериментов.
Прежде всего, это условие ортогональности к столбцу из единиц, условие
нормировки, условие попарной ортогональности столбцов (скалярные
произведения всех векторов-столбцов равны нулю).
Следует особо подчеркнуть, что увеличение числа факторов в многофакторном эксперименте может значительно повысить эффектив82
3.2. Планирование активных многофакторных экспериментов
ность промышленных и научных экспериментов. Изучим это явление,
обобщив рассмотренную выше задачу на k параметров. Здесь на конкретном примере видно преимущество многофакторного эксперимента в рамках задачи анализа промышленного эксперимента.
Пусть выход Y некоторого продукта химической технологии линейно зависит от k переменных факторов X1, X2, …, Xk. Например, это
могут быть температура, давление и концентрации нескольких типов
инградиентов. Необходимо оценить значения коэффициентов регрессии уравнения вида Y = a0 + a1X1 + a2X2 + ... + akXk. Конкретное вычисление в рамках данной модели для числа коэффициентов k = 15
показывает, что если организовать многофакторный эксперимент
аналогично описанному выше, то будет получен уже восьмикратный выигрыш. Более того, целесообразность применения специальных планов (дробные реплики) возрастает с ростом числа факторов.
При оценке влияния 15 факторов при использовании дробных реплик
можно сократить число опытов в 2048 раз! Более детальное описание подобных специальных планов требует специальных руководств.
83
Заключение
Рассмотренные в данном пособии методы многомерного статистического анализа (многомерный корреляционный, регрессионный,
факторный, дискриминантный анализ) обеспечивают возможность
всесторонней и рациональной организации современного научного
эксперимента и обработки данных, полученных в результате.
Математические методы планирования многофакторного эксперимента, кратко освещенные в данном пособии, позволят развивать
средства мониторинга безопасности техносферы и природных систем.
Следует еще раз подчеркнуть, что анализируемая модель многофакторного эксперимента обладает рядом важных свойств.
1. Ротатабельность. Получаемое помощью этого плана уравнение
регрессии обладает тем свойством, что дисперсия оценки модели зависит только от длины радиуса точек эксперимента.
2. Ортогональность. Коэффициенты регрессии оцениваются независимо друг от друга, так что получаемые оценки обладают независимостью.
3. Рандомизация. Благодаря случайному выбору порядка установки факторов в плане эксперимента достигается устранение смещения
оценок коэффициентов.
Таким образом, принцип многофакторности создает ряд преимуществ для экспериментатора, которые перечислены ниже.
1. При росте размерности факторного пространства увеличивается радиус обследуемой сферы при одних и те же интервалах варьирования факторов.
2. Увеличение точности оценок параметров достигается благодаря
усреднению по всему спектру возможных испытаний при вычислении любого из эффектов. Это возможно, потому что в оценке каждого
эффекта «участвуют» все опыты.
3. С ростом числа факторов увеличивается многообразие изучаемых сочетаний уровней факторов.
4. Современный экспериментатор, имея в своем арсенале целый
набор многофакторных моделей, вынужден осуществлять их отсеивание методами многофакторного эксперимента и с учетом предметных
знаний и профессиональной интуиции.
84
Заключение
Эти обстоятельства позволяют экспериментатору, применяя свои
предметные знания, когнитивную машинную графику, научную интуицию и современные методы многофакторного эксперимента, наиболее рационально использовать многофакторное пространство
эксперимента для принципиального повышения качества и доказательности научных исследований.
Таким образом, изучение представленного материала показывает,
что современное полноценное и эффективное научное и инженерное
исследование должно осуществляться на основе методов многомерного статистического анализа и математической теории многофакторного эксперимента. Процедура инженерного, промышленного эксперимента должна включать выбор откликов, факторов, их уровней,
формирование модели эксперимента, плана эксперимента, проведение эксперимента, методов анализа, обработку результатов и предметную интерпретацию.
85
Литература
1. Андронов А. М. Теория вероятностей и математическая статистика /
А. М. Андронов, Е. А. Копытов, Л. Я. Гринглаз. – СПб.: Питер, 2014. – 286 с.
2. Горохов В. Л. Математика и информатика. Теория вероятностей и статистика / В. Л. Горохов, В. А. Семенов, А. В. Генк. – СПб.: СПбГИЭУ, 2007. –
247 с.
3. Информатика. Учебник для вузов / Под общей ред. д-ра техн. наук,
профессора В. Л. Горохова. – СПб.: СПбГИЭУ, 2011. – 494 с.
4. Наследов А. IBM SPSS 20 STATISTICS и AMOS: профессиональный
статистический анализ данных / А. Наследов. – СПб.: Питер, 2013. – 416 с.
5. Прокопчина С. В. Управление в условиях неопределенности: моногр. / Прокопчина С. В., Шестопалов М. Ю., Уткин Л. В., Куприянов М. С.,
Лазарев В. Л., Имаев Д. Х., Горохов В. Л., Жук Ю. А., Спесивцев А. В. – СПб.:
СПбГЭТУ; ЛЭТИ, 2014. – 303 с.
6. Тарасенко Ф. П. Прикладной системный анализ / Ф. П. Тарасенко. –
Томск: Изд-во Томского университета, 2004. – 186 с.
Дополнительная литература
1. Агекян Т. А. Теория вероятностей для астрономов и физиков / Агекян Т. А. – М.: Издательство: Наука, 1974. – 264 с.
2. SАдлер Ю. П. Теория эксперимента: прошлое, настоящее, будущее /
Ю. П. Адлер, Ю. В. Грановский, Е. В. Маркова. – М.: Знание, 1982. – 64 с.
3. Гольцман Ф. М. Физический эксперимент и статистические выводы /
Ф. М. Гольцман. – Л.: Изд-во ЛГУ, 1982. – 200 с.
4. Григорьев С. Г. Пакет прикладных программ STATGRAPHICS на персональном компьютере / С. Г. Григорьев, В. В. Левандовский, А. М. Перфилов,
В. И. Юнкеров. – СПб.: ИЗМИР, 1992. – 189 с.
5. Исаев А. А. Статистика в метеорологии и климатологии / А. А. Исаев. –
М.: Изд-во МГУ, 1988. – 345 с.
6. Калинина В. Н. Введение в многомерный статистический анализ /
В. Н. Калинина, В. И. Соловьев. – СПб.: Изд-во ГУУ, 2009. – 66 с.
7. Кендал М. Д. Многомерный статистический анализ / М. Д. Кендал,
А. М. Стьюарт. – М.: Наука, 1973. – 578 с.
8. Кендал М. Д. Статистические выводы и связи / М. Д. Кендал, А. М. Стьюарт. – Наука, 1973. – 546 с.
9. Крамер Г. Математические методы статистики / Г. Крамер. – М.: Мир,
1976. – 386 с.
10. Налимов В. В. Логические основания планирования эксперимента /
В. В. Налимов, Т. И. Голикова. – М.: Металлургия, 1976. – 127 с.
86
Литература
11. Налимов В. В. Теория эксперимента / В. В. Налимов. – М.: Наука,
1971. – 207 с.
12. Нейман Ю. Вводный курс теории вероятностей и математической статистики / Ю. Нейман. – М.: Наука, 1968. – 286 с.
13. Справочник по прикладной статистике / Под ред. Э. Ллойда, У. Ледермана. – М.: Финансы и статистика, 1989. – 845 с.
87
Оглавление
Введение................................................................................................... 4
Глава 1. Вероятностный подход для планирования
и обработки эксперимента................................................................... 9
1.1. Введение и операциональное определение вероятности.......... 9
1.2. Методика вычислений вероятностей событий.......................... 24
1.3. Особенности организации статистического эксперимента
и испытаний, выборочный подход.................................................... 28
1.4. Практическое использование теории случайных событий
при организации экспериментов. Нечисловая статистика.............. 32
Глава 2. Многомерный статистический анализ............................. 37
2.1. Статистическая модель порождения многомерных данных.
Матрицы переменных (данных)........................................................ 37
2.2. Многомерный корреляционный анализ данных.
Корреляционные матрицы данных................................................... 41
2.3. Многомерный регрессионный анализ данных.......................... 48
2.4. Многомерный факторный анализ данных................................. 52
2.5. Многомерный анализ данных методом главных компонент... 61
2.6. Многомерная классификация..................................................... 64
2.7. Многомерный линейный дискриминантный анализ................ 67
Глава 3. Планирование многофакторных экспериментов........... 71
3.1. Активные и пассивные многофакторные эксперименты......... 71
3.2. Планирование активных многофакторных экспериментов..... 76
Заключение............................................................................................ 82
Литература............................................................................................ 84
88
Учебное издание
ПЛАНИРОВАНИЕ И ОБРАБОТКА ЭКСПЕРИМЕНТОВ
Учебное пособие
Горохов Владимир Леонидович
Цаплин Виталий Васильевич
Редактор А. А. Стешко
Корректор А. А. Стешко
Компьютерная верстка В. Е. Королевой
Подписано к печати 16.02.2016. Формат 60×84 1/16. Бум. офсетная.
Усл. печ. л. 5,1. Тираж 100 экз. Заказ 21. «С» 4.
Санкт-Петербургский государственный архитектурно-строительный университет.
190005, Санкт-Петербург, 2-я Красноармейская ул., д. 4.
Отпечатано на ризографе. 190005, Санкт-Петербург, ул. Егорова, д. 5/8, лит. А.
