Введение в МСx - Высшая школа экономики

Ивченко Г.И., Медведев Ю.И.
Введение в математическую статистику. Изд. стереотип.
2014. 600 с. ISBN 978-5-382-01477-7
Аннотация
Настоящая книга представляет собой своеобразный расширенный учебник по математической
статистике. Данный учебник не ограничен рамками учебного стандарта или вузовской программы
--- он предназначен всем, кто интересуется математикой вообще и, в частности, хочет узнать, что
такое современная математическая статистика, какие задачи и какими методами она решает,
какие результаты в ней уже накоплены, какие проблемы в ней сегодня актуальны; наконец,
каковы ее истоки, какой путь она прошла и какие ученые были ее творцами. По замыслу авторов,
книга простым и доступным языком рассказывает о математической статистике и одновременно
обучает ей. Вся теория объясняется и иллюстрируется на интересных и тщательно подобранных
примерах. Книга может служить и задачником, так как содержит большой список упражнений для
самостоятельного решения, а также справочным пособием по математической статистике, а в
некоторых аспектах --- и по теории вероятностей.
Книга будет интересна преподавателям, аспирантам и студентам естественных и технических
вузов, в которых изучается математическая статистика, научным работникам, использующим в
своей деятельности методы математической статистики, а также самому широкому кругу
любителей математики.
Оглавление
Введение
§ 1.
Что такое математическая статистика, ее предмет и задачи
§ 2.
Краткий исторический очерк развития математической статистики
Глава 1.
(Вспомогательная, но очень важная!) Основные распределения и их
моделирование
Введение
§ 1.1. Основные дискретные модели математической статистики
1.
Схема Бернулли и биномиальное распределение
2.
Отрицательное биномиальное распределение
3.
Распределение Пуассона
4.
Гипергеометрическое распределение
5.
Распределение Маркова--Пойа
6.
Полиномиальное распределение
7.
Многомерное распределение Маркова--Пойа
8.
Распределение степенного ряда
§ 1.2. Основные абсолютно непрерывные модели
1.
Нормальное распределение
2.
Многомерное нормальное распределение
3.
Гамма-распределение
4.
Бета-распределение
5.
Равномерное распределение
6.
Распределение Стьюдента
7.
Распределение Снедекора
8.
Распределение Вейбулла
9.
Распределение Парето
10.
Распределение Дирихле
11.
Преобразования случайных величин и векторов
§ 1.3. Моделирование выборок из конкретных распределений
1.
Предварительные замечания
2.Моделирование распределений Бернулли Bi(1,p)$ и биномиального Bi(k,p)
3.Моделирование отрицательного биномиального распределения Bi(r,p)
4.
Моделирование полиномиальных испытаний
5.
Моделирование пуассоновского распределения Pi(lambda)
6.
Моделирование непрерывных распределений
7.
Моделирование показательного и связанных с ним распределений
8.
Моделирование нормальных случайных чисел
9.
Метод суперпозиций
10.
Моделирование цепи Маркова
11.
Метод Монте-Карло
Упражнения
Глава 2.
Первичная обработка экспериментальных данных
§ 2.1. Вариационный ряд выборки, эмпирическая функция распределения и гистограмма
1.
Порядковые статистики и вариационный ряд выборки
2.
Эмпирическая функция распределения
3.
Дальнейшие свойства э.ф.р.
4.
Полигон частот, гистограмма
5.
Ядерные оценки теоретической плотности
§ 2.2. Выборочные моменты: точная и асимптотическая теория
1.
Выборочные моменты
2.
Моменты выборочных среднего и дисперсии
3.
Сходимость по вероятности выборочных моментов и функций от них
4.
Асимптотическая нормальность выборочных моментов
5.
Асимптотические доверительные интервалы для теоретических моментов
§ 2.3. Многомерные данные
1.
Эмпирическая функция распределения
2.
Моменты
3.
Большие выборки
4.
Добавление: нормальная модель
5.
Другие корреляционные характеристики
§ 2.4. Выборочные квантили и порядковые статистики
1.
Теоретические и эмпирические квантили
2.
Распределение порядковых статистик
3.
Асимптотическая нормальность средних членов вариационного ряда
4.
Асимптотическое поведение крайних порядковых статистик
5.
Асимптотическая теория для верхних экстремумов X(n - m + 1), m >= 1
§ 2.5. Линейные и квадратичные статистики от нормальных выборок
1.
Линейные и квадратичные статистики, условия их независимости
2.
Распределения квадратичных статистик
3.
Теорема Фишера
Упражнения
Глава 3.
Общая теория оценивания неизвестных параметров распределений
§ 3.1. Статистические оценки и общие требования к ним
1.
Понятие статистической оценки и ее среднеквадратичная ошибка
2.
Несмещенные оценки
3.
Оптимальные оценки
§ 3.2. Критерии оптимальности оценок, основанные на неравенстве Рао--Крамера.
Эффективные оценки
1.
Функция правдоподобия, вклад выборки, функция информации
2.
Неравенство Рао--Крамера
3.
Экспоненциальная модель
4.
Критерий Бхаттачария оптимальности оценки
5.
Критерии оптимальности в случае векторного параметра
§ 3.3. Достаточные статистики и оптимальные оценки
1.
Достаточные статистики и критерий факторизации
2.
Теорема Рао--Блекуэлла--Колмогорова
3.
Экспоненциальные семейства и достаточные статистики
§ 3.4. Способы решения уравнения несмещенности
1.
Модель степенного ряда, оценивание параметрических функций
2.
Модели с выборочным пространством, зависящим от параметра theta
3.
Метод подгонки
4.
Гамма-модель с неизвестным параметром масштаба, оценивание
параметрических функций
5.
параметров
Другие применения гамма-модели для оценивания неизвестных
§ 3.5. Оценки максимального правдоподобия
1.
Определение и примеры оценок максимального правдоподобия (о.м.п.)
2.
Принцип инвариантности для о.м.п.
3.
Метод накопления для приближенного вычисления о.м.п.
4.
Асимптотические свойства о.м.п.
5.
Асимптотические доверительные интервалы, основанные на о.м.п.
§ 3.6. Другие методы и принципы построения оценок
1.
Метод моментов
2.
Метод минимума хи-квадрат
3.
Модально несмещенные оценки
4.
Медианно несмещенные оценки
5.
Эквивариантные оценки
6.
Байесовские и минимаксные оценки
7.
Оценивание по цензурированным данным
§ 3.7. Объединение и улучшение оценок
1.
Объединение оценок
2.
Улучшение оценок
§ 3.8. Доверительное оценивание
1.
Построение доверительного интервала с помощью центральной статистики
2.
Построение доверительного интервала с использованием распределения
точечной оценки параметра
3.
Асимптотические доверительные интервалы
§ 3.9. Оценивание при выборе из конечной совокупности
1.
Оценивание среднего совокупности
2.
Оценивание состава совокупности
Упражнения
Глава 4.
Проверка статистических гипотез
§ 4.1. Основные понятия и общие принципы теории проверки гипотез
§ 4.2. Проверка гипотезы о виде распределения
1.
Критерий согласия Колмогорова
2.
Критерий согласия хи-квадрат К.Пирсона
3.
Критерий хи-квадрат для сложной гипотезы
4.
Критерий квантилей
5.
Критерий пустых ящиков
§ 4.3. Гипотеза и критерии однородности
1.
Критерий однородности Смирнова
2.
Критерий однородности хи-квадрат
3.
Другие критерии в задаче о двух выборках
§ 4.4. Гипотеза независимости
1.
Критерий независимости хи-квадрат
2.
Критерий Спирмена
3.
Критерий Кендалла
4.
Случай $m$ признаков
§ 4.5. Гипотеза случайности
1.
Критерий инверсий
2.
Проблема датчиков и обобщенный критерий хи-квадрат
Упражнения
Глава 5.
Параметрические гипотезы
§ 5.1. Общие положения
§ 5.2. Выбор из двух простых гипотез. Критерий Неймана--Пирсона
1.
Постановка задачи и предварительные соображения
2.
Случай абсолютно непрерывных распределений
3.
Критерий Неймана--Пирсона в случае дискретных распределений
§ 5.3. Сложные гипотезы
1.
Р.н.м. критерии против сложных односторонних альтернатив. Модели с
монотонным отношением правдоподобия
2.
Двусторонние альтернативы, р.н.м. несмещенные критерии
3.
Локальные наиболее мощные критерии
4.
Проверка гипотез и доверительное оценивание
§ 5.4. Критерий отношения правдоподобия
1.
Метод отношения правдоподобия для общих гипотез
2.
КОП для больших выборок
3.
Дальнейшие асимптотические свойства КОП
4.
Сложная нулевая гипотеза
5.
Доверительные области максимального правдоподобия
§ 5.5. Проверка гипотез для конечных цепей Маркова
1.
Гипотезы для конечных цепей Маркова
2.
Критерий хи-квадрат для простой гипотезы
3.
Критерий хи-квадрат для сложной гипотезы
4.
Критерий отношения правдоподобия для общих параметрических гипотез
5.
Критерий однородности
6.
Оценивание порядка цепи
§ 5.6. Понятие о последовательном анализе. Критерий Вальда.
1.
Определение критерия Вальда
2.
О числе испытаний до момента остановки в критерии Вальда
3.
О выборе границ в критерии Вальда
4.
О среднем числе наблюдений в критерии Вальда
Упражнения
Глава 6 (Специальная).
Линейная регрессия и метод наименьших квадратов
§ 6.1. Модель линейной регрессии
§ 6.2. Оценивание параметров модели линейной регрессии
1.
Метод наименьших квадратов
2.
Оптимальность оценок наименьших квадратов
3.
Оценивание остаточной дисперсии
4.
Условные о.н.к.
5.
Оптимальный выбор матрицы плана
6.
Примеры применения метода наименьших квадратов
7.
Ортогональные многочлены Чебышева
§ 6.3. Нормальная регрессия
1.
Модель нормальной регрессии
2.
Оценки максимального правдоподобия (о.м.п.) параметров нормальной
3.
Основная теорема теории нормальной регрессии
4.
Доверительное оценивание параметров нормальной регрессии
5.
Доверительная область для линейных комбинаций параметров beta
6.
Система совместных доверительных интервалов
7.
Доверительный интервал для отклика
8.
Проверка адекватности модели
регрессии
§ 6.4. Общая линейная гипотеза нормальной регрессии
1.
Понятие линейной гипотезы
2.
$F$-критерий для линейной гипотезы
§ 6.5. Некоторые применения теории нормальной регрессии
1.
Гипотеза о параллельности линий регрессии
2.
Гипотеза однородности для нескольких нормальных выборок
3.
Двойная классификация. Дисперсионный анализ
§ 6.6. Статистическая регрессия и прогнозирование
1.
Задачи статистического прогноза
2.
Условное математическое ожидание
3.
Оптимальный предиктор и его свойства
4.
Из истории регрессии
5.
Линейный прогноз
6.
Использование в прогнозе дополнительных переменных. Алгоритм
обновления прогноза
7.
Прогнозирование стационарных временных рядов
Упражнения
Глава 7.
Элементы теории решений. Дискриминантный анализ
§ 7.1. Статистические решающие функции. Байесовское и минимаксное решения
1.
Понятие решающей функции
2.
Функция риска и допустимые решающие правила
3.
Байесовское решение
4.
Минимаксное решение
5.
Оценивание параметров и проверка гипотез с позиций теории решений
§ 7.2. Классификация наблюдений
1.
Задача классификации
2.
Функция риска в задаче классификации
3.
Байесовское решение
4.
Минимаксное решение
§ 7.3. Классификация наблюдений в случае двух нормальных классов
1.
Байесовский подход
2.
Минимаксный подход
§ 7.4. Классификация нормальных наблюдений. Общий случай
1.
Байесовский подход
2.
Минимаксный подход
3.
Классификация наблюдений в случае неизвестных параметров
Упражнения
Глава 8.
Факторный анализ
§ 8.1. Постановка задач факторного анализа
§ 8.2. Неоднозначность решения в факторном анализе
§ 8.3. Вывод уравнений максимального правдоподобия
§ 8.4. Итерационный метод нахождения факторных нагрузок
§ 8.5. Проверка гипотезы о числе факторов
§ 8.6. Центроидный метод
§ 8.7. Оценка значений факторов
Глава 9.
Компонентный анализ
§ 9.1. Постановка задач компонентного анализа
§ 9.2. Решение основных уравнений. Главные компоненты
§ 9.3. Метод Хотеллинга
Приложение
1.
Нормальное распределение
2.
Распределение Пуассона
3.
Биномиальное распределение
4.
Распределение chi2(n)
5.
Распределение Стьюдента S(n)
6.
Распределение Снедекора S(n1,n2)
7.
Критерий Колмогорова
8.
Критерий Смирнова
9.
Равномерно распределенные случайные числа
10.
Нормально распределенные N(0,1) случайные числа
Литература
Путеводитель по моделям в примерах и задачах
Именной указатель
Предисловие
Математическая статистика является наукой о методах количественного анализа
массовых явлений, учитывающей одновременно и качественное своеобразие этих явлений.
Б.В. Гнеденко
Книга человечнее, честнее, долговечней и ответственней
любого другого источника информации.
В.А. Садовничий
Уважаемый Читатель! Эта книга адресована тебе, поэтому мы хотим вначале кратко пояснить ее
суть и особенности, объяснить те идеи, которыми мы руководствовались при ее написании.
Прежде всего, это -- книга для всех, т.е. не для определенного контингента обучающихся по той
или иной специальности, того или иного профиля или направления, она не ограничена рамками
определенного учебного стандарта или программы, наконец, заранее установленными
ограничениями по объему. Она для тех, кто по существу, а не для "галочки" в ведомости,
интересуется математикой вообще и, в частности, хочет узнать, что такое современная
математическая статистика, какие задачи и какими методами она решает, какие результаты в ней
уже накоплены, какие проблемы в ней сегодня актуальны, наконец, каковы ее истоки, какой путь
она прошла, и кто был ее творцами (ведь история науки так же важна, как и сама наука). Итак, по
замыслу, эта книга рассказывает о математической статистике, но одновременно и обучает ей, т.е.
она может служить расширенным учебником, как покрывающим стандартные вузовские
программы, предусматривающие чтение (в том или ином объеме) курса математической
статистики, так и обеспечивающим возможность самообразования. Помимо этого, книга также
может служить справочным пособием по математической статистике, а в некоторых аспектах -- и
по теории вероятностей. Из этой целевой установки вытекают все ее структурные и
содержательные особенности.
Наш девиз: просто о сложном! Мы стремились писать так, чтобы излагаемое было доступно
каждому, кто знаком с начальными элементами математического анализа, линейной алгебры и
теории вероятностей. Причем помнить их либо обращаться за нужными сведениями в
соответствующие учебники не обязательно, так как все необходимое напоминается (разъясняется)
по ходу изложения собственно статистической теории. Никаких сложных математических
конструкций и громоздких доказательств! Вся теория объясняется и иллюстрируется на
интересных и тщательно подобранных примерах: "при изучении наук примеры полезнее правил"
(И.Ньютон). Для тех, кто имеет целью глубоко освоить теорию статистического вывода,
приводится большой список упражнений для самостоятельного решения, т.е. книга объединяет
одновременно и учебник, и задачник. Умение решать задачи означает как знание теории, так и
способность правильно этим знанием распорядиться, т.е. привести теорию в действие, ведь "если
действовать не будешь, ни к чему ума палата" (Шота Руставели). Упражнения, как правило,
сформулированы так, что в самой формулировке уже заложен ответ, путь же к нему -- это и есть
тот творческий элемент, на котором можно узнать свои способности (знать путь и пройти его -- не
одно и то же). "Подсказкой" здесь (при затруднениях) могут служить соответствующие примеры
из текста: на них можно освоить необходимые логику и аналитическую технику.
Теперь несколько слов для преподавателей (как говорили древние: docendo discimus (лат.) -- уча,
учимся сами). Одной из основных задач при преподавании курса математической статистики
является выработка у студентов навыков обработки реальных данных по соответствующим
алгоритмам с привлечением компьютерной техники при решении конкретных учебных задач. В
настоящее время глубокое изучение теории математической статистики в отрыве от практики ее
компьютерной реализации вообще невозможно. В то же время сам характер этой дисциплины
доставляет большой простор преподавателю для организации практической работы студентов с
привлечением компьютеров. Ключевым моментом при этом является моделирование на
компьютере выборок из соответствующих распределений. Фактически на основе любой
"теоретической" задачи, в которой речь идет о том или ином статистическом алгоритме анализа
данных, преподаватель может поставить (и притом в неограниченном числе вариантов, варьируя
конкретные значения параметров модели) соответствующую "практическую" задачу, формулируя
в качестве предварительного этапа задание смоделировать исходные данные с использованием
либо готовых таблиц случайных чисел, либо получаемых с помощью специальных программ. В
дальнейшем, обрабатывая эти "экспериментальные" данные по соответствующему
статистическому алгоритму, студент получает возможность сравнить предсказание теории с
известными ему исходными параметрами, при которых моделировалась выборка. Подобный
"игровой" элемент в организации практической работы по курсу повышает интерес студентов к
изучению теории. Вопросам моделирования конкретных распределений уделяется в книге
существенное внимание.
Наконец, мы приводим в конце книги достаточно обширный список литературы как общего
характера, так и специальных монографий, в которых более полно и глубоко освещены различные
аспекты статистической теории и ее приложений; эта литература может быть использована для
самостоятельного и углубленного изучения отдельных вопросов.
В приложении приведены краткие статистические таблицы, необходимые для разбора примеров
и решения задач, а также "Путеводитель по моделям в примерах и задачах", назначение которого
-- помочь быстро найти в тексте нужное место, где доказывается либо формулируется тот или
иной конкретный факт (результат), относящийся к конкретной модели. Знак "черный квадрат"
тексте означает окончание доказательства. Нумерация формул, теорем, рисунков и т.д. в каждом
параграфе самостоятельная, при ссылках на материал другого параграфа указывается
дополнительно его номер.
Наконец, еще одно пояснение об используемых обозначениях. По тексту нам будут встречаться
как скалярные, так и векторные величины, обозначаемые в обоих случаях одним и тем же
символом, например, theta -- скаляр и theta = (theta1, ... , thetan) -- вектор. Эта их размерностная
спецификация всегда будет ясна из контекста. Однако в ряде случаев (там, где это диктуется
содержательной стороной вопроса), чтобы подчеркнуть многомерный характер некоторой
величины, мы будем дополнительно снабжать соответствующий символ чертой снизу, например,
x = (x1, ... , xn) при n > 1, xi = (xi1, ... , xik) при k > 1 и т.д.
Восточная мудрость гласит: "Если хотите увлечь вашим знанием -- сделайте его привлекательным.
Настолько привлекательным, чтобы книги вчерашнего дня показались сухими листьями". Мы
стремились следовать этому правилу. Насколько это нам удалось -- судить тебе, наш Читатель.
Мы выражаем сердечную благодарность нашим коллегам и добрым товарищам: академику
Ю.В.Прохорову, члену-корреспонденту РАН Б.А.Севастьянову и действительному члену Академии
криптографии РФ В.П.Чистякову за постоянную поддержку нашей работы по математической
статистике.
Авторы
Об авторах
Григорий Иванович ИВЧЕНКО
Математик, специалист в области теории вероятностей, математической статистики, дискретной
математики и их приложений. Доктор физико-математических наук (1973), профессор (1974).
Действительный член Академии криптографии РФ (2002). В 1962 г. окончил механикоматематический факультет МГУ им. М. В. Ломоносова. С 1970 г. преподает в Московском
государственном институте электроники и математики, с 2012 г. – НИУ ВШЭ.
Г. И. Ивченко -- автор более 200 научных работ, в том числе свыше 10 учебников и учебных
пособий для вузов по специальности "Прикладная математика". Является членом редколлегий
академических журналов "Дискретная математика" и "Математические вопросы криптографии".
Имеет правительственные награды.
Юрий Иванович МЕДВЕДЕВ
Математик, специалист в области теории вероятностей, математической статистики, дискретной
математики и их приложений. Доктор физико-математических наук (1974), профессор (1976).
Действительный член Академии криптографии РФ (1992). Лауреат Государственной премии СССР
(1975), заслуженный деятель науки РФ (1996). В 1953 г. окончил механико-математический
факультет МГУ им. М. В. Ломоносова. С 1966 по 1993 гг. преподавал в Высшей школе КГБ -Академии ФСБ России. С 1992 по 1998 гг. -- главный ученый секретарь Академии криптографии РФ,
с 1998 г. по настоящее время -- член президиума АК РФ.
Ю. И. Медведев -- автор более 200 научных работ, в том числе свыше 10 учебников, учебных
пособий и монографий по специальности "Прикладная математика". Является членом
редколлегий академического журнала "Дискретная математика" и сборников серии "Труды по
дискретной математике". Член экспертного совета ВАК по присуждению ученых степеней РФ.
Имеет государственные награды.