прог_Соболевский_2013-14

Правительство Российской Федерации
Федеральное государственное автономное образовательное учреждение
высшего профессионального образования
«Национальный исследовательский университет
«Высшая школа экономики»
Факультет БИЗНЕС-ИНФОРМАТИКИ
Отделение ПРИКЛАДНОЙ МАТЕМАТИКИ И ИНФОРМАТИКИ
Программа дисциплины
Теоретико-вероятностные методы математического
моделирования
для направления 010400.68 «Прикладная математика и информатика»
подготовки магистров
Автор Соболевский А. Н. (asobolevski@hse.ru)
Одобрена на заседании кафедры
«___»____________ 20 г
Зав. кафедрой А.П. Кулешов
технологий
моделирования
сложных
систем
Рекомендована профессиональной коллегией УМС «Прикладная математика»
«___»____________ 20 г
Председатель А.А. Макаров
Утверждена УС факультета бизнес-информатики «___»_____________20 г.
Ученый секретарь ________________________ [подпись]
Москва, 2013
Настоящая программа не может быть использована другими подразделениями
университета и другими вузами без разрешения кафедры-разработчика программы.
1
I.
Пояснительная записка
Автор программы
Кандидат физико-математических наук Андрей Николаевич Соболевский.
Требования к студентам
Изучение курса «Теоретико-вероятностные методы математического моделирования»
требует предварительных знаний по высшей математике (основы линейной алгебры,
вещественного анализа, анализа Фурье) в объеме первых курсов стандартной бакалаврской
программы по этой (010500.62) или смежной тематике. Знание основ теории вероятностей не
является пререквизитом.
Аннотация
Настоящая программа учебной дисциплины устанавливает минимальные требования к
знаниям и умениям студента и определяет содержание и виды учебных занятий и
отчетности.
Программа предназначена для преподавателей, ведущих данную дисциплину, и
студентов направления подготовки 010400.68 «Прикладная математика и информатика» в
соответствии с:
 Образовательным стандартом федерального государственного автономного
образовательного учреждения высшего профессионального образования
«Национального исследовательского университета «Высшая школа экономики»;
 Рабочим учебным планом университета подготовки магистров по направлению
010400.68 «Прикладная математика и информатика»,.
Дисциплина «Теоретико-вероятностные методы математического моделирования»
предназначена для подготовки магистров 010400.68 – Прикладная математика и
информатика.
Краткое описание дисциплины. Курс предназначен для овладения на «физическом»
уровне строгости моделями и понятиями теории вероятностей, наиболее употребительными
в ее приложениях к теории сложных систем, и может служить как первым введением в
предмет, так и (предпочтительно) «вторым» курсом теоретико-вероятностных методов,
нацеленным на формирование общей картины предмета и приложения вероятностных
понятий и методов в нелинейной динамике сложных систем.
Центральным разделом курса является вторая тема, посвященная системе
асимптотических результатов теории вероятностей: кроме классических закона больших
числе и центральной предельной теоремы, обсуждается обобщение последней на классы
притяжения устойчивых законов, статистика экстремальных значений и предельная теорема
Фишера-Типпета-Гнеденко, а также теория больших уклонений в своем дискретном (теорема
Санова) и непрерывном (теорема Крамера) вариантах.
Доказательства (или, в отдельных случаях, их наброски) проводятся в степени
общности, минимально необходимой для прояснения сути дела, и дополнены разбором
типичных примеров и контрпримеров. Подчеркнут вычислительный̆ аспект теории.
После естественного возникновения понятия энтропии в теме больших уклонений
несколько лекций посвящено теоретико-информационным понятиям (условная и
относительная энтропия, взаимная информация и т. п.) и «энтропийной» точке зрения на
задачи математической статистики.
Первый раздел курса (вычисления со случайными величинами) и его последний раздел
(теория цепей Маркова в дискретном времени и их непрерывных пределов) носят более
традиционный характер.
Поскольку знание теории меры для курса не является обязательным, одной из его
побочных целей курса является ознакомление студентов с ее основными понятиями
2
(необходимыми, например, для понимания мультифрактального формализма, тесно
связанного с тематикой больших уклонений).
Учебные задачи курса
Цель курса.
В
результате
изучения
дисциплины
«Теоретико-вероятностные
методы
математического моделирования» студенты должны:
 знать основные типы асимптотических результатов теории вероятностей;
 понимать взаимосвязи и условия применимости различных асимптотических
результатов, распознавать наличие этих условий в прикладных задачах;
 уметь проводить теоретико-вероятностные вычисления в рамках изложенных в курсе
задач.
II.
№
1
Тематический план дисциплины «Теоретиковероятностные методы математического
моделирования»
Всего часов Аудиторные часы Самостопо
Сем. и ятельная
дисциплине Лекции практика работа
занятия
Название темы
Дискретные и непрерывные случайные
величины, случайные векторы
Поведение больших совокупностей
2 случайных величин, асимптотические
теоремы теории вероятностей
40
6
10
24
42
8
10
24
3
Правдоподобие, энтропия и информация в
задачах математической статистики
38
8
6
24
4
Цепи Маркова и связанные с ними модели
случайных процессов
42
8
4
30
Итого
162
30
30
102
III.
Источники информации
Базовый учебник
Базовый учебник по курсу – конспект лекций «Теоретико-вероятностные методы
математического моделирования», доступный в электронном виде (см. страницу курса на
сайте кафедры и официальную страницу курса).
Список литературы
Основная литература
1. Феллер В. Введение в теорию вероятностей и ее приложения. В 2-х тт. Пер. с англ.
Ю. В. Прохорова с предисл. А. Н. Колмогорова. – М.: Мир, 1984.
2. Крамер Г. Математические методы статистики. Пер. с англ. под ред. акад.
А. Н. Колмогорова. – М.: Мир, 1976.
3. Ширяев А. Н. Вероятность. В 2-х кН. – М.: МЦНМО, 2004.
Дополнительная литература
4. Колмогоров А. Н. Основные понятия теории вероятностей. – М.: Наука, 1974 (2-е
изд.); М.: Фазис, 1998 (3-е изд.).
3
5.
6.
7.
Гнеденко Б. В. Курс теории вероятностей. – М.: Физматгиз, 1969.
Вероятность и математическая статистика. Энциклопедия. Гл. ред. Ю. В. Прохоров. –
М.: Большая Российская энциклопедия, 1999.
Статьи с определениями понятий теории вероятностей и математической статистике
на сайте http://en.wikipedia.org/.
IV.
Формы контроля и структура итоговой оценки
Текущий контроль – активность в учебной аудитории, выполнение домашних заданий,
одна письменная контрольная работа (90 мин);
Промежуточный контроль – 1 зачет (150 мин.) в конце третьего модуля;
Итоговый контроль – 1 экзамен (240 мин.) в конце четвертого модуля.
Преподаватель оценивает работу студентов на семинарских и практических занятиях:
активность студентов на лекциях (вопросы лектору) и семинарских занятиях. Оценки за
работу на семинарских и практических занятиях преподаватель выставляет в рабочую
ведомость. Результирующая оценка по 10-ти балльной шкале за работу на семинарских и
практических занятиях определяется перед промежуточным или итоговым контролем Оаудиторная.
Преподаватель оценивает самостоятельную работу студентов: (правильность
выполнения домашних работ, задания для которых выдаются на семинарских занятиях).
Оценки за самостоятельную работу студента преподаватель выставляет в рабочую
ведомость. Результирующая оценка по 10-ти балльной шкале за самостоятельную работу
определяется перед промежуточным или итоговым контролем – Осам. работа.
Результирующая оценка за текущий контроль в третьем модуле учитывает результаты
студента по текущему контролю следующим образом:
Отекущий = 0,4·Ок/р + 0,3 Оаудиторная + 0,3 Осам. работа;
Результирующая оценка за промежуточный контроль в форме зачета в третьем модуле
выставляется по следующей формуле, где Озачет – оценка за работу непосредственно на
зачете:
Опромежуточный = 0,6·Озачет + 0,4·Отекущий
Результирующая оценка за текущий контроль в четвертом модуле учитывает
результаты студента по текущему контролю следующим образом:
Отекущий = 0,4·Одз + 0,3 Оаудиторная + 0,3 Осам. работа;
Результирующая оценка за итоговый контроль в форме экзамена выставляется по
следующей формуле, где Оэкзамен – оценка за работу непосредственно на экзамене:
Оитоговый = 0,6·Оэкзамен + 0,4·Отекущий
На пересдаче студенту не предоставляется возможность получить дополнительный
балл для компенсации оценки за текущий контроль.
На зачете студент может получить дополнительный вопрос (дополнительную
практическую задачу, решить к пересдаче домашнее задание), ответ на который оценивается
в 1 балл. Таким образом, результирующая оценка за промежуточный (итоговый) контроль в
форме зачета, получаемая на пересдаче, выставляется по формуле
Опромежуточный = 0,6·Озачет + 0,4·Отекущий + + Одоп.вопрос
На экзамене студент может получить дополнительный вопрос (дополнительную
практическую задачу, решить к пересдаче домашнее задание), ответ на который оценивается
в 1 балл. Таким образом, результирующая оценка за промежуточный (итоговый) контроль в
форме экзамена, получаемая на пересдаче, выставляется по формуле
4
Оитоговый = ·Оэкзамен + 0,4·Отекущий + Одоп.вопрос
В диплом ставится оценка за итоговый контроль, которая является результирующей
оценкой по учебной дисциплине.
Таблица соответствия оценок по десятибалльной и системе зачет/незачет
Оценка по 10-балльной шкале
Оценка по 5-балльной шкале
1
2
незачет
3
4
5
6
7
зачет
8
9
10
Таблица соответствия оценок по десятибалльной и пятибалльной системе
По десятибалльной шкале
По пятибалльной системе
1 – неудовлетворительно
2 – очень плохо
неудовлетворительно – 2
3 – плохо
4 – удовлетворительно
удовлетворительно – 3
5 – весьма удовлетворительно
6 – хорошо
хорошо – 4
7 – очень хорошо
8 – почти отлично
9 – отлично
отлично - 5
10 - блестяще
V.
Программа дисциплины «Теоретико-вероятностные
методы математического моделирования»
Тема 1. Дискретные и непрерывные случайные величины, случайные
векторы.
Случайная величина и ее распределение вероятности. Математическое ожидание
и моменты. Совместное распределение пары случайных величин, маргинальные и условные
распределения. Производящие функции распределения и моментов. Примеры
распределений, связанных с последовательностью независимых испытаний Бернулли:
биномиальное, геометрическое, распределение Пуассона.
Непрерывные, атомарные, сингулярные распределения. Кумулятивная функция
распределения и функция плотности вероятности. Формула замены переменных. Совместное
распределение пары величин и условные плотности. Характеристическая функция,
характеристический показатель и кумулянты. Примеры непрерывных распределений
(показательное, нормальное, логарифмически нормальное, распределение Коши).
Многомерная кумулятивная функция распределения. Матрица ковариации,
коэффициенты корреляции, главные компоненты. Независимость в совокупности и
контрпример С. Н. Бернштейна. Кумулянты случайных векторов и кластерное разложение.
Многомерное распределение Гаусса.
5
Основная литература
1. Феллер В. Введение в теорию вероятностей и ее приложения. В 2-х тт. Пер. с англ.
Ю. В. Прохорова с предисл. А. Н. Колмогорова. – М.: Мир, 1984.
2. Ширяев А. Н. Вероятность. В 2-х кН. – М.: МЦНМО, 2004.
Дополнительная литература
3. Колмогоров А. Н. Основные понятия теории вероятностей. – М.: Наука, 1974 (2-е
изд.); М.: Фазис, 1998 (3-е изд.).
4. Гнеденко Б. В. Курс теории вероятностей. – М.: Физматгиз, 1969.
5. Вероятность и математическая статистика. Энциклопедия. Гл. ред. Ю. В. Прохоров. –
М.: Большая Российская энциклопедия, 1999.
Тема 2. Поведение больших совокупностей
асимптотические теоремы теории вероятностей.
случайных
величин,
Последовательность независимых, одинаково распределенных случайных величин.
Неравенство Чебышёва и закон больших чисел в форме Чебышёва. Сходимость по
вероятности последовательность случайных величин. Сходимость кумулятивных функций
распределения и характеристических функций случайных величин.
Центральная предельная теорема, ее вывод методом характеристических функций в
случае конечной дисперсии. Контрпример: распределение Коши. Распределения ЛевиПарето как пределы распределений с «тяжелыми хвостами».
Причина нарушения закона больших чисел для распределений с «тяжелыми хвостами»
(«явление Мандельброта»). Порядковые статистики и их кумулятивные функции
распределения. Типичное наибольшее значение выборки из заданного распределения
вероятности. Теорема Фишера-Типпета-Гнеденко. Распределения, устойчивые относительно
сложения и максимизации. Устойчивость и универсальность.
Случайное блуждание по целым точкам числовой прямой. Типичные траектории и их
статистический вес. Теорема Шеннона и принцип больших уклонений в схеме Бернулли с
конечным числом исходов (теорема Санова). Относительная энтропия. Принцип больших
уклонений для суммы непрерывных случайных величин (теорема Крамера) и его вывод
методом стационарной фазы. Функция Крамера (функционал действия) и преобразование
Лежандра.
Основная литература
1. Феллер В. Введение в теорию вероятностей и ее приложения. В 2-х тт. Пер. с англ.
Ю. В. Прохорова с предисл. А. Н. Колмогорова. – М.: Мир, 1984.
2. Ширяев А. Н. Вероятность. В 2-х кН. – М.: МЦНМО, 2004.
3. Гнеденко Б. В. Курс теории вероятностей. – М.: Физматгиз, 1969.
Дополнительная литература
4. Вероятность и математическая статистика. Энциклопедия. Гл. ред. Ю. В. Прохоров. –
М.: Большая Российская энциклопедия, 1999.
Тема 3. Правдоподобие, энтропия и информация в задачах математической
статистики.
Условные вероятности. Энтропия как мера неопределенности по Хартли и Шеннону.
Условная энтропия и взаимная информация. Формулы полной вероятности и Байеса,
правдоподобие. Функция правдоподобия, энтропия и информационное отклонение в
непрерывном случае. Информация по Фишеру.
Некоторые понятия математической статистики: генеральная совокупность, параметры,
статистики, оценки. Свойства оценок: состоятельность, несмещенность, эффективность.
Неравенства Рао-Крамера. Оценки максимального правдоподобия.
Задача различения распределений и критерии согласия. Критерий хи-квадрат как
приближение к информационному критерию (G-тест). Критерий Колмогорова-Смирнова.
Выбор из двух простых гипотез, ошибки I и II рода. Критерий отношения правдоподобия.
6
Основная литература
1. Феллер В. Введение в теорию вероятностей и ее приложения. В 2-х тт. Пер. с англ.
Ю. В. Прохорова с предисл. А. Н. Колмогорова. – М.: Мир, 1984.
2. Крамер Г. Математические методы статистики. Пер. с англ. под ред. акад.
А. Н. Колмогорова. – М.: Мир, 1976.
Дополнительная литература
3. Вероятность и математическая статистика. Энциклопедия. Гл. ред. Ю. В. Прохоров. –
М.: Большая Российская энциклопедия, 1999.
Тема 4. Цепи Маркова и связанные с ними модели случайных процессов.
Конечные однородные цепи Маркова. Вероятности перехода и стохастические
матрицы. Случайное блуждание на графе, поток вероятности. Стационарное распределение
цепи Маркова. Частные случаи симметричной матрицы и детального равновесия.
Классификация состояний конечной цепи Маркова. Стационарные распределения и
поглощающие классы. Неприводимость, ацикличность, перемешивание. Принцип
сжимающих отображений для положительной стохастической матрицы. Стационарное
распределение неприводимой ациклической цепи Маркова. Скорость сходимости и спектр
матрицы перехода. Теорема Крылова-Боголюбова.
Случайное блуждание по числовой прямой и его формальный непрерывный предел.
Асимметричное случайное блуждание, дрейф и диффузия. Уравнение Фоккера-Планка.
Блуждание в непроницаемых и поглощающих границах. Момент первого достижения
границы в одномерном случайном блуждании. Понятие о стохастическом интегрировании.
Характеристическое свойство показательного распределения. Процесс Пуассона,
телеграфный процесс, общий процесс скачков. Уравнение марковской эволюции. «Hтеорема» для цепи Маркова с детальным равновесием.
Основная литература
1. Феллер В. Введение в теорию вероятностей и ее приложения. В 2-х тт. Пер. с англ.
Ю. В. Прохорова с предисл. А. Н. Колмогорова. – М.: Мир, 1984.
2. Ширяев А. Н. Вероятность. В 2-х кН. – М.: МЦНМО, 2004.
Дополнительная литература
3. Вероятность и математическая статистика. Энциклопедия. Гл. ред. Ю. В. Прохоров. –
М.: Большая Российская энциклопедия, 1999.
VI.
Тематика заданий по формам текущего контроля
Темы домашних работ
Домашняя работа запланирована в четвертом модуле и представляет собой разбор
и подготовку доклада по выбранной самим студентом исследовательской публикации по
теории вероятности и ее применениям. Подбор публикаций в количестве, достаточном для
выбора всеми студентами, осуществляется преподавателем по текущей журнальной
и препринтной литературе, с учетом интересов сильных студентов возможна
индивидуальная рекомендация. Используются только англоязычные публикации.
Примеры задач, предлагаемых на контрольных работах
1. . Будем считать, что дни рождения людей независимы и равномерно распределены по
365 дням года. Рассмотрите вероятность того, что никакие два дня рождения в группе
из k человек не совпадают. При каком k она становится меньше e−1? (Например, она
строго равна нулю при k ≥ 366; желательно получить более тонкую оценку.)
2. Пусть Λ – случайная величина, распределенная по гамма-закону с параметрами m, α
(m – целое). Пусть далее N – случайная величина, распределенная по биномиальному
закону с параметром Λ. Найдите полную вероятность P(N = n).
3. Пусть X — случайная величина, распределенная по Коши с масштабным
параметром σ. Найдите функцию плотности распределения вероятности случайной
величины ления вероятности случайной величины Y = 1/X.
4. Вещественная неотрицательная случайная величина X обладает математическим
ожиданием μ > 0. Покажите, что P(X > ξ) ≤ μ/ ξ.
7
VII.
Вопросы для оценки качества освоения дисциплины
Тема 1.
1. Что такое случайная величина?
2. Что такое моменты, кумулянты, медиана, мода случайной величины?
3. По заданной функции плотности вероятности и нелинейному преобразованию
случайной величины вывести формулу для плотности вероятности преобразованной
величины.
4. Что такое характеристическая функция случайной величины?
5. Найти характеристическую функцию по заданной функции плотности вероятности и
обратно.
6. Привести гауссов случайный вектор с заданной матрицей ковариации к главным
компонентам.
Тема 2.
7. Что значит, что последовательность случайных величин сходится по вероятности?
8. В чем состоит закон больших чисел и для каких случайных величин он выполняется?
9. В чем состоит центральная предельная теорема и для каких случайных величин она
выполняется?
10. Что такое случайная величина, распределенная по устойчивому закону?
11. По заданному распределению вероятностей указать, при какой нормировке
максимальное значение выборки имеет нетривиальное предельное распределение и
какова его форма.
12. Дать определения энтропии дискретного распределения вероятности, относительной
энтропии одного распределения относительно другого.
13. Каковы условия применимости принципов больших уклонений (теоремы Санова,
теоремы Крамера)?
Тема 3.
14. Дать определения энтропии случайной величины, принимающей конечное или
счетное множество значений, взаимной энтропии пары случайных величин, взаимной
информации пары случайных величин.
15. Дать определение информации по Фишеру распределения вероятности.
16. Что такое несмещенная, состоятельная, эффективная оценка?
17. Сформулировать условия эффективности оценки.
18. Что такое оценка наибольшего правдоподобия?
Тема 4.
19. Дать определение конечной однородной цепи Маркова. Что такое матрица
вероятностей перехода?
20. Для заданной матрицы вероятностей перехода вычислить стационарное
распределение соответствующей цепи Маркова.
21. Что такое неприводимая, ациклическая цепь Маркова?
22. Винеровский процесс как непрерывный предел дискретного случайного блуждания.
23. Вычислить стационарное распределение вероятности для диффузии в заданном
потенциале на отрезке конечной длины.
24. Вычислить заданный стохастический интеграл.
25. Вычислить стационарное распределение телеграфного процесса, процесса скачков с
заданными характеристиками.
VIII.
Методические указания студентам
Освоение курса требует настойчивой аналитической работы и самостоятельного
решения задач.
Автор программы: _____________________________/ Соболевский А. Н. /
8
Приложение 1. Методические рекомендации
(материалы) преподавателю
Оформляются именно в виде приложения! Студентам они не нужны.
9