Байесовские методы статистического оценивания

МИНИСТЕРСТВО НАУКИ И ОБРАЗОВАНИЯ РОССИЙСКОЙ
ФЕДЕРАЦИИ
Федеральное государственное автономное образовательное учреждение
высшего профессионального образования
«Московский физико-технический институт (государственный университет)»
МФТИ (ГУ)
«Утверждаю»
Проректор по учебной работе
_____________ О.А. Горшков
«___»______________ 20___ г.
РАБОЧАЯ УЧЕБНАЯ ПРОГРАММА
По дисциплине: Байесовские методы статистического оценивания
По направлению: 010900 «Прикладные математика и физика»
Магистерская программа: 010990 - Интеллектуальный анализ данных
Факультет управления и прикладной математики
Кафедра предсказательного моделирования и оптимизации
Курс: 1 (магистратура)
Семестры: осенний
Зачёт: нет
Экзамен: 1 семестр
Трудоёмкость: вариативная часть – 2 зач.ед.,
в том числе:
лекции: вариативная часть – 34 час.
практические (семинарские) занятия: нет
лабораторные занятия: нет
мастер-классы, индивид. и групповые консультации: нет
самостоятельная работа: нет
курсовые работы: нет
подготовка к экзамену: вариативная часть – 30 час.
ВСЕГО АУДИТОРНЫХ ЧАСОВ 34
Программу составили ассистент А.А. Зайцев, ассистент Ю.А. Янович, к.ф.-м.н.,
доцент Е.В. Бурнаев
Программа обсуждена на заседании кафедры 29 апреля 2013 года
Заведующий кафедрой
академик РАН
А.П. Кулешов
Программа обсуждена и одобрена на методической комиссии факультета
"___" _____________ 2013 г.
Председатель методической комиссии ФУПМ
член-корреспондент РАН
Ю.А. Флёров
Объем учетной нагрузки и виды отчетности
Вариативная часть, в том числе:
2 зач.ед.
Лекции
34 часа
Практические занятия
нет
Лабораторные работы
нет
Индивидуальные занятия с преподавателем нет
Самостоятельные занятия
нет
Промежуточная аттестация
нет
Итоговая аттестация
экзамен в 1-м семестре
Подготовка к экзамену
ВСЕГО
30 часов
2 зач.ед. (64 часа)
1. ЦЕЛИ И ЗАДАЧИ
Цель дисциплины – дать представление о современном состоянии байесовской статистики и ее использовании в анализе данных.
Задачи:
- изучение байесовского подхода и его теоретического обоснования;
- практическое применение байесовского подхода в задачах анализа данных.
2. МЕСТО ДИСЦИПЛИНЫ В СТРУКТУРЕ ООП МАГИСТРАТУРЫ
Дисциплина «Байесовские методы статистического оценивания» базируется
на материалах курсов бакалавриата: базовая и вариативная часть Б.2 УЦ ООП.
КОМПЕТЕНЦИИ ОБУЧАЮЩЕГОСЯ, ФОРМИРУЕМЫЕ В РЕЗУЛЬТАТЕ
ОСВОЕНИЯ ДИСЦИПЛИНЫ
Освоение дисциплины «Байесовские методы статистического оценивания»
способствует формированию следующих общекультурных и общепрофессиональных интегральных компетенций магистра:
а) общекультурные (ОК):
2
- способность использовать на практике углубленные фундаментальные
знания, полученные в области естественных и гуманитарных наук, и
обладать научным мировоззрением (ОК-1);
- способность ставить, формализовать и решать задачи, уметь системно
анализировать научные проблемы, генерировать новые идеи и создавать
новое знание (ОК-2);
- способность самостоятельно приобретать и использовать в практической
деятельности знания и умения, в том числе в новых областях (ОК-3);
- способность формулировать устно и письменно свою точку зрения, владеть
навыками ведения научной и общекультурной дискуссий на русском и
английском языках (ОК-4);
б) профессиональные (ПК):
- способность применять в своей профессиональной деятельности
углубленные знания, полученные в соответствии с профильной
направленностью (ПК-1);
- способность ставить задачи теоретических и (или) экспериментальных
научных исследований и решать их с помощью соответствующего физикоматематического аппарата, современной аппаратуры и информационных
технологий (ПК-2);
- способность самостоятельно осваивать новые дисциплины и методы
исследований (ПК-3);
- способность применять современные методы анализа, представления и
передачи информации, использовать пакеты прикладных программ по
профилю подготовки (ПК-4);
- способность определять вместе с коллективом исполнителей направления
собственной научной, технической или инновационной деятельности,
выбирать подходы к решению конкретных исследовательских и (или)
инновационных задач (ПК-7);
- способность самостоятельно и (или) в составе исследовательской группы
разрабатывать, исследовать и применять математические и физические
модели для качественного и количественного описания явлений и процессов
и (или) разработки новых технических средств (ПК-9).
3. КОНКРЕТНЫЕ ЗНАНИЯ, УМЕНИЯ И НАВЫКИ, ФОРМИРУЕМЫЕ В РЕЗУЛЬТАТЕ ОСВОЕНИЯ ДИСЦИПЛИНЫ
Освоение дисциплины «Байесовские методы статистического оценивания»
способствует формированию комплекса знаний и навыков, благодаря которому
обучающийся должен:
а) знать:
- основы байесовского подхода;
- подходы к приближенному байесовскому выводу;
- асимптотические и неасимптотические результаты в байесовской статистике;
3
- основы непараметрической байесовской статистики;
- примеры использования байесовской статистики в прикладных задачах;
б) уметь:
- производить байесовский вывод;
- использовать аппарат байесовской статистики в прикладных задачах;
- выбирать априорное распределение;
- использовать аппарат непараметрической байесовской статистики;
в) владеть:
- навыком освоения большого объема информации;
- навыками постановки научно-исследовательских задач и навыками
самостоятельной работы.
4. СТРУКТУРА И СОДЕРЖАНИЕ ДИСЦИПЛИНЫ
Лекции
№
п.п.
1
2
3
4
Тема
Основные понятия и задачи статистического
оценивания. Экспоненциальное и регулярное семейства распределений. Правдоподобие. Статистическая теория принятия решений.
Байесовский
вывод.
Сравнение
байесовского и частотного подхода к статистическому оцениванию. Байесовская теория принятия решений. Исключение мешающих параметров. Перестановочность. Теорема де Финетти. Выбор модели.
Выбор априорного распределения. Информативное, неинформативное, сопряженное
априорные распределения. Априорное распределение Джефри. Выбор априорного
распределения с геометрической точки зрения.
Асимптотическая нормальность апостериорного распределения. Теорема Дуба. Условия Ибрагимова и Хасьминского. Состоятельность байсовских оценок. Теорема
Бернштейна фон Мизеса.
Неасимптотические результаты о свойствах
апостериорного распределения. Подход квазимаксимального правдоподобия. Квадратичное приближение правдоподобия в
Число
аудиторных
часов
Число часов самостоятельной
работы
2
нет
1
нет
3
нет
3
нет
4
5
6
7
8
9
10
11
окрестности точки максимума математического ожидания правдоподобия. Неасимптотическая нормальность апостериорного распределения для нормального априорного
рас-пределения.
Аналитические подходы к приближенному
байесовскому
выводу.
Аппроксимация
Лапласа, вариационный вывод. Минимизация расстояния Кульбака-Лейблера и факторизация распределения.
Подходы на основе методов Монте-Карло к
приближенному байесовскому выводу. Базовые
методы.
Схема
МетрополисаХастингса, схема Гиббса. Оценка нормировочной константы распределения с помощью схемы Гиббса.
Примеры использования байесовского подхода. Машина релевантных векторов, веряятностный метод главных компонент, выбор
числа компонент в гауссовской смеси.
Непараметрическая байесовская статистика.
Априорные распределения в непараметрическом случае. Случайный процесс Дирихле. Свойства случайного процесса Дирихле.
Непараметрическая байесовская статистика.
Сильная и слабая состоятельность непараметрических байесовских оценок. Теорема
Шварца.
Гауссовские случайные процессы. Регрессия
на основе гауссовских процессов. Верхняя
граница для риска оценки процесса.
Регрессия и классификация на основе гауссовских
процессов.
Приближенный
байесовский вывод. Адаптивное планирование эксперимента и суррогатная оптимизация.
ВСЕГО
ИТОГО
3
нет
2
нет
4
нет
2
нет
4
нет
6
нет
4
нет
34 часа
нет
34 часа + 1 зач.ед.
5
5. ОБРАЗОВАТЕЛЬНЫЕ ТЕХНОЛОГИИ
№ п/п
Вид занятия
Форма проведения занятий
Цель
Изложение теоретического материала
Получение теоретических знаний по
дисциплине
1
Лекция
2
Подготовка к экзамену
6. ОЦЕНОЧНЫЕ СРЕДСТВА ДЛЯ ТЕКУЩЕГО КОНТРОЛЯ УСПЕВАЕМОСТИ, ПРОМЕЖУТОЧНОЙ АТТЕСТАЦИИ ПО ИТОГАМ ОСВОЕНИЯ ДИСЦИПЛИНЫ И УЧЕБНО-МЕТОДИЧЕСКОЕ ОБЕСПЕЧЕНИЕ САМОСТОЯТЕЛЬНОЙ РАБОТЫ СТУДЕНТОВ
Перечень контрольных вопросов для сдачи экзамена в 1-ом семестре магистратуры
№
Тема
п.п.
1
Байесовский вывод. Сравнение байесовского и вероятностного подходов.
2
Выбор априорного распределения. Виды априорных распределений.
3
Асимптотические результаты в байесовской статистике.
4
Неасимптотические результаты в байесовской статистике. Теорема Бернштейна-фон Мизеса.
Аналитические подходы к приближенному байесовскому выводу
5
9
Подходы на основе методов Монте-Карло к приближенному байесовскому
выводу.
Использование байесовского вывода в анализе данных.
Априорные распределения в непараметрической байесовской статистике.
Случайный процесс Дирихле
Свойства непараметрических байесовских оценок
10
Регрессия и классификация на основе гауссовских случайных процессов.
11
Оценки риска для регрессии на основе гауссовских случайных процессов
6
7
8
7. МАТЕРИАЛЬНО-ТЕХНИЧЕСКОЕ ОБЕСПЕЧЕНИЕ ДИСЦИПЛИНЫ
Необходимое оборудование для лекций и практических занятий: доска, ноутбук и мультимедийное оборудование (проектор или плазменная панель).
6
8. НАИМЕНОВАНИЕ ВОЗМОЖНЫХ ТЕМ КУРСОВЫХ РАБОТ - учебным
планом не предусмотрено
9. ТЕМАТИКА И ФОРМЫ ИНДИВИДУАЛЬНОЙ РАБОТЫ - учебным планом
не предусмотрено
10. ТЕМАТИКА ИТОГОВЫХ РАБОТ - учебным планом не предусмотрено
11. УЧЕБНО-МЕТОДИЧЕСКОЕ И ИНФОРМАЦИОННОЕ ОБЕСПЕЧЕНИЕ
ДИСЦИПЛИНЫ
Основная литература
1. C.M. Bishop. Pattern recognition and machine learning, volume 4. Springer New
York, 2006.
2. J.K. Ghosh, D. Mohan, and S. Tapas. An introduction to Bayesian analysis. Springer
New York, 2006.
3. J.K. Ghosh and R.V. Ramamoorthi. Bayesian nonparametrics. Springer, 2003.
4. B. Kleijn, A. van der Vaart, and H. van Zanten. Lectures on Nonparametric Bayesian
Statistics. Springer, 2013.
5. M. La ́zaro-Gredilla and M. Titsias. Variational heteroscedastic gaussian process regression. ICML, 2011.
6. D.J.C. MacKay. Information theory, inference and learning algorithms. Cambridge
university press, 2003.
7. C.E. Rasmussen and C.K.I. Williams. Gaussian processes for machine learning, volume 1. MIT press Cambridge, MA, 2006.
8. V. Spokoiny. Basics of Modern Parametric Statistics. Springer, 2013.
9. L. Wasserman. All of statistics: a concise course in statistical inference. Springer,
2003.
10. Ветров Д.П., Кропотов Д.А. Байесовские методы машинного обучения, учебное
пособие по спецкурсу. Формирование системы инновационного образования в
МГУ им. М.В. Ломоносова, 2007.
11. Ибрагимов И.А., Хасьминский Р.З. Асимптотическая теория оценивания. М.:
Наука, 1979.
7