Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Дальневосточный государственный университет путей сообщения» Естественно-научный факультет «УТВЕРЖДАЮ» Заведующий кафедрой подпись, Ф.И.О. «__» __________ 20___г. РАБОЧАЯ ПРОГРАММА по дисциплине «МАТЕМАТИЧЕСКИЕ МЕТОДЫ КЛАССИФИКАЦИИ И ПРОГНОЗИРОВАНИЕ» Направление: 010400 – Прикладная математика и информатика Составитель: к.ф.-м.н., доцент Власенко В.Д. Обсуждена на заседании кафедры «Прикладная математика», «____»_________________20 г. протокол № ____ Заведующий кафедрой _________________ проф. Смагин С.И. Одобрена на заседании методической комиссии Естественно-научного института «____»________________20 г., протокол № ______ Председатель ________________ 2011 г Содержание 1. Виды и задачи профессиональной деятельности, формируемые в процессе обучения по дисциплине, в соответствии с ФГОС ВПО. 1.1. Виды профессиональной деятельности, формируемые в процессе обучения по дисциплине, в соответствии с ФГОС ВПО. 1.2. Задачи профессиональной деятельности, формируемые в процессе обучения по дисциплине, в соответствии с ФГОС ВПО. 2. Место дисциплины в структуре ООП. 3. Компетенции обучающегося, формируемые в результате освоения дисциплине в соответствии с ФГОС ВПО 4. Проектируемые результаты обучения в соответствии с ФГОС ВПО (знания, умения, навыки) 5. Межпредметные связи 6. Трудоемкость дисциплины и ее распределение по видам работ. 7. Образовательные технологии. 8. Тематическое содержание курса с указанием образовательных технологий. 8.1. Тематическое содержание лекционного курса 8.2. Тематическое содержание практического курса 9. Виды самостоятельной работы студентов и их состав. 10. Формы текущего контроля знаний 11. Вопросы к экзамену. 12. Примерный календарный план дисциплины 13. Перечень обязательной литературы, обеспечивающей выполнение лицензионных показателей. 14. Перечень дополнительной литературы, рекомендуемой для углубленного изучения дисциплины 15. Перечень наглядных и других пособий. 2 ВВЕДЕНИЕ Учебная дисциплина «Математические методы классификации и прогнозирование» реализуется и осваивается с целью углублённого овладения студентами теоретическими знаниями, необходимыми для решения конкретных задач управления производством и бизнесом и по их информационной поддержке на основе применения современных математических методов, адекватных специфике ведения управления в условиях постиндустриального информационного общества, и приобретения соответствующих практических навыков. Предполагается, что выпускники будут применять полученные знания в условиях высокой степени неопределённости и хозяйственных рисков, острой конкурентной борьбы, высокой производительности труда и сопряжённых с нею трудностей распределения общественного продукта, ускоренных темпов внедрения и распространения инноваций. 1. ВИДЫ И ЗАДАЧИ ПРОФЕССИОНАЛЬНОЙ ФОРМИРУЕМЫЕ В ПРОЦЕССЕ ОБУЧЕНИЯ ПО СООТВЕТСТВИИ С ФГОС ВПО. ДЕЯТЕЛЬНОСТИ, ДИСЦИПЛИНЕ, В 1.1. Виды профессиональной деятельности, формируемые в процессе обучения по дисциплине, в соответствии с ФГОС ВПО. Магистр по направлению подготовки 010400 Прикладная математика и информатика в процессе обучения дисциплине «Математические методы классификации и прогнозирования» готовится к следующим видам профессиональной деятельности: научная и научно-исследовательская деятельность; проектная и производственно-технологическая деятельность; организационно-управленческая деятельность; консорциумная деятельность; социально-личностностное совершенствование. 1.2. Задачи профессиональной деятельности, формируемые в процессе обучения по дисциплине, в соответствии с ФГОС ВПО. Магистр по направлению подготовки 010400 «Прикладная математика и информатика» при изучении данной дисциплины должен быть подготовлен к решению профессиональных задач в соответствии с профильной направленностью ООП магистратуры и видами профессиональной деятельности: научная и научно-исследовательская деятельность: изучение новых научных результатов, научной литературы или научноисследовательских проектов в соответствии с профилем объекта профессиональной деятельности; изучение информационных систем методами математического прогнозирования и системного анализа; проектная и производственно-технологическая деятельность: исследование математических методов моделирования информационных и имитационных моделей по тематике выполняемых научно-исследовательских прикладных задач или опытно-конструкторских работ; изучение и разработка систем цифровой обработки изображений, средств компьютерной графики, мультимедиа и автоматизированного проектирования; 3 развитие и использование инструментальных средств, автоматизированных систем в научной и практической деятельности; организационно-управленческая деятельность: разработка процедур и процессов управления качеством производственной деятельности, связанной с созданием и использованием систем информационных технологий; соблюдение кодекса профессиональной этики; консорциумная деятельность: участие в международных проектах, связанных с решением задач математического моделирования распределенных систем, нелинейных динамических систем, системного анализа и математического прогнозирования информационных систем; участие в деятельности профессиональных сетевых сообществ по конкретным направлениям развития области прикладной математики и информационных технологий; социально ориентированная деятельность: социально-личностное совершенствование: совершенствование и расширение общенаучной базы, овладение новыми методами исследования, стремление к достижению наивысших результатов в науке и практической деятельности, формирование вокруг себя атмосферы творчества и сотрудничества, формирование социально-активной жизненной позиции, повышение уровня общекультурного, нравственного и физического совершенствования своей личности. 2. МЕСТО ДИСЦИПЛИНЫ В СТРУКТУРЕ ООП. В соответствии с ФГОС ВПО и ООП направления данная дисциплина относится к общенаучному циклу, вариативная (общенаучная) часть и имеет шифр М1.В1, изучается в 1-м семестре. 3. КОМПЕТЕНЦИИ, ФОРМИРУЕМЫЕ В РЕЗУЛЬТАТЕ ОБУЧЕНИЯ ДИСЦИПЛИНЕ В СООТВЕТСТВИИ С ФГОС ВПО. - способностью использовать углубленные теоретические и практические знания в области прикладной математики и информатики (ОК-3); - способностью самостоятельно приобретать с помощью информационных технологий и использовать в практической деятельности новые знания и умения, в том числе в новых областях знаний, непосредственно не связанных со сферой деятельности, расширять и углублять свое научное мировоззрение (ОК-4); 4. ПРОЕКТИРУЕМЫЕ РЕЗУЛЬТАТЫ СООТВЕТСТВИИ С ФГОС ВПО. ОБУЧЕНИЯ ДИСЦИПЛИНЕ В знать и уметь: моделировать с помощью математического аппарата прогнозные модели; владеть: навыками решения практических и прикладных задач Знания, умения и навыки, определяемые кафедрой самостоятельно: 4 В результате изучения дисциплины студент должен: знать • математические методы оценки и обоснованного выбора проектов для реализации в условиях неопределённости; • математические методы классификации; • понятие прогноза и его область применимости; • методику построения прогнозов количественными и качественными методами; уметь • использовать изученные математические методы и модели для решения аналитических задач; • строить прогнозы различными методами; • выявлять и использовать источники данных для разработки числовых математических моделей, предназначенных для обоснованного выбора инвестиционных проектов; владеть • методиками разработки и исследования математических моделей, используемых в процессе обоснования решений о выборе проектов для реализации; • навыками освоения новых, в том числе специализированных, методик выбора инвестиционных проектов для реализации, предусматривающих применение математических методов; • программным обеспечением решения прикладных задач математической поддержки принятия решений; иметь представление • об основных направлениях исследований, направленных на развитие математических методов обоснования и прогнозирования управленческих решений применительно к различным объектам бизнеса; • о различных методах прогноза. 5. МЕЖПРЕДМЕТНЫЕ СВЯЗИ Дисциплины циклов учебных Базовые дисциплины Дисциплина-1 Дисциплина-2 Индекс Наименование Индекс Наименование Современные Математические проблемы методы классификации М.1.Б.1 математики и и прогнозирование информатики Численное Математические Современные моделирование в методы проблемы М1. В1 М.1.Б.1 интегрированных классификации и математики математических пакетах прогнозирования информатики Математические Современные Инструментальные методы проблемы средства разработки М1. В1 М.1.Б.1 классификации и математики комплексов программ прогнозирования информатики Наименование и и При изучений данной дисциплины входными знаниями является дисциплина Современные проблемы математики и информатики. Выходные знания по данной дисциплине помогут в изучении дисциплин Численное моделирование в 5 интегрированных математических пакетах, комплексов программ Инструментальные средства разработки 6. ТРУДОЕМКОСТЬ ДИСЦИПЛИНЫ И ЕЕ РАСПРЕДЕЛЕНИЕ ПО ВИДАМ РАБОТ. Дисциплина «Математические методы классификации и прогнозирование» имеет трудоемкость 4 з.е. Вид занятий Лекции Практические занятия Лабораторные работы Самостоятельная работа Курсовой проект Реферат Расчётно-графическая работа (РГР) Итого часов Количество часов В (1) семестре 16 32 80 128 Зачет Экзамен + 7. ОБРАЗОВАТЕЛЬНЫЕ ТЕХНОЛОГИИ, ИСПОЛЬЗУЕМЫЕ ПРИ РЕАЛИЗАЦИИ РАЗЛИЧНЫХ ВИДОВ УЧЕБНОЙ РАБОТЫ. При обучении магистрантов дисциплине используются информационные технологии, активные и интерактивные формы проведения занятий: семинары в диалоговом режиме дискуссии, разбор конкретных ситуаций при моделировании алгоритмов работа магистрантов в исследовательской группе участие в телеконференция проводимых ВЦ ДВО РАН 6 8. ТЕМАТИЧЕСКОЕ СОДЕРЖАНИЕ КУРСА С УКАЗАНИЕМ СООТВЕТСТВУЮЩИХ ОБРАЗОВАТЕЛЬНЫХ ТЕХНОЛОГИЙ. 8.1. Тематический план лекционных занятий Номер лекции 1 2 3 4 5 Содержание занятия Статистические (байесовские) методы классификации. Оптимальный байесовский классификатор. Непараметрическое оценивание плотности. Параметрическое оценивание плотности. Разделение смеси распределений. Метрические методы классификации. Метод ближайших соседей и его обобщения. Метод потенциальных функций, градиентный алгоритм. Отбор эталонов и оптимизация метрики. Эффективные структуры данных для быстрого поиска ближайших объектов в прямых и обратных окрестностях. Линейные методы классификации. Градиентные методы. Логистическая регрессия. Принцип максимума правдоподобия и логарифмическая функция потерь. Метод опорных векторов. Задача квадратичного программирования и двойственная задача. Методы регрессионного анализа. Непараметрическая регрессия. Локально взвешенный метод наименьших квадратов и оценка НадараяВатсона. Многомерная линейная регрессия. Метод наименьших квадратов и его геометрический смысл. Нелинейная параметрическая регрессия. Метод наименьших квадратов с итеративным пересчётом весов. Нейросетевые методы классификации и регрессии. Многослойные нейронные сети. Методы кластеризации. Кластеризация. Таксономия. Сети Кохонена. Сети Образовательны е технологии Кол-во часов Номера разделов основных учебников мультимидийные средства 2 1-3 [1], 1-2 [4], 1-3 [6],1,2 [8],1 [13],1-3 [14] мультимидийные средства 2 1-3 [1], 1-2[4]. 1-3[14] мультимидийные средства 2 1-2 [4] , 1-2 [6], 1-4 [7], 1,2 [9], 1-3 [13] мультимидийные средства 2 3-5 [1], 4, 5 [4], 3-5 [9], 1-3 [10],1-4 [12], 2-5 [14] мультимидийные средства 2 1-3 [8], 3-5 [9], 5 [12] встречного распространения, их применение для кусочно-постоянной и гладкой аппроксимации функций. 6 7 8 Критерии выбора моделей и методы отбора признаков. Оценивание и выбор моделей. Статистические критерии: коэффициент детерминации, критерий Фишера, анализ регрессионных остатков. Методы отбора признаков. Генетический алгоритм. Композиционные методы классификации и регрессии. Линейные композиции, бустинг. Эвристические и стохастические методы. Бустинг алгоритмов ранжирования. Нелинейные алгоритмические композиции. Выпуклые функции потерь. Методы построения смесей: последовательный и иерархический. Логические методы классификации. Прогнозирование. Понятия закономерности и информативности. Решающие списки и деревья. Взвешенное голосование закономерностей. Алгоритмы вычисления оценок. Поиск ассоциативных правил. Качественные методы прогнозирования: прогнозная экстраполяция, скользящая средняя, экспоненциальное сглаживание, проектирование тренда. Качественные методы прогноза. Построение прогнозов различными методами. мультимидийные средства 2 5, 6 [1], 4, 5 [4], 4-5 [8], 1-3 [11], 1-4 [13], 2-5 [14] мультимидийные средства 2 5, 6 [1], 4, 5 [4], 4-5 [8], 1-3 [11], 1-4 [13], 2-5 [14] мультимидийные средства 2 5, 6 [1], 4, 5 [4], 4-5 [8], 1-3 [11], 1-4 [13], 2-5 [14] Всего 8.2. Тематический план практических занятий Номер практического Содержание занятия занятия 1,2 Обучение байесовского классификатора 16 Образовательны е технологии методом ЭВМ Кол-во часов 4 Номера разделов основных учебников 5, 6 [1], 4, 5 [4], 4-5 [8], 8 разделения объектов 3,4 Метод потенциальных функций реперных объектов в 1 классе 5,6 Метод градиентного градиентов 7,8 Приближение табличной функции методом наименьших квадратов спуска. с Метод размещением ЭВМ 4 ЭВМ 4 сопряжённых ЭВМ 4 ЭВМ 4 Нейросеть, метод разделения объектов 9,10 11,12 13,14 15,16 Всего Построение моделей парной и множественной регрессии. Оценка значимости регрессионных моделей Использование регрессионных моделей для анализа и прогнозирования финансово-экономических показателей Стандартизация задач с помощью замены переменных. Построение аддитивной и мультипликативной моделей для прогнозирования временных рядов ЭВМ 4 ЭВМ 4 ЭВМ 4 1-3 [14] 5, 6 1-3 [14] 5, 6 1-3 [14] 5, 6 1-3 [14] 5, 6 1-3 [14] 5, 6 1-3 [14] 5, 6 1-3 [14] 5, 6 1-3 [14] [11], 1-4 [13], 2-5 [1], 4, 5 [4], 4-5 [8], [11], 1-4 [13], 2-5 [1], 4, 5 [4], 4-5 [8], [11], 1-4 [13], 2-5 [1], 4, 5 [4], 4-5 [8], [11], 1-4 [13], 2-5 [1], 4, 5 [4], 4-5 [8], [11], 1-4 [13], 2-5 [1], 4, 5 [4], 4-5 [8], [11], 1-4 [13], 2-5 [1], 4, 5 [4], 4-5 [8], [11], 1-4 [13], 2-5 [1], 4, 5 [4], 4-5 [8], [11], 1-4 [13], 2-5 32 9 9. ВИДЫ САМОСТОЯТЕЛЬНОЙ РАБОТЫ И ИХ СОСТАВ. Самостоятельная работа студентов является одним из видов учебных занятий, выполняется по заданию преподавателя группой студентов или индивидуально, но без его непосредственного участия. На выполнение самостоятельных заданий студентам отводится 80 часов. Целью самостоятельной работы студентов является систематизация и закрепление полученных теоретических знаний и практических умений студентом, углубление и расширение знаний, приобретение навыков самостоятельной работы с литературой, развитие способностей к самосовершенствованию. Источниками информации служат основная и дополнительная литература. Нед. отч. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Итого % вып. 10 25 35 Рейтин- Рефера Срок говый т выд. бал №1 №1 №2 №2 №3 №3 №4 №4 №5 №5 №6 №6 №7 №7 №8 №8 10 20 30 50 40 65 50 75 55 85 60 100 Срок Число Практ. сдачи час. раб. 70 30 100 Срок выд. Срок Число сдачи час. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 Экзамен 32 10. ФОРМЫ ТЕКУЩЕГО КОНТРОЛЯ ЗНАНИЙ. Входной контроль знаний студентов Темы входного контроля: Дифференциальное и интегральное исчисление функций одной и многих переменных, линейная алгебра, численные методы, теория вероятностей и математическая статистика, дифференциальные уравнения, информатика. Текущий контроль знаний студентов Отчеты по практическим работам № 1 – 8. Самостоятельная работа по решению задач математических методов классификации и прогнозирования. Выходной контроль знаний студентов Дисциплина завершается экзаменом по окончанию семестра. На экзамене проверяется степень усвоения студентами основных понятий дисциплины, студенты должны знать математические и компьютерные методы классификации и прогнозирования. 11. ВОПРОСЫ К ЭКЗАМЕНУ. 1) Принцип максимума апостериорной вероятности. 2) Функционал среднего риска. Ошибки I и II рода. 3) Теорема об оптимальности байесовского классификатора. 4) Оценивание плотности распределения: три основных подхода. 5) Наивный байесовский классификатор. 6) Ядерная оценка плотности Парзена-Розенблатта. Одномерный и многомерный случаи. 7) Метод парзеновского окна. 8) Выбор функции ядра. Выбор ширины окна, переменная ширина окна. 9) Робастное оценивание плотности. 10) Непараметрический наивный байесовский классификатор. 11) Нормальный дискриминантный анализ. Многомерное нормальное распределение, геометрическая интерпретация. Выборочные оценки параметров многомерного нормального распределения. 12) Матричное дифференцирование. Вывод оценок параметров многомерного нормального распределения. 13 Квадратичный дискриминант. Вид разделяющей поверхности. Подстановочный алгоритм, его недостатки и способы их устранения. 14) Линейный дискриминант Фишера. 15) Проблемы мультиколлинеарности и переобучения. Регуляризация ковариационной матрицы. 16) Робастное оценивание. Цензурирование выборки (отсев объектов-выбросов). 17) Параметрический наивный байесовский классификатор. 18) Метод редукции размерности Шурыгина. 19) Смесь распределений. 20) EM-алгоритм: основная идея, понятие скрытых переменных. «Вывод» алгоритма без обоснования сходимости. Псевдокод EM-алгоритма. Критерий останова. Выбор начального приближения. Выбор числа компонентов смеси. 21) Стохастический EM-алгоритм. 22) Смесь многомерных нормальных распределений. Сеть радиальных базисных функций (RBF) и применение EM-алгоритма для её настройки. 23) Метод ближайших соседей (kNN) и его обобщения. 23) Обобщённый метрический классификатор, понятие отступа. 25) Метод потенциальных функций, градиентный алгоритм. 26) Функционал полного скользящего контроля, формула быстрого вычисления для метода 1NN. Профиль компактности. Функция вклада объекта. Отбор эталонных объектов на основе минимизации функционала полного скользящего контроля. Эффективные структуры данных для быстрого поиска ближайших объектов в прямых и обратных окрестностях – метрические деревья. 27) Проклятие размерности. Задача настройки весов признаков. 28) Линейный классификатор, непрерывные аппроксимации пороговой функции потерь. Связь с методом максимума правдоподобия. 29) Логистическая регрессия. Принцип максимума правдоподобия и 11 логарифмическая функция потерь. Снова метод стохастического градиента, сглаженное правило Хэбба. 30) Задача квадратичного программирования и двойственная задача. Понятие опорных векторов. 31) Локально взвешенный метод наименьших квадратов и оценка НадараяВатсона. 32) Метод наименьших квадратов и его геометрический смысл. 33) Метод Ньютона-Рафсона, метод Ньютона-Гаусса. 34) Проблема полноты. Задача исключающего или. Полнота двухслойных сетей в пространстве булевых функций. Теоремы Колмогорова, Стоуна, Горбаня. 35) Нейронная сеть Кохонена. Конкурентное обучение, стратегии WTA и WTM. 36) Статистические критерии: коэффициент детерминации, критерий Фишера, анализ регрессионных остатков. 37) Задача ранжирования. Примеры: ранжирование результатов текстового Поиска. 38) Понятие логической закономерности. Эвристическое, статистическое, энтропийное определение информативности. 39) Асимптотическая эквивалентность статистического и энтропийного определения. Сравнение областей эвристических и статистических закономерностей. 40) Понятие ассоциативного правила и его связь с понятием логической закономерности. 41) Качественные методы прогнозирования: прогнозная экстраполяция, скользящая средняя, экспоненциальное сглаживание, проектирование тренда. 42) Качественные методы прогноза. Построение прогнозов различными методами. 12 13. ПЕРЕЧЕНЬ ОБЯЗАТЕЛЬНОЙ ЛИТЕРАТУРЫ, ВЫПОЛНЕНИЕ ЛИЦЕНЗИОННЫХ ПОКАЗАТЕЛЕЙ. ОБЕСПЕЧИВАЮЩЕЙ 1. Боровиков В.П., Ивченко Г.И. Прогнозирование в системе STATISTICA в среде Windows. Основы теории и интенсивная практика на компьютере. – М.: Финансы и статистика, 2003. – 384 с. 2. Гандер В., Гржебичек И. Решение задач в научных вычислениях с применением Maple и MATLAB. – М.: Вассамедина, 2005. – 520 с. 3. Горелов С. Математические методы в прогнозировании. – М.: Прогресс, 2002. – 267 с. [ДВГУПС] 4. Красс М.С., Чупрынов Б.П. Математические методы и модели для магистрантов экономики: Учеб. пособие. – СПб.: Питер, 2006. – 496 с. 5. Экономико-математические методы и прикладные модели: Учеб. пособие для вузов / Под ред. В.В. Федосеева. 2 е изд. – М.: ЮНИТИ-ДАНА, 2005. – 304 с. 6. Дьяконов В.П., Круглов В.В. Matlab. Анализ, идентификация и моделирование систем. Специальный справочник. – СПб: Питер, 2002. – 448 с. [ДВГУПС] 13. ПЕРЕЧЕНЬ ДОПОЛНИТЕЛЬНОЙ ЛИТЕРАТУРЫ РЕКОМЕНДУЕМОЙ ДЛЯ УГЛУБЛЕННОГО ИЗУЧЕНИЯ ДИСЦИПЛИНЫ. 7. Волкова В.Н., Денисов А.А. Теория систем: Учеб. пособие. – М.: Высшая школа, 2006. – 511 с. 8. Моделирование рисковых ситуаций в экономике и бизнесе: Учеб. пособие для студентов вузов / А. М. Дубров, Б. А. Лагоша, Е. Ю. Хрусталев, Т. П. Барановская; Под ред. Б. А. Лагоши. 2-е изд. – М.: Финансы и статистика, 2003. – 222 с. 9. Курс лекций по социально-экономическому прогнозированию. – Ростов н/Д: Рост. гос. строит.ун-т. 2000. – 125 с. 10. Саати М.А. Моделирование сложных систем. – М.: Наука, 1993. 11. Шелобаев С.И. Математические методы и модели в экономике, финансах, бизнесе: Учеб. пособие для вузов. 2 е изд. – М.: ЮНИТИ-ДАНА, 2005. – 287 с. 12. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. – М.: Статистика, 1980. – 263 с. 13. Бокс Дж., Дженкинс Г. Анализ временных рядов прогноз и управление. Вып. 1,2. – М.: Мир, 1974. 14. Ю.Б. Математическое моделирование на ЭВМ. Сборник лабораторных работ для студентов технических специальностей. Часть 1. – Хабаровск: Изд-во ДВГУПС, 2000. – 42 с. 15. Дробот Ю.Б. Математическое моделирование на ЭВМ. Сборник лабораторных работ для студентов технических специальностей. Часть 2. – Хабаровск: Изд-во ДВГУПС, 2002. – 28 с. 16. 14. ПЕРЕЧЕНЬ НАГЛЯДНЫХ И ДРУГИХ ПОСОБИЙ. Электронные учебники, видеоматериалы: 1. www.exponenta.ru 2. 3. 4. 5. 6. www.lib.mexmat.ru/books/41 www.newlibrary.ru www.edu.ru www.matburo.ru www.nehudlit.ru 13 14