Нейронные сети - Томский политехнический университет

1. Цели освоения дисциплины
Цель данной дисциплины – дать систематический обзор моделей современных
биологических и искусственных нейронных сетей, изучить и освоить способы их
применения для обработки информации и распознавания образов:
Поставленные цели полностью соответствуют целям (Ц1-Ц5) ООП.
2. Место дисциплины в структуре ООП
Дисциплина
«Нейронные
сети»
(М1.ВМ4.2.3)
является
вариативной
профессионального
цикла
(М1.ВМ4)
магистерской
программы
подготовки
«Компьютерный анализ и интерпретация данных» (М1.ВМ4.2). Для её успешного
усвоения необходимы знания по дисциплинам: «Математика», «Теория вероятностей и
математическая статистика», «Математическая логика и теория алгоритмов»,
«Программирование на языке высокого уровня» бакалавриата. Содержание разделов
дисциплины «Нейронные сети» согласовано с содержанием дисциплин, изучаемых
параллельно (КОРРЕКВИЗИТЫ):
 «Методы вычислительного интеллекта» (М1.ВМ4.2.1).
 «Методы интеллектуальной обработки и анализа изображений» (М1.ВМ4.2.2)
В соответствии с учебным планом пререквизитами данной дисциплины являются:
 «Интеллектуальные системы» (М1.БМ2.1).
 «Современные проблемы информатики и вычислительной техники» (М1.ВМ3.3).
3. Результаты освоения дисциплины
В результате освоения дисциплины студент должен/будет выполнять
инновационные инженерные проекты по разработке аппаратных и программных средств
автоматизированных систем различного назначения с использованием современных
методов проектирования, систем автоматизированного проектирования, передового
опыта разработки конкурентно способных изделий (Р4); Табл.1.
Таблица 1
Составляющие результатов обучения, которые будут получены при изучении данной
дисциплины
Результаты
обучения
Код
(компетенци
и из ФГОС
ВО 3+)
Р7(ПК-13–
З7.2.2
19; ОПК-5;
ОК-8)
Знания
Составляющие результатов обучения
Код
Умения
Код
Современные
модели
биологических и
искусственных
нейронных сетей,
способы их
применения для
обработки
информации и
распознавания
образов.
У7.2.2
Ставить задачи В7.2.2
и разрабатывать
алгоритмы их
решения для
осуществления
программных
реализаций
нейронных
сетей с целью
обработки
статических и
видео
изображений.
Владение опытом
Технологиями
применения
математических
методов и
практическими
навыками
нейросетевой
обработки
больших объемов
пространственновременных
данных.
В результате освоения дисциплины «Нейронные сети» студентами должны быть
достигнуты следующие результаты (табл. 2):
Таблица 2
Планируемые результаты освоения дисциплины
№ п/п
Результат
РД1
Знать: модели биологических нейронных сетей.
Уметь применять различные модели нейронных сетей при решении задач
обработки информации.
Знать: модели искусственных нейронных сетей.
Уметь: разрабатывать программные реализации нейронных сетей с целью
обработки статических и видео изображений.
Знать: способы применения моделей нейронных сетей для обработки
информации и распознавания образов.
Владеть технологиями применения математических
методов и
практическими навыками нейросетевой обработки больших объемов
пространственно-временных данных.
РД2
РД3
4. Структура и содержание дисциплины
Раздел 1. Биологические и искусственные нейронные сети.
Биологические предпосылки возникновения искусственных нейронных сетей.
Структура человеческого мозга. Организация памяти в коре человеческого мозга. Модели
визуального восприятия. Типы функций активации нейронов. Архитектура сетей. Сети
прямого распространения. Рекуррентные сети. Обучение нейронных сетей. Обучение,
основанное на коррекции ошибок. Обучение на основе памяти. Обучение Хебба.
Конкурентное обучение. Обучение с учителем. Обучение с подкреплением. Обучение без
учителя.
Раздел 2. Однослойные и многослойные перцептроны
Однослойный перцептрон. Обучение перцептрона. Методы безусловной
оптимизации. Метод наискорейшего спуска. Метод Ньютона. Метод Гаусса-Ньютона.
Взаимосвязь персептрона и байесовского классификатора. Многослойный персептрон.
Алгоритм обратного распространения ошибки. Извлечение признаков. Линейный
дискриминант Фишера. Сети свертки.
Лабораторная работа №1. Применение многослойного персептрона для
прогнозирования временных рядов.
Раздел 3. Сети на основе радиальных базисных функций.
Теорема Ковера о разделимости множеств. Разделяющая способность поверхности.
Задача интерполяции. Теория регуляризации. Функция Грина. Решение задачи
регуляризации. Многомерные функции Гаусса. Обобщенные сети на основе радиальных
базисных функций. Свойства аппроксимации сетей RBF. Сравнение сетей RBF и
многослойных персептронов.
Лабораторная работа №2. RBF-сеть.
Раздел 4. Машины опорных векторов.
Оптимальная гиперплоскость для линейно-разделимых образов. Оптимальная
гиперплоскость для неразделимых образов. Архитектура машины опорных векторов.
Машины опорных векторов для задач нелинейной регрессии.
Лабораторная работа №3. Машина опорных векторов.
Раздел 5. Анализ главных компонент.
Анализ признаков на основе самоорганизации. Структура анализа главных
компонент. Представление данных. Сокращение размерности. Фильтр Хебба для
выделения максимальных собственных значений. Анализ главных компонент на основе
правила Хебба.
Раздел 6. Карты самоорганизации Кохонена
Модели отображения признаков. Карты самоорганизации. Процессы конкуренции,
кооперации и адаптации. Варианты самоорганизующихся карт. Адаптивные тензорные
веса. Самоорганизующиеся карты для символьных строк. Самоорганизующиеся карты с
эволюционным обучением. Пакеты программ, реализующие самоорганизующиеся карты.
Лабораторная работа №4. Карты Кохонена.
Раздел 7. Биологически-правдоподобные модели нейронных сетей.
Нейробиологические модели визуальной коры головного мозга. Биологически
реалистичная модель зрения HMAX. Модель иерархической временной памяти HTM.
Осцилляторные нейронные сети.
5. Организация и учебно-методическое обеспечение самостоятельной работы
студентов
5.1 Виды и формы самостоятельной работы
Самостоятельная работа студентов включает текущую и творческую проблемноориентированную самостоятельную работу (ТСР).
Текущая СРС направлена на углубление и закрепление знаний студента, развитие
практических умений и включает:
 работу с лекционным материалом;
 подготовку к лабораторным занятиям;
 опережающую самостоятельную работу;
 подготовку к экзамену.
Творческая проблемно-ориентированная самостоятельная работа включает
анализ источников по темам индивидуальных занятий, поиск существующих аналогов.
Выбор программных средств для реализации разрабатываемых алгоритмов.
Творческая самостоятельная работа включает:
 анализ источников по темам индивидуальных занятий, поиск существующих
аналогов;
 выбор программных средств для реализации разрабатываемых алгоритмов;
 программная реализация алгоритмов, проведение численных экспериментов и
подготовка отчета.
5.2.
5.3
Содержание самостоятельной работы студентов по дисциплине
Оценка результатов самостоятельной работы организуется следующим образом:
 защита отчетов по лабораторным работам;
 выполнение и защита индивидуального домашнего задания;
 тестирование.
Контроль самостоятельной работы
Контроль результатов самостоятельной работы осуществляется при проведении
2 письменных контрольных работ и 2 устных коллоквиумов по проверке уровня
усвоения студентом лекционного материала и проверкой уровня теоретических знаний
и практических навыков студента при выполнении им лабораторных работ.
6. Средства текущей и итоговой оценки качества освоения дисциплины
Текущий контроль оценки качества усвоения дисциплины заключается в проведении 2
контрольных работ и 2 коллоквиумов. Для каждого из двух коллоквиумов подготовлен
список вопросов. Студент должен устно в режиме реального времени ответить на 5
вопросов из указанного списка. Во время выполнения лабораторных работ преподаватель
на основе серии контрольных вопросов проверяет теоретические знания студента по теме
лабораторной работы. Для экзамена подготовлены 12 билетов.
Оценка качества освоения дисциплины производится по результатам следующих
контролирующих мероприятий:
Контролирующие мероприятия
Выполнение и защита отчетов по лабораторным работам
Контроль выполнения
Коллоквиумы
Проведение экзамена
Результаты обучения по
дисциплине
РД1 – РД3
РД3
РД1 – РД3
РД1 – РД3
Для оценки качества освоения дисциплины при проведении контролирующих
мероприятий предусмотрены следующие средства:
 вопросы для коллоквиума (Приложение 1);
 пример экзаменационного билета (Приложение 2).
7. Рейтинг качества освоения дисциплины
Оценка качества освоения дисциплины в ходе текущей и промежуточной аттестации
обучающихся осуществляется в соответствии с «Руководящими материалами по
текущему контролю успеваемости, промежуточной и итоговой аттестации студентов
Томского политехнического университета», утвержденными приказом ректора № 77/од от
29.11.2011 г.
В соответствии с «Календарным планом изучения дисциплины»:
 текущая аттестация, направленная на оценку качества усвоения теоретического
материала (тестирование) и результатов практической деятельности (выполнение и
защита отчетов по лабораторным работам и индивидуальных заданий), производится в
течение семестра и оценивается в баллах (максимально 60 баллов), к моменту завершения
семестра студент должен набрать не менее 33 баллов;
 промежуточная аттестация (экзамен) производится в конце семестра и так же
оценивается в баллах (максимально 40 баллов), на экзамене студент должен набрать не
менее 22 баллов.
 Итоговый рейтинг по дисциплине определяется суммированием баллов,
полученных в ходе текущей и промежуточной аттестаций. Максимальный итоговый
рейтинг соответствует 100 баллам.
8. Учебно-методическое и информационное обеспечение дисциплины
1.
2.
3.
4.
5.
6.
7.
8.
9.
1.
2.
3.
 Основная литература:
Галушкин А.И. Нейронные сети. Основы теории. М.: Горячая линия-Телеком,
2012. – 496 c.
Тадеусевич Р., Боровик Б., Гончаж Т., Леппер Б. Элементарное введение в
технологию нейронных сетей с примерами программ. М.: Горячая линия-Телеком,
2011. – 408 c.
Спицын В.Г., Цой Ю.Р. Интеллектуальные системы: Учебное пособие. – Томск:
Изд-во ТПУ, 2012. – 176 c.
Ширяев В.И. Финансовые рынки. Нейронные сети, хаос и нелинейная динамика.
М.: Либроком, 2013. – 232 c.
Тим Джонс М. Программирование искусственного интеллекта в приложениях. М.:
ДМК Пресс, 2012. – 312 c.
Garson D. Neural Network Models, USA: Statistical Associates Publishers, 2014, 158 p.
Bhuvaneswari M.C. Application of Evolutionary Algorithms for Multi-objective
Optimization in VLSI and Embedded Systems, Germany: Springer, 2014, 174 p.
Simon D. Evolutionary Optimization Algorithms, USA: Wiley, 2014, 772 p.
Heaton J. Artificial Intelligence for Humans, Volume 1: Fundamental Algorithms, USA:
CreateSpace Independent Publishing Platform, 2013, 222 p.
 Дополнительная литература:
Bertram C. Programming Neural Networks, USA: BookBaby, 2014, 66 p.
Казанович Ю.Б. Теория временной корреляции и модели сегментации зрительной
информации в мозге (обзор) // Математическая биология и биоинформатика.
2010. Т. 5. № 1, с. 43-97.
Болотова Ю.А., Спицын В.Г., Фомин А.Э. Применение модели иерархической
временной памяти в распознавании изображений // Известия Томского
политехнического университета. 2011. Т. 318. № 5. С. 60–63.

Internet-ресурсы:
1.
2.
3.
http://raai.org/ – Российская ассоциация искусственного интеллекта.
http://www.niisi.ru/iont/ni – Российская ассоциация нейроинформатики.
Электронный журнал «Нейроинформатика»
http://www.niisi.ru/iont/ni/Journal/.
Используемое программное обеспечение
Программные средства для выполнения лабораторных работ в среде
Visual Studio 2010.
9. Материально-техническое обеспечение дисциплины
Лабораторные занятия проводятся в учебно-научной лаборатории «Дискретной и
микропроцессорной техники» на персональных компьютерах (8 рабочих мест).
№
п/п
1.
Наименование оборудования
ПК Intel Core 2 Е6320, 1,86 GHz.
Корпус, ауд., количество
установок
10 корпус ТПУ, 403 ауд., 8 рабочих мест.
Программа составлена на основе Стандарта ООП ТПУ в соответствии с
требованиями ФГОС ВО 3+ по направлению 09.04.01 «Информатика и вычислительная
техника», магистерская подготовка.
Программа одобрена на заседании кафедры вычислительной техники.
протокол № 54 от 22.06.2015 г.
Автор – профессор кафедры вычислительной техники
Спицын Владимир Григорьевич
Рецензент – профессор, зав. кафедрой вычислительной техники
Марков Николай Григорьевич
Приложение 1
Вопросы на коллоквиуме (пример вопросов)
1. Охарактеризуйте понятие фильтрации и перечислите основные задачи обработки
информации, для решения которых применяются фильтры.
2. Приведите блочную диаграмму слепого разделения источников и опишите
принципы ее функционирования.
3. Приведите блочную диаграмму нелинейного прогнозирования и опишите
принципы ее функционирования.
4. Охарактеризуйте понятие памяти в нейробиологическом контексте.
5. Охарактеризуйте понятие ассоциативной памяти.
6. Приведите выражение, описывающее ассоциацию между ключевым вектором xk и
запомненным вектором yk.
7. Приведите выражение, описывающее матрицу памяти.
8. Приведите выражение, описывающее матрицу памяти в рекурсивной форме.
9. Приведите выражение, описывающее оценку матрицы памяти в терминах запоминаемых
образов.
10. Охарактеризуйте модель процесса обучения с учителем.
11. Охарактеризуйте понятие вычислительной сложности алгоритма обучения.
12. Охарактеризуйте метод безусловной оптимизации, основанный на алгоритме
последовательного (итеративного) спуска.
13. Метод наискорейшего спуска.
14. Метод Ньютона.
15. Метод Гаусса-Ньютона.
16. Алгоритм минимизации среднеквадратической ошибки.
17. Охарактеризуйте понятие кривых обучения, характеризующих сходимость алгоритма
минимизации среднеквадратической ошибки.
18. Сформулируйте теорему о сходимости персептрона.
19. Приведите алгоритм сходимости персептрона.
20. Охарактеризуйте 3 отличительных признака многослойного персептрона.
21. Приведите алгоритм обратного распространения ошибки в краткой форме.
Приложение 2
Рубежный контроль (пример билета на экзамен)
НАЦИОНАЛЬНЫЙ
ИССЛЕДОВАТЕЛЬСКИЙ
ТОМСКИЙ
ПОЛИТЕХНИЧЕСКИЙ
УНИВЕРСИТЕТ
Экзамен по дисциплине «Нейронные
сети»
Магистерская программа
“Компьютерный анализ и интерпретация
данных” по
направлению «Информатика и
вычислительная техника»
УТВЕРЖДАЮ:
Зав. кафедрой ВТ
_______________Марков Н.Г.
«____» _____________ 2015 г.
ЭКЗАМЕНАЦИОННЫЙ БИЛЕТ № 1
1. Охарактеризуйте понятие фильтрации и перечислите основные задачи обработки
информации, для решения которых применяются фильтры.
(10 баллов)
2. Охарактеризуйте модель процесса обучения с учителем.
(10 баллов)
3. Основная идея карт самоорганизации (SOM). Опишите 3 процесса, осуществляемых
при формировании карты самоорганизации.
(20 баллов)
Составил:
Профессор кафедры ВТ
В.Г. Спицын