МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ «МОСКОВСИЙ АВИАЦИОННЫЙ ИНСТИТУТ (национальный исследовательский университет)» (МАИ) Курсовая работа По дисциплине: «Интеллектуальные системы » На тему: «Нейронные сети,общие положения» Выполнил: , _______” г. “________ 2022 Проверил: _______” Москва, 2022 г. “________ 2022 г. Содержание Введение ........................................................................................................................ 3 Основные понятия ........................................................................................................ 4 Преимущества нейронных сетей ................................................................................ 4 Модели нейронов ......................................................................................................... 8 Обратная Связь ........................................................................................................... 12 Архитектура сетей ...................................................................................................... 12 Однослойные сети прямого распространения ........................................................ 13 Многослойные сети прямого распространения ...................................................... 14 Рекуррентные сети ..................................................................................................... 15 Представление знаний ............................................................................................... 16 Искусственный интеллект и нейронные сети ......................................................... 18 Заключение ................................................................................................................. 20 Источники ................................................................................................................... 22 Введение Нейронные сети, или, точнее, искусственные нейронные сети, представляют собой технологию, уходящую корнями во множество дисциплин: нейрофизиологию, математику, статистику, физику, компьютерные науки и технику. Они находят свое применение в таких разнородных областях, как моделирование, анализ временных рядов, распознавание образов, обработка сигналов и управление благодаря одному важному свойству - способности обучаться на основе данных при участии учителя или без его вмешательства. Исследования по искусственным нейронным сетям связаны с тем, что способ обработки информации человеческим мозгом в корне отличается от методов, применяемых представляет собой обычными чрезвычайно цифровыми сложный, компьютерами. нелинейный, Мозг параллельный компьютер. Он обладает способностью организовывать свои структурные компоненты, называемые нейронами , так, чтобы они могли выполнять конкретные задачи (такие как распознавание образов, обработку сигналов органов чувств, моторные функции) во много раз быстрее, чем могут позволить самые быстродействующие современные компьютеры. Понятие развития нейронов связано с понятием пластичности мозга способности настройки нервной системы в соответствии с окружающими условиями. Именно пластичность играет самую важную роль в работе нейронов в качестве единиц обработки информации в человеческом мозге. Аналогично, в искусственных нейронных сетях работа проводится с искусственными нейронами. В общем случае нейронная сеть представляет собой машину, моделирующую способ обработки мозгом конкретной задачи. Эта сеть обычно реализуется с помощью электронных компонентов или моделируется программой, выполняемой на цифровом компьютере. Предметом рассмотрения реферата является важный класс нейронных сетей, осуществляющих вычисления с помощью процесса обучения . Основные понятия Нейронная сеть - это громадный распределенный параллельный процессор, состоящий из элементарных единиц обработки информации, накапливающих экспериментальные знания и предоставляющих их для последующей обработки. Нейронная сеть сходна с мозгом с двух точек зрения. Знания поступают в нейронную сеть из окружающей среды и используются в процессе обучения. Для накопления знаний применяются связи между нейронами, называемые синаптическими весами. Процедура, используемая для процесса обучения, называется алгоритмом обучения. Эта процедура выстраивает в определенном порядке синаптические веса нейронной сети для обеспечения необходимой структуры взаимосвязей нейронов. Преимущества нейронных сетей Совершенно очевидно, что свою силу нейронные сети черпают, во первых, из распараллеливания обработки информации и, во вторых, из способности самообучаться, т.е. создавать обобщения. Под термином обобщение понимается способность получать обоснованный результат на основании данных, которые не встречались в процессе обучения. Эти свойства позволяют нейронным сетям решать сложные (масштабные) задачи, которые на сегодняшний день считаются трудно разрешимыми. Однако на практике при автономной работе нейронные сети не могут обеспечить готовые решения. Их необходимо интегрировать в сложные системы. В частности, комплексную задачу можно разбить на последовательность относительно простых, часть из которых может решаться нейронными сетями. Использование нейронных сетей обеспечивает следующие полезные свойства систем. Нелинейность: Искусственные нейроны могут быть линейными и нелинейными. Нейронные сети, построенные из соединений нелинейных нейронов, сами являются нелинейными. Более того, эта нелинейность особого сорта, так как она распределена по сети. Нелинейность является чрезвычайно важным свойством, особенно если сам физический механизм, отвечающий за формирование входного сигнала, тоже является нелинейным (например, человеческая речь). Отображение входной информации в выходную: Одной из популярных парадигм обучения является обучение с учителем. Это подразумевает изменение синаптических весов на основе набора маркированных учебных примеров. Каждый пример состоит из входного сигнала и соответствующего ему желаемого отклика. Из этого множества случайным образом выбирается пример, а нейронная сеть модифицирует синаптические веса для минимизации расхождений желаемого выходного сигнала и формируемого сетью согласно выбранному статистическому критерию. При этом собственно модифицируются свободные параметры сети. Ранее использованные примеры могут впоследствии быть применены снова, но уже в другом порядке. Это обучение проводится до тех пор, пока изменения синаптических весов не станут незначительными. Таким образом, нейронная сеть обучается на примерах, составляя таблицу соответствий вход-выход для конкретной задачи. Адаптивность: Нейронные сети обладают способностью адаптировать свои синаптические веса к изменениям окружающей среды. В частности, нейронные сети, обученные действовать в определенной среде, могут быть легко переучены для работы в условиях незначительных колебаний параметров среды. Более того, для работы в нестационарной среде могут быть созданы нейронные сети, изменяющие синаптические веса в реальном времени. Естественная для классификации образов, обработки сигналов и задач управления архитектура нейронных сетей может быть объединена с их способностью к адаптации, что приведет к созданию моделей адаптивной классификации образов, адаптивной обработки сигналов и адаптивного управления. Известно, что чем выше адаптивные способности системы, тем более устойчивой будет ее работа в нестационарной среде. При этом хотелось бы заметить, что адаптивность не всегда ведет к устойчивости; иногда она приводит к совершенно противоположному результату. Например, адаптивная система с параметрами, быстро изменяющимися во времени, может также быстро реагировать и на посторонние возбуждения, что вызовет потерю производительности. Для того чтобы использовать все достоинства адаптивности, основные параметры системы должны быть достаточно стабильными, чтобы можно было не учитывать внешние помехи, и достаточно гибкими, чтобы обеспечить реакцию на существенные изменения среды. Эта задача обычно называется дилеммой стабильности /пластичности. Очевидность ответа: В контексте задачи классификации образов можно разработать нейронную сеть, собирающую информацию не только для определения конкретного класса, но и для увеличения достоверности принимаемого решения. Впоследствии эта информация может использоваться для исключения сомнительных решений, что повысит продуктивность нейронной сети. Контекстная информация: Знания представляются в самой структуре нейронной сети с помощью ее состояния активации. Каждый нейрон сети потенциально может быть подвержен влиянию всех остальных ее нейронов. Как следствие, существование нейронной сети непосредственно связано с контекстной информацией. Отказоустойчивость: Нейронные сети, облаченные в форму электроники, потенциально отказоустойчивы. Это значит, что при неблагоприятных условиях их производительность падает незначительно. Например, если поврежден какой то нейрон или его связи, извлечение запомненной информации затрудняется. Однако, принимая в расчет распределенный характер хранения информации в нейронной сети, можно утверждать, что только серьезные повреждения структуры нейронной сети существенно повлияют на ее работоспособность. Поэтому снижение качества работы нейронной сети происходит медленно. Незначительное повреждение структуры никогда не вызывает катастрофических последствий. Масштабируемость: потенциально ускоряет Параллельная решение структура некоторых задач нейронных и сетей обеспечивает масштабируемость нейронных сетей в рамках технологии VLSI (very large scale integrated). Одним из преимуществ технологий VLSI является возможность представить достаточно сложное поведение с помощью иерархической структуры. Единообразие анализа и проектирования: Нейронные сети являются универсальным механизмом обработки информации. Это означает, что одно и то же проектное решение нейронной сети может использоваться во многих предметных областях. Аналогия с нейробиологией : Строение нейронных сетей определяется аналогией с человеческим мозгом, который является живым доказательством того, что отказоустойчивые параллельные вычисления не только физически реализуемы, но и являются быстрым и мощным инструментом решения задач. Нейробиологи рассматривают искусственные нейронные сети как средство моделирования физических явлений. С другой стороны, инженеры постоянно пытаются почерпнуть у нейробиологов новые идеи, выходящие за рамки традиционных электросхем. Модели нейронов Нейрон представляет собой единицу обработки информации в нейронной сети. На рисунке показана модель нейрона, лежащего в основе искусственных нейронных сетей. В этой модели можно выделить три основных элемента. Набор синапсов или связей, каждый из которых характеризуется своим весом или силой. В частности, сигнал на входе синапса j, связанного с нейроном к, умножается на вес Wkj. Важно обратить внимание на то, в каком порядке указаны индексы синаптического веса Wkj. Первый индекс относится к рассматриваемому нейрону, а второй - ко входному окончанию синапса, с которым связан данный вес. В отличие от синапсов мозга синаптический вес искусственного нейрона может иметь как положительные, так и отрицательные значения. Сумматор складывает входные сигналы, взвешенные относительно соответствующих синапсов нейрона. Эту операцию можно описать как линейную комбинацию. Функция активации ограничивает амплитуду выходного сигнала нейрона. Эта функция также называется функцией сжатия . Обычно нормализованный диапазон амплитуд выхода нейрона лежит в интервале [0, 1] или [-1, 1]. Представление нейронных сетей с помощью направленных графов Блочные диаграммы обеспечивают функциональное описание различных элементов, из которых состоит модель искусственного нейрона. Внешний вид модели можно в значительной мере упростить, применив идею графов прохождения сигнала. Граф передачи сигнала - это сеть направленных связей, соединяющих отдельные узлы. С каждым узлом j связан сигнал Xj. Обычная направленная связь начинается в некотором узле j и заканчивается в другом узле k. С ней связана некоторая передаточная функция, определяющая зависимость сигнала Yk узла k от сигнала Xj узла j. Прохождение сигнала по различным частям графа подчиняется трем основным правилам. Направление прохождения сигнала вдоль каждой связи определяется направлением стрелки. При этом можно выделить два типа связей. Синаптические связи: Их поведение определяется линейным соотношением вход/выход. А именно сигнал узла Xj умножается на синаптический вес Wkj, в результате чего получается сигнал узла Yk. Активационные связи: Их поведение определяется нелинейным соотношением вход/выход. Сигнал узла равен алгебраической сумме сигналов, поступающих на его вход. Сигнал данного узла передается по каждой исходящей связи без учета передаточных функций исходящих связей. Принимая в качестве модели нейрона граф прохождения сигнала, можно сформулировать еще одно определение нейронной сети. Нейронная сеть - это направленный граф, состоящий из узлов, соединенных синаптическими и активационными связями, который характеризуется следующими четырьмя свойствами. Каждый нейрон представляется множеством линейных синаптических связей, внешним порогом и, возможно, нелинейной связью активации. Порог, представляемый входной синаптической связью, считается равным +1. Синаптические связи нейрона используются для взвешивания соответствующих входных сигналов. Взвешенная сумма входных сигналов определяет индуцированное локальное поле каждого конкретного нейрона. Активационные связи модифицируют индуцированное локальное поле нейрона, создавая выходной сигнал. Обратная Связь Понятие обратной связи (feedback) характерно для динамических систем, в которых выходной сигнал некоторого элемента системы оказывает влияние на входной сигнала этого элемента. Таким образом, некоторые внешние сигналы усиливаются сигналами, циркулирующими внутри системы. На самом деле обратная связь присутствует в нервной системе практически любого животного. Более того, она играет важную роль в изучении особого класса нейронных сетей, называемых рекуррентными. Архитектура сетей В общем случае можно выделить три фундаментальных класса нейросетевых архитектур. Однослойные сети прямого распространения В многослойной нейронной сети нейроны располагаются по слоям. В простейшем случае в такой сети существует входной слой узлов источника, информация от которого передается на выходной слой нейронов, но не наоборот. Такая сеть называется сетью прямого распространения или ацикличной сетью. На рисунке показана структура такой сети для случая четырех узлов в каждом из слоев. Такая нейронная сеть называется однослойной, при этом под единственным слоем подразумевается слой вычислительных элементов. Многослойные сети прямого распространения Другой класс нейронных сетей прямого распространения характеризуется наличием одного или нескольких скрытых слоев, узлы которых называются скрытыми нейронами. Функция последних заключается в посредничестве между внешним входным сигналом и выходом нейронной сети. Добавляя один или несколько скрытых слоев, мы можем выделить статистики высокого порядка. Такая сеть позволяет выделять глобальные свойства данных с помощью локальных соединений за счет синаптических связей и повышения уровня Способность скрытых нейронов выделять наличия дополнительных взаимодействия нейронов. статистические зависимости высокого порядка особенно существенна, когда размер входного слоя достаточно велик. Рекуррентные сети Рекуррентная нейронная сеть отличается от сети прямого распространения наличием по крайней мере одной обратной связи. Например, рекуррентная сеть может состоять из единственного слоя нейронов, каждый из которых направляет свой выходной сигнал на входы всех остальных нейронов слоя. Наличие обратных связей в сетях, показанных на рисунках, оказывает непосредственное влияние на способность таких сетей к обучению и на их производительность. Более того, обратная связь подразумевает использование элементов единичной задержки ( обозначены как z~l), что приводит к нелинейному динамическому поведению, если, конечно, в сети содержатся нелинейные нейроны. Представление знаний Под знанием понимается хранимая информация или модели, используемые человеком или машиной для интерпретации, предсказания и реакции на внешние события. Знания о мире включают два типа информации. Известное состояние окружающего мира, представленное имеющимися в наличии достоверными фактами. Такая информация называется априорной. Наблюдения за окружающим миром, полученные с помощью сенсоров, адаптированных для конкретных условий, в которых должна функционировать данная нейронная сеть. Примеры могут быть маркированными и немаркированными. В маркированных примерах входному сигналу соответствует желаемый отклик. Немаркированные примеры состоят из нескольких различных реализаций одного входного сигнала. В любом случае набор примеров, будь то маркированных или нет, представляет собой знания об интересующей предметной области, на основании которых и проводится обучение нейронной сети. Вопрос представления знаний в нейронной сети является очень сложным. Тем не менее можно выделить четыре общих правила. Сходные входные сигналы от схожих классов должны формировать единое представление в нейронной сети. Исходя из этого, они должны быть классифицированы как принадлежащие к одной категории. Элементы, отнесенные к различным классам, должны иметь в сети как можно более отличные представления. Это правило прямо противоположно первому. Если некоторое свойство имеет важное значение, то для его представления в сети необходимо использовать большое количество нейронов. В структуру нейронной сети должны быть встроены априорная информация и инварианты, что упрощает архитектуру сети и процесс ее обучения. Это правило играет особую роль, поскольку правильная конфигурация сети обеспечивает ее специализацию. Нейронная сеть со специализированной структурой обычно включает значительно меньшее количество свободных параметров. При этом на обучение затрачивается меньше времени, и такая сеть обладает лучшей обобщающей и пропускной способностями и их стоимость создания сокращается. Чтобы встроить априорную информацию в структуру нейронной сети можно использовать комбинацию двух следующих приемов: Ограничение сетевой архитектуры с помощью локальных связей, называемых рецепторными полями, Ограничение выбора синаптических весов за счет совместного использования весов. Для того чтобы создать систему распознавания объекта, речи или эхолокации, учитывающую явления такого рода, необходимо принимать во внимание диапазон трансформаций наблюдаемого сигнала. Соответственно основным требованием при распознавании образов является создание такого классификатора, который инвариантен к этим трансформациям. Существуют как минимум три приема обеспечения инвариантности нейронной сети классификации к подобным трансформациям. Структурная инвариантность: Синаптические связи между отдельными нейронами сети строятся таким образом, чтобы трансформированные версии одного и того же сигнала вызывали один и тот же выходной сигнал. Инвариантность по обучению: Сеть обучается на множестве примеров одного и того же объекта, при этом в каждом примере объект подается в несколько измененном виде (например, снимки с разных ракурсов). Если количество таких примеров достаточно велико и если нейронная сеть обучена отличать разные точки зрения на объект, можно ожидать, что эти данные будут обобщены и сеть сможет распознавать ракурсы объекта, которые не использовались при обучении. Использование инвариантных признаков: Этот метод основывается на предположении, что из входного сигнала можно выделить информативные признаки, которые описывают самую существенную информацию, содержащуюся в наборе данных, и при этом инвариантны к трансформациям входного сигнала. Искусственный интеллект и нейронные сети Основной задачей искусственного интеллекта является разработка парадигм или алгоритмов, обеспечивающих компьютерное решение когнитивных задач, свойственных человеческому мозгу. Системы искусственного интеллекта должны обеспечивать решение следующих трех задач: накопление знаний, применение накопленных знаний для решения проблемы и извлечение знаний из опыта. Системы искусственного интеллекта реализуют три ключевые функции: Представление: Одной из отличительных черт систем искусственного интеллекта является использование символьного языка для представления общих знаний о предметной области и конкретных знаний о способах решения задачи. Рассуждения : Под рассуждениями обычно понимается способность решать задачи. Для того чтобы систему можно было назвать разумной, она должна описывать и решать широкий спектр задач, понимать явную и неявную информацию, иметь механизм управления , определяющий операции, выполняемые для решения отдельных задач. Обучение: В простейшей модели машинного обучения информацию для обучаемого элемента предоставляет сама среда. Обучаемый элемент использует полученную информацию для модернизации базы знаний, знания из которой функциональный элемент затем использует для выполнения поставленной задачи. нейронный сеть искусственный интеллект Заключение Символьные модели искусственного интеллекта - это формальные системы, основанные на использовании языка алгоритмов и представлении данных по принципу “сверху вниз”, а нейронные сети - это параллельные распределенные процессоры, обладающие естественной способностью к обучению и работающие по принципу “снизу вверх”. Поэтому при решении когнитивных задач целесообразно создавать структурированные модели на основе связей или гибридные системы, объединяющие оба подхода. Это обеспечит единообразия, сочетание присущих свойств нейронным адаптивности, сетям, с робастности и представлениями, умозаключениями и универсальностью систем искусственного интеллекта. Эти результаты не только позволяют интегрировать нейронные сети с интеллектуальными машинами, но и обеспечивают решение задач таких как: Верификация нейросетевых компонентов в программных системах, улучшение обобщающей способности нейронной сети, а также определения условий, при которых обобщение невозможно, выявление скрытых зависимостей на множестве входных данных, интеграция символьного и коннекционистского подходов при разработке интеллектуальных машин и обеспечение безопасности систем, для которых она является. Предметная область нейронных сетей лежит на пересечении многих наук. Ее корни уходят в нейробиологию, математику, статистику, физику, науку о компьютерах и инженерию. Это видно из разнообразия вопросов, рассмотренных в настоящей книге. Способность нейронных сетей обучаться на данных с помощью учителя или без такового обеспечивает их важное свойство. Это свойство обучаемости имеет важное теоретическое и практическое применение, которое сделало их неоценимым инструментом в таких разнообразных областях применения, как моделирование, анализ временных рядов, распознавание образов, обработка сигналов и управление. (Саймон Хайкин Нейронные сети Полный курс 2006) Источники 1. Андрейчиков А.В., Андрейчикова О.Н. Интеллектуальные информационные системы: Учебник. – М.: Финансы и статистика, 2004. – 424 с. 2. Гаврилова Т. А., Хорошевский В. Ф. Базы знаний интеллектуальных систем. – СПб: Питер, 2000. - 384 с. 3. Осовский С. Нейронные сети для обработки информации/Пер. С польского И. Д. Рудинского. – М.: Финансы и статистика, 2002. – 344 с. 4. Рассел С., Норвиг П. Искусственный интеллект: современный подход. – М.: Издательский дом «Вильямс», 2006 г.
