Мекеме «ALEM» кәсіби білім беру колледжі» 080000,ҚР, Тараз қаласы, Сүлейменов көшесі, 22 үй тел/факс: 43-71-58 www.tktb.kz е-mail:[email protected] Учреждение «Колледж профессионального образования «ALEM» 080000,РК, г. Тараз, ул. Сулейменова, д. 22 тел/факс: 43-71-58 www.tktb.kz e-mail: [email protected] «Технических дисциплин» Цикловая-методическая комиссия____________________________________ ОТЧЕТ По ПМ-03 практике вид практики Колледж Профессионального образования «ALEM» наименование предприятия, учреждения, организации Студент: Воробьев Вадим. ___________ Ф.И.О подпись Специальность: Электронные приборы и устройства Курс: _3_ Группа: 1301-20-9-2Б Руководитель практики: __________ Ф.И.О подпись Председатель комиссии: __________ Ф.И.О подпись Члены комиссии: __________ Ф.И.О подпись Оценка: _____ Дата: ______ Тараз 2023г. СОДЕРЖАНИЕ Введение........................................................................................................3 1.1Общая характеристика искусственных нейронных сетей (ИНС)…...4 1.2 Типовые архитектуры нейронных сетей и вероятностная нейронная сеть……………………………………………………………...………….11 1.3 Вероятностная нейронная сеть………………………………...…….19 Практическая работа…………………………………………………...…23 Заключение……………………………………………………...………...29 Список используемой литературы………………………………………30 2 ВВЕДЕНИЕ Нарастающая скорость развития технического прогресса создаёт потребность в автоматизации многих процессов, поскольку человек, несмотря на явное превосходство во многих областях над компьютером, обладает рядом недостатков перед ним – более низкой скоростью вычислений и наличием человеческого фактора, современные же компьютеры обладают внушительной вычислительной мощностью и работают, следуя строгой математической логике. Эволюция информационных технологий всё более определяется их интеллектуализацией. В настоящее время наблюдется устойчивая тенденция интеллектуализации компьютеров. Искусственные нейронные сети являются одним из наиболее передовых способов интеллектуализации. Они отвечают следующим требованиям, предъявляемым к интеллектуальным системам: 1. Возможность представления и обработки информации – накапливание знаний об окружающем мире, их классификация и оценка с точки зрения прагматики; 2. Возможность рассуждения – формирование новых знаний с помощью логического вывода и механизмов выявления закономерности; 3. Возможность непосредственного взаимодействия с человеком – общение с человеком на языке, как можно более близком к его естественному языку, а также восприятие внешнего мира через каналы, наиболее близкие к каналам восприятия человека (прежде всего зрительный и слуховой). Предмет исследования –Типовые архитектуры нейронных сетей и вероятностная нейронная сеть. 3 1.1ОБЩАЯ ХАРАКТЕРИСТИКА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ (ИНС) История возникновения и развития ИНС и концепции искусственного интеллекта История возникновения искусственных нейронных сетей своими корнями уходит ещё в античную философию и находит свое продолжение в таких областях знаний, как математика, нейробиология, экономика, психология, вычислительная техника и кибернетика, а также лингвистика. Далее приведем краткий обзор развития концепции нейронных сетей и искусственного интеллекта. Первая работа, которая по общему признанию считается относящейся к интеллектуальным системам (в частности искусственному интеллекту), была выполнена Уорреном С. Мак-Каллоком и Уолтером Питтсом. Это была статья, опубликованная в 1943 г. – «Логическое исчисление идей, относящихся к нервной активности» (англ. А logical calculus of the ideas immanent in nervous activity). Они черпали вдохновение из трёх источников: знание основ физиологии и принципа работы нейронов в мозге; формальный анализ логики высказываний, взятый из работ Бертрана Рассела и Альфреда Уайтхеда (в частности трёхтомный труд Principia Mathematica – от лат. «Принципы математики», 1910–1913 гг.); а также теория вычислений Алана Тьюринга. Модель Мак-Каллока и Питтса представляла собой сеть, состоящую из искусственных нейронов, в которой каждый нейрон характеризовался как находящийся во «включенном» или «выключенном» состоянии, а переход во «включенное» состояние происходил в ответ на стимуляцию достаточного количества соседних нейронов. Своей работой учёные показали, что любая вычислимая функция может быть вычислена с помощью некоторой сети, состоящей из соединённых нейронов и что все логические связки («И». «ИЛИ», «НЕ» и т.д.) могут быть реализованы с помощью простых сетевых структур. Также Мак-Каллок и Питтс предположили, что сети способны обучаться, если структурировать их соответствующим образом. Дональд Хебб 4 предложил и продемонстрировал простую модель обновления для модификации количества соединений между нейронами. Предложенная им модель именуется правилом хебба, и продолжает служить основой для моделей, используемых в наше время. Первый компьютер на основе нейронных сетей был создан в 1951 г. двумя аспирантами Принстонского университета, Марвином Минским и Дином Эдмондсом. Компьютер получил название Snarc, его аппаратная конструкция включала в себя 3000 электронных ламп и механизм автопилота с бомбардировщика В-24 для моделирования сети из 40 искусственных нейронов. В конце 1970-х гг. исследования в области искусственных нейронных сетей были приостановлены, но идея искусственного интеллекта продолжала развиваться. Несмотря на большое количество ранних работ, относящихся к интеллектуальным системам, именно Алан Тьюринг в 1950 г. в своей статье «Вычислительные машины и разум» (Computing Machinery and Intelligence) выразил полное и четкое представление о них. В своей статье Тьюринг описал принципы генетических алгоритмов, машинного обучения, в частности обучения с подкреплением. Хотя работа в области нейронных сетей была прекращена специалистами из области компьютерных наук, в 80-х гг. она была продолжена специалистами из других научных направлений. Физик Джон Хопфилд использовал методы статистической механики для анализа особенностей хранения данных и оптимизации сетей, рассматривая коллекции узлов, как коллекции атомов. Психологи Дэвид Румельхарт и Джеф Хинтон исследовали модели памяти на основе нейронных сетей. Прорыв произошел в середине 80-х гг., когда несколькими группами учёных был заново открыт алгоритм обучения путём обратного распространения, хотя предложен он был ещё в 1969 г. А. Брайсоном и Хо Ю-Ши в книге «Прикладная теория оптимального управления» (Applied Optimal Control). Результаты применения этого алгоритма учеными были опубликованы 5 в сборнике статей «Параллельно распределённая обработка» (Parallel Distributed Processing), также были описаны множество разнообразных способов применения данного алгоритма, ранее неизвестных. Возникшие идеи о связях в интеллектуальных системах получили название коннекционистских (от англ. connection – соединение, связь). Они рассматривались как конкурирующая альтернатива символическим моделям, разрабатываемыми Алленом Ньюэллом и Гербертом Саймоном и логицистскому подходу Джона Маккарти. Сторонники коннекционизма поставили под сомнение то, что, основываясь на манипулировании символами, можно полноценно объяснить познавательные процессы. В наши дни данный вопрос остаётся открытым, но современный взгляд на проблему состоит в том, что символический и коннекционистский подходы являются дополняющими друг друга, а не конкурирующими. В настоящее время основным подходом изучения интеллектуальных систем является теоретический подход, ранее преобладал экспериментальный подход. Теоретический подход состоит в предположении, что концепция интеллектуальных систем основана на строгих математических принципах. Экспериментальный же предполагает проверку множества идей на практике, и лишь затем вынесение выводов о работоспособности той или иной идеи. Ныне методология интеллектуальных систем полностью перешла на научные методы. Все гипотезы этой концепции теперь экспериментально проверяются, а значимость результата должна подтверждаться статистическими данными. Именно по этим принципам развивается область распознавания речи. В 1970-е гг. были опробованы различные архитектуры и подходы, многие из них оказались неработоспособными. Ныне доминирующее положение занимают подходы, основанные на скрытых марковских моделях (Hidden Markov Model – HMM). Данные подходы основаны на строгой математической теории и получены в процессе обучения программ на крупном массиве реальных речевых данных. Это подтверждается тем, что данные подходы стабильно 6 улучшают свои результаты, показания их производительности растут. Ныне мы можем убедиться, насколько широко применение систем распознавания речи в IT-сфере, например, персональные голосовые помощники, такие как Siri (обратная аббревиатура от англ. Speech Interpretation and Recognition Interface), входящая в состав операционной системы iOS от компании Apple, или же новая российская система распознавания речи «Алиса» от компании «Яндекс». Совершенствование методологии в частности сказалось и на развитии нейронных сетей. Они стали сопоставимыми с такими технологиями, как машинное обучение, статистика и распознавание образов. В результате такого подхода была создана технология анализа скрытых закономерностей в данных (data mining – буквально «добыча данных»), которая легла в основу одной из отраслей информационной индустрии. Благодаря книге Джуды Перла Probabilistic Reasoning in Intelligent Systems (1988) и ранее написанной статье Питера Чизмена In Defense of Probability был возрожден интерес к теории вероятностей и теории решений для интеллектуальных систем. Были разработаны формальные средства байесовских сетей (Bayesian network) для обеспечения эффективного представления неопределённых знаний и проведения их на основе строгих рассуждений. В работах Джуды Перла, Эрика Горвица и Дэвида Хакермана была развита идея нормативных экспертных систем. Такие системы действуют рационально, в соответствии с законами теории решений. Применение этих систем довольно широко, например, операционная система (ОС) Windows включает несколько нормативных диагностических экспертных систем, применяемых для устранения нарушений в работе. Развитие концепции интеллектуальных систем, её формализация и специализация привели к фрагментации областей науки, например, робототехника и машинное зрение все более отделяются от «основного направления», становясь самостоятельными концепциями. 7 Несмотря на некоторую фрагментацию области искусственного интеллекта, развитие науки продолжилось в том же темпе, и даже ускорилось. Успехи предшественников вдохновили Аллена Ньюэлла, Джона Лэрда и Пола Розенбаума на создание полной архитектуры интеллектуального агента, проект получил имя Soar. Интеллектуальный агент – комбинация инструкций компьютеру, выполняющая задания пользователя (оператора) в течение длительных промежутков времени. Часто интеллектуальные агенты используются для сбора и систематизации информации. К интеллектуальным агентам можно отнести боты (bot сокр. от robot), вредоносные программы (вирусы), поисковые системы (search engine). Средой для интеллектуальных агентов служит сеть Internet. Системы искусственного интеллекта стали очень распространены в приложениях для Web (англ. «паутина») и лежат в основе инструментальных средств Internet, таких как машины поиска, системы, предназначенные для разработки рекомендаций, и системы создания Webузлов. Интеллектуальные системы на сегодняшний день представлены довольно широко в IT-сфере и робототехнике. Приведём несколько знаменательных их применений: Роботизированные платформы. Роботизированный автомобиль c автопилотом “Stanley” пересёк сложную местность пустыни Мохаве со скоростью 22 миль⁄ч, преодолев 132-мильный курс первым и победив в 2005 г. на соревновании роботов-автомобилей DAPRA Grand Challenge. Stanley – автомобиль Volkswagen Touareg, оборудованный камерами, радарами и лазерными дальномерами для распознавания окружающей среды и со встроенным программным обеспечением (ПО) для командования рулевым управлением, торможением, ускорением. Робот был разработан Себастьяном Труном, профессором компьютерных наук Стэндфордского университета. В 2006 году, победу в DAPRA Urban Challenge одержал разработанный в Университете Карнеги – Меллон (Carnegie Mellon University – CMU) 8 роботизированный автомобиль “Boss”, он аккуратно и безопасно передвигался в автомобильных потоках через улицы закрытой авиационной базы, следуя правилам дорожного движения и избегая пешеходов и других автомобилей. Распознавание речи. Путешественник, позвонивший в United Airlines, например, чтобы забронировать авиабилет, может осуществить это с помощью системы распознавания речи и управления диалогом. Автономное планирование и составление расписаний. Отдаленная на сотни миллионы миль от Земли программа Remote Agent агентства NASA стала первой бортовой автономной программой планирования, её предназначение – управление процессами составления расписаний операций для космического аппарата (2000). Remote Agent генерировал планы на основе целей высокого уровня, задаваемых с Земли, а также контролировала работу космического аппарата в ходе выполнения планов: обнаруживала, диагностировала и устраняла неполадки по мере их возникновения. Remote Agent являлась предтечей программы MAPGEN (2004), которая планирует каждодневные операции для Mars Exploration Rovers (MER) – программы NASA по исследованию марса двумя марсоходами, и программы MEXAR2 (2007). Эта программа совершала планирование миссии (научное и логистическое) для проекта Марс-экспресс, созданный Европейским космическим агентством в 2008. Ведение игр. Программа Deep Blue, созданная компанией IBM стала первой компьютерной программой, победившей чемпиона мира в шахматном матче, после того, как она обыграла Гарри Каспарова со счетом 3,5:2,5 в показательном матче. Чемпионы мира изучали поражение Каспарова и смогли одержать победу в нескольких матчах в последующие годы, но гораздо позже компьютеры одерживали убедительную победу в матчах с человеком. Борьба со спамом. Каждый день обучающиеся алгоритмы классифицируют более миллиарда полученных пользователями электронной почты сообщений как спам (от англ. electronic spamming – система отправки нежелательных сообщений, особенно рекламы). Это экономит время 9 пользователя, ведь для многих пользователей спам может составить 80% или 90% всех сообщений, если бы они не были отсортированы алгоритмами. Поскольку спамеры постоянно совершенствуют свою тактику, поддерживать порядок в сообщениях становится трудно для статического программного похода, поэтому обучающиеся алгоритмы также совершенствуются. Планирование снабжения. Во время кризиса в Персидском заливе в 1991 году в США была развёрнута система DART (Dynamic Analysis and Replanning) для обеспечения составления графиков автоматизированного перевозок. Работа этой планирования система и охватывала одновременно до 50 000 автомобилей, единиц груза и людей; в ней учитывались пункты отправления и назначения, маршруты, а также устранение конфликтов между всеми параметрами. Методы искусственного интеллекта позволяли обрабатывать в течение считанных часов такие планы, для составления которых обычными методами потребовались бы недели. Робототехника. 1) Корпорация iRobot продала более двух миллионов роботизированных пылесосов для домашнего использования Roomba. Также компания поставляет более прочный PackBot в Афганистан и Ирак, где он используется для обработки опасных материалов, очищает территорию от взрывчатых веществ и даже идентифицирует нахождение снайперов. 2) В 2015 году был впервые активирован антропоморфный робот Sophia, сконструированный компанией Hanson Robotics, стоит отметить, один из лучших в своём роде. «Мозг» робота составляют искусственные нейронные сети, его интеллект децентрализован. Робот понимает человеческую речь, способен выражать эмоции посредством мимики, в зрачки вмонтированы камеры, благодаря которым «София» может осуществлять зрительный контакт. Не так давно Sophia была включена в проект по интеграции искусственного интеллекта в единую сеть – SingularityNET. А именно в связанный проект – Open Cog, который представляет из себя разработку платформы с открытым исходным кодом для структуры ИИ. 10 1.2 Типовые архитектуры нейронных сетей и вероятностная нейронная сеть. Перцептрон Персептрон - это самая базовая из всех нейронных сетей, являющаяся фундаментальным строительным блоком более сложных нейронных сетей. Он просто соединяет входную и выходную ячейки. Рис. 1 2. Сеть прямого распространения Сеть прямой связи представляет собой набор перцептронов, в котором есть три основных типа слоев: входные слои, скрытые слои и выходные слои. Во время каждого соединения сигнал с предыдущего уровня умножается на весовой коэффициент, добавляется к смещению и передается через функцию активации. Сети с прямой связью используют обратное распространение для итеративного обновления параметров, пока не будет достигнута желаемая производительность. Рис.2 11 3. Остаточные сети (ResNet) Одна проблема с глубокими нейронными сетями с прямой связью называется проблемой исчезающего градиента, когда сети слишком длинные для того, чтобы полезная информация распространялась по сети. По мере того, как сигнал, обновляющий параметры, проходит по сети, он постепенно уменьшается до тех пор, пока веса в передней части сети не перестанут изменяться или не используются вообще. Чтобы решить эту проблему, остаточная сеть использует пропускаемые соединения, которые распространяют сигналы через «скачкообразный» уровень. Это уменьшает проблему исчезающего градиента за счет использования соединений, которые менее уязвимы для нее. Со временем сеть учится восстанавливать пропущенные слои по мере того, как она изучает пространство функций, но более эффективна при обучении, поскольку она менее уязвима для исчезающих градиентов и должна исследовать меньшую часть пространства функций. Рис. 3 Рекуррентные сети 4. Рекуррентная нейронная сеть (RNN) Регулярная нейронная сеть - это особый тип сети, которая содержит петли и повторяется над собой, отсюда и название «повторяющаяся». Позволяя хранить информацию в сети, RNN используют рассуждения из предыдущего обучения, чтобы принимать более обоснованные решения о предстоящих событиях. Для этого он использует предыдущие прогнозы как 12 «контекстные сигналы». Из-за своей природы RNN обычно используются для обработки последовательных задач, таких как генерация текста по буквам или прогнозирование данных временных рядов (например, цен на акции). Они также могут обрабатывать входные данные любого размера. Рис. 4 5. Сеть долгосрочной краткосрочной памяти (LSTM) RNN проблематичны в том смысле, что диапазон контекстной информации на практике очень ограничен. Влияние (ошибка обратного распространения) данного входа на вход на скрытом уровне (и, следовательно, на выход сети) либо возрастает экспоненциально, либо исчезает по мере того, как он циклически перемещается по сетевым соединениям. Решением этой проблемы исчезающего градиента является сеть с долгосрочной краткосрочной памятью или LSTM. Эта архитектура RNN специально разработана для решения проблемы исчезающего градиента, приспосабливая структуру к блокам памяти. Эти блоки можно рассматривать как микросхемы памяти в компьютере - каждый из них содержит несколько повторно соединенных ячеек памяти и три логических элемента (ввод, вывод и забывание, эквиваленты записи, чтения и сброса). Сеть может взаимодействовать с ячейками только через каждые 13 ворота, и, следовательно, ворота учатся разумно открываться и закрываться, чтобы предотвратить взрывные или исчезающие градиенты, а также распространять полезную информацию через «карусели с постоянными ошибками», а также отбрасывать ненужное содержимое памяти. Рис. 5 Там, где стандартные RNN не могут определить наличие временных задержек, превышающих пять-десять временных шагов между входными событиями и целевыми сигналами, LSTM не затронут и может научиться подключать временные задержки даже в 1000 временных шагов, обеспечивая полезный постоянный поток ошибок. 6 | Сети состояния эха (ESN) Сеть с эхосигналом - это вариант рекуррентной нейронной сети с очень редко связным скрытым слоем (обычно с однопроцентной связностью). Связность и веса нейронов назначаются случайным образом и игнорируют несоответствия слоев и нейронов (пропускают соединения). Веса выходных нейронов изучаются таким образом, чтобы сеть могла создавать и воспроизводить определенные временные паттерны. Обоснование этой сети исходит из того факта, что, хотя она и нелинейна, единственные веса, 14 изменяемые во время обучения, - это соединения синапсов, и, следовательно, функция ошибок может быть дифференцирована в линейную систему. Рис.6 Сверточные сети 7. Сверточная нейронная сеть (CNN) Изображения имеют очень высокую размерность, и, следовательно, для обучения стандартной сети с прямой связью распознавать изображения потребуются сотни тысяч входных нейронов, что, помимо явно высоких затрат на вычисления, может вызвать множество проблем, связанных с проклятием размерности в нейронных сетях. . Сверточная нейронная сеть (CNN) предлагает решение этой проблемы, используя сверточные и объединяющие слои для уменьшения размерности изображения. Поскольку сверточные слои можно обучать, но они имеют значительно меньше параметров, чем стандартный скрытый слой, он может выделять важные части изображения и передавать каждую из них вперед. Традиционно в CNN последние несколько слоев являются скрытыми слоями, которые обрабатывают «сжатую информацию изображения». Сверточные нейронные сети хорошо справляются с задачами на основе изображений, такими как классификация изображения как собаки или кошки. Рис.7 8. Деконволюционная нейронная сеть (DNN) 15 Деконволюционные нейронные сети, как следует из названия, работают противоположно сверточной нейронной сети. Вместо выполнения сверток для уменьшения размерности изображения DNN использует деконволюцию для создания изображения, обычно из шума. Это сложная по своей сути задача; рассмотрим задачу CNN написать краткое изложение всей книги Оруэлла 1984 из трех предложений, в то время как задача DNN - написать полную книгу, состоящую из трех предложений. Рис.8 9. Генеративная состязательная сеть (GAN) Генеративная состязательная сеть - это специализированный тип сети, разработанный специально для генерации изображений и состоящий из двух сетей - дискриминатора и генератора. Задача дискриминатора - различать, извлекается ли изображение из набора данных или было ли оно сгенерировано генератором, а задача генератора - генерировать изображения, достаточно убедительные, чтобы дискриминатор не мог различить, является ли оно реально или нет. Со временем, при тщательном регулировании, эти два противника соревнуются друг с другом, стремясь добиться успеха в улучшении друг друга. Конечным результатом является хорошо обученный генератор, способный выдать реалистичное изображение. Дискриминатор представляет собой сверточную нейронную сеть, цель которой - максимизировать ее точность при 16 идентификации реальных / поддельных изображений, тогда как генератор представляет собой деконволюционную нейронную сеть, цель которой минимизировать производительность дискриминатора. Автокодеры 10. Автоматический кодировщик (AE) Фундаментальная идея автоэнкодера состоит в том, чтобы принять исходные данные высокой размерности, «сжать» их в высокоинформативные и низкоразмерные данные, а затем спроецировать сжатую форму в новое пространство. Существует множество приложений автокодировщиков, включая уменьшение размерности, сжатие изображений, шумоподавление данных, извлечение функций, создание изображений и системы рекомендаций. Это может быть как неконтролируемый, так и контролируемый метод, может быть очень полезным в отношении характера данных. Рис.9 11. Вариационный автокодер (VAE) В то время как автоэнкодер изучает сжатое представление ввода, которое может быть изображениями или текстовыми последовательностями, например, сжимая ввод, а затем распаковывая его обратно, чтобы 17 соответствовать исходному вводу, вариационный автоэнкодер (VAE) изучает параметры распределения вероятностей представление данных. Вместо того, чтобы просто изучать функцию, представляющую данные, он получает более подробное и детализированное представление данных, выборку из распределения и создание новых выборок входных данных. В этом смысле это скорее чисто «генеративная» модель, как GAN. Рис. 10 VAE использует вероятностную скрытую ячейку, которая применяет радиальную базисную функцию к разнице между тестовым примером и средним значением ячейки. Задача оценки плотности вероятности (p.d.f.) по данным имеет давнюю историю в математической статистике и относится к области байесовой статистики. Обычная статистика по заданной модели говорит нам, какова будет вероятность того или иного исхода (например, что на игральной кости шесть очков будет выпадать в среднем одном случае из шести). Байесова статистика переворачивает вопрос вверх ногами: правильность модели оценивается по имеющимся достоверным данным. В более общем плане, байесова статистика дает возможность оценивать плотность вероятности распределений параметров модели по имеющимся данных. Для того, чтобы минимизировать ошибку, выбирается модель с такими параметрами, при которых плотность вероятности будет наибольшей. 18 1.3 ВЕРОЯТНОСТНАЯ НЕЙРОННАЯ СЕТЬ При решении задачи классификации можно оценить плотность вероятности для каждого класса, сравнить между собой вероятности принадлежности различным классам и выбрать наиболее вероятный. На самом деле именно это происходит, когда мы обучаем нейронную сеть решать задачу классификации - сеть пытается определить (т.е. аппроксимировать) плотность вероятности. Традиционный подход к задаче состоит в том, чтобы построить оценку для плотности вероятности по имеющимся данным. Обычно при этом предполагается, что плотность имеет некоторый определенный вид (чаще всего - что она имеет нормальное распределение). После этого оцениваются параметры модели. Нормальное распределение часто используется потому, что тогда параметры модели (среднее и стандартное отклонение) можно оценить аналитически. При этом остается вопрос о том, что предположение о нормальности не всегда оправдано. Другой подход к оценке плотности вероятности основан на ядерных оценках. Можно рассуждать так: тот факт, что наблюдение расположено в данной точке пространства, свидетельствует о том, что в этой точке имеется некоторая плотность вероятности. Кластеры из близко лежащих точек указывают на то, что в этом месте плотность вероятности большая. Вблизи наблюдения имеется большее доверие к уровню плотности, а по мере отдаления от него доверие убывает и стремится к нулю. В методе ядерных оценок в точке, соответствующей каждому наблюдению, помещается некоторая простая функция, затем все они складываются и в результате получается оценка для общей плотности вероятности. Чаще всего в качестве ядерных функций берутся гауссовы функции (с формой колокола). Если обучающих примеров достаточное количество, то такой метод дает достаточно хорошее приближение к истинной плотности вероятности. 19 Метод аппроксимации плотности вероятности с помощью ядерных функций во многом похож на метод радиальных базисных функций, и таким образом мы естественно приходим к понятиям вероятностной нейронной сети (PNN) и обобщенно-регрессионной нейронной сети (GRNN). PNN-сети предназначены для задач классификации, а GRNN - для задач регрессии. Сети этих двух типов представляют собой реализацию методов ядерной аппроксимации, оформленных в виде нейронной сети. Сеть PNN имеет по меньшей мере три слоя: входной, радиальный и выходной. Радиальные элементы берутся по одному на каждое обучающее наблюдение. Каждый из них представляет гауссову функцию с центром в этом наблюдении. Каждому классу соответствует один выходной элемент. Каждый такой элемент соединен со всеми радиальными элементами, относящимися к его классу, а со всеми остальными радиальными элементами он имеет нулевое соединение. Таким образом, выходной элемент просто складывает отклики всех элементов, принадлежащих к его классу. Значения выходных сигналов получаются пропорциональными ядерным оценкам вероятности принадлежности соответствующим классам, и пронормировав их на единицу, мы получаем окончательные оценки вероятности принадлежности классам. Базовая модель PNN-сети может иметь две модификации. В первом случае мы предполагаем, что пропорции классов в обучающем множестве соответствуют их пропорциям во всей исследуемой популяции (или так называемым априорным вероятностям). Например, если среди всех людей больными являются 2%, то в обучающем множестве для сети, диагностирующей заболевание, больных должно быть тоже 2%. Если же априорные вероятности будут отличаться от пропорций в обучающей выборке, то сеть будет выдавать неправильный результат. Это можно впоследствии учесть (если стали известны априорные вероятности), вводя поправочные коэффициенты для различных классов. Второй вариант модификации основан на следующей идее. Любая оценка, выдаваемая сетью, основывается на зашумленных данных и 20 неизбежно будет приводить к отдельным ошибкам классификации (например, у некоторых больных результаты анализов могут быть вполне нормальными). Иногда бывает целесообразно считать, что некоторые виды ошибок обходятся "дороже" других (например, если здоровый человек будет диагностирован как больной, то это вызовет лишние затраты на его обследование, но не создаст угрозы для жизни; если же не будет выявлен действительный больной, то это может привести к смертельному исходу). В такой ситуации те вероятности, которые выдает сеть, следует домножить на коэффициенты потерь, отражающие относительную цену ошибок классификации. Вероятностная нейронная сеть имеет единственный управляющий параметр обучения, значение которого должно выбираться пользователем, степень сглаживания (или отклонение гауссовой функции). Как и в случае RBF-сетей, этот параметр выбирается из тех соображений, чтобы шапки " определенное число раз перекрывались": выбор слишком маленьких отклонений приведет к "острым" аппроксимирующим функциям и неспособности сети к обобщению, а при слишком больших отклонениях будут теряться детали. Требуемое значение несложно найти опытным путем, подбирая его так, чтобы контрольная ошибка была как можно меньше. К счастью, PNN-сети не очень чувствительны к выбору параметра сглаживания. Наиболее важные преимущества PNN-сетей состоят в том, что выходное значение имеет вероятностный смысл (и поэтому его легче интерпретировать), и в том, что сеть быстро обучается. При обучения такой сети время тратится практически только на то, чтобы подавать ей на вход обучающие наблюдения, и сеть работает настолько быстро, насколько это вообще возможно. Существенным недостатком таких сетей является их объем. PNN-сеть фактически вмещает в себя все обучающие данные, поэтому она требует много памяти и может медленно работать. PNN-сети особенно полезны при пробных экспериментах (например, когда нужно решить, какие из входных переменных использовать), так как 21 благодаря короткому времени обучения можно быстро проделать большое количество пробных тестов. 22 ПРАКТИЧЕСКАЯ РАБОТА. В ходе практической работы я выполнял лабораторные задания. Темой лабораторной работы являлось: «Исследование инвертирующих усилителей, интегрирующих и дифференцирующих схем на ОУ». Целью работы исследования являлось: характеристик Овладение схем на практическими операционных навыками усилителях с использованием средств САПР Electronics Workbench. Задача исследования: Определить экспериментальным путем постоянную составляющую выходного напряжения. Определить экспериментальным путем величину коэффициента усиления как отношение амплитуды выходного напряжения к входному. Определить разность фаз между выходным и входным гармоническим сигналами. Все работы были выполнены с использованием микросхемы lm741 (операционный усилитель). ОУ из рассматриваемой серии имеют функциональные особенности, которые позволяют считать их очень надежными. Данное суждение подкрепляется информацией из технического описания (datasheet), в котором указано о наличии в таких устройствах внутренних защит: от возможных перегрузок, от «защелкивания» при выходе за пределы синфазного диапазона, а также отсутствии колебаний. 23 Для выполнения работ было необходимо собрать различные схемы. На рис. 1 отображена первая схема. Рис.1 В начале цепи подключен генератор частот, а в конце цепи осциллограф для визуализации входного и выходного сигнала. При подаче синусоидального тока в виде сигнала осциллограф выдает такие значения (рис.2): Рис.2 На осциллографе ясно показаны 2 сигнала (IN и OUT). Мы видим, что данные сигналы отличаются друг от друга амплитудой сигнала и фазой. Т.е мы делаем вывод, что инвертируюий усилитель, на базе операционного усилителя LM741, способен увеличить амплитуду сигнала в несколько раз 24 (коэффициент усиления данной микросхемы равен 200 В/мВ). А так же он разворачивает фазу на 180 градусов. Следующая схема которую нужно было собрать изображена на рис.3 Рис.3 Задачей данной работы было подать на вход усилителя квадратную форму волны (меандр) и просмотреть переходной процесс на осциллографе. На рис.4 изображены формы волны на входе и на выходе дифференцирующей схемы. Рис.4 25 На осциллографе мы видим, что форма волны входного сигнала отличается от формы волны выходного сигнала. На вход была подана квадратная форма сигнала, а на выходе сигнал изменился на треугольную форму сигнала. Мы можем сделать вывод, что дифференцирующая схема способна менять форму сигнала. Для выполнения следующего задания было необходимо собрать схему на рис. 5 Рис.5 Суть данной работы заключалась в том, чтобы отследить переходные процессы при прохождении сигнала через операционный усилитель. Кроме того, было необходимо менять значения управляющего резистора и конденсатора и посмотреть, как это влияет на выходной сигнал. Изменения номиналов осуществлялись согласно этой таблицей: № Варианта 1 2 3 3 R1 500 оМ 500 оМ 500 оМ 500 оМ R2 6 КоМ 8 КоМ 10 КоМ 4 КоМ C 0.03 F 0.03 F 0.01 F 0.06 F 26 Вот что осциллограф показал: В первом случае. (рис. 6) Рис.6 Во втором случае. (рис.7) Рис. 7 В третьем случае. (рис.8) Рис. 8 В четвертом случае. (рис. 9) Рис. 9 27 В следствии изменения номинала управляющего резистора R2, изменялась амплитуда сигнала на выходе. Вывод: При увеличении сопротивления на R2 уменьшается амплитуда сигнала, а при понижении сопротивления, амплитуда увеличивается. То есть амплитуда сигнала и сопротивление на R2 обратно пропорциональны. С увеличением ёмкости конденсатора уменьшаются помехи т.к конденсатор имеет свойство фильтровать сигнал. 28 ЗАКЛЮЧЕНИЕ В ходе теоритической работы я ознакомился с понятием «Искусственный интеллект», а также с типовыми архитектурами нейронных сетей и вероятностной нейронной сетью. Собрал необходимую информацию и изложил её в отчете. В ходе моей практической работы, я успешно выполнил лабораторную работу под названием: «Исследование инвертирующих усилителей, интегрирующих и дифференцирующих схем на ОУ». Было проведено несколько виртуальных опытов в программе Electronics Workbench и были сделаны соответственные выводы. После успешного завершения занятия я научился создавать и редактировать простейшие схемы и исследовать характеристики инвертирующих усилителей с использованием средств САПР Elec-tronics Workbench. Цели и задачи, которые я перед собой ставил во время практики, выполнил. 29 СПИСОК ИСПОЛЬЗУЕМОЙ ЛИТЕРАТУРЫ 1. Барский, А. Б. Нейронные сети: распознавание, управление принятие решений [Текст] / А. Б. Барский. – М.: Финансы и статистика, 2004. – 176 с. 2. Джонс, М. Т. Программирование искусственного интеллекта в приложениях [Текст]: Пер. с англ. Осипов А. И. / М. Тим, Джонс. – М.: ДМК Пресс, 2004. – 312 с. 3. Евменов, В. П. Интеллектуальные системы управления [Текст]: Учебное пособие / В. П. Евменов. – М.: Книжный дом «ЛИБРОКОМ», 2009. – 304 с. 4. Каллан, Роберт. Основные концепции нейронных сетей [Текст]: Пер с англ. / Роберт Каллан. – М.: Издательский дом «Вильямс», 2001. – 287 с. 5. Люггер, Джордж, Ф. Искусственный интеллект: стратегии и методы решения сложных проблем [Текст], 4-е издание., Пер. с англ. / Джордж Ф. Люггер. – М.: Издательский дом «Вильямс», 2003 – 864 с. 6. Смолин, Д. В. Введение в искусственный интеллект [Текст]: Конспект лекций / Д. В. Смолин. – М.: – ФИЗМАЛИТ, 2004. – 208 с. 7. Федотова, Е. Л. Информационные технологии в профессиональной деятельности [Текст]: учеб. пособие / Е. Л. Федотова. – М.: ИД «ФОРУМ»: ИНФРА-М, 2012. – 368 с. 30
