Министерство образования и науки Российской Федерации Государственное образовательное учреждение Московской области Международный университет природы, общества и человека «Дубна» Магистерская работа Тема Квантовые нейронные сети в процессах обучения и управления Студента Афанасьева Ольга Александровна Аннотация Данная работа посвящена анализу квантовых нейронных сетей (КНС) и их практического применения. Решение перечисленных задач тесно связано с разработкой методов квантового программирования и представляет теоретический и практический интерес для процессов проектирования робастного интеллектуального управления в условиях риска и непредвиденных ситуаций управления с учетом квантовых эффектов при формировании информационного процесса самоорганизации баз знаний. Для осуществления целей изучена литература зарубежных авторов, рассмотрены примеры применения КНС в процессах управления. Результатом работы является сравнительный анализ между классическими и квантовыми нейронами. Предлагаются новые квантовые операторы типа суперпозиции, квантовая корреляция и интерференция. КНС позволяет видеть пространство поиска и обучения, повысить точность и робастность процесса аппроксимации сигнала обучения. Работа выполнена под научным руководством доктора физ.-мат. Наук, профессора С.В. Ульянова в Институте Системного Анализа и Управления Международного университета природы, общества и человека «Дубна». Содержание Введение 1. Постановка задачи 1.1 Цель 1.2 Исходные данные 1.3 Исследовательская составляющая 2. Научная составляющая 2.1 Архитектура Квантовых Нейронных Сетей 2.2 Почему интересны Квантовые Нейронные Сети 2.3 Квантовый нейрон 2.4 Построение Квантовой Нейронной Сети 2.5 Квантовые вычисления 2.6 Модели КНС 2.7 Квантовое состояние и его представление 3. Обучение КНС 3.1 Применение Квантовых Нейронных сетей. Смысл алгоритма обучения с учителем 3.2 Однослойный и многослойный персептроны 3.2.1 Однослойный персептрон. Обучение 3.2.2 Многослойный персептрон. Обучение многослойного персептрона 3.3 Алгоритм обратного распространения «Back Propagation» 3.4 Генетический алгоритм. Классическая задача комивояжа 4. Автоматическое управление объектами 4.1 Объект управления 4.2 Робототехника как направление Искусственного Интеллекта 4.2.1 Общая блок-схема робота 4.2.2 Концептуальная модель 4.2 Эффективное управление квантовым спиновым регистром. Криптография и квантовая телепортация 5. Практическая часть. Примеры Квантовых Нейронных сетей 5.1 Перевернутый маятник 5.2 Сжатие изображения 5.3 Кодирование алфавита 6 Инструментарий MATLAB NEURAL NETWORK TOOL. Сеть Кохонена Заключение Список литературы Введение Сегодня, как и сто лет назад, несомненно, что мозг работает более эффективно и принципиально другим образом, чем любая вычислительная машина, созданная человеком. Именно этот факт в течение стольких лет побуждает и направляет работы ученых всего мира по созданию и исследованию искусственных нейронных сетей. Искусственный Нейронные сети (ИНС) имеют некоторые привлекательные особенности как например параллельность распределенной обработки, ошибкоустойчивость и способность обучаться и обобщать полученные знания. Под свойством обобщения понимается способность ИНС генерировать правильные выходы для входных сигналов, которые не были учтены в процессе обучения (тренировки). Эти два свойства делают ИНС системой переработки информации, которая решает сложные многомерные задачи, непосильные другим техникам. Тем не менее ИНС также сталкиваются со многими трудностями, в том числе это отсутствие правил для детерминированных оптимальных архитектур, ограниченная вместимость памяти, занимающая много времени на обучение и т.д. [3]. Искусственные Нейронные сети вошли в практику везде, где нужно решать задачи прогнозирования, классификации или управления. Такой впечатляющий успех определяется несколькими причинами: . Богатые возможности. Нейронные сети - исключительно мощный метод моделирования, позволяющий воспроизводить чрезвычайно сложные зависимости. На протяжении многих лет линейное моделирование было основным методом моделирования в большинстве областей, поскольку для него хорошо разработаны процедуры оптимизации. В задачах, где линейная аппроксимация неудовлетворительна (а таких достаточно много), линейные модели работают плохо. Кроме того, нейронные сети справляются с "проклятием размерности", которое не позволяет моделировать линейные зависимости в случае большого числа переменных . Простота в использовании. Нейронные сети учатся на примерах. Пользователь нейронной сети подбирает представительные данные, а затем запускает алгоритм обучения, который автоматически воспринимает структуру данных. При этом от пользователя, конечно, требуется какой-то набор эвристических знаний о том, как следует отбирать и подготавливать данные, выбирать нужную архитектуру сети и интерпретировать результаты, однако уровень знаний, необходимый для успешного применения нейронных сетей, гораздо скромнее, чем, например, при использовании традиционных методов статистики. В сфере ИНС, некоторые первооткрыватели вводили квантовое вычисление в аналогичное обсуждение, такое как квантовое нейронное вычисление, поглощенная квантовая нейронная сеть, квантовая ассоциативная память и параллельное обучение. Они сконструировали фонд для дальнейшего изучения квантового вычисления в ИНС. В ходе этого появляется область искусственных нейронных сетей, основанных на квантовых теоретических понятиях и методах. Они называются Квантовые Нейронные Сети [3]. 1. Постановка задачи .1 Цель Исследование и анализ Квантовых Нейронных Сетей, их практическое применение. Направления работы исследования Выявить преимущества квантовых нейронных сетей перед классическими сетями. Рассмотреть примеры применения квантовых нейронных сетей в процессах интеллектуального управления. Провести моделирование работы квантового нейрона на классическом компьютере. Моделирование сети кластеризации данных в MATLAB. Рассмотреть конкретный пример из робототехники (робот-манипулятор). 1.2 Исходные данные Девятитомник по квантовым вычислениям и квантовому программированию, издание Миланского университета, автор Ульянов С.В. Монография Нильсона, 2006 года. Сайт www.qcoptimizer.com. 1.3 Исследовательская составляющая Исследование относится к инновационным технологиям разработки квантовых нейронных сетей в области интеллектуальных систем управления с обучением. Решение перечисленных задач тесно связано с разработкой методов квантового программирования и представляет теоретический и практический интерес для процессов проектирования робастного интеллектуального управления в условиях риска и непредвиденных ситуаций управления с учетом квантовых эффектов при самоорганизации баз знаний. формировании информационного процесса 2. Научная составляющая .1 Архитектура Квантовых Нейронных Сетей Квантовая нейронная сеть является новой областью и является комбинацией классических нейронных сетей и квантовых вычислений. Некоторая система может быть названа нейронной, если в ней удается идентифицировать, по крайней мере, один нейрон. Нейронная система является квантовой нейронной системой, если она способна реализовывать квантовые вычисления. Существует несколько различных подходов к тому, что может быть названо квантовыми нейронными сетями. Разные исследователи используют собственные аналогии для установления связи между квантовой механикой и искусственными нейронными сетями. Некоторые основные понятия этих двух областей приведены в следующей таблице 1: Таблица 1. Основные концепции квантовой механики и теории нейронных сетей Классические нейронные сети Состояние нейрона x 0,1 j Квантовые нейронные сети Кубит ы x a 0 b 1 Связь w p 1 ij ij 1 x0 x1 ость Обучающее правило Запутанн x p 1 p x x s 1 s i s j Суперпоз иция состояний запутанности p a s 1 Поиск победителя s x0s x sp 1 n max arg f i i Интерференция как унитарное преобразование Выходной Результат U : N Decoherence (измерение) a s xs xk s Не следует рассматривать пары концепций, находящихся в одной и той же строке таблицы, как аналогии - в действительности установление такой аналогии и является одной из главных задач теории квантовых нейронных сетей. К настоящему времени, квантовые представления были главным образом использованы для реализации классических вычислений. Понятие о квантовых вычислений было введено в 1982 году Ричардом Фейнманом, исследовавшим роль квантовых эффектов в будущих процессорах, элементы которых могут иметь атомные размеры. В 1985 году Дэвид Дойч сформулировал концепцию квантовых вычислений. Важно отметить, что эффективность использования нейронных сетей связана с массивной параллельной распределенной обработкой информации и нелинейностью преобразования векторов входов нейронами. С другой стороны, квантовые системы обладают гораздо более мощным квантовым параллелизмом, выражающимся принципом суперпозиции [1]. При разработке концепции квантовых классических и нейронных вычислений важную роль играет выбранная интерпретация квантовой механики, среди которых Копенгагенская интерпретация; Фейнмановский формализм интегралов по траекториям; Эвереттовская интерпретация множественных миров, и т.д. Выбор интерпретации важен при установлении аналогий между квантовой механикой и нейрокомпьютингом. В частности он важен для решения проблемы соотнесения такой линейной теории, которой является квантовая механика с существенно нелинейной обработкой данных, определяющей мощь нейротехнологии. 2.2 Почему интересны Квантовые Нейронные Сети Существуют две главные причины интереса к квантовым нейронным сетям. Одна связана с аргументами в пользу того, что квантовые процессы могут играть важную роль в работе мозга. Например, Роджер Пенроуз привел различные доводы в пользу того, что только новая физика, которая должна объединить квантовую механику с общей теорией относительности, смогла бы описать такие явления, как понимание и сознание. Однако его подход адресован не к собственно нейронным сетям, а к внутриклеточным структурам, таким как микротрубочки. Другая причина связана с бурным ростом квантовых вычислений, основные идеи которых вполне могли бы быть перенесены на нейровычисления, что открыло бы для них новые возможности. Квантовые нейронные системы могут обходить некоторые трудные вопросы, существенные для квантовых вычислений в силу своей аналоговости, способностью к обучению на ограниченном числе примеров. Что можно ожидать от квантовых нейронных сетей? В настоящее время квантовые нейронные сети обладают следующими преимуществами: экспоненциальная емкость памяти; лучшие характеристики при меньшем числе скрытых нейронов; быстрое обучение; устранение катастрофического забывания благодаря интерференции образов; решение линейно неразделимых проблем однослойной сетью; отсутствие соединений; высокая скорость обработки данных (1010 bits/s); отсутствию миниатюрность (1011 нейронов/мм3); более высокая стабильность и надежность; Эти потенциальные преимущества квантовых нейронных сетей и мотивируют главным образом их разработку. .3 Квантовый нейрон Синапсы осуществляют связь между нейронами и умножают входной сигнал на число, характеризующее силу связи - вес синапса. Сумматор выполняет сложение сигналов, поступающих по синаптическим связям от других нейронов и внешних входных сигналов. Преобразователь реализует функцию одного аргумента, выхода сумматора, в некоторую выходную величину нейрона. Эта функция называется функцией активации нейрона. Таким образом, нейрон полностью описывается своими весами и функцией активации F. Получив набор чисел (вектор) в качестве входов, нейрон выдает некоторое число на выходе. Активационная функция может быть различного вида. Наиболее широко используемые варианты приведены в таблице (табл. 2). Таблица 2: Перечень функций активации нейронов Название Пороговая Формула Область значения (0, 1) Знаковая (-1,1) Сигмоидная (0,1) Полулинейная (0, ∞) Линейная (-∞, ∞) Радиальная базисная (0, 1) Полулинейная с насыщением (0, 1) Линейная с насыщением (-1,1) Гиперболический тангенс (-1,1) Треугольная (0, 1) Определение Квантового Нейрона дается следующим образом: Он получает входные сигналы (исходные данные либо выходные сигналы других нейронов КНС) через несколько входных каналов. Каждый входной сигнал проходит через соединение, имеющее определенную интенсивность (или вес); этот вес соответствует синаптической активности нейрона. С каждым нейроном связано определенное пороговое значение. Вычисляется взвешенная сумма входов, из нее вычитается пороговое значение и в результате получается величина активации нейрона (она также называется пост-синаптическим потенциалом нейрона - PSP). Сигнал активации преобразуется с помощью функции активации (или передаточной функции) и в результате получается выходной сигнал нейрона (рис. 1). Рис 1: Математическая модель нейрона N Математическая модель квантового нейрона | y Fˆ wˆ j | x j j 1 , где ŵ j - это , F̂ - оператор, который может матрицы 2 2 , действующие на основе осуществлять сеть квантовых ячеек. Например: Обучающий процесс квантового нейрона. F̂ = F̂ - оператор 0 ,1 N N | y Fˆ wˆ j | x j wˆ j | x j j 1 j 1 идентичности: . Квантовое обучающее правило обеспечено в аналогии с классическим wˆ (t 1) wˆ (t ) (| d | y (t ) ) x | j j случаем, как, следуя: j , где d желательный выход. Это обучающее правило приводит квантовый нейрон в желательное состояние d , используемое для обучения. Беря квадратную для модуля разницу реального и желательного выхода, мы видим, что: 2 2 N N | d | y (t 1) | d wˆ j (t 1) | x j | d ( wˆ j (t ) | x j | d | y (t ) x j | x j j 1 j 1 2 | y j ( t ) N 1 2 | d | y (t ) | d | y (t ) (1 n ) 2 | d | y (t ) (1 n ) 2 | 2 2 j 1 Целая сеть может быть скомпонована от примитивных элементов, используя стандартные правила архитектур ИНС [3]. 2.4 Построение Квантовой Нейронной Сети Этот вопрос решается в два этапа: выбор типа (архитектуры) КНС, подбор весов (обучение) КНС. На первом этапе следует выбрать следующее: какие нейроны мы хотим использовать (число входов, передаточные функции); каким образом следует соединить их между собой; что взять в качестве входов и выходов КНС. Эта задача на первый взгляд кажется необозримой, но, к счастью, нам необязательно придумывать КНС "с нуля" - существует несколько десятков различных нейросетевых архитектур, причем эффективность многих из них доказана математически. Наиболее популярные и изученные архитектуры - это многослойный перцептрон, нейронная сеть с общей регрессией, нейронные сети Кохонена и другие. На втором этапе нам следует "обучить" выбранную сеть, то есть подобрать такие значения ее весов, чтобы она работала нужным образом. Необученная КНС подобна ребенку - ее можно научить чему угодно. В используемых на практике нейронных сетях количество весов может составлять несколько десятков тысяч, поэтому обучение - действительно сложный процесс. Для многих архитектур разработаны специальные алгоритмы обучения, которые позволяют настроить веса КНС определенным образом. Наиболее популярный из этих алгоритмов - метод обратного распространения ошибки (Error Back Propagation), используемый, например, для обучения перцептрона. 2.5 Квантовые вычисления Квантовые вычисления дают возможность решать проблемы, не разрешимые на классических компьютерах. Например, алгоритм Шора дает на квантовом компьютере полиномиальное решение факторизации целого числа на два простых сомножителя, который считается не разрешимым на классическом компьютере. Кроме того, алгоритм Гровера дает значительное ускорение при поиске данных в неупорядоченной базе. До сих пор мы не видели качественного различия между использованием обычных битов и кубитов, но нечто странное происходит, если обучить атом светом, которого достаточно лишь для того, чтобы электрон проделал половину пути между уровнями возбуждения. Поскольку электроны не могут в действительности существовать в пространстве между этими уровнями, они существуют НА ОБОИХ уровнях одновременно. Это известно как “суперпозиция”. Эта суперпозиция позволяет теоретически вычислить одновременно несколько возможностей, так как группа кубитов может представлять одновременно несколько чисел. Для вычислений с использованием свойства суперпозиции можно создать набор кубитов, перевести их в состояния суперпозиции и затем осуществить над ними действие. Когда алгоритм будет завершен, суперпозиция может быть сколлапсирована, и будет получен определенный результат - т.е. все кубиты перейдут в состояния 0 или 1. Можем считать, что алгоритм как бы параллельно действует на все возможные комбинации определенных состояний кубитов (т.е. 0 или 1) - трюк, известный как квантовый параллелизм (табл. 3). Таблица 3: Главные понятие квантового вычисления N 1 2 3 4 5 6 Главное понятие квантового вычисления: Описание волновой функции из квантовой эволюции (развития) Суперпозиция классических состояний (последовательность) Запутанность Интерференция Измерение Унитарные преобразования Построение моделей квантовых нейронных систем (так же как и создание моделей квантовых вычислений) сталкивается с необходимостью выяснения того, какие вычисления могут быть охарактеризованы как подлинно квантовые и каковы источники эффективности этих вычислений. Важное место занимает и выяснение наиболее эффективных сфер применения квантовых вычислительных систем. Фундаментальный ресурс и базовое формирование квантовой информации - квантовый бит (кубит). С физической точки зрения, кубит представляет идеальное двойственное состояние квантовой системы. Примеры таких систем включают фотоны (вертикальная и горизонтальная поляризация), электроны, и системы, определенные двумя уровнями энергии атомов или ионов. С самого начала двойственное состояние системы играло центральную роль в изучениях квантовой механики. Это - наипростейшая квантовая система, и в принципе все другие квантовые системы могут моделироваться в пространстве состояний собраний кубитов. Состояние квантового бита задается вектором в двухмерном комплексном векторном пространстве. Здесь вектор имеет две компоненты, и его проекции на базисы векторного пространства являются комплексными числами. Квантовый бит представляется (в обозначениях Дирака в виде кет-вектора) как 0 1 или в векторном обозначении 1 T , 0 0 . Для целей (бра-вектор). Если 0 , то квантового вычисления, базисные состояния |0> и |1> кодируют классические разрядные значения 0 и 1 соответственно. Однако в отличие от классических битов, кубиты могут быть в суперпозиции |0> и |1>, как например 0 1 , где и - комплексные числа, для которых выполнено следующее условие: 1 . Если или принимают нулевые значения, то определяет классическое, чистое состояние. В противном случае говорят, что находится в состоянии суперпозиции двух классических базисных состояний. Геометрически квантовый бит находится в непрерывном состоянии между 0 и 1 , пока не производятся измерения его состояния. В случае, когда система состоит из двух квантовых битов, она описывается как тензорное произведение. Например, в обозначениях Дирака двухквантовая бит система задается, как 1 2 1 2 00 01 10 11 . Число возможных состояний комбинированной системы возрастает экспоненциально при добавлении квантового бита. Это приводит к проблеме оценки квантовой корреляции, которая присутствует между квантовыми битами в составной системе [17, 21]. Экспоненциальный рост в числе состояний вместе со способностью подвергнуть полное пространство к преобразованиям (или унитарная динамичная эволюция системы, или проект измерения в подпространстве собственного вектора) обеспечивает фонд для квантового вычисления. Так как унитарные преобразования являются обратимыми, квантовые вычисления (кроме измерений) все будут обратимы, ограничивая их унитарными квантовыми преобразованиями. Это означает, что каждые квантовые ячейки (на один или много кубитов) осуществляют обратимое вычисление. Таким образом, учитывая выходную ячейку, необходимо однозначно определить, каков был вход. К счастью, есть классическая теория обратимого вычисления, которое говорит нам, что каждый классический алгоритм может быть сделан обратимым с приемлемым верхним, таким образом, это ограничение на квантовое вычисление не излагает серьезную проблему. Это - кое-что, что должно быть учтено, предлагая спецификацию для квантовых ворот, как бы то ни было [1]. 2.6 Модели КНС В мире имеется несколько исследовательских институтов, ведущих работы над концепцией квантовой нейронной сети, например Технический Университет в Джорджии и Оксфордский университет. Большинство, однако, воздерживается от публикации своих работ. Вероятно, это связано с тем, что потенциально реализация квантовой нейронной сети значительно более проста, чем обычного квантового компьютера, и каждый институт желает выиграть квантовую гонку. Теоретически проще построить квантовую нейронную сеть, нежели квантовый компьютер, по одной причине. Эта причина - когерентность. Суперпозиция многих кубитов снижает сопротивляемость к шуму в квантовом компьютере, а шум может потенциально вызвать коллапс или декогеренцию суперпозиции, прежде чем будет проведено полезное вычисление. Однако так как квантовые нейронные сети не будут требовать очень длинных периодов или очень многих суперпозиций на нейрон, они будут менее подвержены действию шума, продолжая осуществлять вычисления, подобные тем, что проводятся обычной нейронной сетью, но во много раз быстрее (фактически бы реализовывать экспоненциально). Квантовые нейронные сети могли свое экспоненциальное преимущество в скорости, используя суперпозицию величин входов и выходов нейрона. Но другим преимуществом, которое могло бы быть получено, заключается в том, что, так как нейроны могут обрабатывать суперпозицию сигналов, то нейронная сеть могла бы в действительности иметь меньшее число нейронов в скрытом слое при обучении аппроксимации данной функции. Это бы позволило строить более простые сети с меньшим числом нейронов и, следовательно, улучшать стабильность и надежность их работы (т.е. для сети сократилось бы число возможностей потерять когерентность). Если все это принять во внимание, то не могла бы квантовая нейронная сеть быть вычислительно более мощной, чем обычная сеть? В настоящее время ответ кажется отрицательным, так как все квантовые модели используют конечное число кубитов для проведения своих вычислений, и это является ограничением [20]. 2.7 Квантовое состояние и его представление квантовый нейрон персептрон робототехника Квантовое состояние и оператор квантового вычисления оба важны для понимания параллельности и пластичности в информации обработки систем. В квантовом логическом кругообороте фундаментальные квантовые состояния - однобитовое вращение состояния Uθ, показанное на Рис.2, и двухбитовый управляемый NOT состояния, показанное на Рис. 3. Первые состояния вращают входное квантовое состояние к этому по θ. Последние состояния выполняют операцию XOR. Рис. 2. Однобитовое состояние вращения Рис. 3. Двухбитовое управления NOT состояния Выделяем следующую комплекс-оценку представления Ур. (3) ограничительно соответствующую кубическому состоянию в Ур. (1). f ( ) e i cos i sin (3) Уравнение (3) дает возможность выразить следующие операции: состояние вращения и двухбитовый управляемый NOT состояния. а) Операция состояния вращения Состояние вращения преобразовывает фазу в - фаза перемещения состояний, которая кубическое состояние. Поскольку кубическое состояние представлено Ур. (3), состояние понимается как следующее отношение: f ( 1 2) f ( 1) f ( 2) (4) ) Операция двухбитовый управляемый NOT Эта операция определяется входным параметром γ следующим образом: f( sin i cos y ) y 1, y 0 2 cos i sin (5) где γ=1 соответствует вращению аннулирования, и γ=0 - невращение. В случае γ=0, фаза вероятности амплитуды квантового состояния |1> полностью изменена. Однако наблюдаемая вероятность является инвариантной так, чтобы мы расценили этот случай как невращение [21]. 3. Обучение КНС Квантовые нейронные сети эффективны при выполнении сложных функций в ряде многих областей. Они включают распознавание образов, классификацию, видение, системы управления, и предсказание. Способность к обучению - адаптации к условиям и возможностям в изменяющейся внешней среде - столь важная особенность нейронных сетей, что теперь присоединена в качестве отдельного пункта к так называемому «тесту Тьюринга», являющемуся операционным определением понятия интеллект. Эмпирический тест, идея которого была предложена Аланом Тьюрингом <http://ru.wikipedia.org/wiki/%D0%A2%D1%8C%D1%8E%D1%80%D0%B8%D0 %BD%D0%B3,_%D0%90%D0%BB%D0%B0%D0%BD_%D0%9C%D0%B0%D1 %82%D0%B8%D1%81%D0%BE%D0%BD> в статье «Вычислительные машины и разум» (англ. <http://ru.wikipedia.org/wiki/%D0%90%D0%BD%D0%B3%D0%BB%D0%B8%D0 %B9%D1%81%D0%BA%D0%B8%D0%B9_%D1%8F%D0%B7%D1%8B%D0%B A> Computing Machinery and Intelligence), опубликованной в 1950 году в философском журнале «Mind». Целью данного теста является определение возможности искусственного мышления близкого к человеческому. Стандартная интерпретация этого теста звучит следующим образом: «Человек взаимодействует с одним компьютером и одним человеком. На основании ответов на вопросы он должен определить, с кем он разговаривает: с человеком или компьютерной программой. Задача компьютерной программы ввести человека в заблуждение, заставив сделать неверный выбор». Все участники теста не видят друг друга [17]. Вообще, обучение - относительно постоянное изменение в поведении, вызванное опыт. Обучение в КНС - более прямой процесс, и может захватить обучение каждого шага в отличных отношениях эффективности причины. Знание нейронной сети, сохраненные в синапсах, являются весами связей между нейронами. Эти веса между двумя слоями нейрона могут быть представлены как матрицы. Если в нейронной сети с надлежащим алгоритмом обучения определен анализ и предварительная обработка данных, то можно произвести разумное предсказание. Определение процесса обучения подразумевает следующую последовательность событий: Нейронная сеть стимулируется окружающей средой. Нейронная сеть претерпевает изменения в своих свободных параметрах в результате возбуждение. Сеть отвечает новым способом к окружающей среде из-за изменений, произошедших в ее внутренней структуре. Есть многочисленные доступные алгоритмы и можно было бы ожидать, что есть некий уникальный алгоритм для того, чтобы проектировать модель КНС. Различие между алгоритмами состоят в формулировке, способной изменить веса нейронов, и в отношении нейронов к их окружающей среде. Все методы обучения могут быть классифицированы в две главных категории: контролируемые и неконтролируемые [3]. В Таблице 4 представлены различные алгоритмы обучения и связанные с ними архитектуры сетей (список не является исчерпывающим). В последней колонке перечислены задачи, для которых может быть применен каждый алгоритм. Каждый алгоритм обучения ориентирован на сеть определенной архитектуры и предназначен для ограниченного класса задач. Кроме рассмотренных, следует упомянуть некоторые другие алгоритмы: Adaline и Madaline, линейный дискриминантный анализ, проекции Саммона, анализ главных компонентов. Таблица 4: Известные алгоритмы обучения: Парадигма С учителем Обучающее правило Коррекция ошибки Архитектура Алгоритм обучения Задача Однослойный и многослойный перцептрон Алгоритмы обучения перцептрона Обратное распространение Adaline и Madaline Больцман Рекуррентная Хебб Многослойная прямого распространения Соревнование Алгоритм обучения Больцмана Линейный дискриминантный анализ Векторное квантование обучения перцептрона Обратное распространение Adaline и MadalineКлассификация образов Аппроксимация функций Предскащание, управление Классификация образов Соревнование Анализ данных Классификация образов Категоризация внутри класса Сжатие данных Без учителя Коррекция ошибки Хебб Соревнование Сеть ART Многослойная прямого распространения Прямого распространения или соревнование Сеть Хопфилда Соревнование SOM Кохонена Смешанная Коррекция ошибки и соревнование Сети ART Сеть RBF ARTMap Проекция Саммона Классификация образов Категоризация внутри класса Анализ данных Анализ главных компонентов Анализ данных Сжатие данных Обучение ассоциативной памяти Векторное квантование SOM Кохонена Ассоциативная память ART1, ART2 Алгоритм обучения RBF Категоризация Сжатие данных Категоризация Анализ данных Категоризация Классификация образов Аппроксимация функций Предсказание, управление Обучить сеть - значит, сообщить ей, чего мы от нее добиваемся. Этот процесс очень похож на обучение ребенка алфавиту. Показав ребенку изображение буквы "А", мы спрашиваем его: "Какая это буква?" Если ответ неверен, мы сообщаем ребенку тот ответ, который мы хотели бы от него получить: "Это буква А". Ребенок запоминает этот пример вместе с верным ответом, то есть в его памяти происходят некоторые изменения в нужном направлении. Мы будем повторять процесс предъявления букв снова и снова до тех пор, когда все 33 буквы будут твердо запомнены. Такой процесс называют "обучение с учителем" (рис. 4.). Рис. 4. Процесс "обучение с учителем". При обучении сети мы действуем совершенно аналогично. У нас имеется некоторая база данных, содержащая примеры (набор рукописных изображений букв). Предъявляя изображение буквы "А" на вход КНС, мы получаем от нее некоторый ответ, не обязательно верный. Нам известен и верный (желаемый) ответ - в данном случае нам хотелось бы, чтобы на выходе КНС с меткой "А" уровень сигнала был максимален. Обычно в качестве желаемого выхода в задаче классификации берут набор (1, 0, 0, ...), где 1 стоит на выходе с меткой "А", а 0 - на всех остальных выходах. Вычисляя разность между желаемым ответом и реальным ответом сети, мы получаем 33 числа - вектор ошибки. Алгоритм обратного распространения ошибки - это набор формул, который позволяет по вектору ошибки вычислить требуемые поправки для весов нейронной сети. Одну и ту же букву (а также различные изображения одной и той же буквы) мы можем предъявлять нейронной сети много раз. В этом смысле обучение скорее напоминает повторение упражнений в спорте - тренировку. После многократного предъявления примеров веса КНС стабилизируются, причем КНС дает правильные ответы на все (или почти все) примеры из базы данных. В таком случае говорят, что " сеть выучила все примеры", "нейронная сеть обучена", или " сеть натренирована". В программных реализациях можно видеть, что в процессе обучения величина ошибки (сумма квадратов ошибок по всем выходам) постепенно уменьшается. Когда величина ошибки достигает нуля или приемлемого малого уровня, тренировку останавливают, а полученную сеть считают натренированной и готовой к применению на новых данных. Обучение сети разбивается на следующие этапы: 1 Инициализация сети: весовым коэффициентам и смещениям сети присваиваются малые случайные значения из диапазонов и соответственно. 2 Определение элемента обучающей выборки: (<текущий вход>, <желаемый выход>). Текущие входы (x0, x1... xN-1), должны различаться для всех элементов обучающей выборки. При использовании многослойного персептрона в качестве классификатора желаемый выходной сигнал (d0, d1... dN-1) состоит из нулей за исключением одного единичного элемента, соответствующего классу, к которому принадлежит текущий входной сигнал. 3 Вычисление текущего выходного сигнала: текущий выходной сигнал определяется в соответствии с традиционной схемой функционирования многослойной нейронной сети. 4 Настройка коэффициентов синаптических используется весов: рекурсивный для настройки алгоритм, который весовых сначала применяется к выходным нейронам сети, а затем проходит сеть в обратном направлении до первого соответствии с формулой: , слоя. Синаптические веса настраиваются в где wij - вес от нейрона i или от элемента входного сигнала i к нейрону j в момент времени t, xi' - выход нейрона i или i-ый элемент входного сигнала, r шаг обучения, gj - значение ошибки для нейрона j. Если нейрон с номером j принадлежит последнему слою, то , где dj - желаемый выход нейрона j, yj - текущий выход нейрона j. Если нейрон с номером j принадлежит одному из слоев с первого по предпоследний, то , где k пробегает все нейроны слоя с номером на единицу больше, чем у того, которому принадлежит нейрон j. Внешние смещения нейронов b настраиваются аналогичным образом [3]. Рассмотренная модель может быть использована для распознавания образов, классификации, прогнозирования. Были попытки построения экспертных систем на основе многослойных персептронов с обучением по методу обратного распространения. Важно отметить, что вся информация, которую КНС имеет о задаче, содержится в наборе примеров. Поэтому качество обучения КНС напрямую зависит от количества примеров в обучающей выборке, а также от того, насколько полно эти примеры описывают данную задачу. Еще раз, обучение нейронных сетей - сложный и наукоемкий процесс. Алгоритмы обучения КНС имеют различные параметры и настройки, для управления которыми требуется понимание их влияния. 3.1 Применение Квантовых Нейронных сетей. Смысл алгоритма обучения с учителем Класс задач, которые можно решить с помощью КНС, определяется тем, как сеть работает и тем, как она обучается. При работе КНС принимает значения входных переменных и выдает значения выходных переменных. Таким образом, сеть можно применять в ситуации, когда у Вас имеется определенная известная информация, и Вы хотите из нее получить некоторую пока не известную информацию (Patterson, 1996; Fausett, 1994). Вот некоторые примеры таких задач: Распознавание образов и классификация В качестве образов могут выступать различные по своей природе объекты: символы текста, изображения, образцы звуков и т. д. При обучении сети предлагаются различные образцы образов с указанием того, к какому классу они относятся. Образец, как правило, представляется как вектор значений признаков. При этом совокупность всех признаков должна однозначно определять класс, к которому относится образец. В случае если признаков недостаточно, сеть может соотнести один и тот же образец с несколькими классами, что неверно. По окончании обучения сети ей можно предъявлять неизвестные ранее образы и получать ответ о принадлежности к определённому классу. Принятие решений и управление Эта задача близка к задаче классификации. Классификации подлежат ситуации, характеристики которых поступают на вход КНС. На выходе сети при этом должен появиться признак решения, которое она приняла. При этом в качестве входных сигналов используются различные критерии описания состояния управляемой системы. Кластеризация Под кластеризацией понимается разбиение множества входных сигналов на классы, при том, что ни количество, ни признаки классов заранее не известны. После обучения такая сеть способна определять, к какому классу относится входной сигнал. Прогнозирование После обучения сеть способна предсказать будущее значение некой последовательности на основе нескольких предыдущих значений и/или каких-то существующих в настоящий момент факторов. Следует отметить, что прогнозирование возможно только тогда, когда предыдущие изменения действительно в какой-то степени предопределяют будущие. Аппроксимация Доказана обобщённая аппроксимационная теорема: с помощью линейных операций и каскадного соединения можно из произвольного нелинейного элемента получить устройство, вычисляющее любую непрерывную функцию с некоторой наперёд заданной точностью. Сжатие данных и Ассоциативная память Способность нейросетей к выявлению взаимосвязей между различными параметрами дает возможность выразить данные большой размерности более компактно, если данные тесно взаимосвязаны друг с другом. Обратный процесс - восстановление исходного набора данных из части информации - называется авто-ассоциативной восстанавливать памятью. исходный Ассоциативная сигнал/образ из память позволяет также зашумленных/поврежденных входных данных. Решение задачи гетероассоциативной памяти позволяет реализовать память, адресуемую по содержимому. Этапы решения задач: сбор данных для обучения; подготовка и нормализация данных; выбор топологии сети; экспериментальный подбор характеристик сети; собственно обучение; проверка адекватности обучения; корректировка параметров, окончательное обучение; вербализация сети с целью дальнейшего использования. Итак, перейдем ко второму важному условию применения Квантовых Нейронных сетей: мы должны знать, что между известными входными значениями и неизвестными выходами имеется связь. Эта связь может быть искажена шумом. Как правило, КНС используется тогда, когда неизвестен точный вид связей между входами и выходами, - если бы он был известен, то связь можно было бы моделировать непосредственно. Другая существенная особенность КНС состоит в том, что зависимость между входом и выходом находится в процессе обучения сети. Для обучения КНС применяются алгоритмы двух типов (разные типы сетей используют разные типы обучения): управляемое ("обучение с учителем") и не управляемое ("без учителя"). Чаще всего применяется обучение с учителем. Для управляемого обучения сети пользователь должен подготовить набор обучающих данных. Эти данные представляют собой примеры входных данных и соответствующих им выходов. Сеть учится устанавливать связь между первыми и вторыми. Обычно обучающие данные берутся из исторических сведений. Также это могут быть значения цен акций и индекса FTSE, сведения о прошлых заемщиках - их анкетные данные и то, успешно ли они выполнили свои обязательства, примеры положений робота и его правильной реакции. Затем КНС обучается с помощью того или иного алгоритма управляемого обучения (наиболее известным из них является метод обратного распространения, предложенный в работе Rumelhart et al., 1986), при котором имеющиеся данные используются для корректировки весов и пороговых значений сети таким образом, чтобы минимизировать ошибку прогноза на обучающем множестве. Если сеть обучена хорошо, она приобретает способность моделировать (неизвестную) функцию, связывающую значения входных и выходных переменных, и впоследствии такую сеть можно использовать для прогнозирования в ситуации, когда выходные значения неизвестны. 3.2 Однослойный и многослойный персептроны .2.1 Однослойный персептрон. Обучение Исторически первой искусственной нейронной сетью, способной к перцепции (восприятию) и формированию реакции на воспринятый стимул, явился Perceptron Розенблатта (F.Rosenblatt, 1957). Термин " Perceptron" происходит от латинского perceptio, что означает восприятие, познавание. Русским аналогом этого термина является "Персептрон". Его автором персептрон рассматривался не как конкретное техническое вычислительное устройство, а как модель работы мозга. Современные работы по искусственным нейронным сетям редко преследуют такую цель. Простейший классический персептрон содержит элементы трех типов (рис. 5.). Рис. 5. Элементарный персептрон Розенблатта Однослойный персептрон характеризуется матрицей синаптических связей ||W|| от S- к A-элементам. Элемент матрицы отвечает связи, ведущей от i-го S-элемента (строки) к j-му A-элементу (столбцы). Эта матрица очень напоминает матрицы абсолютных частот и информативностей, формируемые в семантической информационной модели, основанной на системной теории информации. С точки зрения современной нейроинформатики однослойный персептрон представляет в основном чисто исторический интерес, вместе с тем на его примере могут быть изучены основные понятия и простые алгоритмы обучения нейронных сетей. Обучение классической нейронной сети состоит в подстройке весовых коэффициентов каждого нейрона. Ф. Розенблаттом предложен итерационный алгоритм обучения из 4-х шагов, который состоит в подстройке матрицы весов, последовательно уменьшающей ошибку в выходных векторах: Шаг 1: Начальные значения весов всех нейронов полагаются случайными. Шаг 2: Сети предъявляется входной образ x, в результате формируется выходной образ. Шаг 3: Вычисляется вектор ошибки, делаемой сетью на выходе. Вектора весовых коэффициентов корректируются таким образом, что величина корректировки пропорциональна ошибке на выходе и равна нулю, если ошибка равна нулю: модифицируются только компоненты матрицы весов, отвечающие ненулевым значениям входов; знак приращения веса соответствует знаку ошибки, т.е. положительная ошибка (значение выхода меньше требуемого) проводит к усилению связи; обучение каждого нейрона происходит независимо от обучения остальных нейронов, что соответствует важному с биологической точки зрения, принципу локальности обучения. Шаг 4: Шаги 1-3 повторяются для всех обучающих векторов. Один цикл последовательного предъявления всей выборки называется эпохой. Обучение завершается по истечении нескольких эпох, если выполняется, по крайней мере, одно из условий: когда итерации сойдутся, т.е. вектор весов перестает изменяться; когда полная просуммированная по всем векторам абсолютная ошибка станет меньше некоторого малого значения [10]. 3.2.2 Многослойный персептрон. Обучение многослойного персептрона Вероятно, эта архитектура сети используется сейчас наиболее часто. Она была предложена в работе Rumelhart, McClelland (1986) и подробно обсуждается почти во всех учебниках по нейронным сетям (см., например, Bishop, 1995). Каждый элемент сети строит взвешенную сумму своих входов с поправкой в виде слагаемого и затем пропускает эту величину активации через передаточную функцию, и таким образом получается выходное значение этого элемента. Элементы организованы в послойную топологию с прямой передачей сигнала. Такую сеть легко можно интерпретировать как модель вход-выход, в которой веса и пороговые значения (смещения) являются свободными параметрами модели. Такая сеть может моделировать функцию практически любой степени сложности, причем число слоев и число элементов в каждом слое определяют сложность функции. Определение числа промежуточных слоев и числа элементов в них является важным вопросом при конструировании многослойного персептрона (Haykin, 1994; Bishop, 1995). Количество входных и выходных элементов определяется условиями задачи. Сомнения могут возникнуть в отношении того, какие входные значения использовать, а какие нет. Будем предполагать, что входные переменные выбраны интуитивно и что все они являются значимыми. Вопрос же о том, сколько использовать промежуточных слоев и элементов в них, пока совершенно неясен. В качестве начального приближения можно взять один промежуточный слой, а число элементов в нем положить равным полусумме числа входных и выходных элементов. Опять-таки, позже мы обсудим этот вопрос подробнее. Многослойный персептрон - это обучаемая распознающая система, реализующая корректируемое в процессе обучения линейное решающее правило в пространстве вторичных признаков, которые обычно являются фиксированными случайно выбранными линейными пороговыми функциями от первичных признаков. При обучении на вход персептрона поочередно подаются сигналы из обучающей выборки, а также указания о классе, к которому следует отнести данный сигнал. Обучение персептрона заключается в коррекции весов при каждой ошибке распознавания, т. е. при каждом случае несовпадения решения, выдаваемого персептроном, и истинного класса. Если персептрон ошибочно отнес сигнал, к некоторому классу, то веса функции, истинного класса увеличиваются, а ошибочного уменьшаются. В случае правильного решения все веса остаются неизменными (рис. 6.). Рис. 6. Двухслойный персептрон Пример: Рассмотрим персептрон, т.е. систему с n входными каналами и выходным каналом y. Выход классического персептрона - это n y f wj x j j 1 , where f является функцией активации персептрона и j - это веса настройки во время обучающего процесса. Алгоритм обучения персептрона работает следующим образом. w . . Веса wj инициализируются небольшими количествами. Образцовый вектор x1 , , xn представляет персептрон и выход y, n y f wj x j j 1 полученный в соответствии с правилом wj . Веса обновляются в соответствии с правилом wj t 1 w j t d y x j , где t является дискретным временем, а d желательный выход, произведенный для обучения, и 0 1 является шагом. Замечание. Вряд ли будет можно построить точный аналог нелинейной функции активации F, как и сигмовидной и другие функции общего пользования в нейронных сетях, wj t 1 wj t d y x j возможно для квантового случая [10]. 3.3 Алгоритм обратного распространения «Back Propagation» В середине 1980-х несколькими исследователями независимо друг от друга был предложен эффективный алгоритм обучения многослойных персептронов, основанный на вычислении градиента функции ошибки. Алгоритм был назван "обратным распространением ошибки". Алгоритм обратного распространения - это итеративный градиентный алгоритм обучения, который используется с целью минимизации среднеквадратичного отклонения текущего выхода и желаемого выхода многослойных нейронных сетей. В нейропарадигме "back propagation" сигмоидальные передаточные функции, например чаще всего используются Сигмоидальные функции являются монотонно возрастающими и имеют отличные от нуля производные на всей области определения. Эти характеристики обеспечивают правильное функционирование и обучение сети. Функционирование многослойной сети выполняется в соответствии с формулами: где s - выход сумматора, w - вес связи, y - выход нейрона, b - смещение, i номер нейрона, N - число нейронов в слое, m - номер слоя, L - число слоев, fфункция активации. Метод обратного распространения - способ быстрого расчета градиента функции ошибки. Расчет производится от выходного слоя к входному по рекуррентным формулам и не требует пересчета выходных значений нейронов. Обратное распространение ошибки позволяет во много раз сократить вычислительные затраты на расчет градиента по сравнению с расчетом по определению градиента. Зная градиент, можно применить множество методов теории оптимизации, использующих первую производную. В алгоритме обратного распространения вычисляется вектор градиента поверхности ошибок. Этот вектор указывает направление кратчайшего спуска по поверхности из данной точки, поэтому если мы "немного" продвинемся по нему, ошибка уменьшится. Последовательность таких шагов (замедляющаяся по мере приближения к дну) в конце концов приведет к минимуму того или иного типа. Определенную трудность здесь представляет вопрос о том, какую нужно брать длину шагов [3]. Конечно, при таком обучении нейронной сети нет уверенности, что она обучилась наилучшим образом, поскольку всегда существует возможность попадания алгоритма в локальный минимум (рис. 7.). Для этого используются специальные приемы, позволяющие «выбить» найденное решение из локального экстремума. Если после нескольких таких действий нейронная сеть сходится к тому же решению, то можно сделать вывод о том, что найденное решение, скорее всего, оптимально. Рис. 7. Метод градиентного спуска при минимизации ошибки сети 3.4 Генетический алгоритм. Классическая задача комивояжа Генетический алгоритм (ГА) способен осуществлять оптимальную настройку КНС при размерности поискового пространства достаточной для решения большинства практических задач. При этом спектр рассматриваемых приложений гораздо превосходит возможности алгоритма обратного распространения ошибки. Обработка информации основных механизма отбора генетическим алгоритмом использует два полезных признаков, заимствованных из современных представлений о естественном отборе: мутации в отдельной цепочке и скрещивание (кроссинговер) между двумя цепочками. Рассмотрим эти механизмы подробнее (табл. 5). Таблица 5: Мутации и скрещивание 001110101100001001 000110100001101001 0011101 .......01100001001 .......00001101001 0001101 0011101 .......00001101001 .......01100001001 0001101 001110100001101001 000110101100001001 а) Исходные генетические цепочки б) Случайное образование области для последующего скрещивания в) Обмен фрагментами кода г) Цепочки после скрещивания На рисунке представлены последовательные этапы обмена информацией между двумя цепочками при скрещивании. Полученные новые цепочки (или одна из них) могут быть в дальнейшем включены в популяцию, если задаваемый ими набор признаков дает лучшее значение целевой функции. В противном случае они будут отсеяны, а в популяции останутся их предки. Мутация в генетической цепочке носит точечный характер: в некоторой случайной точке цепочки один из кодов заменяется другим (ноль - единицей, а единица - нулем). С точки зрения искусственных систем обработки информации генетический поиск представляет собой специфический метод нахождения решения задачи оптимизации. При этом такой итерационный поиск является адаптирующимся к особенностям целевой функции: рождающиеся в процессе скрещивания цепочки тестируют все более широкие области пространства признаков и преимущественно располагаются в области оптимума. Относительно редкие мутации препятствуют вырождению генофонда, что равносильно редкому, но не прекращающемуся поиску оптимума во всех остальных областях признакового пространства. В последние десять лет разработано множество способов контролируемого обучения КНС с помощью ГА. Полученные результаты доказывают большие возможности такого симбиоза. Совместное использование КНС и ГА алгоритмов имеет и идеологическое преимущество потому, что они относятся к методам эволюционного моделирования и развиваются в рамках одной парадигмы заимствования техникой природных методов и механизмов как наиболее оптимальных. Чтобы смоделировать эволюционный процесс, сгенерируем вначале случайную популяцию - несколько индивидуумов со случайным набором хромосом (числовых векторов). Генетический алгоритм имитирует эволюцию этой популяции как циклический процесс скрещивания индивидуумов и смены поколений (рис. 8.). Рис. 8. Алгоритм вычислений Рассмотрим достоинства и недостатки стандартных и генетических методов на примере классической задачи коммивояжера (TSP - travelling salesman problem). Суть задачи состоит в том, чтобы найти кратчайший замкнутый путь обхода нескольких городов, заданных своими координатами. Оказывается, что уже для 30 городов поиск оптимального пути представляет собой сложную задачу, побудившую развитие различных новых методов (в том числе нейросетей и генетических алгоритмов). Каждый вариант решения (для 30 городов) - это числовая строка, где на j-ом месте стоит номер j-ого по порядку обхода города. Таким образом, в этой задаче 30 параметров, причем не все комбинации значений допустимы. Естественно, первой идеей является полный перебор всех вариантов обхода. Переборный метод наиболее прост по своей сути и тривиален в программировании. Для поиска оптимального решения (точки максимума целевой функции) требуется последовательно вычислить значения целевой функции во всех возможных точках, запоминая максимальное из них. Недостатком этого метода является большая вычислительная стоимость. В частности, в задаче коммивояжера потребуется просчитать длины более 1030 вариантов путей, что совершенно нереально. Однако, если перебор всех вариантов за разумное время возможен, то можно быть абсолютно уверенным в том, что найденное решение действительно оптимально (рис. 9.). Рис. 9. Поиск оптимального решения Генетический алгоритм представляет собой именно такой комбинированный метод. Механизмы скрещивания и мутации в каком-то смысле реализуют переборную часть метода, а отбор лучших решений градиентный спуск. На рисунке показано (рис.), что такая комбинация позволяет обеспечить устойчиво хорошую эффективность генетического поиска для любых типов задач (рис. 10.). Рис. 10. Метод градиентный спуск Итак, если на некотором множестве задана сложная функция от нескольких переменных, то генетический алгоритм - это программа, которая за разумное время находит точку, где значение функции достаточно близко к максимально возможному. Выбирая приемлемое время расчета, мы получим одно из лучших решений, которые вообще возможно получить за это время. Положительные качества генетических алгоритмов 1. Нахождение глобального минимума: неподверженность "застреванию" в локальных минимумах целевой функции. . Массовый параллелизм при обработке: особи в популяции функционируют независимо: расчет значений целевой функции, гибель, мутации осуществляются независимо для каждой особи. При наличии нескольких процессорных элементов быстродействие может быть очень высоким. . Биоподобность: генетические алгоритмы построены на тех же принципах, которые привели к возникновению человека и всего многообразия видов, и, следовательно, могут быть очень продуктивны и полезны [23]. 4. Автоматическое управление объектами Управление каким-либо объектом - это процесс воздействия на него с целью обеспечения требуемого течения процессов в объекте или требуемого изменения состояния. Основой управления является получения и обработка информации о состоянии объекта и внешних условиях его работы для определения воздействий, которые необходимо приложить к объекту, чтобы обеспечить достижение цели управления. Управление, осуществляемое автоматическим управлением. осуществляется управление, без участия Устройство, называется человека, с называется помощью управляющим которого устройством. Совокупность объекта управления и управляющего устройства образует систему автоматического управления (САУ) (рис. 11.). Рис. 11. Блок-схема системы автоматического управления Состояние объекта характеризуется выходной величиной Х. От управляющего устройства на вход объекта поступает управляющее воздействие U. Помимо управляющего воздействия, к объекту приложено возмущающее воздействие (возмущение, помеха) F, которое изменяет состояние объекта, т.е. X, препятствуя управлению. На вход управляющего устройства подается задающее воздействие (задание) G, содержащее информацию о требуемом значении X, т.е. о цели управления. В самом общем случае на вход объекта поступает также информация о текущем состоянии объекта в виде выходной величины Х и о действующем на объект возмущении F. Переменные U, G, F и X в общем случае являются векторами. Как и у всякой динамической системы, процессы в САУ делят на установившиеся и переходные. При рассмотрении САУ имеет значение следующие понятия: устойчивость системы, качество процесса управления и точность управления [21]. Устойчивость - это свойство системы возвращаться в установившееся состояние после того, как она была выведена из этого состояния каким-либо возмущением. Качество процесса управления характеризуется тем, насколько процесс управления близок к желаемому. Количественно они выражаются критериями качества: Время переходного процесса - интервал времени от начала переходного процесса до момента, когда отклонение выходной величины от её нового установившегося значения становится меньше определенной величины обычно 5%. Максимальное отклонение в переходной период (перерегулирование) отклонение определяется от нового установившегося значения и выражается в процентах. Колебательность переходного процесса - определяется числом колебаний, равных числу минимумов кривой переходного процесса за время переходного процесса. Часто колебательность выражают в процентах как отношение соседних максимумов кривой переходного процесса. Точность установившихся управления режимах действительным) - статизм. характеризуется (расхождение погрешностью между желаемым системы в сигналом и 4.1 Объект управления Исходные данные: объект управления представляет автомобиль. Параметр, которым необходимо управлять - это его скорость. Скорость автомобиля можно регулировать с помощью другого параметра. Это может быть: сила нажатия на педаль акселератора и т.п. На скорость автомобиля может влиять множество внешних факторов: уклон под которым движется автомобиль, качество сцепления с дорогой, ветер. Информация о скорости автомобиля поступает с датчика скорости. Динамика объекта управления описывается следующей системой дифференциальных уравнений: Объект управления Исходные данные: объект управления представляет автомобиль. Параметр, которым необходимо управлять - это его скорость. Скорость автомобиля можно регулировать с помощью другого параметра. Это может быть: сила нажатия на педаль акселератора и т.п. На скорость автомобиля может влиять множество внешних факторов: уклон под которым движется автомобиль, качество сцепления с дорогой, ветер. Информация о скорости автомобиля поступает с датчика скорости. Динамика объекта управления описывается следующей системой дифференциальных уравнений: Параметры T1, T2, K1, K2 определены экспериментально и имеют следующие значения соответственно: K1=5, K2=7.156, T1=1.735, T2=16.85. Требуется построить такой регулятор в классе нейросетевых структур, который обеспечивал бы управление объектом при соблюдении следующих требований синтезируемой системе автоматического управления: Физическая реализуемость регулятора. Устойчивость работы. Минимальная сложность. Построение нейроконтроллера ИНС настроечных можно обучить параметров на (рис. некотором 12.). множестве Используется путем метод подбора обратного распространения ошибки, основанный на градиентном методе, с константой скорости сходимости h. Для обеспечения сходимости изменяем h с 1 до 0.00001 при количестве итераций в 1000000. Размер обучающего множества выбран 400 обучающих пар. Количество нейронов скрытого слоя 50. Рис. 12. Блок-схема САУ с нейроконтроллером Для сравнения снята переходная характеристика САУ с ПИД-регулятором, где k1=0.2, k2=0.007, k3=0.2. На САУ с нейрорегулятором и ПИД-регулятором подается задающее воздействие G=10, 20, 30 ... 110. На интервале 50-100с. на систему действует помеха. Результаты работы САУ на рис. 13. Рис. 13. Сравнение нейрорегулятора и ПИД-регулятора Сравнение показывает: ПИД-регулятор проигрывает нейрорегулятору как в быстродействии на старте, при входе в зону помехи и при выходе [21]. 4.2 Робототехника как направление Искусственного Интеллекта Вся интеллектуальная деятельность человека направлена в конечном счете на активное взаимодействие с внешним миром посредством движений. Точно так же элементы интеллекта робота служат, прежде всего, для организации его целенаправленных движений. В то же время основное назначение чисто компьютерных систем Искусственного Интеллекта (ИИ) состоит в решении интеллектуальных задач, носящих абстрактный или вспомогательный характер и обычно не связанных ни с восприятием окружающей среды с помощью искусственных органов чувств, ни с организацией движений исполнительных механизмов [18]. В рамках первого подхода изучаются, прежде всего, структура и механизмы работы мозга человека, а конечная цель заключается в раскрытии тайн мышления. Необходимыми этапами исследований в этом направлении являются построение моделей на основе психофизиологических данных, проведение экспериментов с ними, выдвижение новых гипотез о механизмах интеллектуальной деятельности, совершенствование моделей и т. д. Второй подход в качестве объекта исследования рассматривает ИИ. Здесь речь идет о моделировании интеллектуальной деятельности с помощью вычислительных машин. А цель работ - создание алгоритмического и программного обеспечения вычислительных машин, позволяющих решать интеллектуальные задачи не хуже человека. Наконец, третий подход ориентирован на создание смешанных человеко-машинных (интерактивных) интеллектуальных систем, на симбиоз возможностей естественного и искусственного интеллекта. Важнейшими проблемами в этих исследованиях являются оптимальное распределение функций между естественным и искусственным интеллектом и организация диалога между человеком и машиной [19]. Попытки ученых всего мира по созданию роботов встретились, по крайней мере, с двумя серьезными проблемами, которые не позволили сколько-нибудь заметно продвинуться в этом направлении: это распознавание образов и здравый смысл. Роботы видят гораздо лучше нас, но не понимают увиденного. Роботы слышат гораздо лучше нас, но не понимают услышанного. 4.2.1 Общая блок-схема робота Схема с указанием важнейших узлов будущего робота (система управления, датчики, сигнализаторы), и их связей друг с другом. По данной схеме легко ориентироваться в том, что еще необходимо для робота, что предстоит сделать или достать (рис. 14.). Рис. 14. Общая блок-схема робота 4.2.2 Концептуальная модель Схема робота, выполненная на двух уровнях детализации. Отображает основные функциональные компоненты системы и связи между ними. Очень полезно для упорядочивания мыслей (рис. 15-22.). Рис. 15. Концептуальная модель. Самодвижущаяся тележка Рис. 16. Схема поведения Рис. 17. Окружение робота Рис. 18. Пульт управления Рис. 19. Система датчиков Рис. 20. Система управления Рис. 21. Двигательная система Рис. 22. Система оповещения 4.2 Эффективное управление квантовым спиновым регистром. Криптография и квантовая телепортация Впервые идея о квантовых вычислениях была высказана советским математиком Ю.И. Маниным в 1980 году и стала активно обсуждаться после опубликования в 1982 году статьи Роберта Фейнмана. Действительно, состояния 0 и 1, которые представлены в современных ЭВМ как уровни напряжения неких электрических схем (триггеров), можно интерпретировать и как состояния элементарных частиц, если, к примеру, воспользоваться такой характеристикой, как спин. Согласно принципу Паули, каждая частица может обладать спином величиной +1/2 или -1/2 - чем не логические «единица» и «ноль»? А квантовая природа таких частиц-триггеров, названных «квантовыми битами» или «кубитами» (Qbit), придает возможностям построенных на этой основе компьютеров поистине уникальные свойства. Разработка устройств квантовой обработки информации представляет собой новую и бурно развивающуюся область нанотехнологий. На пути ее развития имеются проблемы, которые условно можно разделить на физико-технологические, математические и информационно-вычислительные. К последним относится вопрос: каким образом можно управлять квантовым компьютингом с максимальной эффективностью. Для работы квантового вычислительного устройства необходимы так называемые запутанные состояния, которые важны также для квантовой телепортации и криптографии, поэтому изучение запутанности является одной из основных целей квантовой информатики. В общем случае безопасная обработка информации в квантовом регистре должна основываться на управлении кубитами (квантовыми битами), составляющими его начинку. Предположим, что имеется один кубит. В таком случае после измерения, в так называемой классической форме, результат будет 0 или 1. В действительности кубит-квантовый объект и поэтому, вследствие принципа неопределённости, в результате измерения может быть и 0, и 1 с определенной вероятностью. Если кубит равен 0 (или 1) со стопроцентной вероятностью, его состояние обозначается с помощью символа (или ) - в обозначениях Дирака и это базовые состояния. В общем случае квантовое состояние кубита находится "между" базовыми и записывается, в виде , где |a|І и |b|І -вероятности измерить 0 или 1 соответственно; ; |a|І + |b|І = 1. Более того, сразу после измерения кубит переходит в базовое квантовое состояние, аналогичное классическому результату. Есть такое понятие, как квантовая телепортация. Суть квантовой телепортации заключается в передачи состояния объекта на расстояние, сам объект при этом не перемещается. Получается, что та телепортация, о которой столько писали фантасты, пока остается не более чем фантастикой. Квантовая же телепортация была описана еще Эйнштейном. Правда, сам ученый в нее не верил, хотя она не противоречила никаким законам физики. По мнению великого ученого, квантовый эффект, экспериментального подтверждения которого добились наши современники, должен был привести к полному абсурду. Однако приведет он, как нам теперь говорят, к созданию совершенно нового поколения компьютеров. Алгоритм телепортации реализует точный перенос состояния одного кубита (или системы) на другой. В простейшей схеме используются 4 кубита: источник, приёмник и два вспомогательных. Отметим, что в результате работы алгоритма первоначальное состояние источника разрушится - это пример действия общего принципа невозможности клонирования - невозможно создать точную копию квантового состояния, не разрушив оригинал. На самом деле, довольно легко создать одинаковые состояния на кубитах. К примеру, измерив 3 кубита, мы переведем каждый из них в базовые состояния (0 или 1) и хотя бы на двух из них они совпадут. Не получится скопировать произвольное состояние, и телепортация - замена этой операции. Телепортация позволяет передавать квантовое состояние системы с помощью обычных классических каналов связи. Таким образом, можно, в частности, получить связанное состояние системы, состоящей из подсистем, удаленных на большое расстояние. Перспективная концепция квантового регистра для квантовой обработки информации основана на ансамбле спинов, находящемся в запутанном состоянии, которые будут рассматриваться как кубиты. Использование статистических смесей чистых состояний, таких как спиновые ансамбли, привело к развитию квантовых ансамблевых вычислений, которые были экспериментально осуществлены в системе, включающей до 12 кубитов. Еще большие квантовые регистры были экспериментально исследованы для оценки их устойчивости относительно декогерентности, которая является существенной проблемой. Следовательно, необходима эффективная оценка эволюции ансамбля. Условия, при которых может возникнуть запутанность, могут быть достигнуты при надежной теплоизоляции методом, называемым адиабатическим размагничиванием во вращающейся системе координат (ADRF). Представляется, что возможность легко управлять при помощи внешнего воздействия количеством запутанности кубитов в квантовом регистре поможет лучше определить режим его эффективной работы. Управление можно моделировать наиболее просто и, одновременно, реалистично, предполагая, что 1) система находится вблизи равновесия, 2) внешнее воздействие приводит к изменению температуры кубитов, 3) воздействие внешним магнитным полем по типу ADRF имеет достаточно простой вид для моделирования, 4) это воздействие можно повторно использовать в разных сочетаниях как основной структурный элемент системы управления. Квантовый параллелизм заключается в том, что данные в процессе вычислений представляют собой квантовую информацию, которая по окончании процесса преобразуется в классическую путём измерения конечного состояния квантового регистра. Выигрыш в квантовых алгоритмах достигается за счёт того, что при применении одной квантовой операции большое число коэффициентов суперпозиции квантовых состояний, которые в виртуальной форме содержат классическую информацию, преобразуется одновременно. Применение идей квантовой механики уже открыли новую эпоху в области криптографии, так как методы квантовой криптографии открывают новые возможности в области передачи сообщений. Квантовая криптография говорит о следующем: перехват посланного сообщения сразу же становится известным. Это означает, что факт шпионажа не заметить нельзя. Перехваченное сообщение, зашифрованное квантовым компьютером, утрачивает свою структуру и становится непонятным для адресата. Поскольку квантовая криптография эксплуатирует природу реальности, а не человеческие изыски, то скрыть факт шпионажа становится невозможно. Появление шифрования такого рода поставит окончательную точку в борьбе криптографов за наиболее надежные способы шифрования сообщений. Отметим, что чем дольше держится запутанность, тем лучше для квантового компьютера, так как "длительные" кубиты могут решать более сложные задачи. В данном случае для выполнения двух различных задач процессор использовал квантовые алгоритмы Гровера и Дойча - Джоза. Процессор давал верный ответ в 80% случаев (при использовании первого алгоритма) и в 90% случаев (со вторым алгоритмом). Считывание результата также происходит с помощью микроволн: если частота колебаний соответствует той, что присутствует в полости, то сигнал проходит сквозь неё. В настоящее время идет активное исследования альтернативных методов вычислений, таких как вычисления при помощи квантовых компьютеров и нейровычислителей. Оба направления дают нам большие возможности в параллелизме, однако рассматривают этот вопрос с разной стороны. Квантовые компьютеры позволяют выполнить операцию над неограниченным количеством кубитов одновременно, что может многократно увеличить скорость вычислений. Нейровычислитель же позволяет параллельно выполнять много различных простых задач на большом количестве примитивных процессоров, и получить в итоге результат их работы. Учитывая то, что основной задачей нейрокомпьютеров является обработка образов. При параллельной архитектуре эта задача выполняется гораздо быстрее, чем в классической последовательной. В то же время нейронные компьютеры позволяют нам получить универсальные и в то же время «живучие» системы, из-за их однородной структуры [16]. 5. Практическая часть. Примеры Квантовых Нейронных сетей 5.1 Перевернутый маятник Задача заключается в установлении устойчивого состояния маятника, перемещая каретку в позицию X=0 с помощью квантовых нейронных сетей (рис. 23.). Рис. 23. Устойчивое состояние маятника Диспетчер приводит в движение маятник, балансирует и приводит каретку к позиции X=0 при условии, что каретка избегает нанесения удара на пунктах конца трека. Рис. 24. Система диспетчера Система диспетчера состоит из нейронной сети (FFNN), целевого генератора, компаратора, и перевернутого маятника как управляемый объект (рис. 24.). Рис. 25. Сравнение принципа работы Квантовой и Искусственной нейронных сетей Квантовая нейронная сеть имеет более превосходящие способности в отличие от Искусственных нейронных сетей (рис. 25.) [4]. 5.2 Сжатие изображения Здесь предлагается модель кубического нейрона как новая схема с несоответствующим стандартом вычисления, которое соединяет квантовое вычисление и нейронное вычисление. Когда изображение на вход в сеть с прямой связью с узким скрытым слоем, можно забрать данные сжатого изображения с выхода скрытого слоя. Происходит обучение сети. Когда сеть осуществляет это тождественное отображение, можно подобрать данные из исходного изображения с выхода узкого скрытого слоя (рис. 26,27..) [22]. Рис. 26. Сжатие изображения на слоистые нейронные сети Рис. 27. Входная схема, участок исходного изображения При моделировании принимаем значения параметров, приведенных в таблице (табл. 6). Таблица 6: Значения параметров при моделировании Параметры BI;BH BWO Патч размер Начальное значение параметра Значения 8 бит 16 бит 8х8 пикселей , , ( )-π~π Начальное значение параметра Целевой диапазон квантования (вес, порог) -1~1 -5~5 Число скрытых нейронов слоя, которое сильно влияет на значение R, зависит от экспериментальных ситуациях. Квантование для BH и BWO делается такой функцией квантования, как показано на рис. 28 [22]. Рис. 28. Пример квантования функции 5.3 Кодирование алфавита Рис. 29. Примеры графических символов алфавита 6. Инструментарий MATLAB NEURAL NETWORK TOOL. Сеть Кохонена Успех нейронных сетей объясняется тем, что была создана необходимая элементная баз для реализации нейронных сетей, а также разработаны мощные инструментальные средства для их моделирования в виде пакетов прикладных программ. К числу подобных пакетов относится пакет Neural Networks Toolbox (NNT) системы математического моделирования MATLAB 6 фирмы Math Works.(сокращение от англ. «Matrix Laboratory») - пакет прикладных программ для решения задач технических вычислений и одноимённый язык программирования, используемый в этом пакете. MATLAB используют более 1 000 000 инженерных и научных работников, он работает на большинстве современных операционных систем, включая Linux, Mac OS, Solaris и Microsoft Windows. Пакет прикладных программ NNT содержит средства для построения нейронных сетей, базирующихся на поведении математического аналога нейрона. Пакет обеспечивает эффективную поддержку проектирования, обучения, анализа и моделирования множества известных типов сетей - от базовых моделей персептрона до самых современных ассоциативных и самоорганизующихся сетей. Модели Кохонена (рис. 30.) выполняется решение задачи нахождения кластеров в пространстве входных образов. Данная сеть обучается без учителя на основе самоорганизации. По мере обучении вектора весов нейронов стремятся к центрам кластеров - групп векторов обучающей выборки. На этапе решения информационных задач сеть относит новый предъявленный образ к одному из сформированных кластеров, указывая тем самым категорию, к которой он принадлежит. Рис. 30. Сеть Кохонена Рассмотрим архитектуру НС Кохонена и правила обучения подробнее. Сеть Кохонена, также как и сеть Липпмана-Хемминга, состоит из одного слоя нейронов. Число входов каждого нейрона равно размерности входного образа. Количество же нейронов определяется той степенью подробности с которой требуется выполнить кластеризацию набора библиотечных образов. При достаточном количестве нейронов и удачных параметрах обучения НС Кохонена может не только выделить основные группы образов, но и установить "тонкую структуру" полученных кластеров. При этом близким входным образам будет соответствовать близкие карты нейронной активности (рис. 31.). Рис. 31. Пример карты Кохонена. Размер каждого соответствует степени возбуждения соответствующего нейрона. квадратика Обучение начинается с задания случайных значений матрице связей . В дальнейшем происходит процесс самоорганизации, состоящий в модификации весов при предъявлении на вход векторов обучающей выборки. Для каждого нейрона можно определить его расстояние до вектора входа: Далее выбирается нейрон m=m*, для которого это расстояние минимально. На текущем шаге обучения t будут модифицироваться только веса нейронов из окрестности нейрона m*: Рис. 34. Обучение сети Кохонена Первоначально в окрестности любого из нейронов находятся все нейроны сети, в последствие эта окрестность сужается. В конце этапа обучения подстраиваются только веса самого ближайшего нейрона. Темп обучения (t)<1 с течением времени также уменьшается. Образы обучающей выборки предъявляются последовательно, и каждый раз происходит подстройка весов. Результирующую карту удобно представить в виде двумерного изображения, на котором различные степени возбуждения всех нейронов отображаются квадратами различной площади. Пример карты, построенной по 100 нейронам Кохонена, представлен на рис.7.2. Каждый нейрон несет информацию о кластере - сгустке в пространстве входных образов, формируя для данной группы собирательный образ. Таким образом НС Кохонена способна к обобщению. Конкретному кластеру может соответствовать и несколько нейронов с близкими значениями векторов весов, поэтому выход из строя одного нейрона не так критичен для функционирования НС Кохонена. Заключение Некоторые сравнительные исследования оказались оптимистичными, другие - пессимистичными. Для многих задач, таких как распознавание образов, пока не создано доминирующих подходов. Выбор лучшей технологии должен диктоваться природой задачи. Нужно пытаться понять возможности, предпосылки и область применения различных подходов и максимально использовать их дополнительные преимущества для дальнейшего развития интеллектуальных систем. Подобные усилия могут привести к синергетическому подходу, который объединяет КНС с другими технологиями для существенного прорыва в решении актуальных проблем. Ясно, что взаимодействие и совместные работы исследователей в области КНС и других дисциплин позволят не только избежать повторений, но и (что более важно) стимулируют и придают новые качества развитию отдельных направлений. В настоящее время идет активное исследования альтернативных методов вычислений, таких как вычисления при помощи квантовых компьютеров и нейровычислителей. Оба направления дают нам большие возможности в параллелизме, однако рассматривают этот вопрос с разной стороны. Квантовые компьютеры позволяют выполнить операцию над неограниченным количеством кубитов одновременно, что может многократно увеличить скорость вычислений. Нейровычислитель же позволяет параллельно выполнять много различных простых задач на большом количестве примитивных процессоров, и получить в итоге результат их работы. Учитывая то, что основной задачей нейрокомпьютеров является обработка образов. При параллельной архитектуре эта задача выполняется гораздо быстрее, чем в классической последовательной. В то же время нейронные компьютеры позволяют нам получить универсальные и в то же время «живучие» системы, из-за их однородной структуры. В работе я попыталась изложить систематическое введение в теорию Квантовых Нейронных сетей, а также помогла приблизиться к ответу на важный вопрос: являются ли Квантовые Нейронные сети долгожданным магистральным направлением, в котором будет продолжаться развитие методов искусственного интеллекта, или же они окажутся веянием своеобразной моды, как это ранее было с экспертными системами и некоторыми другими аппаратами научных исследований (например, диаграммами Фейнмана), от которых вначале ожидали революционных прорывов. Постепенно эти методы обнаруживали свои ограничения и занимали соответсвующее место в общей структуре науки. Объяснены главные принципы их устройства и работы. Список литературы 1. Амбарян Т.Р. ПАРАЛЛЕЛЬНЫЕ ВЫЧИСЛЕНИЯ В НЕЙРОННЫХ И КВАНТОВЫХ СЕТЯХ // Труды СПИИРАН. Вып. 1, т. 3. - СПб: СПИИРАН, 2003. . Noriaki Kouda, Nobuyuki Matsui, Haruhiko Nishimura, Ferdinand Peper Qubit neural network and its learning efficiency Neural Comput & Applic (2005) 14: 114-121 с 115-121 . L1 Fei, DONG Xiaoliang, ZHAO Shengmei, ZHENG Baoyu A LEARNING ALGORITHM FOR QUANTUM NEURON tCSP’04 Proceedings с 1538-1541 . NORIAKI KOUDA, NOBUYUKI MATSUI, HARUHIKO NISHIMURA, and FERDINAND PEPER An Examination of Qubit Neural Network in Controlling an Inverted Pendulum Springer 2005 с 278-284 5. Ivancevic V. G., Ivancevic T.T. Quantum neural computation. - Tokyo: Springer - Verlag. - 2009. 6. Литвинцева Л.В., Ульянов С.В., Интеллектуальные системы управления. Ч. I: Квантовые вычисления и алгоритм самоорганизации // Изв. РАН. - ТиСУ, 2009. - № 6. - С. 69 - 97. . Макаров И. М., Лохин В. М., Манько С. В. и др. Искусственный интеллект и интеллектуальные системы управления. - М.: Наука. -2006. . S.V. Ulyanov Quantum soft computing via robust control Part 1: Quantum optimization and quantum consciousness learning - the model background YAMAHA Motor Europe N. V. R & D Office Via Bramante, 65, 26013 CREMA(CR) , Italy . G.G. Rigatosa, S.G. Tzafestas Quantum learning for neural associative memories Fuzzy Sets and Systems 157 (2006) 1797-1813 . M. ANDRECUT and M. K. ALI A QUANTUM PERCEPTRON International Journal of Modern Physics B, Vol. 16, No. 4 (2002) 639-645 . Massimo Panella, Member, IEEE, and Giuseppe Martinelli, Life Senior Member, IEEE Neurofuzzy Networks With Nonlinear Quantum Learning IEEE TRANSACTIONS ON FUZZY SYSTEMS, VOL. 17, NO. 3, JUNE 2009 . Gerasimos Rigatos Energy spectrum of quantum associative memories Sheraton Vancouver Wall Centre Hotel, Vancouver, BC, Canada July 16-21, 2006 . Michiharu Maeda, Masaya Suenaga, and Hiromi Miyajima A Learning Model in Qubit Neuron According to Quantum Circuit . Noriaki Kouda, Nobuyuki Matsui, Haruhiko Nashmuran Learning Performance of Neuron Model based on Quantum Superposition Ybvfn Interactive Communication Osaka, Yapan - September 2000 c 113-116 . JEAN FABER , GILSON A. GIRALDI Quantum Models for Artificial Neural Network National Laboratory for Scientific Computing - Av. Getulio Vargas, 333, 25651-070 Petropolis, RJ, Brazil Ўfaber,gilsonў@lncc.brBassam Aoun Mohamad Tarifi Quantum Networks . Mitsunaga Kinjo, Shigeo Sato, and Koji Nakajima A Study on Learning with a Quantum Neural Network 2006 International Joint Conference on Neural Networks Sheraton Vancouver Wall Centre Hotel, Vancouver, BC, Canada July 16-21, 2006 c 203-206 . Riley T. Perry The Temple of Quantum Computing Version 1.0 - December 19, 2004 c 23-25, 114-129 . Смолин Д. В. ВВЕДЕНИЕ В ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ - М.: ФИЗМАТЛИТ, 2004. - 208 с. . Нипалков А. В., Прагина Л. Л., Мозг человека и искусственный интеллект. - М.: Изд-во Москв. ун-та, 1985, с 120 . Заенцев И. В. Нейронные сети: основные модели. - В.: Изд-во Воронеж. ун-та, 2000, с.24-40 . Ульянов С. В., Андреев Е. И., Афанасьева О.А., и др. Логические и квантовые парадоксы интеллектуальных квантовых и мягких вычислений // Системный Анализ в науке и Образование , 2010. - №2. 22. NORIAKI KOUDA, NOBUYUKI MATSUI, HARUHIKO NISHIMURA Image Compression by Layered Quantum Neural Networks// Kluwer Academic Publishers,2002 Neural Processing Letters 16: 67-80, 200 . Lee Spector, Automatic Quantum computer programming a Genetic Programming Approach - Hampshire College - 2001.
