138001_lection4
advertisement
Методы обработки и распознавания изображений Раздел 4 Лекция 7. Методы распознавания изображений с использованием искусственных нейронных сетей Лектор – проф. Тропченко А.Ю. Схема процесса распознавания Цели и задачи работы изображений Схема процесса поиска при Цели и задачи работы распознавания изображений Алгоритм ввода данных в систему Цели и задачи работы автоматического распознавания изображений Основные задачи, решаемые с Цели и задачи работы помощью нейронной сети Строение биологического нейрона Цели и задачи работы Кибернетическая модель нейрона Цели и задачи работы Кибернетическая модель нейрона Цели и задачиописание) работы (математическое Информация, поступающая на вход нейрона, суммируется с учетом весовых коэффициентов сигналов: где w0 – сдвиг (порог, смещение) нейрона Сдвиг обычно интерпретируется как связь, исходящая от элемента, активность которого всегда равна 1.Для удобства входной вектор расширяется добавлением этого сигнала до х = (1,х0,...,xn) и порог w0 вносится под знак суммы: Кибернетическая модель нейрона Цели и задачиописание) работы (математическое Пороговая функция пропускает информацию, если алгебраическая сумма входных сигналов превышает некоторую постоянную величину Р*: Определенным компромиссом между линейной и ступенчатой функциями является сигмоидальная функция активации : Y = 1/(1+exp(-kP)) Функции переноса искусственных нейронов Цели и задачи работы а) линейная; б) ступенчатая; в) сигмоидальная. Архитектура искусственных нейронных сетей Цели и задачи работы Персептрон Розенблатта. Архитектура искусственных нейронных сетей Цели и задачи работы Персептрон Розенблатта. Число входов сети определяет размерность пространства, из которого выбираются входные данные: для двух признаков пространство оказывается двумерным, для трех – трехмерным, а для m признаков – m-мерным. Если прямая или гиперплоскость в пространстве входных данных может разделить все образцы на соответствующие им классы, то проблема является линейной, в противном случае – нелинейной. На рисунке показаны множества точек на плоскости а) граница линейная, б) нелинейная. Схема многослойного персептрона Цели и задачи работы Для решения нелинейных проблем предназначены модели многослойных персептронов (MLP), способные строить ломаную границу между распознаваемыми образами. Классификация нейронных сетей Цели и задачи работы Многослойные нейронные сети Цели и задачи работы Архитектура многослойной нейронной сети и её применение для распознавания изображений. Нейрон с максимальной активностью (здесь первый) указывает принадлежность к распознанному классу Обучение многослойной нейронной сети Цели и задачи работы Обучаются МНС при помощи алгоритма обратного распространения ошибки, являющегося разновидностью градиентного спуска в пространстве весов с целью минимизации суммарной ошибки сети: dE W dW , 1 2 E (yj tj) 2 j где tj – эталонное значение выходов сети Одними из главных проблем МНС являются следующие: 1. Проблема локального минимума, которая заключается в том, что при итерационном спуске может наступить момент, когда решение заходит в локальный минимум, из которого вследствие малой величины шага не может выбраться. 2. Выбор архитектуры сети (количество нейронов, слоёв, характер связей). С этим также связана проблема переобучения, которая заключается в том, что сеть с избыточным числом элементов теряет обобщающую способность и хорошо работает только на тренировочной выборке. 3. Выбор шага (скорости) обучения, связанная с тем, что при малом шаге время обучения будет большим и сеть может зависать в локальных минимумах, а при больших шагах возможно расхождение процесса обучения или паралич сети. Применение МНС для решения задач распознавания (по коэффициентам ДКП) Цели и задачи работы Для распознавания может быть использовано двумерное ДКП дискретное косинусное преобразование (ДКП): Двумерное обратное косинусное преобразование: , Дискретное преобразование Хартли: Hk X ^ m cas 2km / N m Вычисление ДКП через ДПХ: c^ k H k cosk / 2 N sink / 2 N H N k cosk / 2 N sink / 2 N / 2 где k = [1,...,N-1], причем c^ 0 H 0 . Применение МНС для решения задач распознавания (По коэффициентам ДКП) Цели и задачи работы • , Использовались первые 25-35 коэффициентов ДКП изображения размером 92х112 пикселов (из10304, т.е. около 0.2% от общего количества коэффициентов) и двухслойная нейронная сеть. Коэффициенты выбирались двумя способами. В первом способе брались первые коэффициенты из левого верхнего угла матрицы коэффициентов, ограниченного диагональю. Во втором способе выбирались коэффициенты, которые давали наименьшую погрешность реконструкции изображения. Разница в точности при этом была неразличима. Применение МНС для решения задач распознавания по методу главных компонент Цели и задачи работы • , Суть метода главных компонент заключается в получении максимально декореллированных коэффициентов, характеризующих входные образы. Такие коэффициенты называются главными компонентами и используются для статистического сжатия и реконструкции изображений. При этом небольшое число коэффициентов используется для представления всего образа. Каждое изображение разлагается на линейную комбинацию собственных векторов. Для набора изображений лиц собственные векторы могут быть представлены в виде изображений, такие изображения похожи на лица и называются собственными лицами (eigenfaces). Сумма собственных векторов, умноженных на соответствующие им главные компоненты, представляет собой реконструкцию изображения. Применение МНС для решения задач распознавания по методу главных компонент Цели и задачи работы Собственные лица (eigenfaces) , Архитектура рециркуляционной сети для извлечения главных компонент Цели и задачи работы • • • , НС содним скрытым слоем, содержащим m нейронов, число которых много меньше, чем размерность изображения (m<<n) и обученная по методу обратного распространения ошибки восстанавливать на выходе изображение, поданное на вход, формирует на выходе скрытых нейронов коэффициенты первых m главных компонент, которые и используются для сравнения изображений. Такая НС называется рециркуляционной. Достоинства рециркуляционной сети для извлечения главных компонент Цели и задачи работы Преимущества применения РНС , для извлечения главных компонент перед решением матричных уравнений: алгоритм обучения РНС прост и универсален; нелинейная активационная функция позволяет точнее реконструировать изображение; при решении матричных уравнений возможны проблемы, если объекты похожи друг на друга, РНС лишена такого недостатка; не требуется вычислять все собственные векторы. Таким образом, время обучения сети линейно зависит от количества извлекаемых главных компонент; для предварительных экспериментов можно использовать меньшее число обучающих циклов, что снижает время обучения. Достоинства рециркуляционной сети для извлечения главных компонент Цели и задачи работы Преимущества применения РНС , для извлечения главных компонент перед решением матричных уравнений: алгоритм обучения РНС прост и универсален; нелинейная активационная функция позволяет точнее реконструировать изображение; при решении матричных уравнений возможны проблемы, если объекты похожи друг на друга, РНС лишена такого недостатка; не требуется вычислять все собственные векторы. Таким образом, время обучения сети линейно зависит от количества извлекаемых главных компонент; для предварительных экспериментов можно использовать меньшее число обучающих циклов, что снижает время обучения. Методы обработки и распознавания изображений Лекция 8. Методы распознавания изображений с использованием искусственных нейронных сетей Лектор – проф. Тропченко А.Ю. Нейронные сети высокого порядка. Цели иМоментные задачи работы НС Нейронные сети высокого порядка (НСВП, по-английски – High Order Neural Network) отличаются от МНС тем, что у них только один слой, но на входы нейронов поступают так же термы высокого порядка, являющиеся произведением двух или более компонент входного вектора, например для сетей второго порядка: n n n S wi xi wij xi x j T i 1 i 1 j 1 Радиально-базисные нейронные сети Цели и задачи работы Радиально-базисные нейронные сети (РБНС, по-английски – Radial Basis Function Network, RBF) состоят из двух слоёв, S2 Первый слой имеет радиально-базисную активационную функцию: y exp( ) 2 2 S определяется как расстояние между входным и весовым вектором: S 2 | X W |2 ( xi wi ) 2 i Топологически упорядоченное Цели и задачи работы преобразование пространства Векторные квантователи и самоорганизующиеся карты Кохонена (Self-Organizing Maps, SOM) используются для сжатия данных и извлечения ключевых характеристик. Так же они служат основой для радиально-базисных сетей и когнитронов. Активным считается нейрон, имеющий наибольшее выходное значение: Веса такого нейрона изменяются в сторону T S j wij xi W j X соответствия входному вектору, например i Правило модификации весов W j (t 1) W j (t ) (t )( X W j (t )) W j (t 1) W j (t ) (t )h(t , i, j )( X W j (t )) Вводится функция соседства h, убывающая с расстоянием между нейронами i j2 h(t , i, j ) exp 2 2 (t ) Пример применения карт Кохонена для уменьшения размеров участков изображений Цели и задачи работы Слева – топографическая карта участков изображений до обучения, справа – после обучения. Отклики нейронной сети. 1 – наиболее вероятное положение глаза , 2 – менее вероятные места расположения (шумы) Структура когнитрона Цели и задачи работы Главные отличия когнитрона - каждый нейрон связан только с локальной областью предыдущего слоя, и такие области перекрываются друг с другом. Слоёв в когнитроне больше, чем в сетях других типов. Таким образом достигается иерархическая организация, когда на высших слоях когнитрон реагирует на более абстрактные образы, меньше реагирует на их смещение и искажение. Обучается когнитрон конкурентным обучением (без учителя). Неокогнитрон Цели и задачи работы Главное отличие неокогнитрона от когнитрона – двумерная организация локальных участков и плоскостная иерархическая структура Последовательность использования неокогнитрона Первоначальное обучение неокогнитрона Последующее использование неокогнитрона в качестве распознавателя - Сравнительно большие вычислительные затраты - Выполняется редко - Может не включатся в функциональность конечной реализации - Вычислительные затраты невелики - Распознаватель может включатся в иные алгоритмы распознавания Затраты ресурсов компьютера на этапах использования неокогнитрона Этап использования неокогнитрона Ресурс Обучение Распознавание Время выполнения Порядка нескольких дней Около секунды на одно изображение Память компьютера До нескольких сотен мегабайт До десяти мегабайт Последовательность обучения неокогнитрона Подготовка входного набора изображений Послойное обучение неокогнитрона (без учителя) Обучение последнего (классифицирующего) слоя неокогнитрона (с учителем) Проверка неокогнитрона на всём обучающем множестве нет Достигнута заданная точность? да Формирование компактного представления конфигурации нейросети и сохранение параметров в файле Расчёт откликов нейронов в неокогнитроне Отклик нейронов первого слоя (выделение контраста) Отклик нейронов S-слоёв Отклик тормозящих нейронов Структура неокогнитрона Четырёхуровневая структура неокогнитрона (из статьи К. Фукушимы) Связи между нейронами соседних уровней Инвариантность неокогнитрона. Дополнительные символы Инвариантность неокогнитрона. Зашумление Инвариантность неокогнитрона. Искажение Инвариантность неокогнитрона. Смещение Сверточная нейронная сеть Цели и задачи работы Архитектура свёрточной НС основывается на принципах архитектуры неокогнитрона, упрощённого и дополненного обучением алгоритмом обратного распространения ошибки. Схема системы распознавания личности человека по изображению его лица Цели и задачи работы Схема системы распознавания личности человека по изображению его лица Цели и задачи работы Первый метод – создание вектора данных из набора отсчетов в локальном окне изображения. Второй метод - создание локального шаблона , т.е. выходного вектора как разности яркости между центральным и всеми другими пикселями в квадратном окне. Архитектура системы распознавания личности по портрету Цели и задачи работы Применение ИНС для классификации по заранее Целиизвлеченным и задачи работы признакам Метод собственных фильтров для распознавания лица Задача анализа главных компонент – выбрать базис пространства u=(u1, u2, …, uk) так, чтобы вариация (дисперсия) проекции была минимальной. Минимум этой функции достигается решением задачи на собственные значения Ru =λu Метод сравнения эластичных графов на основе вейвлетов Габора Цели и задачи работы В результате преобразования Габора спектральная плоскость разбивается на m частотных и n ориентационных диапазонов: ĝij(ω)= exp(-½(ω-ωij)t RjΣij-l (ω-ωij))… ωij - вейвлет, соответствующий (i,j) ориентации и масштабу, где 1≤i≤m, 1≤j≤n, Rj – матрица поворота, а Σij – диагональная матрица Метод сравнения эластичных графов на основе вейвлетов Габора Цели и задачи работы Фильтры Габора и результат их применения выделенныелокальные признаки изображения Методы распознавания на основе Скрытых Цели Марковских и задачи работы моделей Схема сегментации изображения на основе скрытой Марковской модели и Структурные признаки изображения, выделенные скрытой Марковской моделью Процесс распознавания в Скрытой Марковской Модели: • Системе подается на вход некоторое изображение; • Система строит из него входную последовательность; • Система строит вероятности построения такой входной последовательности • всеми моделями • Выдается наиболее вероятный ответ и вероятность соответствия. Программные средства моделирования Цели и задачи работы нейросетей Программные средства моделирования Цели и задачи работы нейросетей Программные средства моделирования Цели и задачи работы нейросетей Программные средства моделирования Цели и задачи работы нейросетей Обобщенная классификация нейрочипов Цели и задачи работы Аппаратные средства реализации ИНС Цели и задачи работы Наименование Фирма изготовитель Разрядность, бит Максимальное количество синапсов* Максимальное слоев** MA16 Siemens 48 (умножители и сумматоры) - - 400 ММАС. NNP (Neural Networks Processor) Accurate Automation Nx16 - - MIMD, N процессоров. СNAPS-1064 Adaptive Solutions 16 128 Кбайт 64 100 NAP Chip HNC 32 512 Кбайт 4 Плав. Арифм. 4 процессорных элемента Neuro Matrix NM6403, Такт. частота 50 МГц. Модуль, Россия 64 (вект. процессор), 32 RISC ядро 4096 шт. 24 Совместим с портами TMS320C4x Neuro Matrix NM6404, Такт. частота 133 МГц. Модуль, Россия 64 (вект. процессор), 32 RISC ядро 4096 шт. ~48 Совместим с портами TMS320C4x CLNN 32 CLNN 64 Bellcore 32 нейрона 108 перекл./с 2 x 108 перекл./с 32 64 496 1024 число Примечание число Аппаратные средства реализации ИНС Цели и задачи работы 4096 шт. 32 - 36 нейронов Частота 20МГц, Векторно-прототипный нейрочип 64 входа Два банка весов 64х80 64 нейрона в слое, 3 слоя. Аналоговая Micro Devices 16 64 шт. 8 8 нейронов MT 19003 - Neural Instruction Set Processor Micro Circuit Engineering (MCE) 16 разр. Умножитель 35 разр. сумматор - 1 RISC МП специальными командами Neuro Fuzzu National Semiconductor - - - NI 1000 Nestor 5-16 (одного нейрона) - 1024 прототипных 256 мерных векторов NC 3001 NeuriGam 16 IBM 64 входного вектора ETANN 80170NW Intel MD-1220 ZISC 036 Instruction Computer) (Zero Set разр. c 7 Векторно-прототипный нейрочип Аппаратные средства реализации ИНС Цели и задачи работы NLX420 (NLX 110, 230) Adaptive Logic 16 1 Мбайт 16 OBL Chip Oxford Computer 16 16 Мбайт - 16 1536 16 192 (12х16) L-Neuro L-Neuro 2.3 1.0 Philips 16 16 процессорных элементов нейронов 26 60 МГц RSC (Speech Recognition Chip) 164 Sensory Circuits - - - ORC 110xx (Object Recognizer Chip) Synaptics - - - Pram-256 Chip UCLi Ltd. 8 (одного нейрона) - 256 нейронов 33МГц. SAND Datafactory 16 - 4 200 MCPS МГц Аппаратные средства реализации ИНС Цели и задачи работы ACC 16 - - 16 1 Мбайт 64 70 вх. нейронов - 6 (внутр) 1 вх., 1 вых. 2 х 1010 перекл./с 4096 весов - Число входов нейрона 256-16. Геркулес Россия Neuro Classifier Университет DESY ANNA AT&T Число нейроннов 256 WSC (Wafer Scale Integration) Hitachi - 64 связи нейрон SASLM2 Mitsubishi 2 (одного нейрона) - 4096(64x64) нейронов 50 МГц TOTEM Kent (Univer Trento (Italy) 16 (одного нейрона) - 64 нейрона 30 МГц - Наличие параллельных, последовательных и коммуникацинных портов Neuron Neurom 3150 3120, Echelon (США) Твента, UK), di 8 бит данных) 16- (шина - на у 576 нейронов Сравнительные характеристики нейрочипов Цели и задачи работы Производительность ряда процессоров при выполнении алгоритмов ЦОС Цели и задачи работы BOOT INTA INT TIMER CLKIN RESET Цели Структура и задачи работы нейрочипа HOLD / BACK HOLDA / BREQ LHOLDA / LBREQ CONTROL UNIT LHOLD / LBACK ... RDY LRDY INSTRU CTION BUS 15 ADDR BUS 2 OE RAS M U X M U X DATA ADR ESS BUS 1 64 DATA BUS LWE LRAS 2 DATA ADR ESS BUS 2 CAS W/R 32 64 32 32 64 32 2 LCAS LW / R INSTRU CTION BUS 32 2 LOE DATA BUS 2 64 32 8 SCALAR PROCESSOR VEKTOR PROCESSOR DMA CO - PROCESSOR inp. buffer 0 Out. buffer 0 Inp. buffer 1 z. buffer 1 LINK 0 Port 0 WE DATA BUS 1 4 8 LINK 1 Port 1 64 DATA BUS 15 ADDR BUS INSTRU CTION ADD RESS BUS 4
