razrabotka-videokompyuternoi-sistemy-avtomaticheskoi-klassifikatsii-defektov-svarnykh-soedin

07.ю;2015 415100770016 МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ ИМ.Н.Э.БАУМАНА На правах рукописи Тет Аунг РАЗРАБОТКА ВИДЕОКОМПЬЮТЕРНОЙ СИСТЕМЫ АВТОМАТИЧЕСКОЙ КЛАССИФИКАЦИИ ДЕФЕКТОВ СВАРНЫХ СОЕДИНЕНИЙ По специальностям: 05.13.01 - Системный анализ, управление и обработка информации (в технических системах) 05.02.11 - Методы контроля и диагностика в машиностроении ДИССЕРТАЦИЯ На соискание учёной степени кандидата технических наук Научный руководитель: кандидат технических наук, доцент Гаврилов Александр Игоревич Москва-2015 2 Оглавление Стр Список сокращений и условных обозначений 5 Введение 6 Глава 1. 1.1. 1.2. 1.3. 1.4. Системы автоматического процессов видеомониторинга сварочных 13 Методы автоматизированного дуговой сварки визуального контроля для 13 Методы обработки изображений для дуговой сварки в системах АВК '. 18 Назначение и основные зрения (СТЗ) 21 функции систем технического Типовая структура и основные принципы функционирования систем технического зрения 23 1.5. Задача контроля качества сварных соединений 24 1.5.1. Контроль сварных швов внешним осмотром 24 1.5.2. Автоматизация процедур классификации дефектов сварных швов 26 Постановка задачи автоматического контроля качества сварных соединений по видимому изображению 28 1.7. Выводы по первой главе 34 Глава 2. Разработка и исследование алгоритмов детектирования дефектов сварных соединений с использованием технологий цифровой обработки изображений 35 2.1. Типовая процедура цифровой обработки изображений 35 2.2. Методы предварительной обработки изображений 37 2.2.1 Преобразование цветного изображения в полутоновое 37 2.2.2. Улушение качества изображений 38 1.6. v 3 Стр 2.2.3. Удаление шумов (фильтрация) 43 2.2.4. Бинаризация изображений 50 2.2.5. Выделение краев 52 2.3. Морфологическая обработка изображений 2.3.1. Базовые понятия теории множеств 58 2.3.2. Разложение структурообразующих элементов 62 2.3.3. Дилатация и эрозия областей 2.3.4. Размыкание и замыкание областей 67 2.4. Сегментация по методу водораздела 69 2.5. Выделение признаков изображений 72 2.6. Основные понятия теории распознавания образов 77 2.6.1. Принципы построения систем распознавания образов 82 2.6.2. Особенности систем и методов распознавания в задачах видеомониторинга сварочных процессов 86 Основные принципы построения систем видеомониторинга сварочных процессов 89 2.6.3. 2.6.4. 2.7 2.8. 57 и •. 63 распознавания Задача классификации образов, представленных набором измеряемых параметров. Геометрическая и аналитическая интерпретация 94 Эффективные алгоритмы дефектов сварного шва 99 Выводы по второй главе и процедуры детектирования 102 4 Стр Глава 3. 3.1. 3.2. 3.3 3.4. Реализация процедуры детектирования дефектов сварного шва с использованием технологий цифровой обработки алгоритмов обработки изображений в автоматической системе контроля качества сварных соединений 103 Структура и основные принципы функционирования программно-аппаратной системы мониторинга сварочных процессов ЮЗ Процедура обнаружения дефектов сварного шва/по цифровым изображениям ] 12 Реализация процедуры соединений 114 детектирования дефектов Выводы по третей главе сварных 132 Заключение 133 Список литературы 134 i 5 Список сокращений и условных обозначений I- яркость (интенсивность) / (i, j) - интенсивность пикселя полутонового изображения I'(iJ) - обработанное изображение Т(г) - порог Log- логарифмическое преобразование Z- множество целых чисел 2 А и В -множества из пространства Z А® В - Дилатазция множества А по множеству В А © В - эрозия А по В А о В - размыкание множества А по примитиву В А • В - замыкание множества А по примитиву В A U В —объединение множество А и В А П В - пересечение множество А и В А\В - разность множеств А АВК- автоматизированный визуальный контроль ИП-источник питания ИНС- искусственные нейронные сети КИХ - фильтр с конечной импульсной характеристикой СНС- сверточные нейронные сети СТЗ- систем технического зрения DFT- дискретное преобразование Фурье FFT- быстрое преобразование Фурье (БПФ) IPT- image processing toolbox (пакет прикладных программ для обработки изображений) 6 Введение Актуальность темы. При строительстве магистральных трубопроводов возникает ряд актуальных задач, таких как снижение уровня брака при сварке стыковых соединений, увеличение производительности процесса сварки, повышение уровня вероятности обнаружения дефектов. При этом различного характера возмущения при строительстве трубопроводов, очевидно, не дают возможности достичь такого качества строительства и эксплуатации трубопроводов, при котором полностью бы исключалась вероятность появления дефектов, что подтверждают данные анализа Рос технадзора аварийности на трубопроводах, которые показывают, что основными причинами аварий являются внешние физические воздействия на трубопроводы (34,7 % ) , нарушения норм и правил производства работ, отступления от проектных решений (24,7 %), коррозионные повреждения (23,5 %), нарушения технических условий при изготовлении труб, деталей и оборудования (12,4 %), ошибочные действия эксплуатационного и ремонтного персонала (4,7 %). Значительная доля причин возникновения аварийных ситуаций, связанных с нарушения норм и правил производства работ, отступления от проектных решений, ошибочными действиями персонала выдвигают на передний план вопросы совершенствования сварочных технологий и оборудования. Так как от сварочных работ зависит общий темп строительства трубопроводов, то они могут стать существенным резервом в обеспечении воспроизводи мости качества сварных соединений, эксплуатационной надёжности трубопроводов, сокращения сроков выполнения строительных работ. При этом необходимость внедрения нового поколения оборудования для сварки неповоротных стыков труб обусловлена не только требованиями к повышению производительности сварки, но и необходимостью обеспечения высокой надёжности и качества сварных соединений. Решение указанных проблем может быть достигнуто применением принципиально новых адаптивных цифровых технологий сварки и соответствующего оборудования, обеспечивающих: 7 - снижение уровня брака при сварке стыков труб; - увеличение производительности процессов сварки; - повышение уровня вероятности обнаружения дефектов; обеспечение требуемого качества сварки за счёт снижения роли человеческого фактора. Это определяет актуальность темы диссертации и диктует необходимость дальнейшей разработки интегрированных систем автоматического управления процессом сварки с возможностями адаптивной коррекции на основе данных видеомониторинга и лазерной профилометрии. Цель диссертационной работы. Основной целью диссертационной работы является разработка исследование и реализация алгоритмов цифровой обработки изображений в системе автоматического контроля качества сварных соединений по данным видеомониторинга. В соответствии с указанной целью определены следующие задачи исследований: - Провести анализ способов получения цифровых изображений протяжённых сварных соединений. - Исследовать типовые структуры систем технического зрения и алгоритмы цифровой обработки изображений. - Разработать структуру и принципы функционирования подсистемы распознавания дефектов сварных швов по изображениям протяжённых сварных соединений магистральных трубопроводов. - Разработать методики и процедуры обнаружения дефектов протяжённых сварных соединений магистральных трубопроводов. - Разработать алгоритмическую и программная реализации автоматической системы локализации дефектов сварных соединений. Провести моделирование системы обнаружения дефектов сварного шва. Методы исследований. В процессе выполнения диссертационной работы использовались методы .теории математического моделирования, теории 8 автоматического управления, теории цифровой обработки информации и др. Кроме того, использовались методы численного моделирования разработанных алгоритмов. При моделировании применялись пакеты прикладных программ Matlab-SimuLink. Научная новизна работы. На основе анализа, систематизации и обобщения научных достижений в таких областях, как теория автоматического управления, теория цифровой обработки информации, разработан подход к решению задачи анализа качества сварных соединений в адаптивных системах автоматического управления процессом сварки. Основные результаты работы: - Проведён анализ способов получения цифровых изображений протяжённых сварных соединений. - Исследованы типовые структуры систем технического зрения и алгоритмы цифровой обработки изображений. - Разработана структура и принципы функционирования подсистемы распознавания дефектов сварных швов по изображениям протяжённых сварных соединений магистральных трубопроводов. - Разработаны методики и процедуры обнаружения дефектов протяжённых сварных соединений магистральных трубопроводов. - Разработана алгоритмическая и программная реализации автоматической системы локализации дефектов сварных соединений. - Проведено моделирование системы обнаружения дефектов сварного шва. Эффективность разработанных методик, процедур и алгоритмов подтверждена результатами моделирования цифровой адаптивной системы управления сварочным процессом на базе сварочной установки ГАСТ-1 НЛП «Технотрон» с инверторным источником питания ДС 400.33 и модернизированной сварочной головкой «ГАСТ-1», оснащённой лазерным сканером профиля стыка и видеокамерой. 9 Практическая значимость работы. Разработаны эффективные методики и технологии контроля качества сварных соединений по результатам видеомониторинга поверхности сварных швов. Предложенные методики и технологии открывают новые возможности для повышения эффективности сварочного производства и могут быть использованы при создании адаптивных систем управления технологическим процессом сварки. Предложенные подходы также могут быть использованы для протоколирования сварочных процессов и контроля состояния магистральных трубопроводов большого диаметра. Реализация результатов работы. Основной сферой использования полученных результатов являются сварочными процессами. Методики автоматические системы управления и алгоритмы цифровой обработки изображений, предназначенные для оценки качества и протоколирования процесса сварки использованы при создании цифровой адаптивной системы управления сварочным процессом на базе сварочной установки ГАСТ-1 НИИ «Технотрон» с инверторным источником питания ДС 400.33 и модернизированной сварочной головкой «ГАСТ-1», оснащённой лазерным сканером профиля стыка и видеокамерой. Положения, выносимые на защиту. Методики и процедуры обнаружения дефектов протяжённых сварных соединений магистральных трубопроводов для интегрированных информационных систем сварочных технологических комплексов. Математико-алгоритмическая реализации процедуры анализа качества сварных швов по цифровым изображениям автоматической системы локализации дефектов сварных соединений. Личный вклад автора. Личный вклад автора заключается: в постановке основных задач исследования и разработке процедур их решения; в формировании процедур и методики оценки качества сварных соединений на основе данных видеокомпьютерного мониторинга, в компьютерном моделировании разработанных алгоритмов на базе современных программнотехнических средств. 10 Достоверность результатов и результатов сделанных на их работы. Достоверность основании выводов полученных обуславливается теоретической проработкой и инженерным анализом существующих подходов, использованием известных закономерностей и апробированных методик, соответствием задачам, методов исследования поставленным целям и сочетанием количественного и качественного анализа результатов, применением современных методов статистической обработки данных, непротиворечивостью результатов. Апробация работы. Основные положения и результаты диссертации представлялись, обсуждались и были приняты на научном семинаре кафедры систем автоматического управления ФГБОУ ВПО МГТУ им. Н.Э. Баумана, а также на международных симпозиумах и конференциях: конференция МГТУ им. Н.Э. Баумана «Студенческая весна» (Москва, 2010, 2012, 2013г), международный симпозиум «Интеллектуальные системы» (Москва, 20 Юг, 2012г, 2014г). Публикации. Основные положения диссертации изложены в десяти публикациях, в том числе - в трёх статьях в журналах, входящих в перечень ВАК РФ. 1. др.]. Адаптивная система управления сварочным оборудованием / Тет Аунг [и М.: «Инженерный вестник http://ivdon.ru/magazine/archive/n2y2014/2385. Дона». 2014. №2- Загл, с экрана. Яз. Рус (Дата обращения 15.1.2015). 2. Гаврилов А.И., Тет Аунг. Применение методов сегментации изображений в задачах обнаружения дефектов поверхности сварных соединений // Вестник ФГБОУ ВПО МГТУ им. Н.Э. Баумана. Серия "Приборостроение" №5 2014г. С. 124-132 (0,19п.л./0,04п.л.). 3. Классификаторы сварочных дефектов / Тет Аунг [и др.] Студенческий научный вестник. М.: МГТУ им. Н.Э. Баумана, 2012. Том XII, Часть-1.С. 3538(0,25п.л./0,06п.л.). 11 4. Микропроцессорная система видеокомпьютерного мониторинга / Тет Аунг [и др.]. Молодёжный научно-технический вестник (Москва). 2014г. http://sntbul.bmstu.ru/doc/737905.html. (Дата обращения 23.12.2014). 5. Нейросетевой классификатор сварочных дефектов / Тет Аунг [и др.]. Интеллектуальные системы: Труды девятого международного симпозиума. М.: РУСАКИ, 2010г. С. 614-615 (0,125п.л./0,062п.л.). 6. Нейросетевые технологии в задаче управления электроприводом постоянного тока / Тет Аунг [и др.]. Интеллектуальные системы: Труды восьмого международного симпозиума. М.: РУСАКИ, 2008г. С. 631-635 (0,25п.л./0,0062п.л.). 7. Применение технологий цифровой обработки изображений в нейросетевых системах управления сварочным оборудованием / Тет Аунг [и др.] Науковедение. Интернет журнал http://naukovedenie.ru/PDF/64TVN115.pdf. Том Загл, с 7, экрана. №1, Яз. Рус 2015. (дата обращения 15.2.2015) (0.43п.л/0.10п.л.). 8. Профилометрическая система позиционирования сварочной установки / Тет Аунг [и др.], Интеллектуальные системы: Труды девятого международного симпозиума. М.: РУСАКИ, 2010г, С. 659-662 (0,25п.л./0,046п.л.). 9. Реконструкция трёхмерных моделей по данным лазерной профилометрии / Тет Аунг [и др.] Интеллектуальные системы: Труды десятого международного симпозиума. М.: РУСАКИ, 2012г. С. 513-517 (0,312п.л./0,062п.л.). 10. Сегментация изображений в задачах обнаружения дефектов поверхности / Тет Аунг [и др.]. Молодёжный научно-технический вестник (Москва) 2014г. http://sntbul.bmstu.ru/doc/749643.html. (Дата обращения 23.12.2014). Структура и объем работы. Диссертация состоит из введения, трёх глав, заключения, списка литературы из 101 наименований. Основная часть работы составляет 143 страниц машинописного текста 11 таблиц и 109 рисунков. 12 В первой главе приводится обзор методы автоматизированного визуального контроля для дуговой сварки и методы обработки изображений для дуговой сварки в системах АВК описывается назначение и структура системы технического зрения. Представлены контроля и качества сварных соединении и выявление внешние дефекты сварки. Приведены процедуры обнаружения дефектов и постановки задачи обнаружения дефектов сварных соединении. Во второй главе приводится анализ существующих методов цифровой обработка изображений и, а также существующих методов обнаружения дефектов. В этой главе предложена следующая обобщённая классификация основных методов: Предварительная обработка изображений, улучшение качества изображений, фильтрация, пороговые методы, методы обнаружения границ, метод гистограммы, методы морфологические обработка изображений, методы на основе преобразования водораздела. Показаны методы сегментации, методы выделения краёв, предложены методы и алгоритмы распознавания образов; Общая познания системы распознавания образов, принципы построения систем распознавания образов, особенности систем и методов распознавания в задачах видеомониторинга сварочных процессов, основные принципы построения систем распознавания видеомониторинга сварочных процессов. Предложены эффективные алгоритмы и процедуры детектирования дефектов сварного шва ; В третьей главе -описывается реализация алгоритмов обработки изображений в автоматической системе контроля качества сварных соединений. Представлены структуры и процедуры функционирования программно- аппаратной системы мониторинга сварочных процессов. В главе говориться о моделирование обнаружения ' и классификации дефектов с помощью корреляционного метода. В заключение, приведены основные выводы и результаты, полученные в диссертационной работе. 13 Глава 1. Системы автоматического видеомониторинга сварочных процессов 1.1. Методы автоматизированного визуального контроля для дуговой сварки Технологии развиваются автоматизированного достаточно быстро визуального благодаря прогрессу контроля в (АВК) электронной промышленности и широко применению методов обработки изображений. Эти технологии имеют перспективы использования в сварочной практике [89,90], что обусловлено снижением цен на технические средства, повышением надёжности, а также применением эффективных алгоритмов обработки изображений и проблемно - ориентированного программного обеспечения [69]. Средства АВК наилучшим образом для контроля качества процесса сварки, потому что они позволяют получать двумерную и трёхмерную информацию как о сварочной ванне, так и поверхности шва. Наиболее широкое применение получили датчики CCD (Charge Coupled Device, Прибор с зарядовой связью), которые используют изображения видимого спектра, обеспечивая информацию о типе соединения, форме сварочной ванны, дуги и др [75]. Таким образом разработка систем АВК является важной областью исследований в сфере автоматизации сварочного производства. Методы АВК обычно разделяют на две категории: активный и пассивный контроль. Активный автоматизированного визуального контроля (АВК) В активном АВК используется лазер или структурированный свет с целю получения чёткого изображения и избежания эффекта влияния подсветки от дуги. Лазеры отличаются высокой интенсивностью, направленностью, монохроматичностью и когерентностью. Системы АВК используют датчик, состоящий из лазерного диода и CCD-камеры, для получения профиля шва, с целью наведения на стык сварочной горелки и слежения за траектории движения сварки для оценки качества сварки [95]. Для построения трёхмерной модели сварочной ванны точечный источник света от лазера преобразуется в линию 14 света с помощью цилиндрической линзы, затем в линию профиля при пересечении с деталью. Таким образом может быть получена информация о геометрия сварочной ванны и строении поверхности сварного шва. Система стробоскопического зрения [55], состоящая из лазерного импульсного источника и камеры (Рисунок 1.1 ), позволяет получать чёткие изображения сварочной ванны при аргонодуговой и плазменной сварке. Чёткое высококонтрастное изображение обеспечивает информацию о геометрии сварочной ванны. Сварочная горелка Видеокамера Импульсный лазер Контрастирующий фильтр Оптический кабель Сварочная дуга Рисунок 1.1- Система стробоскопического зрения В работе [57] представлена система АВК функционирующая на основе структурированной сетки на Рисунок 1.2 . Средняя мощность лазерного импульса 7 МВт; его продолжительность 3 не, мощность составляет 50 квт, длина волны 337 нм. Система обеспечивает чёткое изображение сварочной ванны при условии, что плотность энергии подсветки гораздо выше чем возмущения от сварочной дуги. 15 Система пояшиош«рооаи т А I ПК Ж Иютерф<«к Фреймграббер Мажеяуджтор Маю «тар Оптический кабель Сеа|»еч«и« шй>тя ^Г f Рисунок 1.2 - Схема получения образа сварочной ванны с помощью структурированной сетки Обзор исследований в области активных систем АВК представлен в Таблице 1. Таблица 1. Исследования активных систем АВК Способ Исследования получения Оборудование Преимущества Недостатки Высокое разрешение Высокая информации R.Kovacevic 3D Сенсор Импульсный (USA) Сварочной. Лазер стоимость ванны C.G.Morgan Изображение Камер, Нечувствительность Сложность (Oxford Сварного шва лазерный к засветке от дуги установки University) диод J.E.Agapakis Система Мощный Высококачественное Высокая (USA. стробоскопиче импульсный изображение стоимость Automatic Inc) ского зрения лазер, камер 16 Пассивный автоматизированный визуальный контроль Системы пассивного АВК используют излучение жидкого металла сварочной ванны металлических паров и дуги [55,79]. Один из способов построения пассивного АВК - это наблюдение изображения вблизи дуги сварочной ванны и отражённого света дуги с интервалом, равным линии спектра дуги, с целью избежания влияния со стороны сильных линий спектра дуги. В работе [79] выбрано оптимальное значение спектра на 4064 ± 20А посредством анализа экспериментальных данных о спектре низкоуглеродистой стали при GTAW на Рисунок 1.3 показано 'распределение линий спектра различных элементов на основе которого выбираются сигналы управления. Другой метод пассивного АВК основан на использовании излучения дуги в качестве источника света и выборе окна в интервале спектра. МпМОЗО А к 1 \ « Г^\) } FC1404 5 АИ404 4 МШ403 0 МпИОЗ 4 /1 МШ404 1 | I i\ MO1405.S FCI40R 3 I Fcl407, I \fj\ JUJU X (nrn) Рисунок l .3 - Распределение интенсивности спектральных линий В работе [58] рассмотрена система АВК, которая располагается на сварочной дуге в координатных осях электрода. Эта система позволяет наблюдать полную картину сварочного процесса, достаточно эффективно, так как электрод и сопло перекрывают яркую часть дуги, что позволяет избежать засветки. В вышеуказанных случаях качество изображений пассивного АВК может быть улучшено путём комплексирования технологий фильтрации в специфическом спектре излучения, хотя это не так эффективно, как применение активного АВК. Однако, пассивный АВК требует меньше затрат на оборудование (необходима только CCD камера для получения изображения 17 сварочной ванны) и проще по структуре оборудования, таким образом, oi больше подходит для сварочного производства. Обзор исследований в области пассивных систем АВК представлен i Таблице 2. Таблица 2 Исследования пассивных систем АВК Исследования R.W.Richardson (OSU) Получаемая информация Оборудование Преимущества Недостатки GTAW-геометрия сварочной ванной MIG- траектория сварного шва Визуальный датчик в координатной системе сварочной горелки (электрода) Уменьшение излучения дуги для получения качественного • изображения Большой объем вычислений в автономном режиме К. Oshima (Japan, Saitama University) Hezhi Li (Gansu Institute of technology) MIG/MAG динамика сварочной ванны MAGИмпульсное изображение сварочной ванны Kezhen Wang (Tsinghua University) MIG Изображение сварочной ванны Wuzhu Chen (Tsinghua University) Измерение характеристик сварочной ванны в реальном времени CCD камера CCD камера Высокоскоростн ая CCD-камера CCD камера с композитным фильтрации Априорное управление сварочной ванной Снижение сварочного тока при визуализации Определение ширины сварочной ванны и контроль проплавления Определение характеристик процесса сварки в режиме Существен ные возмущения, требуется высокая 18 Таблица 2. (продолжение). Shishen Huang (South China university of technology) Изображение поверхности сварочной вафанны Pengjiu Li (Harbing Institute of technology) Параметры влияния сварки для аргонодуговой сварки дуга спектра Yuchi Liu, bin Huang (Harbing Institute of technoloty) Изображение сварочной ванны из низкоуглеродистой стали Внешняя и внутренняя поверхность сварочной ванны Yajun Lou, Dongbin Zhao (Harbing Institute of technoloty) Guangj unZhang (Harbing Institute of technology) Jianjun Wang (Shanghai Jiao Tong Univ.) 1.2. Площадь массива CCDкамеры Съемка производится под углом 50 Время обработки: 200 мс Камера Информативная составляющая света дуги в диапазонах 320440 нм,700-800 нм Оценка ширины сварочной ванны - форма сварочной ванны Форма сварочной ванны алюминиевого сплава CCD камера CCD камера CCD камера Двухсторонний визуальный контроль и моделирование шва Трехсторонний визуальный контроль - - Двухсторонний визуальный контроля, широкополосный фильтра - Методы обработки изображений для дуговой сварки в системах АВК Обработка изображений предназначена для извлечения характеристик сварочной ванны, для построения модели процесса, которая позволяет в режиме реального времени осуществлять контроль проплавления [89,90]. Таким образом, точность алгоритмов обработки изображения важна для разработки САУ процессами сварки [59]. Как правило, исходное изображение не может быть непосредственно использовано в алгоритме управления из-за ограничений 19 сварочного оборудования, таким образом требуется специфическая обработка изображений. Кроме того, колебания сварочного тока и возмущения от излучения могут привести к ухудшению изображения [81]. Все вышеперечисленные факторы добавляют трудностей в обработке изображений и требуют адаптации алгоритмов обработки изображения к различным условиям. На основе анализа изображения сварочной ванны разработан ряд алгоритмов для определения геометрических параметров, таких как восстановление изображения, обнаружение краёв, проекции, нейросетевая идентификация и аппроксимация кривых. Изменения формы, длины, ширины, и других параметров, можно получить из изображения, и профессиональный сварщик использует эту информацию для регулирования параметров сварки с целью стабилизации сварочного процесса. Ключевым моментом в управлении процессом сварки является построение модели формообразования сварного шва. Обработка изображения верхней части сварочной ванны Как правило, экспериментальных изображения условиях сварочной требуют разных ванны при различных алгоритмов обработки изображения, так как сварочный ток, направление света от дуги и др., изменение контраста между металлом и сварочной ванной [69]. Целью обработки изображения является обнаружение границы сварочной ванны и вычисление её параметров. Пороговый метод использует градиент яркости для определения положения сварочной ванны [71]. Другие методы, такие как алгоритм обнаружение границы в сочетании с методом сглаживания и методом полиномиальной аппроксимации используются для удаления шума в изображении. В работе [71] рассмотрены основные этапы обработки изображений сварочной ванны. Первый-это фильтрация. Затем, используются различные методы обработки выпуклых и вогнутых участков изображения. Для выпуклого 20 изображения гистограмма уровня серого имеет два пика и, следовательно, бинарное изображение может быть получено как лежащее между двумя пиками. Граница может быть извлечена методом отслеживания краёв. Для вогнутого изображения гистограмма уровня серого также имеет два пика, но прямой пороговый метод приведёт к неверному результату, поэтому применяется двумерное обнаружение краёв. Наконец, метод координации используется для вычисления фактических параметров формы сварочной ванны в плоскости заготовки. Обработка изображений обратной части сварочной ванны Обработки изображений также необходима для внутренней стороны сварочной ванны. Источник высоко температурного излучения от плавящегося металла формирует типичное целевое изображение, которое может быть обработано с помощью порогового метода после Гауссовой фильтрации, после этого может быть определены характеристики сварочной ванны [85]. Расчёт трёхмерных характеристик сварочной ванны В работе [85] рассмотрен простой метод для получения 3D модели поверхности сварочной ванны на основе отражённого излучения дуги поверхностью. Метод заключается в вычислении расстояния между горелкой и отражением, и позволяет косвенно вычислить рельеф поверхности сварочной ванны. Обработку изображений можно разделить на следующие этапы: 1. Гауссовая фильтрация 2. Пороговый метод 3. Определение положение электрода 4. Расчёт рельефа поверхности сварочной ванны. В работе [85] приведены способы расчёта рельефа поверхности сварочной ванны на основе монокулярного, зрения. Теоретически трёхмерная информация об изображении не может быть извлечена из монокулярного изображения, но • 21 некоторые дополнительные признаки, такие как геометрическая модель, особенности поверхности и физические характеристики, могут служить для извлечения трёхмерной информации. Этот метод называется "Форма из затенения "(Shape From Shading, SFS) и использует некоторые априорной знания и ограничения для получения уравнения поверхности отражения. Метод SFS предназначен для получения единого изображения из эксперимента и для расчёта рельефа поверхности сварочной ванны по уравнению отражения, которое преобразует полутоновое изображение в карту высот. Главной проблемной является - построение уравнения и решение для построения карты высот реальной поверхности сварочной ванны. Характеристики источника света, камеры и поверхности объекта должны быть известны. Затем уравнение связывающее градиент поверхности и изображение в оттенках серого строится для идеальных условий получения изображения. Предлагается итерационный метод для вычисления карты высот поверхности, а проверки осуществляется путём сопоставления синтетического образа и реального изображения сварочной ванны. 1.3. Назначение и основные функции систем технического зрения(СТЗ) Целью системы технического (машинного) зрения является принятие решений о характеристиках реальных физических объектов и сцен на основе воспринимаемого изображения [49]. До недавнего времени основной областью применения систем машинного зрения (СТЗ) являлось видеонаблюдение и смежные с ним область [27,37]. Однако в последние годы, с развитием оптических систем связи, фотоаппаратуры высокого разрешения, переходом на новые некогерентные источники излучения круг областей применения СТЗ значительно расширился, СТЗ активно используются в следующих областях: - Метрологии (измерительные микроскопы, высокоточные теневые микрометры и т.д.); - Автомобилестроении (контроль качества окраски, сварных швов и т.д.); 22 - Электронике (контроль установки микросхем на плату и т.д.); - Медицине и фармацевтике (автоматический контроль маркировки и т.д.); - Машиностроении (контроль точности изготовления деталей и т.д.); - Металлургии (контроль зазоров в прокатных станах, контроль вспучивания металла перед валками, контроль геометрии кристаллизаторов и т.д.); - Робототехнике (контроль положения манипуляторов и т.д.); - При лабораторных испытаниях (бесконтактное измерение температуры, контроль поверхности и т.д.). Задачи технического зрения [15,16]; Обнаружение и распознавание объектов в кадре - Измерение геометрических параметров объектов; - Восстановление формы; - Поиск характерных изображений; - Определение взаимного расположения объектов; - Оптическое распознавание знаков; - Определение движения; - Слежение за характерным изображением; Задачи компьютерного зрения: Каждая из областей применения компьютерного зрения, описанных выше, связана с рядом задач; более или менее хорошо определённые проблемы измерения или обработки могут быть решены с использованием множества методов. Классическая задача в компьютерном зрении, обработке изображений и машинном зрении это определение содержат ли видеоданные некоторый характерный объект, особенность или активность. Эта задача может быть 23 достоверно и легко решена человеком, но до сих пор не решена удовлетворительно в компьютерном зрении. 1.4. Типовая структура и основные принципы функционирования систем технического зрения Общая функциональная схема системы технического зрения приведена на Рисунок 1.4. Изображение объекта через оптический прибор передаётся на преобразователь свет-сигнал, электрический сигнал в устройстве первичной обработки изображения усиливается и запоминается. Устройство анализа изображения (вторичной обработки) служит для выделения и распознавания объекта, определения его координат и положения [15,46,49]. При необходимости обработанная информация об объекте высвечивается на устройстве визуального контроля. На основе полученной информации контроллер связи выбирает управляющие сигналы, приводящие в действие исполнительные механизмы, осуществляющие целенаправленное воздействие на объект. Кроме того, система технического зрения может осуществлять запись результатов анализа изображения на носители информации и вывод на печатающее устройство. Важной частью системы является блок управления. В его функции входит управление параметрами блоков обработки, а также синхронизация процессов, выполняющихся в системе. Освещение Блок первичной обработки изображений Преобразователь "свет-сигнал" Память изображения Блок вторичной обработки изображений 1, Исполнительный механизм т Контроллер связи Блок управления Блок визуального контроля а Устройство записи информации Потоки управления Потоки данных Рисунок 1.4 - Типовая структура СТЗ 1 Печатающее устоойстео 24 1.5. Задача контроля качества сварных соединений Качество зависит от того, отвечает ли конструкция требованиям эксплуатации. Задачей контроля является установление таких показателей, определяющих качество, как прочность, всестороннее соответствие материала нормативам, заданным размерам, обработке, а также самое главное - отсутствие дефектов [8]. Визуальный метод контроля является старейшим и продолжает играть важную роль в настоящее время. Часто внешний осмотр производят невооружённым глазом, а также используют обзорные, налобные или телескопические лупы. Осмотр сварных швов, скрытых близлежащими деталями и недоступных наблюдению невооружённым глазом, осуществляют с помощью оптических приборов эндоскопов, перископов и других приборов, в том числе с использованием волокнистой оптики. Преобразование состояние ванны расплавленного металла в процессе сварки, наблюдать за электронным лучом в вакуумной камере и т. д. Своевременное устранение дефектов, выявленных визуальным осмотром, и выяснение их причин позволяют оперативно регулировать качество технологии и уменьшить объёмы последующих этапов неразрушающего контроля. Дефектами сварных соединений называют отклонения от норм, предусмотренные техническими условиями и ГОСТами (например, разделы кромок под сварку регламентированы ГОСТ5264-80*; механические свойства - ГОСТ 1497-84 и т.д.) [9,2]. 1.5.1. Контроль сварных швов внешним осмотром Все швы металлических конструкций обязательно подвергаются внешнему осмотру после тщательного удаления с поверхности шва шлака, окалины, брызг металла и т. д. Внешний осмотр позволяет установить не только наружные дефекты, но и некоторые внутренние. Так, например, неравномерность складок (чешуек), разная ширина и высота шва указывают на частые обрывы дуги и изменение ее мощности, что обычно ведёт к не проварам и не плотности шва. Для обнаружения тонких, волосяных трещин, выходящих на поверхность наплавляемого и основного металла, пользуются лупой. При внешнем осмотре 25 проверяется также соответствие геометрических параметров шва размерам, указанным на чертеже изделия, при помощи специальных шаблонов и других измерительных приборов. 1. Неравномерность шва по ширине и высоте, отклонение от размеров чертежа на Рисунок 1.5. Причина возникновения. Некачественная подготовка кромок (наличие продольной кривизны, несоответствие угла скоса кромок углу, указанному на чертеже), низкая квалификация сварщика [21,32]. 2. Бугристость, наплывы, неравномерная чешуйчатость на Рисунок 1.5. Причина возникновения. Перемещение электрода с различной скоростью, нарушение режима сварки. 3. Подрезы, прожоги на Рисунок 1.6. Причина возникновения. Наличие большой силы тока ведение сварки длинной дугой. 4. Не провар корня шва на Рисунок 1.6. Причина возникновения. Малая сила сварочного тока, наличие грязных кромок, малый зазор между листами, некачественная сборка, большая скорость перемещения электрода. Причина возникновения. Малая сила сварочного тока, наличие грязных кромок, малый зазор между листами, некачественная сборка, большая скорость перемещения электрода [21,32]. 5. Недопустимые коробления и деформации сварных соединений конструкций, на Рисунок 1.6. Причина возникновения. Неравномерный нагрев и охлаждение при сварке. Возникновение внутренних напряжений в конструкциях. Неправильный порядок сборки деталей и сварки. Ведение сварки без предварительного подогрева деталей. Наличие прогибов в деталях до сварки. Примечание. Пунктиром показано, каково должно быть расположение деталей после сварки. 26 Бугристоеть Наплывы / Рисунок 1.5 - Внешние дефекты сварного шва Н е п р о в а р корня шва Рисунок 1.6 - Внешние дефекты сварного шва Рисунок 1.7 - Внешние дефекты сварного шва 1.5.2. Автоматизация процедур классификации дефектов сварных швов Системы компьютерного зрения сильно зависит от области применения и требовании к производительности аппаратной платформы. Некоторые системы являются автономными и могут решить специфические проблемы обнаружения и измерения, тогда как другие подсистемы образуют систему более крупных систем, которая уже может содержать подсистему контроля роботов, базы данных для поиска похожих изображений, человеко-машинные интерфейсы [9,21,32]. 27 Компьютерное зрение может быть применено для видео данных, с тем, чтобы извлечь определённый объем информации удовлетворяющий определённым условиям, в зависимости от используемого метода. Примеры: - Повторный отбор проб с тем, чтобы убедиться, что изображение системы координат является правильным. - Удаление шума датчиков. - Улучшение контрастности. - Масштабирование. . - Выделение деталей изображения разных уровней сложности из видео данных. Типичными примерами таких продуктов являются: линий, границ и краёв [2,9]. - Локализованных точек интереса может касаться структуры формы или движения. В данной работе предлагаются процедуры автоматического детектирования дефектов, основанные на методах и алгоритмах цифровой обработки изображений для двух режимов функционирования - «онлайн» - в процессе сварки (Рисунок 1.8), и «офлайн» - после сварки (Рисунок 1.9) с использованием панорамных изображений (развёрток) сварного шва. Получение видеопоследовательности (кадров К . К,..., К ) * Создание панорамного изображения т — Предварительная обработка изображения Постобработка изображения Обнаружение дефекта (локализация) Рисунок 1.8 - Структура обнаружения дефектов в режиме офлайн 28 Получение кадров в процессе сварки (К) Предварительная обработка изображений I I Постобработка изображений Обнаружение дефекта Сегментация Ркютктет Рисунок 1.9 - Структура обнаружения дефектов в режиме онлайн Л Рисунок 1.10- Получение изображения сварного соединения в реальном времени 1.6. Постановка задачи автоматического контроля качества сварных соединений по видимому изображению Качество сварных соединений во многом зависит от геометрических параметров шва, его внешнего вида и других особенностей, которые можно определить методами цифровой обработки изображений на основе данных видеомониторинга [8,9]. С помощью методов цифровой обработки изображений возможно решить ряд задач, которые прямо или косвенно указывают на наличие дефектов сварного шва, их размер и местоположение, а также дают возможность прогнозирования появления дефектов. К этим задачам относятся: 29 -обнаружение кромок разделки стыка по данным априорного видеомониторинга; - обнаружение центра разделки (траектории перемещения сварочной горелки) для решения задачи'слежения за стыком; - определение ширины сварного шва с целью выявления отклонений его геометрических параметров от допустимых значений; - определение координат средней линии шва с целью обнаружения отклонения шва от заданной траектории сварки - сегментация изображений шва с целью локализации дефектов, определения их геометрических размеров и местоположения. Задача обнаружения кромок и центра разделки стыка (до сварки) При сварке трубопроводов толстостенных большого диаметра стыковых соединений используются магистральных специальные способы подготовки труб [1,2,21], определяемые технологией сварки. Типичный профиль разделки представлен на Рисунок 1.11. Для решения задачи геометрической адаптации необходимо определить координаты центра разделки - траекторию движения сварочной горелки и координаты кромок, определяющие ширину разделки и, соответственно, размах колебаний сварочной горелки (Рисунок 1.12). 4 ^^В ^ ^ ^ ^ ^^т X. (ММ) Рисунок 1.11- Типичный профиль разделки стыка 30 Рисунок 1.12 - Обнаружение кромоки центр разделки стыка (до сварки) Координаты центра соотношением: разделки х р = стыка L-^max ^min\ р хп определяется следующим (1.1) + Х min Где хтах и xmin - координаты кромок разделки стыка. Ширина сварного шва определяется следующим соотношением: Определение ширины сварного шва (после сварки) W = ( x m a x - Xjntn), (1.2) Ширина сварного шва должна находится в определённых пределах, определяемых регламентирующими документами. Таким образом [21,45], при обнаружении границ сварного шва (Рисунок 1.13), можно определить наличие дефектов, которые связаны с недопустимой шириной шва на (Рисунок 1.13, Рисунок 1.14, Рис. 1.15). X (мм) I (им) Рисунок 1.13 - Определение границ шва и вычисление ширины сварного соединения. 31 Если wmin < w < wmax, тогда шов качественный, иначе имеет место дефект, связанный с недопустимой ширины сварного шва (Рис. 1.14). Рисунок 1.14 - Область допустимых значений ширины шва и детектирование дефекта Где W - ширина шва, L- длина шва W(MM) L(MM) Рисунок 1.15- Область допустимых значений ширины шва и детектирование дефекта, связанного с выходом ширины шва за пределы области допустимых значений Определение отклонения центра сварного шва от центра разделки (смещение шва относительно заданной траектории сварки). В процессе сварки может произойти нежелательное отклонение перемещения сварочного оборудования относительно заданной траектории движения (центра разделки) [8,9], что в свою очередь, приведёт к смещению сварного шва относительно 32 заданного положения (Рисунок 1.16). Ситуацию, в которой это отклонение выходит за рамки допустимых значений, можно трактовать как возникновение дефекта (Рисунок 1.17). Рисунок. 1.16 - Смещение сварного шва относительно заданного положения (центра разделки) CJMM) ш- К ш t Облег** клч*слн»иной шаркн Етйн ЦМЩ Рисунок 1.17- Отклонение центра шва от центра разделки Координаты отклонения сварного шва £ определяется соотношением: С* ^ ^ С - I "У" |Лц — следующим (1.3) "V* ^^ Лц | Где х™ - координаты средней линии сварного шва. Зная координаты центра разделки (желаемой траектории) можно определить величину отклонения. В случае, если £ > £ т а х или £ < £ min то есть имеет место дефект на (Рисунок 1.17). Основной задачей контроля качества сварных соединений является обнаружение дефектов, оценка их геометрических характеристик и местоположения на (Рисунок 1.18). 33 a) X (MM) X; Xs * is» — L2 /I L(MM) 6) Рисунок 1.18 - а) Исходное изображение с дефектами, б) Локализация дефектов сварного шва. После того, как дефекты обнаружены (локализованы), с целью дальнейшей их классификации могут быть определены дополнительные геометрические характеристики [2,21], такие, как центроиды, площадь, размеры описанной окружности или прямоугольника на (Рисунок 1.19). Рисунок 1.19 - Локализация дефектов сварного шва 34 Реальный размер объекта (дефекта) может быть определён путём преобразования пиксельных координат изображения в координаты реального мира (Рисунок 1.20). •К X 200 pix 40mm 4— Рисунок 1.20 - Пересчет размеров дефекта Основные соотношения для вычисления реальных размеров дефекта: х 1 г»- 4 0 Г. 1 1 Pix = - = — =0.2 mm р Spix 1.7. = 2 0-2 х 0.2=0.04 mm Spix 200 - реальный размер объектов. (1-4) Вывод по первой главе В данной главе проведён аналитический обзор методов автоматизированного визуального контроля для дуговой сварки и методов обработки изображений для дуговой сварки в системах АВК. Приведена типовая структура и основные принципы функционирования систем технического зрения. Приведена постановка задачи автоматического контроля качества сварных соединений по видимому изображению; обнаружения кромок разделки стыка, обнаружения средней линии разделки стыка и ширины сварного шва с целью выявления отклонений его геометрических параметров от допустимых значений и определения координаты средней линии шва с целью обнаружения отклонения сегментации. шва от заданной траектории сварки. Рассмотрена задача 35 Глава 2. Разработка и исследование алгоритмов детектирования дефектов сварных соединений с использованием технологий цифровой обработки изображений В данной главе рассмотрены методы и алгоритмы для детектирования дефектов на основе технологий цифровой обработки изображений. 2.1. Типовая процедура цифровой обработки изображений Типовая процедура выделения особенностей (Рисунок 2.1) на изображении, полученном от камеры, включает следующие основные этапы [37,46,49]: - Получение цифровых изображений (захват изображений). - Преобразование цифровых изображения (предварительная обработка и постобработка изображений). - Поиск особенностей объектов (морфологическая сегментация). - Классификация (распознавание). На этапе процедуры предварительной обработки изображений используется метод улучшения качества изображений: метод эквализации гистограммы, метод удаления шумов, метод пороговой бинаризации. На этапе постобработки изображений применяются методы выделения краёв. На этапе поиска особенностей - методы морфологической сегментации, методы выделения краёв, метод водораздела, методы выделения признаков. На этапе классификации - метод сравнения с эталоном, метод корреляционный, метод главных компонент, метод нейросетевые классификации. признаковый, метод структурный, методы Я о V! Я Формирование исходного изображения о * Н к я о Ю рз а я Исходное изображение (Онлайн последовательность кадров) 43 о с to *<. 43 РЭ я Исходное изображение (Офлайн "Развертка") Предварительная обработка О Яс О а\ 43 СП О Преобразование Цвет-полутон • Эрозия и Дилатация • Замыкание и разамыкание Фильтрация изображений • Нелинейная фильтрация • Линейная фильтрация о о> • Пороговая бинаризация • Адаптивная бинаризация Методы классификации • Метод сравнения с эталоном • Корреляционный метод • Метод главных компонент • Признаковый метод • Структурный метод • Нейросетевые методы ON Выделение признаков Бинаризация изображений Яс Морфологические операции • Выделение краёв • Метод водораздела • Методы теории графов W я изображений • Гистограммная эквализация • Гамма - коррекция • Логарифмическая преобразования я Я изображений Сегментация изображений Я рэ Классификации Улушение качества изображений н 43 Постобработка изображений 43 О я —^ • Площади и периметры • Геометрические фигуры • Моменты инерции 37 2.2. Методы предварительной обработки изображений Операции распознавания на изображениях определённых объектов, как правило, предваряются обработкой изображений для создания условий, повышающих эффективность и качество выделения и распознавания искомых или изучаемых объектов. Методы предварительной обработки зависят от задач исследований, довольно разнообразны и могут включать, например, выделение наиболее информативных фрагментов, их увеличение, получение 3-мерных изображений, цветокартирование, реализация высокого пространственного разрешения, повышение контрастного разрешения, улучшение качества изображений и т.п. 2.2.1. Преобразование цветного изображения в полутоновое Изображение, полученное из фотоаппарата или видеокамеры обычно цветное. Для эффективного функционирования СТЗ необходимо преобразовать цветное изображение в полутоновое, где останется только информация о яркости изображения [11,46,49]. Для получения значений яркости Igs(i,j) используется взвешенная сумма по значениям красной (R), зелёной (G) и синей (В) составляющих (Рисунок 2.2): Igsihj) =KR R ( U ) + KCG (i,j) + KBB (i,j) KR = 0.2989 ,KG = 0.5870 KB =0.6840 Рисунок 2.2 - Преобразование цветного изображения в полутоновое. (2.1) 38 2.2.2. Улучшение качества изображений Главная цель улучшения заключается в такой обработке изображения, чтобы результат оказался более подходящим с точки зрения конкретного применения. Чаще всего шумоподавление служит для улучшения визуального восприятия [15,16], но может также использоваться для каких-то специализированных целей - например, в медицине для увеличения чёткости изображения на рентгеновских снимках, в качестве предобработки для последующего распознавания и т.п. Контраст-это разница в визуальных свойствах, что делает объект (или его представительство в изображении) можно различить других объектов и фона. В визуальном восприятии реального мира, контрастности определяется разницей в цвете и яркости объекта и других объектов в пределах одного поля зрения. Иными словами, это разница между тем темнее и светлее пиксель изображения, если оно большое изображение будет иметь высокую контрастность и в другом случае изображение будет иметь низкий контраст. Метод логарифмического преобразования Вид логарифмического преобразования, показанного на Рисунок 2.3, выражается формулой; S = с log(l + О (2.2) Где s - выходная величина, у - исходное значение, а с - константа. Это преобразование узком диапазоне низких серого значения уровня в ввод изображения в широком диапазоне выходных уровней. Обратное более высокое значения входных уровней. Логарифмическое преобразование используется для расширения значения темных пикселей в изображение при сжатии выше уровня значения. Расширение ярких уровней использует обратное логарифмическое преобразование [15, 16, 20]. 39 Рисунок 2.3 - Некоторые основные функции градационных преобразований, используемых для улучшения изображений. Рисунок 2.4 - Логарифмическое преобразование изображения сварного шва. Степенные преобразования (Гамма коррекция) Гамма-коррекцией имеют вид, показанный на Рисунок 2.5, и выражается формулой [52]; s = crY (2.3) Где с и г являются положительными константами. Иногда уравнение (2.3) записывается в виде s = c(r + s)Y для того, чтобы ввести смещение, т.е. измеримый (ненулевой) выход, когда на входе ноль. Впрочем, смещения возникают при калибровке устройстве воспроизведения, поэтому в уравнении (2.3) они обычно игнорируются. Графики зависимостей s от г при различных значениях показаны на Рисунок 2.5. Так же как в случае логарифмического преобразования, кривые степенных зависимостей при малых отображают узкий диапазон малых входных значений в'широкий диапазон выходных значений, при 40 этом для больших входных значений верно обратное утверждение. Однако в отличие от логарифмических функций, здесь возникает целое семейство кривых возможного преобразования, получаемых простым изменением параметра у. Как и следовало ожидать, на Рисунок 2.5 видно, что кривые, полученные со значениями у> 1 дают прямо противоположный эффект по сравнению с теми, которые получены при у< 1. Наконец отметим, что уравнение (2.3) приводится к тождественному преобразованию при с = у = 1. Рисунок 2.5 - Графики уравнения s = crY, для различных значений у (с = 1 во всех случаях). Разнообразие устройств, используемых для захвата изображения, печати и отображения соответствуют по степенному закону. По соглашению, показатель степени в степенных уравнениях называется гамма [15,16]. Процесс, используемый для устранения этот степенной зависимости, называется гаммакоррекцией. Например, электронно-лучевые трубки обладают интенсивностью и напряжением ответа, что является степенной функции с показателями, изменяющимися от примерно 1,8 до 2,5 на Рисунок 2.6, то есть системы отображения будут склонны создавать изображения, которые темнее, чем на самом деле и гамма-коррекция позволит устранить это путём предварительной обработки входного сигнала. 41 Изображение на -экране монитора Рисунок 2.6 - Гамма-коррекция в ЭЛТ ТВ у< 1 у= 1 У> 1 Рисунок 2.7 - Применение гамма - коррекции к изображениям сварных соединений • а) • ^ ^ М ;,-;, б) в) Рисунок 2.8 - Применение гамма-коррекции к изображениям сварных соединений: а) значение у < 1, б) значение у = 1. в) значение у > 1. 42 Гистограммная эквализация Гистограммная эквализация имеют вид, показанный на Рисунок 2.9, выражается формулой [25,34]; Sk = (L - 1) *.(гк - ук . ) minj (2.4) (гк — Yk • ) v к тах ' "•mm-' Где у и s являются входные и выходные пиксели изображения, L-это разные значения, которые могут быть пиксели, и гк и ук . являются максимальные и минимальные значения серого цвета входного изображения. Этот метод обычно увеличивает глобального контраста изображения, особенно когда данных изображения, представленного контраста следующих значений. С помощью этой регулировки величины света могут быть лучше распределены на гистограмме. Это позволяет для областей низкого локального контраста, чтобы получить больший контраст. Выравнивание гистограммы достигается путём эффективного распространения наиболее частого значения интенсивности. Рисунок 2.9 - Выравнивание гистограммы Метод гистограммной эквализации полезен в обработке изображении с фонами и передними планами, которые светлые или тёмные. В частности, этот метод может привести к лучшей детализации в фотографии, которые были пере или недоэкспонированны. Ключевым преимуществом метода является то, что это довольно простой метод обратимого оператора. Так что в теории, если гистограммная функция известна,, то исходная гистограмма может быть восстановлена. Расчёт не является ресурсоёмким недостатком способа является то, что он носит неизбирательный характер. Это может увеличить контраст фонового шума, при уменьшении полезного сигнала. 43 полутонового изображения. 2.2.3. Удаление шумов (фильтрация) Шумоподавление служит для улучшения визуального восприятия, но может также использоваться для специализированных целей, например, в качестве предобработки для последующего распознавания и т.п. Также шумоподавление играет важную роль при сжатии изображений. Сильный шум может быть принят за детали изображения, и это может отрицательно повлиять на результирующее качество изображения, характер шума может быть различными [51]: - Неидеальное оборудование для захвата изображения —видеокамера, сканер и т.п.; - Плохие условия съёмки — например, сильные шумы, возникающие при ночной фото/видеосъёмке; - Помехи при передаче по аналоговым каналам — наводки от источников электромагнитных полей, собственные шумы активных компонентов (усилителей) линии передачи; 44 Шумы тоже бывают разных видов. Наиболее адекватными с точки зрения использования в практических задачах являются модели аддитивного Гауссова и импульсного шума [7,15,18,24,39]. Аддитивный Гауссов шум характеризуется добавлением к каждому пикселю изображения значений из соответствующего нормального распределения с нулевым средним значением. Такой шум обычно вводится на этапе формирования цифровых изображений. Импульсный шум характеризуется заменой части пикселей на изображении значениями фиксированной или случайной величины. Такая модель шума связана, например, с ошибками при передаче изображений. Примеры шумов на изображениях представлены на Рисунок 2.11. Рисунок 2.11 - Примеры разных шумов на изображениях: а) исходное изображение, б) гауссов шум на изображении, в) импульсный шум на изображении, г) комбинированный шум на изображении Самые распространённые методы удаления шумов это: -Усредняющие фильтры - Сглаживающие фильтры - Медианные фильтры • - Пороговые фильтры 45 Усредняющие фильтры Алгоритм работы усредняющего фильтра заключается в замене значения яркости в текущем пикселе на среднюю яркость, вычисленную по его 8 окрестностям, включая и сам элемент. Этот фильтр является самым простым. К недостаткам его можно отнести сглаживание ступенчатых и пилообразных функций. Кроме того, пиксели, имеющее существенно отличное значение яркости и являющимися шумовыми могут вносить значительный вклад в результат обработки [51]. Метод усреднения изображений хорошо работает при наличии большого количества изображений 1... к, отличающихся лишь шумом. Элемент выходного изображения получается усреднением всех соответствующих элементов изображений 1 ... к: (2.5) /=i К Где к - количество изображений в серии, Sy - элемент (пиксель) изображения на пересечении столбца i и строки j . Пример применения усредняющего фильтра на изображений представлен на Рисунок 2.12. б) Рисунок 2.12 - Пример применения усредняющего фильтра на изображении: а) исходное изображение с импульсными шумами, б) после применения усредняющего фильтра на изображении. 46 Сглаживающие фильтры В качестве линейного сглаживающего фильтра используется усредняющий фильтр выходным значением, которого является среднее значение по окрестности маски фильтра [51J. Фильтр используется для задач удаления зернистости изображения вызванной импульсным шумом. Общая формула отклика усредняющего фильтра имеет вид: (m-l)/2 (п-1)/2 д(х,у) = 2_, s ~ X (2.6) w(s,t)f(x + s,y + t) ( m - l ) (n-1) c 2 ~ 2 Где: s E [—т/2, т/2]- координата по оси абсцисс, t Е [—п/2,п/2]координата по оси ординат. В форме удобной для программного представления подобный фильтр можно представить следующим образом: (m-l)/2 (п-1)/2 Е *Ц = X i _ /m-l) 2 У. w (n-1) t _ E (2.7) ** ' (i+s).U+t) 2 Где: E*ij- массив, имеющий размерность исходного изображения т х п, [w] - массив размерностью тхп, являющийся ядром свёртки изображения. # SVe. 'Ik ^ • а) • Ф '••Jit J S f > • « О) в) Рисунок 2.13 - Пример применения сглаживающего фильтра на изображении; а) исходное изображение с импульсными шумами, б) импульсный шум на исходном изображении, в) после применения сглаживающего фильтра. 47 Нелинейная фильтрация (Медианный фильтр) Наиболее известным из фильтров, основанных на порядковых статистиках, является медианный фильтр. Действие этого фильтра, как следует из его названия, состоит в замене значения в точке изображения на медиану значений яркости в окрестности этой точки [15,16]: Л / (х,у) = mediSit)SSxy{g(s,t)} (2.8) При вычислении медианы значение в самой точке (т.е. в центре окрестности) также учитывается. Широкая популярность медианных фильтров обусловлена тем, что они прекрасно приспособлены для подавления некоторых видов случайных шумов, и при этом приводят к меньшему размыванию по сравнению с линейными сглаживающими фильтрами того же размера. Медианные фильтры особенно эффективны при наличии как биполярного, так и униполярного импульсного шума. В случае нелинейной пространственной фильтрации маска задаёт некоторый закон обработки пикселов окрестности, который не является суммой преобразований отдельных пикселей и зависит, в первую очередь, от вида изображения. Часто в нелинейной фильтрации используется медианная функция. Отклик медианного фильтра определяется в результате предварительного упорядочивания значений пикселей, покрываемых маской фильтра, и последующего выбора значения, расположенного в определённом месте упоря доченной последовательности. Фильтрация сводится к замещению исходного значения пикселя (в центре маски) на значение отклика фильтра. Один из типов медианного фильтра заменяет значение пиксела на значение медианы распределения яркостей всех пикселей в окрестности. Медиана набора чисел есть такое число а, при котором половина чисел из набора меньше или равны а, а другая половина - больше или равны а. Чтобы выполнить медианную фильтрацию для элемента изображения, необходимо вначале упорядочить по возрастанию значения пикселей окрестности, затем найти значение медианы, и, наконец, присвоить 48 полученное значение центральному пикселу. Например, для окрестности размером 3x3 элементов медианой будет значение, расположенное на пятой позиции в векторе всех значений, для окрестности 5x5 - тринадцатое значение, и так далее. Если несколько элементов в окрестности имеют одинаковые значения, то эти значения будут сгруппированы на Рисунок 2.14. • 3 2 1 U 1 i •' jo t i ::!:&>.»;•- 1 1 | 8 j 2 | 0 U j Ц j - j Л 3 П 4 2 Л " ,. , , , % С к - i 5 t 1 1 ,. .:., , : S S * I : • - Ь j J j * 1 (1 1 2 4 О Я 2 2 2 Я 4 -1 3 Я я Я 2 Я з 2 2 2 4 4 3 2 2 2 1 7 5 -( я .я Я f> О я iji 4 1 г ? [bis i | * Я 3 6 S 2 2 1 У i 2 j * 9 2 •* 1 4 4 я я я я Я 2 2 2 a) Я « s Я Я Я 2 4 я г 2 2 2 « I Я 2 2 2 ~ ~ 5 4 <T. «s -ч f 3 jt it -I 4 О 6) Я I 2 я 5 2 Я A 3 2 S 3 4 4 f i я Я 5 4 3 .4 я 2 4 i •^ * я 2 => я ч •2 t .я 4 4 _| •4 -4 .я .Я 2 я я Я 1 Я ! я t '4 •4 я я Я .я Я 1 Я Я Я Я S 4 -I -1 3 Я 3 я A 3 3 8 6 я А •4 -Я я 4 5 4 3 <i H 3 *, ^ 3 Я ^ в) -4 1 > -". г) Рисунок 2.14 - Примеры медианной фильтрации: а) фрагмент медианной фильтрации, б) результат медианной фильтрации при расширении нулями и размере маски 3x3, в) результат медианной фильтрации при расширении граничными значениями и размере маски 3x3, г) результат медианной фильтрации при расширении граничными значениями и размере маски 5x5. Медианные фильтры эффективны при фильтрации импульсных шумов, называемых шумами «соль и перец», которые выглядят как наложение на изображение случайных черных и белых точек. При этом обеспечивается значительно меньший эффект рас фокусировки, чем у линейных сглаживающих фильтров аналогичных размеров. Аналогично медианной фильтрации работают фильтры максимума и минимума, которые выбирают из упорядоченной последовательности значений окрестности последний (максимальный) или первый (минимальный) пиксел. Такие фильтры используются при поиске в изображениях наиболее ярких или темных пикселей. Медианные фильтры эффективны при фильтрации импульсных шумов, называемых шумами «соль и перец», которые выглядят как наложение на ' 49 изображение случайных черных и белых точек. При этом обеспечивается значительно меньший эффект рас фокусировки, чем у линейных сглаживающих фильтров аналогичных размеров. Аналогично медианной фильтрации работают фильтры максимума и минимума, которые выбирают из упорядоченной последовательности значений окрестности последний (максимальный) или первый (минимальный) пиксел. Такие фильтры используются при поиске в изображениях наиболее ярких или темных пикселей. а) б) Рисунок 2.15 - Пример медианного фильтра на изображении: а) бинарное изображение с шумом типа "Соль и перец", б) результат обработки медианным фильтром маска 3x3. м в .^ь. ^ ^ I I кд • • яр - . -••• л™ А~ 1 ят швы*. • -ш • •» а) • • I б) Рисунок 2.16 - Пример применения медианного фильтра на изображении: а) бинарное изображение с шумом типа "Соль и перец", б) результат обработки медианным фильтром маска 3x3. 50 2.2.4. Бинаризация изображений Бинаризация изображений, т.е. перевод полноцветного или в градациях серого изображения в монохромное, где присутствуют только два типа пикселей (темные и светлые) имеет большое значение при распознавании образов. Особенно это относится к бинарным объектам, таким, как штриховые коды, текст, чертежи и т.п. Существуют различные подходы к бинаризации, которые условно можно разделить на 2 группы [16,52]: - пороговые; - адаптивные. Пороговые методы бинаризации работают со всем изображением, находя какую то характеристику (порог), позволяющую разделить все изображение на чёрное и белое. Адаптивные методы работают с участками изображений и используются при неоднородном освещении объектов. Рассмотрим далее, как работают методы бинаризации на примере изображения, представленного на Рисунок 2.17. а) ' б) Рисунок 2.17 - Пример бинаризации на изображении сварного шва: а) исходное изображение, б) пороговая бинаризация с порогом Т =0.9 В обработке изображений часто используется процедура "пороговой бинаризации" - разбиение изображения на две области, одна из которых содержит все пикселы со значением ниже некоторого порога, а другая содержит все пикселы со значением выше этого порога. Алгоритмы адаптивной бинаризации изображений базируются на использовании локальной или глобальной гистограммы изображения. Подход, основанный на использовании гистограммы яркостей пикселов, является одним из самых известных и, безусловно, наиболее простым. Оптимальная пороговая 51 сегментация основана на приближении гистограммы изображения к некоторой кривой с использованием весовых сумм двух или более вероятностей интенсивности с нормальным распределением. Тогда порог - это набор ближайших уровней яркости, соответствующих минимуму вероятности между максимумами двух или более нормальных распределений. оптимальный порог оптимальный порог ! распределение распределение фона оптимальный I порог I стандартные 1 J порог --оптимальный порог стандартный порог стандарти ы й порог Рисунок 2.18 - Графики пороговой бинаризации Уровни яркости гистограммы аппроксимируются двумя нормальными распределениями: а - функции соответствующие гистограммы распределения и оптимальный объекта порог и для фона; б - определения оптимального порога бинаризации предложено большое количество различных подходов. Наиболее удачным из них представляется подход Otsu, который предполагает не только определение оптимального порога бинаризации, но и вычисление некоторого критерия бимодальной, то есть оценку того, действительно ли исследуемая гистограмма содержит именно две моды (два выраженных пика). Идея данного подхода заключается в следующем. Пусть изображение представляет собой двумерный массив Im размера X х Y, причём его элементы (пикселы) принимают целочисленные значения на отрезке ~ [0,255]. Тогда гистограмма этого изображения представляет собой одномерный массив Hist [0...255], в каждой ячейке которого Hist [/] содержится число пикселов изображения, имеющих значение, равное /. Рассмотрим теперь "под гистограмму" Hist [&.../], 0 < к< /< 255. Для любой такой под гистограммы (окна) [к, /] можно вычислить оценку дисперсии яркости DISP (к, /). 52 Пусть дан порог t: О < t < 255. Для него можно вычислить "критерий разделимости" SC вида i C W _ 1 D/SP(0,t) + P/SP(t+ 1,255) D/SP(0,255) (2 - 9) Критерий SCflf) всегда принимает значение на отрезке [0,1], причём значение его тем больше, чем лучше разделимость яркостного распределения на два класса относительно порога t. Алгоритм Отсу предполагает вычисление SC(t) для всех t Е {0, ...,255}, после чего оптимальный порог Отсу определяется как Т = arq maxSC(t) te(0, (2.10) ,255) Этот алгоритм имеет ясный статистический смысл и, как показывает практика, является эффективным и устойчивым способом определения адаптивного порога для бинаризации изображений. am *ч?*№тщ&?*ъе**??^ - « f а) б) Рисунок 2.19 - Пример бинаризации на изображении сварного шва: а) с порогом Т=0.1, б) с порогом Т=0.9 2.2.5. Выделение краёв Выделение краёв играет важную роль в анализе изображений и распознавании образов при решении проблемы компьютерного зрения. Края являются точками перепада значений яркости в полутоновом изображении и относятся к важным характеристикам изображения. Эти резкие точки перехода указывают местоположения контуров объектов на изображениях. Представление краёв объектов на изображении позволяет уменьшить количество данных, сохраняющих важную информацию о форме объектов в сцене [31,49,15]. Выделение краёв является наиболее используемой технологий в процессе обработки цифрового изображения. 53 При определении границ объекта производится вычисление двумерного пространственного градиента на изображении, и выявляются области, соответствующие краям. При этом происходит оценка модуля градиента в каждой точке полутонового изображения. Выделение краёв - термин в теории обработки изображения и компьютерного зрения, частично из области поиска объектов и выделения объектов, основывается на алгоритмах, которые выделяют точки цифрового изображения, в которых резко изменяется яркость или есть другие виды неоднородностей. Результатом выделения границ является набор связанных кривых, обозначающих границы объектов, граней и оттисков на поверхности, а также кривые, которые отображают изменения положения поверхностей. Объекты состоят из многочисленных частей различных цветных уровней. Край в изображении - это существенное интенсивности изображения, обычно связываемое местное изменение в с неоднородностью в интенсивности изображения. Как правило, указанное изменение описывается первой производной, характеризующей величину градиента. Предполагаемое расположение границы объекта на изображении обычно является перпендикуляром к вектору градиента. Неоднородности в интенсивности изображения могут быть различного вида: краем Шага, где интенсивность изображения резко изменение от одного значения на другого, или краем Линии, где интенсивность изображения резко изменяет значение, а затем быстро возвращается к начальному значению. Однако края типа Шага и Линии редко бывают в реальном изображении, из-за того, что в сигнале превалируют низкочастотные компоненты вследствие сглаживания видео датчиком. В результате край Шага становится краем Ската, а край Линии - краем Крыши, где изменения интенсивности не мгновенны и происходят в ограниченном интервале. Выделение краёв происходит за 3 этапа: фильтрация, улучшение и выделение. Фильтрация. Первым шагом является фильтрация шума в исходном изображении. Случайные изменения значения интенсивности на изображения 54 называются шумом. Наиболее распространёнными типами шума являются: соль и перец, импульсный шум и гауссов шум. Алгоритмы шумоподавления обычно специализируются на подавлении одного конкретного вида шума. Не существует пока универсальных фильтров, детектирующих и подавляющих все виды шумов. Улучшение, чтобы обнаружить края, важно определить изменения в интенсивности в соседней точке. Улучшение подчёркивает пиксели, которые имеют существенное изменение значения интенсивности. Обычно на этом этапе происходит вычисление градиента для пикселей изображения. Выделение у многих точек изображения имеются значения градиента отличие от нуля, и не все эти точки являются краями. Поэтому должен использоваться некоторые методы, чтобы определить какие точки являются краями. Классические методы выделения краев Для выделения краёв на • цифровых изображениях использованы классические методы Робертса, Собеля, Лапласа, Канни и т.д. [15,16,31]. Метод Собеля Идея этого метода основана в наложении на каждую точку изображения двух масок вращения [15]. Эти маски представляют собой две ортогональные матрицы размерностью 3x3 на Рисунок 2.21. -1 0 +1 Ф1 *2 +1 -2 0 +2 0 0 0 -\ 0 +1 .1 -2 .1 Рисунок 2.20 - Маски Собеля Эти маски выявляют границы, расположенные вертикально и горизонтально на изображении. При раздельном наложении этих масок на 55 изображение можно получить оценку градиента по каждому из направлений. Gx, Gy. Конечное значение градиента определяется по формуле: G= 2 2 Gx + Gy (2.11) а) б) Рисунок 2.21 - Пример применения оператора Собеля: а) исходное изображение, б) результат выделения контуров оператора Собеля Метод Робертса Метод Робертса является самым простым, самым быстрым и достаточно эфефективным [15,16]. Он работает с двумерной апертудой 2x2 следующего вида на Рисунок 2.22. -1 0 0 -1 0 1 1 0 Рисунок 2.22 - Маски Робертса При раздельном наложении этих масок на изображение можно получить оценку градиента покаждому из направлений G x , G y . Конечное значение градиента определяется по формуле: -1 >2x + G2y (2.12) 56 а) б) Рисунок 2.23 - Пример применения оператора Робертса: а) исходное изображение, б) результат выделения контуров оператора Робертса Метод Превитта Метод Превитта похож на метода Собеля, он используется для выделения вертикальных и горизонтальных краев изображений. Математически, этот метод использует две ортогональные матрицы размерностью 3x3 для вычисления приближения производных одну для горизонтального изменения, а другую для вертикальной [15,16]. Если А- исходное изображение, и Gx и Gy - две матрицы, которые в каждой точке содержат горизонтальные и вертикальные приближения, то имеем: Gx = -1 1 0 +1 •1 0 + 1 G,, — 0 +1 1 О +1J -1 0 +1 -1 0 *А +1J (2.13) а) б) Рисунок 2.24 - Пример применения оператора Превитта: а) исходное изображение, б) результат выделения контуров оператора Превитта 57 Метод Лапласа В методе Лапласа осуществляется умножение каждого элемента двумерной апертуры 3x3 на соответствующий элемент так называемой матрицы Лапласа на Рисунок 2.25. -1 f-i*A~ -2*В -1*С 12 -2 f-2*D 12*Е -2*F |-1*G -2»Н -1*1 А В С -1 -2 D Е F -2 G Н I -1 -2 1 1 1 1 1 -1 - i | -1 А -1 0 -1 0 -1 4 -1 0 -1 0 -1 1 1 -1 -21 1 -1 1 1 1 1 -1 -2 -1 -1 1 1 1 Рисунок 2.25 - Матрицы лапласа а) б) Рисунок 2.26 - Пример применения оператора Лапласа: а) исходное изображение, б) результат выделения контуров оператора Ллапласа 2.3. Морфологическая обработка изображений Математическая морфология, является инструментом для извлечения определённых компонентов изображения, полезных для представления и описания форм объектов, например, их границ, остовов или выпуклых оболочек [31,46]. Также рассматриваются морфологические методы, которые применяются на этапах предварительной и заключительной обработки изображений, морфологическая фильтрация, утончение и усечение [15,16,49]. например, 58 Определяется базовый набор операций над множествами, вводятся двоичные изображения, обсуждаются двоичные множества и логические операции над ними, вводятся две фундаментальные морфологические операции: дилатация и эрозия, которые определяются с помощью операций объединения и пересечения изображения и некоторой смещённой формы (структурообразующего элемента). Понятия дилатации и эрозии используются для построения более сложных морфологических операций, вводятся методы маркировки связных компонентов изображения. Эти действия являются весьма важным шагом при распознавании и извлечении объектов изображения для их дальнейшего анализа. Рассматривается морфологическая реконструкция, которая представляет собой вид морфологического изображения, но не преобразования, в котором участвуют два обязательно это изображение и некоторый структурообразующий элемент, что является предметом изучения предыдущих параграфов. Морфологические концепции обобщаются на полутоновые (монохромные) изображения путём замены операций объединения и пересечения на операции взятия максимума и минимума. Большинство двоичных морфологических операций имеет естественные расширения для их применения к полутоновым изображениям. Однако имеются операции, которые применяются исключительно для обработки полутоновых изображений, например, пиковая фильтрация. В этом смысле морфология служит краеугольным камнем математических инструментов, которые используются при извлечении «смысла» изображения [49].. 2.3.1. Базовые понятия теории множеств Пусть Z обозначает множество целых чисел. Процесс дискретизации при формировании цифровых изображений можно представлять себе в виде разделения плоскости (х, у) координатной сеткой на ячейки, а координаты центров этих ячеек являются парами декартова произведения Z 2 . Пользуясь терминологией теории множеств, мы скажем, что функция f(x, у) называется цифровым изображением, если {х, у) - это целые числа roZ2, а / - отображение, которое сопоставляет значение яркости (которое принадлежит множеству вещественных чисел R) каждой 59 паре координат (х,у). Если значения яркости из R являются целыми числами (как это обычно предполагается в нашей книге), то цифровое изображение становится двумерной функцией, координатами и амплитудами (т. е. значениями яркости), которой служат целые числа. Пусть А — некоторое множество из Z 2 , элементами которого являются координаты пикселов (х, у). Если элемент w(x,y) принадлежит А, то это принято обозначать символической записью. (2.14) w ЕА В противном случае, если w не принадлежит А, то принято писать w Множество пикселов В, (2.15) г А удовлетворяющее некоторому условию, представляется в виде В = {и^условие} (2.16) Например, множество всех пикселов, не принадлежащих множеству А, которое принято обозначатьАс, задается формулой Ac = {w\w£A} (2.17) Это множество называется дополнением множества А. Объединение двух множеств А и В, которое обозначается С = AUB (2.18) есть по определению множество всех пикселов, которые принадлежат или множеству А, или множеству В, или одновременно обоим множествам. Аналогично, пересечение двух множеств А и В состоит из всех элементов, которые одновременно принадлежат и множеству А, и множеству В, и обозначается С = АПВ (2.19) Разность двух множеств А и В обозначается А \ В. Оно состоит из пикселов, которые принадлежат А, но не принадлежат В, т. е. А\В = {w\w 6 A, w <£ А] (2.20) 60 На Рис. 2.27 иллюстрирует введённые выше операции над множествами, где результат каждой операции обозначен темным цветом. _ А~- В Рисунок 2.27 - а) Два множества А и В, б) Объединение множеств А и В, в) Пересечение множеств А и В, г) Дополнение множества Л, д) Разность множеств А ' иВ Логические операции над двоичными изображениями Теория математической морфологии позволяет взглянуть на двоичные изображения как бы с двух сторон. С одной стороны, двоичное изображение (как часто в этой книге) можно себе представлять в виде функции с двумя возможными значениями координат х и у. Теория морфологии рассматривает двоичное изображение в виде множества его пикселов переднего плана (со значениями 1), которое лежит в пространстве Z2 .Введенные выше операции над множествами [15,16]. Типа объединение и пересечение можно напрямую применять к двоичным изображениям. Например, если А и В'-двоичные изображения, то С = A UВ - также двоичное изображение, причём пикселы на изображении С являются пикселами переднего плана, если соответствующие пикселы на А, на В или на обоих этих изображениях принадлежат переднему плану. При первом, функциональном подходе, изображение с задается формулой fl, если А(х,у) С{х,у) = [ = 1, или В(х,у) = 1, или оба равны 1; 0 в противном слуае (2.21) 61 А, С точки зрения теории множеств, изображение С определяется выражением. С = {(х, у) | (х, у) £ А, или О, у) G В, или (х, у) Е (Аи В)} (2.22) Операции над множествами, приведённые на Рис. 2.28, можно совершать над двоичными изображениями с помощью следующих логических операций MATLAB: OR (\) (логическое сложение), AND (&) (логическое умножение) и NOT (~) (отрицание), как показано в Таблица 3. Таблица 3. Использование логических операций MATLAB для совершения операций над двоичными изображениями Операция Выражение MATLAB Имя Для двоичных изобрвжений А ПВ А&В AND AUB А\В OR А2 -А NOT А\В А&-В DIFFERENCE В качестве простой иллюстрации рассмотрим на Рисунок 2.28, на котором показаны результаты применения ряда логических операций к двум двоичным изображениям элементов текста. (Мы следуем правилу IPT, по которому пикселы переднего плана (со значением 1) отображаются белым цветом.) Изображение на Рисунок 2.28, г) является объединением изображений «UTK» и «GT»; на нем присутствуют пикселы переднего плана обоих изображений. Наоборот, пересечение этих двух изображений, показанное на Рисунок 2.28, д) состоит из пикселов, которые принадлежат перекрытию букв «UTK» и «GT». Наконец, разность изображений, 62 приведённая на Рисунок 2.28, ж, показывает части букв «UTK», из которых удалены пикселы букв «GT». Рисунок 2.28 - а) Двоичное изображение А. б) Двоичное изображение В. в) Дополнение -А. г) Объединение А \ В. д) Пересечение А & В. е) Разность множеств А & ~В 2.3.2. Разложение структурообразующих элементов Операция дилатации является ассоциативной, т. е. выполнено равенство [12]; ле(яес) = (лея)ес (2.23) Предположим, что структурообразующий элемент В можно представить в виде дилатации двух других элементов В1 и В2 (2.24) В = ВХ®В2 Тогда А® В = Л ф {В1@В2 ) = (А®В1)@В2 Это означает, что дилатацию А по В можно построить, выполнив сначала дилатацию А по Bl, а затем к результату применить дилатацию по В2. Говорят, что В разложен на два структурообразующих элемента В1 и В2. Свойство ассоциативности весьма важно, потому что время вычисления дилатации пропорционально числу 63 ненулевых пикселов структурообразующего элемента. Рассмотрим, например, дилатацию с матрицей 5x5, состоящую из одних единиц: i i l i i i l i l i 1 1 1 1 1 i i i i i i Этот структурообразующий l i l l элемент можно разложить на строку и столбец, состоящие из пяти единиц: г 1 1 1 1 1 в 1 1 1 1 Число элементов исходного структурообразующего элемента равно 25, а общее число элементов разложения строка-столбец равно 10. Это означает, что если к некоторому изображению применить дилатацию по элементу-строке, а затем — по элементу-столбцу, то вся процедура будет работать в 2.5 раза быстрее, чем дилатация по целому массиву 5x5. На практике ускорение вычислений будет несколько меньшим, поскольку дополнительные операции, которые необходимо имеются некоторые выполнять при каждой дилатации, а при использовании декомпозиции (разложения) требуется по крайней мере две дилатации. Однако выигрыш по скорости при использовании этого приёма все равно остаётся значительным. 2.3.3. Дилатация и эрозия областей Операция дилатации «наращивает» или «утолщает» объекты на двоичных изображениях [12]. Способ и степень этого утолщения контролируется некоторой формой, которая называется структурообразующим элементом, на Рисунок 2.29 иллюстрирует работу дилатации. На Рисунок 2.29, а) задано простое двоичное изображение прямоугольника. На Рисунок 2.29, б) показан 64 структурообразующий элемент, состоящий из пяти пикселов, расположенных по диагонали. С точки зрения вычислений, структура образующий элемент представляется в виде матрицы из нулей и единиц, но часто бывает удобно показывать только единицы, как изображено на рисунке. Кроме того, центр структурообразующего элемента должен быть ясно выделен. На Рисунок 2.29, б) его центр заключён в квадратик. Рисунок 2.29, в) графически отображает операцию дилатации в виде процесса обноса центра структурообразующего элемента по области изображения и отметки тех положений центра, когда соответствующий элемент, перекрывает некоторые пикселы переднего плана изображения (со значением 1). Полученное изображение показано на Рисунок 2.29, г), на котором значения 1 присвоены тем пикселам, которые соответствуют положениям центра структурообразующих элементов, перекрывающих пикселы переднего плана исходного изображения. <:• О О С, > II 0 Ч Ч ti Ч I О I Ч 1> I IJ 1. |> </ *< <i ti i < • << 1 : *I и U I: I» О i: 1 ii «'! ;> О I I I! о О О о i; о О •г. л « ч i< i, i: I <• i\ ti l» О a t> и CI I t f I |) в) с» О О о е> ft »i <J о ft О о о о о a t> «J « ?> 0 О 41 О о «а о о о о < о о О (> О о о о о о о ш t « ^ o n o t ^ «дмш-i-rno* о /- ••'• ex*. . =t a : • » i i ( • j i i . i i t •.. П р и rntf>e«-K>4. e («««тух* -дт-м*!»* m •v ш и и т ' " T V , о м r»c|>e»fp».iru*c/ с д а н и ч и м с р»**«:«:;*ь* ж . * о л и « | « ft ю<1г«кж*»*мя ^ . i -V I I t> << Я «• tt '> fi Г- It << il tl fl г; о «, и «> о <i f, О «1 li О r> «I t 1 H I M I I I 0 С <i II 1 о ! 1) 1 I <j и *i о 1 и <> О О II О О О «. « II I- «! о ft t> О U II I) a a <i I» < u О <! О <! <l I I О Г) о о « а Рисунок 2.29 - Иллюстрация применения дилатации. Дилатацию можно строго определить математически в терминах операций над множествами. Дилатация множества А по множеству В (или относительно множества В) обозначается А О В и определяется по формуле 65 A0B=H *(B")_zfW(Z)} (2.25) где 0 обозначает пустое множество, а В - это структурообразующий элемент [12]. Другими словами, дилатация А относительно В является множеством, которое состоит из всех положений центров структурообразующего элемента, который будучи центрально отражённым и сдвинутым, имеет частичное перекрытие с множеством А. Заметим, что процесс сдвига структуре образующего элемента похож: на механизм построения свёртки, На Рисунок 2.29 действие центрального отражения элемента В, так как сам он центрально-симметричен. На Рисунок 2.30 изображён не центральносимметричный структурообразующий элемент и его центральное отражение. Операция дилатации является коммутативной, т. е. А 0 В = В 0 А Однако бывает удобно помещать на место первого операнда изображение, а на место второго - структурообразующий элемент, который, обычно, существенно меньше обрабатываемого изображения. а) 1 1 1 1 11 iQ]i 1 61 i i IQDI 11 11 i Рисунок 2.30 - Центральное отражение структурообразующего элемента; а) несимметричный структурообразующий элемент, б) структурообразующий элемент. Отражённый относительно своего центра. а) Рисунок 2.31 - Пример дилатации: а) исходное изображение, б) изображение после применения дилатации. 66 Эрозия Операция эрозия «ужимает» или «утончает» объекты двоичных изображений. Как и при дилатации, вид и размер эрозии определяется структурообразующим элементом на Рисунок 2.32 иллюстрирует процесс эрозии (Рисунок 2.32), а) совпадает с (Рисунок 2.32), а) и б) проведён структурообразующий элемент - короткий вертикальный отрезок на Рисунок 2.32. в) графически описывает эрозию как процесс перемещения структурообразующего элемента по изображению и фиксации положений его центра, в которых этот элемент целиком состоит из пикселов переднего плана изображения. Выходом операции эрозии служит изображение со значениями 1 у тех пикселов, которые соответствуют положениям центра структурообразующих элементов, целиком состоящих из пикселов переднего плана изображения (т. е. этим сдвигам элементов не принадлежат исходного пикселы изображения со значением 0). а) б) о I) (I О О о О I) 0 О О U О <> 0 I) (I П о о в и о оо оо оо оо 0 о 0 0 0 0 о о 0 0 0 1 I 1 I I 1 о о 0 0 0 и О Оо (I о О О о О ч Г) 0 0 0 о о о о о II (I и о о о о о о о • I а (I О О О О О (I |> О о о и о оо О О 0 0 о о о (I и О О о о о о (I () о о о о » о и о о I) о о о о о о о о I I о о о о о о о о 1 1 1 I 1 О О О о 1 1 1 1 I о о О о о о 0 0 0 о о (I о о о о оо о о о о о о о оо о о О о о о о оо ч о 0 0 о о о о оо о о о 1 СП о о о о о 0 о 1 в} В этом п о л о ж е н и и выход равен н у л ю , так как с т р у к т у р о о б р а з у ю щ и й э л е м е н т перекрывает ф о н о в ы е пикселы ? «1 1 / 1 1 1 • ; 1 1 1И . ' . 'l .i 'l 1 t' >i 1 \ \ >s . 1 . '. ill(l 1 1десъ выход равен 1, так как структурообразующий элемент полностью состоит из фоновых пикселов -V 1 О О о о 0 о II О О 1) о о о 0 о о о О о о О о о о (1 о о о о о о о о п о о о о о о о о о и о в о о о О о« о о о о о о I) о о о о о о о о о о о О 1 о о о о о « о п о о g I, о в U о о 0 г, о о о II I) И о о о о I/0 IIо в о О (I о О О I) 0 о II II (1 (I О 1 I 1 I О 1 1 о о о о О II о и о о о о о О о о о о I) II О о о О It о о О о о I» о I» II II о о о о II II II о 0.0 (1 о о оо о I) о о 0 (I II II О О и II О (1 II II о О О I! о II о о II II О II О о оо и О II II II О (I II г,п О О Рисунок 2.32 - Иллюстрация применения эрозии: а) исходное изображение с прямоугольником, б) структурообразующий элемент из трёх пикселов по вертикали его центр обведён квадратиком, в) структурообразующий элемент разнесён по нескольким положениям на изображении, г) обработанное изображение. 67 Математическое определение операции эрозии похоже на определение дилтации. Эрозией множества А по В называется множество. 2 (А 0 В) = {z/(B)z с ПА = 0} 2 (2.26) Другими словами, эрозия А по В состоит из тех и только тех координат пикселов, для которых сдвиг множества В в эту точку не пересекается с фоном изображения А (напомним, что фон состоит из тех пикселов изображения, значения которых равны 0). Рисунок 2.33 - Пример применения эрозии: а) эрозия с кругом радиуса 1, б) эрозия с кругом радиуса 2, в) эрозия с кругом радиуса 4, г) эрозия с кругом радиуса 5 2.3.4. Размыкание и замыкание областей Морфологическое размыкание А по В обозначается А о В и определяется как эрозия А по В, после которой выполняется дилатация результата по В: А о В = (Л 0 В) 0 В (2.27) Эту операцию можно также задать эквивалентной формулой А • В = U {{B)Z/{B)Z Я А] где U {-}обозначает объединение всех множеств внутри фигурных скобок, а формула С Q D означает, что множество С является подмножеством D. Такое 68 представление имеет простую геометрическую интерпретацию. На Рисунок 2.34, а) показано множество А и структурообразующий элемент В, имеющий форму круга. На Рисунок 2.34, б) изображены некоторые сдвиги множества В, которые полностью содержатся в А. Объединение всех таких сдвигов выделено темным цветом на Рисунок 2.34, в). Эта область и является размыканием А по В. На этом рисунке белым цветом показаны области, где структурообразующий элемент целиком не поместился, поэтому они не принадлежат размыканию[ 15,49]. Морфологическое размыкание удаляет части объектов, в которых структурообразующий элемент полностью не помещается. Оно также сглаживает контуры объектов, разрушает тонкие соединения и удаляет острые выступы. Морфологическое замыкание множества^ по В обозначается^ • В. Эта операция представляет собой эрозию, применённую к результату дилатации: А • В = (Л 0 В) 0 В (2.28) Геометрически множество А • В представляет собой дополнение к объединению всех сдвигов множества В, которые не пересекаются с А. На Рисунок 2.34, г) построено несколько сдвигов множества В, которые не пересекаются с А. Взяв дополнение к объединению всех таких сдвигов, мы получим область, затемнённую на Рисунок 2.34, д), которое есть искомое замыкание. Подобно размыканию, морфологическое замыкание приводит к сглаживанию контуров объектов. Однако в отличие от размыкания, оно соединяет узкие разрывы, «заливает» длинные углубления малой ширины и заполняет малые отверстия, структурообразующего элемента. диаметр которых меньше размеров 69 а ) ~В 6) Трансляции В внутри А • ^ cj Рисунок 2.34 - Размыкание и замыкание как объединение сдвигов структурообразующих элементов: а) множество Л и структурообразующий элемент В. б) сдвиги В, которые полностью помещаются внутри А. в) полное размыкание А (затемнённая область), г) сдвиги В, которые лежат целиком вне А. д) Полное замыкание А (затемнённая область) 2.4. Сегментация по методу водораздела Алгоритм сегментации по водоразделам: Пусть М\, Мг,..., MR — множества точек координатной плоскости [16,20], минимумам поверхности д(х,у)обычно соответствующие локальным является градиентным изображением. Обозначим через С(М;) множество точек бассейна, отвечающего локальному минимуму Mt, (напомним, что точки любого бассейна образуют компоненту связности). Обозначения min и max будем использовать для указания наименьшего и наибольшего значений изображения д(х,у). Наконец, запись //«/означает множество точек (s, t), для которых g(s, t) < п, т.е. T[n]=l(s,t)\g(s,t)<n} (2.29) С геометрической точки зрения, Т[п] есть множество точек, в которых поверхность д(х, у) лежит ниже плоскости д(х,у) = п. При заполнении рельефа водой уровень поднимается в виде цело-численных дискретных приращений от п = min + 1 до п = max + 1. В про-цессе подъема воды на любом шаге п алгоритму необходимо знать число точек, лежаших ниже уровня воды. Вообразим, что все точки множества Т[п] (т.е. которые лежат ниже 70 плоскости д (х, у) = п отмечены черным цветом, а все остальные - белым. Тогда при произвольном (n-ом) шаге подъема уровня воды, рассматриваемая трехмерная поверхность в проекции на плоскость ху может быть представлена двоичным изображением, в котором черные точки соответствуют точкам исходной функции, лежащим ниже плоскости д(х, у) = п. Такая интерпретация весьма полезна для понимания последующего изложения [12]. Пусть Сп(М) обозначает множество точек бассейна с локальным минимумом Mh которые оказались залитыми водой на шаге п. С учетом вышесказанного, Cn(MJ можно рассматривать как двоичное изображение, задаваемое соотношением CnW = CWd П Т[п] (2.30) Другими словами, Сп{М{) = 1 в тех точках (х, у), для которых одновременно выполняется (х,у) 6 C(Mj) и (х,у) £ Т[п]в остальных точках изображения Сп(М{) = 0. Геометрическая интерпретация выражения в правой части понятна: с помощью операции пересечения на n-ом шаге подъема уровня воды мы выделяем ту часть двоичного изображения Т[п], которая относится к локальному минимуму Mi .Пусть теперь С[п] - объединение залитых водой частей всех бассейнов на шаге п: R C[n] = \Jcn(Mi) (2.31) Тогда C[max+1 ] есть объединение всех имеющихся бассейнов: R С [max + 1] = М С (Mt) (2.32) При работе алгоритма никогда не происходит удаления элементов из множеств C„(Mf) и Т[п]\ таким образом, при увеличении п число элементов этих множеств либо возрастает, либо остаётся неизменным. Следовательно, С[п-1] является подмножеством С[п]. Согласно равенствам (51) и (52), С[п\ также является подмножеством Т[п], а значит, С[п-1] также есть подмножество Т[п] 71 Отсюда следует важный результат: каждая компонента связности множества С[п- 1] содержится ровно в одной связной компоненте множества Т[п]. Алгоритм нахождения линий водораздела начинается с инициализации C[min + 1] = T[min + 1]. После этого алгоритм выполняется рекуррентно, предполагая на n-ом шаге множество С [п—1] уже построенным. Для получения множества С[п] из множества С [п-1\ применяется следующая процедура. Пусть q[n] — множество компонент связности множества Т[п]. Тогда для каждой связной компоненты q е Q[n] есть три возможности: а) q П С[п— 1 ] — пустое множество; б) q П С[п— 1] содержит единственную компоненту связности компоненты связности множества С [п— 1]; в) q П С[п— 1] содержит более одной множества С[п— 1]Способ построения С [я] по С\п— 1] зависит от того, какое из этих трех условий имеет место. Условие (а) означает, что встретился новый локальный минимум (начинается наполнение нового бассейна); в этом случае для построения множества С[п] компонента q добавляется к С[п-1]. Условие (б) имеет место, когда q лежит внутри бассейна некоторого локального минимума; в этом случае для построения множества С[п] компонента q также добавляется к С[п-1]. Условие (в) возникает, когда встретились точки гребня, разделяющего два или более бассейна. В этом случае дальнейший подъем воды привёл бы к слиянию этих бассейнов, поэтому внутри связной компоненты q должна быть построена перегородка (или перегородки, если объединяется более двух бассейнов), не позволяющая бассейнам слиться вместе. Как объяснялось в предыдущем разделе, перегородку толщиной в один пиксель при необходимости можно построить, применяя к множеству q П С[п — 1] операцию дилатации по примитиву 3x3, заполненному единицами, и затем ограничивая результат дилатации точками множества д. 72 Эффективность описанного алгоритма можно повысить, используя только те значения п, которые соответствуют уровням яркости, встречающимся в изображении д (х, у)', эти значения, как и величины min и max, можно определить по гистограмме изображения д (х,у). а) б) Рисунок 2.35 - а) градиент исходного изображения, б) линии водоразделов, наложенные на исходное изображений а) б) Рисунок 2.36 - Пример применения метода морфологического водораздела на изображении сварного шва 2.5. Выделение признаков изображений Выделение признаков позволяет упростить реализацию распознавания или идентификации объектов. При выборе наиболее информативных признаков необходимо учитывать [12], как свойства самих объектов, так и возможности разрешающей способности первичных формирователей сигнала изображения. Выделение признаков (однослойных) проведём изображений. В на примере цветных обработки изображениях монохромных рассмотренные алгоритмы можно применять к каждому цвету в отдельности. При обработке предпочтительными являются следующие признаки 73 объектов: - Площадь и периметр изображения объекта; - Размеры вписанных простейших геометрических фигур (окружностей, прямоугольников, треугольников и др.); - Число и взаимное расположение углов; - Моменты инерции изображений объектов. Важной особенностью большинства геометрических признаков является инвариантность относительно разворота изображения объекта, а путём нормирования геометрических признаков друг относительно друга достигается инвариантность относительно масштаба изображения объекта. Определение площади и периметра Площадь изображения объекта вычисляется путём подсчёта числа элементов, относящихся к объекту: Л = ЬЪ,Ы где L - множество (2.33) •^-[IfZfil'l, координат массива S (х, у), принадлежащих выделенному объекту [12]. Периметр изображения объекта Р вычисляется после выделения границ объекта путём суммирования множество контурных точек изображения объекта. На основе выделенных признаков нормированный признак, инвариантный к масштабу изображения U = А/Р2 или V = Р/Л/А. Определение радиусов вписанных и описанных окружностей на Рисунок 2.37 складывается из двух этапов [12]. Рисунок 2.37 - Радиусы вписанных и описанных окружностей 1. Определение координат геометрического центра изображения объекта: 74 Хц = I x YyxS(x,y)/YxYyS(x,y), Y4 = Z x ZyyS(x,y)/Zx HyS(x,y), (2.34) где x и у - номера строк и столбцов всех пикселей S(x, у), входящих в объект. 2. Вычисление минимального и максимального расстояний от центра до границ изображения объекта. 22 , ,.. „ ,2 (2.35) г(х,у) =, (х-х ) +(y-Y ) \ V u ц Rrnax = г(х, утах); Rmin = r(x, ymin), где х, у е Р (точки периметра). Нормированный признак R' = Rmax / Rmi„ инвариантен к масштабу изображения объекта. Определение сторон описанного прямоугольника (Рисунок 2.38) выполняется следующим образом. Определяются максимальные и минимальные значения абсцисс и ординат изображения объекта хтах и xmin, утах иут1п, после чего определяются высота и основание прямоугольника: L, Хтах - Xmin, 11 Утах ~ Утт- /О 36^ Данный признак не инвариантен к развороту изображения объекта. Рисунок 2.38 - Определение сторон описанного прямоугольника Определение числа и взаимного положения углов Классический способ определения угловых точек изображения объекта заключается в анализе небольшого фрагмента контура в окрестностях данной точки и в определении радиуса её кривизны [12]. Если радиус окажется меньше установленного порога - это угловой элемент, в противном случае - нет. Рисунок 2.39 - Угловые точки изображения объекта С практической точки зрения предпочтительным представляется более простой алгоритм. Он заключается в оценке расстояний между начальной и конечной точками фрагмента контура, например, между элементами контура с порядковыми номерами к-2ик+2на Пусть х(к) и у(к) Рисунок 2.39. абсцисса и ордината контурных соответственно. Тогда решающее правило может выглядеть элементов следующим образом: {\х (к-2) -х (к+2) • | + \у (к-2) -у (к+2)\ <Щ. (2.37) Если условие выполняется, тогда данная точка контура принадлежит множеству угловых точек L. Здесь Н— пороговое значение, выбираемое с учётом свойств объектов. Определение моментов инерции объекта Термин "моменты инерции изображения объекта" не имеет отношения к механике [12]. Просто для вычисления указанного признака используются математические выражения, аналогичные вычислению моментов инерции материального подставлены тела, где вместо значения значений масс отдельных освещенностеи в соответствующих точек тела точках его изображения. Моменты инерции являются информационными признаками для последующего распознавания образов. Обозначим главные искомые моменты инерции изображения объекта через Ji и J2. Чтобы найти Ji и J2, необходимо предварительно определить так называемые промежуточные моменты Jx и Jy, т.е. моменты инерции относительно вертикальной и горизонтальной осей системы 76 координат, а также смешанный момент Jxy (Рисунок 2. 40 а). а» * V л У ^Р к* ч 4 Ц ^* ¥ У L - J. г-4—•—-— \ X — » • X —^» Рисунок 2.40 - Моменты инерции объекта Порядок вычислений: 1. Определяются координаты центра "тяжести" (энергетического центра) изображения объекта. Хцэ = Z x Zy хА(х, у) /Z x £уА(х, у), ¥щ = Z x ТууА(х, у) /Т х Zy^fx, у), (2.38) 2. Определяются промежуточные моменты Jx, Jy> Jxy. Jx = Z x Z y [(х-Хцэ)2 A(x, y)J, Yx = Z x Zy[(у- Уцэ)2А(х, у)], Jv = Z x Z y [(х- Хцэ) (у- ¥цэ) A(x, у)]. (2.39) 3. Вычисляются главные моменты. j +J J 12 = Х + i(J 4 x -J ) 2 + J у (2.40) 2 x, у 1 p Рисунок 2.41 - Результаты выделения признаков на изображении 77 2.6. Основные понятия теории распознавания образов Распознавание образов, как методология принятия решений на основе результатов наблюдений за объектами и процессами окружающего мира, возникло значительно раньше современных компьютерных систем и технологий. Первые методы распознавания разрабатывались для электронных аналоговых систем и рассматривались в рамках теории обработки сигналов. В процессе развития вычислительной техники и информационных технологий эта дисциплина, как и само понятие образа, претерпела значительные изменения и продолжает интенсивно развиваться. Сейчас трудно строго определить класс задач, который относится исключительно к распознаванию образов, равно как и дать строгое определение самого предмета изучения. „ г Информация! о среде I объекте 1 Ршработка системы 1 , И I I , Объект I I I Результаты измерения I Признаки ' ' Система распознавания обраюе Рисунок 2.42 - Структура системы распознавания В обычном понимании образ включает целую совокупность индивидуальных ощущений, представлений и умозаключений. Распознавание образов - повседневная неотъемлемая составляющая деятельности человеского мозга. Поэтому в спектре компьютерных дисциплин задачи распознавания относятся к проблематике искусственного интеллекта [17,44]. В самом общем случае в качестве образа может рассматриваться любая информационная модель объекта или процесса абстрактного, или реального мира. Отличительная особенность такой модели в задаче распознавания - это использование только того подмножества характеристик объектов исследования, которое обеспечивает выделение одной или нескольких групп объектов совершенно определённого 78 типа. Целью процедуры распознавания является ответ на вопрос: относится ли объект, описанный заданными характеристиками, к определённой категории. Исходя из этого, можно сказать, что образ - это описание объекта или процесса, позволяющее выделять его из окружающей среды и группировать с другими объектами или процессами для принятия необходимых решений. Те категории объектов, которые мы хотим выделить или на которые хотим разделить все множество образов в процессе распознавания, обычно называют классами. Понятие класса в распознавании появилось существенно раньше, чем в объектных информационных моделях. И способ задания классов здесь определяется не особенностями столько имеющейся сущностью предмета информации об исследования, объектах и сколько способами ее представления [28,32,33]. Для системы обработки информации образ - это совокупность данных об объекте или явлении, включающая параметры и связи. Параметры представляют собой количественные характеристики, полученные с помощью измерительных систем или математических моделей. Связи могут описывать как внутреннюю структуру образа, так и особенности его поведения, если мы имеем дело с динамическим объектом или процессом. Любой алгоритм распознавания можно представить, как абстрактную функциональную систему R, состоящую из трёх компонент: R={A,S,PJ, Где А= {Akj, к=1,...,К— алфавит классов - множество категорий, по которым должны распределить наши образы, S= {Sj}, j=l... п - Словарь признаков - множество характеристик, из которых составляется описание образа, Р= {Р[}, 1=1,..., L - множество правил принятия решения. Функционирование этой системы сводится к следующему: на вход подаётся образ - некоторая конфигурация из элементов множества S, к ней применяется определённая последовательность правил из Р, в результате конфигурации 79 присваивается индекс, соответствующий одному из элементов множества А. Качество функционирования системы, определяется тем, насколько часто присвоенный образу индекс совпадает с ожидаемым нами результатом. Компоненты A, S представляют собой информационную часть системы, а Р методологическую. Смысл понятия класс для различных способов описания образов будет различным. .В свою очередь, способ описания образа зависит от физической природы объектов распознавания и возможностей формализации соответствующих им понятий. Методы принятия решений, естественно, взаимосвязаны со способом представления объектов распознавания. Поэтому любая система распознавания включает и процесс синтеза образов, то есть формирования описаний объектов распознавания и их классов, и анализа образов, то есть сам процесс принятия решений. В зависимости от особенностей информационных компонент системы R, выделяют три подхода к задаче распознавания образов: 1) принцип сравнения с эталоном; 2) принцип кластеризации; 3) принцип общности свойств. Принцип сравнения с эталоном применяется в тех случаях, когда каждому классу Ak можно сопоставить конечный набор эталонных образов Fk = {шт,т = 1, ...,Мк }. Поэтому принцип сравнения с эталоном иначе называют принципом перечисления. В этом случае процесс распознавания заключается в простом сопоставлении образов, поступающих на вход распознающего устройства или алгоритма, с эталонами Fk классов Ак, на основе выбранной меры сходства. Принцип сравнения с эталоном - один из первых возникшихтпри построении технических систем подходов, распознавания, когда возможности вычислительных устройств были весьма ограничены. Тем не менее, он и сейчас применяется, в частности, в аналоговых и аналоговоцифровых системах распознавания. Распространённым примером применения такого подхода является распознавание печатных шрифтов. В тематической обработке изображений ой может применяться при распознавании текстур и выделении объектов определённой формы. 80 Принцип кластеризации. Если признаки представляют собой наборы измерений (параметров) без каких-либо явным образом заданных взаимосвязей, то образ можно представить, как n-мерный вектор в признаковом пространстве X: \хп/ Каждому классу А^ сопоставляется некоторое множество векторов в пространстве х. В результате признаковое пространство разбивается на области, соответствующие классам А к, которые называют кластерами или таксонами. Одному классу может соответствовать любое количество областей пространства х. Эти области могут перекрываться, но методология принятия решения должна в конечном итоге обеспечивать однозначное отнесение точки пространства к определённому классу. Принцип кластеризации (таксономии) широко применяется в различных прикладных направлениях при обработке количественных данных, в том числе и в системах компьютерного анализа многозональных и спектрозональных аэрокосмических изображений (классификация по спектральным признакам). Принцип общности свойств существенно использует связи между элементами образа. Как правило, он применяется в тех случаях, когда множество образов каждого класса слишком велико, чтобы получить надёжное описание конечного числа эталонов, но можно выявить достаточное отличительных особенностей классов количество по конечным выборкам образов. Выявленные свойства кодируются на основе подходящей модели и хранятся в памяти в виде некоторых структур, функций или отношений. В процессе распознавания производится анализ образа по схеме, позволяющей выявить необходимые свойства образа; затем они сопоставляются со свойствами классов А к. Обобщающим свойством может быть сам алгоритм порождения образов; в 81 этом случае классы образов задаются алгоритмами порождения структур определённого вида. Перечисленные подходы к распознаванию относятся в основном к процессу синтеза образов', то есть к способу представления информации компонент А и S системы R. Методы анализа образов, то есть правила принятия решений, в большинстве случаев взаимосвязаны со способом синтеза образов, хотя довольно часто тот или иной аппарат принятия решений, например, статистический, может применяться при различных способах синтеза. В методологии принятия решений при распознавании образов также выделяют три основных направления: 1) эвристические методы; 2) математические методы; 3) лингвистические (синтаксические) методы. Эвристические методы основываются на опыте и интуиции разработчика системы распознавания. Как правило, эти методы ориентированы на решение конкретного типа задач распознавания и непосредственно привязаны к способу синтеза образов. Наиболее часто применяются при использовании принципа сравнения с эталоном и принципа общности свойств. Математические методы опираются на использование классического математического аппарата: методов линейного программирования, корреляционного анализа, теории статистических решений и т.п. Применяются в тех случаях, когда признаки представлены измерениями (параметрами), а их связи могут быть описаны в виде аналитических зависимостей. В той или иной степени, математические методы используются во всех трёх подходах к распознаванию. Математические методы обычно подразделяют на детерминистские и статистические. В задачах анализа данных наиболее часто применяют статистические методы. Это обусловлено высокой степенью изменчивости условий наблюдения и самих объектов исследования, а также потерей информации на разных этапах проведения. Лингвистические (синтаксические, структурные) методы применяются в тех случаях, когда образ представляет собой некоторую структуру, состоящую 82 из так называемых непроизводных (первичных) элементов и признаков, описывающих связи между ними. В этих методах широко используется аппарат алгебры логики и теории формальных языков. При обработке данных ДЗ и в геоинформационных технологиях эти методы могут использоваться при анализе пространственных структур, некоторые из них применяются также в экспертных системах. Современный уровень развития вычислительных средств позволяет комбинировать в системах распознавания как различные подходы к описанию образов, так и Рациональное методы, использующиеся использование этих подходов в процессе является распознавания. главной залачей разработчика системы распознавания. 2.6.1. Принципы построения систем распознавания образов В отличие от рассмотренной выше абстрактной системы, реальная система распознавания - это функционально взаимосвязанная совокупность методов и технических средств, осуществляющая процесс синтеза и анализа образов. Прежде чем приступать к построению системы распознавания, необходимо проанализировать всю доступную информацию об объектах исследования и решить следующие вопросы. 1. Какими общими характеристиками и свойствами обладают объекты исследования и чем они различаются. 2. Если необходимые характеристики могут быть получены в результате измерений, какова точность этих измерений. 3. Существует ли подходящая модель (модели) для формального описания и анализа данных характеристик. На основании проведённых исследований определяется тип и структура системы распознавания. По физической природе характеристик-признаков образов системы распознавания подразделяются на простые и сложные. Примером простой 83 системы распознавания в задачах обработки данных является классификация пикселов многозональных сканерных или оцифрованных спектрозональных изображений. В этом случае признаками являются спектральные отражательные свойства объектов земной поверхности. Как только в процесс классификации привлекаются другие типы данных, система становится сложной. Сложные системы распознавания могут быть одноуровневыми и многоуровневыми. В одноуровневых системах распознавание осуществляется на основе одного словаря признаков одним алгоритмом распознавания. В многоуровневых системах результаты распознавания, полученные на одном этапе, используются в качестве исходных данных на следующем. Большая часть технологий тематической обработки данных при решении прикладных задач реализуется сложными многоуровневыми системами распознавания. Разбиение схемы решения задачи на уровни называется декомпозицией. Способ декомпозиции системы распознавания обычно связан с моментами включения в процесс распознавания специалиста-аналитика данных, то есть с интерактивным режимом обработки. Необходимость в интерактивном режиме чаще всего возникает на этапе синтеза образов из-за неполноты исходной информации или трудностей ее формального описания. В многоуровневых системах важной функцией аналитика данных является оценка качества распознавания на текущем этапе и возникающей из-за этого потери информации на следующем. По полноте исходной информации системы распознавания подразделяются на системы с обучением, без обучения и самообучающиеся системы. В системах без обучения предполагается, что имеющаяся информация и выбранный принцип распознавания позволяют безошибочно разделить все необходимые классы. Типичным примером систем без обучения являются системы, основанные на принципе сравнения с эталоном (принципе перечисления). Системы без обучения могут быть построены и на принципе кластеризации, когда векторы-образы каждого класса образуют 84 неперекрывающиеся компактные группы. Если имеющихся данных об объектах исследования недостаточно для их точного разделения, распознавание без обучения приводит к большим ошибкам. И наоборот, количество информации об объектах может быть настолько большим, что для выделения нужных классов нет необходимости использовать ее 6 полном объёме. В этих случаях применяют системы распознавания с обучением. Системы с обучением широко используются при обработке данных видеомониторинга сварочных процессов. Процедура обучения обычно выполняется специалистом-аналитиком данных в интерактивном режиме. Следует отметить, что любые процедуры классификации с обучением более трудоёмки и качество распознавания иногда больше зависит от личного опыта аналитика данных и понимания им сути поставленной задачи, чем от эффективности самого алгоритма распознавания. Чаще всего системы с обучением основываются так или иначе на принципе общности свойств. При этом образы не обязательно должны быть представлены какой-то структурой. Это может быть просто множество параметров-измерений, подчиняющихся в каждом классе определённому закону статистического распределения, или множество каких-то атомарных (неделимых) элементов, присутствующих в каждом классе в определённой комбинации. Такие множества в обобщённой теории образов называют свободной конфигурацией. Задача обучения заключается в выявлении типичных для каждого класса свойств образов или взаимосвязей между ними. Обучение в системах, использующих принцип кластеризации, заключается в поиске такого разбиения всего множества вектор-образов на кластеры, которое обеспечивало бы минимальные ошибки в процессе распознавания. В самообучающихся системах процедура обучения выполняется в самом процессе распознавания специальным алгоритмом. Для оценки качества распознавания используется некоторый функционал, связанный с ошибками распознавания, который в процессе обучения максимизируется или 85 минимизируется. Одним из широко известных типов такого функционала является сумма квадратов ошибок (НСКО- критерии). Анализ исходной информации Анализ задачи , решаемой системой Анализ точностных требований Декомпозиция задачи Формирование алфавита к л а с с о в {А.к}, к.= ] , , К Составление словаря признаков (S,},j=l, п О п и с а н и е к л а с с о в на я з ы к е признаков Построение алгоритмов распознавания(правил п р и н я т и я р е ш е н и й Р) Для каждой поде истем ы распознавания Оптимизация процесса распознавания Оценка эффективности системы распознавания Рисунок 2.43 - Общая схема построения системы распознавания В некоторых современных работах этот функционал, связанный со средней величиной ошибки классификации, называют функцией потерь, обобщая таким образом понятие, возникшее из игровой постановки задачи распознавания. Большое значение при декомпозиции сложных систем имеют требования к точности распознавания, то есть к допустимой вероятности ошибок. Если в одном алгоритме распознавания используются признаки различной физической природы или полученные из принципиально различных моделей, то величина ошибки может оказаться непредсказуемой. Поэтому декомпозиция системы должна осуществляться так, чтобы можно было надёжно оценить точность распознавания на отдельных этапах решения задачи и скорректировать, при необходимости, всю схему решения. После декомпозиции сложной системы каждый уровень можно рассматривать как отдельную подсистему распознавания 86 R со своим списком классов, словарём признаков и правилами классификации. Общая схема построения системы распознавания показана на Рисунок 2.43. Оценка эффективности системы распознавания выполняется для всей системы в целом, поскольку она может существенно зависеть от способа декомпозиции задачи. Ее можно оценивать по следующим показателям. 1. Итоговая точность распознавания. 2. Общее время распознавания. 3. Стоимость разработки и эксплуатации системы. При построении эффективности системы интерактивных систем могут быть включены распознавания, в затраты на оценку подготовку специалистов-аналитиков, 'участвующих в процессе распознавания, поскольку от их квалификации часто зависит итоговая точность и общее время решения задачи. 2.6.2. Особенности систем и методов распознавания в задачах видеомониторинга сварочных процессов Система компьютерной тематической обработки данных видеомониторинга сварочных процессов в большинстве случаев является сложной многоуровневой системой распознавания с большим количеством интерактивных процедур. Основным типом входных данных в такой системе являются цифровые изображения поверхности сварного шва, полученные с различных типов съёмочной аппаратуры. Значение яркости каждого элемента (пиксела) серого полутонового изображения чаще всего представляется в шкале 0-255 (1 байт информации на пиксел), которую называют динамическим диапазоном. Таким образом, первая особенность систем тематической обработки данных как систем распознавания комплексное использование видеомониторинга принципиально различных источников. сварочных процессов из 87 Вторая особенность - наличие этапа предварительной обработки данных, предшествующего процессу распознавания. При этом характер предварительной обработки (процедур коррекции) непосредственно взаимосвязан с методами распознавания, которые применяются для решения задачи. Достоверность - с правильной тематической интерпретацией объектов выделенных классов. Если объект неправильно интерпретирован, это отразится на точности последующих количественных (линейных и площадных) оценок по исследуемым тематическим категориям в системе координат изображения. Поскольку тематическая интерпретация выделенных объектов поверхности сварного шва является конечной целью данной задачи, процент неправильной интерпретации - это итоговая ошибка распознавания. Рассмотрим, как формируется эта итоговая ошибка. Прежде всего, она связана со способом декомпозиции системы распознавания. Существуют два основных подхода к декомпозиции. Первый подход состоит в первоначальной классификации всех точек изображения в системе координат измеренных параметров-характеристик (спектральных яркостей, оптических плотностей), а затем объединении классифицированных точек в пространственные связные объекты уже с системой координат пространственного изображения анализа с полученных использованием результатов. интерактивного Второй подход, традиционно применяющийся в интерактивном визуальном дешифрировании это предварительное выделение самих объектов, описание их интегральных яркостных и других характеристик, а затем их классификация по этим признакам. Первый подход привлекателен тем, что при достаточном для разделения исследуемых классов количестве параметров-признаков он позволяет получить наиболее высокую точность границ объектов в системе координат изображения. Более того, эти границы будут наиболее объективны и оценить вероятность ошибок здесь существенно легче. Если измеряемых параметров недостаточно для разделения тематических классов, обычно применяется второй подход: 88 сначала выделяются границы объектов, затем формируется система признаков, включающая одновременно и характеристики отдельных пикселов, и их пространственные взаимосвязи. Недостатком этого подхода при компьютерной реализации является сложность выбора математической модели, адекватно описывающей исследуемые объекты в системе координат изображения. Структурные и особенно текстурные признаки объектов земной поверхности недостаточно устойчивы как к изменению пространственного разрешения, так и к условиям освещённости. Поэтому алгоритмы такого типа далеко не универсальны и обычно разрабатываются для решения узко специальных задач с использованием конкретного типа информации. Первый подход обычно используется при крупномасштабных обработке многозональных панхроматических изображений, снимков и второй радиолокационных изображений. В принципе, поэлементная классификация изображений с обучением близка ко второму подходу, поэтому при использовании таких процедур основная нагрузка приходится на организацию процесса обучения. Здесь необходимо учитывать ряд особенностей формирования признаков, которые будут рассмотрены в соответствующем разделе. Общей важной характеристикой цифровых изображений всех перечисленных типов, влияющей на величину итоговых ошибок, является размер элемента разрешения (пиксела). В соответствии с физическими основами видеомониторинга сварочных процессов, яркость (или цвет) каждого пиксела изображения характеризует соответствующего ему участка спектральные отражательные свойства земной поверхности. В зависимости от разрешения, в пределах одного пиксела могут интегрироваться разнообразные элементы сварного шва с различными спектральными отражательными свойствами. Поэтому при распознавании только по яркостным признакам, даже если точность выделения границ объектов в системе координат изображения высока, неизбежны ошибки интерпретации отдельных пикселов и даже мелких 89 объектов. Для сокращения ошибок лучше задавать избыточное количество классов, а потом группировать их с учётом структурных признаков в системе координат изображения, а также с использованием справочных данных. В настоящее время много внимания уделяется методам разделения смесей классов в пределах одного пиксела. Однако для решения этой задачи необходимо сначала создать банк данных «чистых» классов, то есть надёжно разделяющихся на данном изображении .по спектральным характеристикам. При анализе сканерных изображений размер элемента разрешения фиксирован, поэтому является жёстким ограничением для задач распознавания. Для фотоснимков разрешение зависит от режима оцифровки, ограничением является размер зерна конкретного типа плёнки. Но необходимо помнить, что даже небольшое изменение размера элемента разрешения может привести к изменению рисунка изображения, а, следовательно, к изменению дешифровочных признаков. Поэтому при распознавании образов в системе координат изображения (по структурным или текстурным признакам) необходимо обязательно исследовать зависимость признаков от этого фактора. Другим внешним по отношению к системе обработки источником ошибок являются погрешности видеомониторинга измерений, возникающие в процессе сварочных процессов, - геометрические проведения и яркостные искажения. И если учёт и устранение первого типа искажений является чисто технической задачей, то влияние искажений второго типа обычно полностью устранить невозможно. 2.6.3. Основные принципы построения систем распознавания видеомониторинга сварочных процессов Общая схема системы распознавания данных видеомониторинга сварочных процессов для решения прикладных задач состоит из блоков, представленных (Рисунок 2.43). Рассмотрим наиболее важные особенности каждого из этапов. 90 1. Нормализация включает процедуры, устраняющие основные типы искажений исходных данных. На этом этапе следует использовать только те процедуры, которые не приводят к значительным потерям информации: ещё неизвестно, какие характеристики изображения наиболее существенны для решения задачи, а какими можно пренебречь. Нужно помнить, что геометрические преобразования могут привести к искажению исходных яркостных характеристик объектов. На этом этапе их следует выполнять только в тех случаях, когда имеются дополнительные измерения, требующие строгой координатной привязки тестовых участков к изображению. 2. Визуализация и комплексный анализ данных видеомониторинга сварочных процессов. На этом этапе производится анализ информативности имеющихся данных с точки зрения поставленной задачи и выбор принципа декомпозиции системы распознавания. При наличии нескольких изображений выполняется их пространственное совмещение (приведение к единой системе координат). Для визуального анализа обычно применяются процедуры поднятия контраста (растягивание ненулевого интервала значений яркости на весь динамический диапазон). При анализе многозональных изображений применяется RGB - синтез в удобной для анализа цветовой палитре, а также анализ главных компонент, который будет рассмотрен в соответствующем разделе. Описание основных методов улучшения качества изображений можно найти в [10,11,19,23]. Процедуры улучшения визуального восприятия могут, однако, отрицательно повлиять на качество распознавания, если они хоть каким-то образом связаны с пересчётом значений яркости на исходном изображении. Выполняя подобные преобразования цифрового изображения, всегда необходимо проверять, не изменяет ли оно те свойства объектов исследования, которые будут использоваться в системе распознавания. 3. схема На основе комплексного анализа данных формируется общая решения задачи. Схема включает основной набор процедур классификации, последовательность их применения, перечень входных и выходных данных и вспомогательных процедур их обработки и анализа. Как 91 уже говорилось выше, выбор таких процедур обработки изображений должен быть согласован с принципами классификации и не должен приводить к искажению тех характеристик изображения, которые могут быть использованы как признаки в системе распознавания. 4. Выделение признаков представляет собой интерактивный процесс, включающий ряд автоматических процедур преобразования видеоданных. В системах распознавания, основанных на классификации пикселов изображения, очень важно правильно выбрать количество классов в системе координат признаков. Если выбранное количество классов значительно меньше количества различающихся по этим измерениям объектов земной поверхности, ошибки классификации могут оказаться недопустимо высокими. Для выбора необходимого количества исходных классов в таких системах применяется неконтролируемая классификация и сегментация изображений [4,13,14,23]. При большом количестве измерений-признаков для сокращения размерности задачи применяется корреляционный и факторный анализ данных. При распознавании по интегральным признакам в системе координат изображения часто важно усиление определённых структурных и текстурных признаков. В этих случаях в качестве 'вспомогательных обычно используются процедуры низкочастотной и высокочастотной фильтрации и различные операторы для подчёркивания геоиндикационных признаков [10,12]. При использовании структурных признаков объектов необходимо предварительное устранение геометрических искажений. 5. Классификация - это основной блок распознавания для решаемой задачи, хотя отдельные процедуры распознавания могут присутствовать и на этапе выделения признаков, и на этапе пост классификационной обработки. Но именно результат, полученный на этапе классификации изображения, является основой для интерпретации и последующих процедур перехода от изображения к тематической карте. Процесс классификации может осуществляться в несколько этапов или в несколько итераций, в зависимости от выбранной схемы 92 распознавания. В ряде случаев результаты, полученные на этом этапе, требуют пересмотра всей схемы обработки в целом. 6. каждому Тематическая интерпретация из выделенных классов заключается некоторой в сопоставлении тематической категории определённой совокупности объектов поверхности сварного шва. Здесь оцениваются реальные ошибки классификации, то есть достоверность результата. При неудачном выборе количества или описаний исходных классов может быть принято решение о повторной классификации на основе другого набора классов и системы признаков. При удовлетворительном результате выбирается схема пост классификационной обработки для перехода к тематической карте дефектов сварного шва. 7. Пост классификационная обработка представляет собой набор интерактивных и автоматических процедур, необходимых для формирования карты объектов исследования, расклассифицированных в соответствии с тематикой задачи. К таким процедурам относятся группировка и редактирование выделенных классов, устранение обнаруженных ошибок классификации. В процессе пост классификационной обработки также могут быть использованы процедуры распознавания, в том числе структурные. 8. Подсчёт количественных характеристик включает площадные оценки по выделенным- классам' объектов, а также точечные оценки в соответствии с физическими моделями исследуемых процессов и явлений, оценки динамики процессов при обработке мульти временных данных и т.п. Этот этап, не имеющий прямого отношения к процессу распознавания, тем не менее, важен для его оптимизации. Накопление и анализ характеристик выделяемых классов объектов позволяет совершенствовать как саму систему распознавания, так и отдельные ее этапы. 9. Процесс получения тематических карт на основе результата обработки включает процедуры преобразования изображения к нужной картографической проекции, интерактивное редактирование результата в соответствии с точностными требованиями к картографическим материалам . заданного масштаба, использовании а также векторных 93 растрово-векторное ГИС. Выполнение преобразование при растрово-векторного преобразования требует, как правило, сглаживания результата в пределах некоторых участков для получения однородных по классам контуров. Именно с точки зрения этого классификации, этапа которые наиболее эффективны такие обеспечивают наибольшую процедуры однородность изображения по классам и наиболее чёткие границы между объектами определённых тематических категорий. Если результат классификации не удовлетворяет этим условиям, процедуры сглаживания могут привести к искажению реальных границ между классами. "1 .Нормализация т о о р а ж е ш ш •' 2,Визуализация и комплексный анализ данных. < • Д. Пост роение схемы распознавания <' 4. Выделсчшс признаков 5 Классификация изображений г 6.Тематический мгерпретация результатов » ' 7.Поеткласенфикациониая обработка 8 Получение количественных опенок по классам. 9. Формирование карты дефектов шва 1 Рисунок 2.43 - Общая схема тематической обработки видеомониторинга сварочных процессов 94 2.6.4. Задача классификации образов, представленных набором измеряемых параметров. Геометрическая и аналитическая интерпретация Круг задач классификации образов, представленных наборами измеряемых или вычисляемых параметров-характеристик, достаточно обширен. К наиболее известным примерам использования таких классификаторов можно отнести тематическую группировку объектов по количественным значениям атрибутов. Если для каждой точки цифрового изображения имеется набор данных, представленный действительными или целыми числами - результатами измерений п параметров, эту точку можно рассматривать как образ-вектор: в «-мерном пространстве X значений этих параметров. Такие задачи встречаются не только при классификации точек группировке объектов технологиях, но и при анализе количественных по значениям атрибутов изображения и при в геоинформационных данных в экономике, демографии, биологии и многих других предметных областях. Как уже упоминалось в первом разделе, методы и алгоритмы реализующие данный подход, основываются на принципе кластеризации, то есть сопоставлении каждому классу одного или нескольких интервалов значений каждого признака. В данной постановке задачи параметр xj является j-u координатой пространства X, j=l, ..., п, которое называют признаковым пространством. При конкретном перечне (алфавите) классов {At}, к=1, ..., К, значения признаков для образов различных классов могут совпадать или перекрываться по одним координатам и различаться по другим. Если выбрать такой набор признаков, чтобы образы разных классов различались хотя бы по одной координате, мы можем задать простое правило классификации: V; Xj £ (IjQi) -> х 6 Ак, к 6 {1.. К] . 95 Где Hj (к) - интервал значений признака Xj для класса Аь Геометрическая интерпретация этого случая при п = 2, К = 3 показана на Рис. 2.45. На Рисунок 2.44, Hi(l) = П i(2) + Hi(3), но класс Ai разделяется попарно с классами Аг и Аз по признаку %2. В то же время Пг(2) =Пг(3), но эти классы разделяются по признаку Х]. Х2 Щ1) QJ2),QJ3) Ях(2) Яр) QjCi) Xj Рисунок 2.44 - Простой случай разделения классов (гиперпараллелепипеды) Метод классификации, основанный на правиле, называют методом гиперпараллелепипедов. Его разновидности имеются в большинстве пакетов обработки данных сварочных процессов. Но приведённый выше пример можно рассматривать только как идеальный частный случай. Реальные границы областей, соответствующих искомым классам в признаковом пространстве чаще всего, имеют достаточно сложную форму; более того, эти области могут перекрываться для некоторых классов, особенно когда диапазоны значений параметров Xj невелики. Поэтому на практике возможности использования метода гиперпараллелепипедов ограничены. В общем случае множество значений признаков для образов класса Ак- это область П(к) в пространстве X, ограниченная некоторой гиперповерхностью 96 совершенно произвольной формы. Одному классу может Соответствовать даже несколько таких областей. Перекрытие областей, соответствующих различным классам, приводит к ошибкам классификации. Поэтому во всех методах классификации образов, представленных п- мерными векторами данных, чаще всего априори вводятся некоторые предположения о характере группировки образов в пределах заданных классов. На основании этих предположений строятся гиперповерхности, разделяющие множества П(к). Уравнения таких гиперповерхностей имеют вид d(x)=0 и называются разделяющими функциями или дихотомиями. При отсутствии каких-либо специальных предположений о характере группировки линейными образов границы функциями, областей то есть П(к) можно аппроксимировать гиперплоскостями. Метод гиперпараллелепипедов - простейший случай такой аппроксимации, когда гиперплоскости параллельны координатным плоскостям. Более общий случай для п=2 представлен на • Рис. 2.46. В случае п=2 разделяющие функции представляют собой уравнения прямых вида dj(x)=Wjlxl+Wi2x2+Wi3=0. Функции dt(x) называют линейными. Решающими функциями или дискриминантами. Разделяющая функция, заданная уравнением di(x)=0, делит пространство X на две области, для которых dj(x)>0 и dj(x)<0 соответственно. На Рис. 2.46 функция di(xl, х2) положительна на множествах П(1) и П(2) и отрицательна на множествах П(3) и П(4), функция d2(xi, хг) - положительна на множестве П(1), функция di(xi, Х2) - на множествах П(1) и П(3). Отсюда можно записать систему неравенств, ограничивающую область решений для каждого класса. Например, на Рисунок 2.45, область решений в пользу класса А\ задаётся неравенствами: d,(x,,x2)>0, d2(x,,x2)>0, d3(x,, х2)>0. 97 / cbfXj.x.H» Рисунок 2.45 - Разделяющие функции Если существует набор линейных решающих функций (d,(x)}, с помощью которого можно задать область решения для каждого класса А^ то классы {Аь} называются линейно разделимыми. Задача построения такого набора заключается в отыскании коэффициентов wy (j=l, ..., п+1) каждой функции di(x). Для этого обычно используется доступная выборка образов. Заметим, что с помощью одних и тех же линейных решающих функций мы можем по-разному определить области решения для каждого класса. Так, при наборе ограничений возникает так называемая "область отказов от распознавания" (клин между функциями 62 и d3 в верхней части рисунка), хотя этот набор более точно аппроксимирует границу класса А1. Можно обойтись без отказов, если определить область решения для А1 только первыми двумя неравенствами. Хотя приведённая выше запись решений удобна для геометрической интерпретации, аналитическое решение задачи удобнее искать, записав d(x) отдельно для каждой пары соседних классов: dl2(x), dl3(x) и т.д. В этом случае уравнение разделяющих функций d(x)ks=0 для пары классов k, s можно преобразовать к виду Гк(х)-г$(х)=0 или гфс)=гБ(х), а неравенства, ограничивающие область решения для k-го класса, представить в виде rt(x)>rs(x). 98 В такой постановке построение алгоритма распознавания при заданном наборе классов {Ak} сводится к выбору К решающих функций гфч), по которым на облати П(к) выполняется условие. rk(x)>rs(x) sk, k,s=l,...,KТогда задача классификации конкретного вектора-образа х сводится к вычислению Гк(х) для всех к=1, ..., К и нахождению maxkfrk (х)}. В некоторых задачах, когда решающие функции имеют очень сложный вид, может быть использовано их обобщённое представление в виде ПО) =2^Wijfj№ где fj(x) - некоторые известные функции. Далее, путём введения новых переменных щ= Jj(x), задача сводится к линейной. В общем случае решающие функции далеко не всегда линейны. Например, при статистической классификации, которую мы будем в дальнейшем рассматривать, когда дисперсии признаков внутри классов различны, решающие функции представляют собой квадратичные формы (гиперквадрики). Тем не менее, представление решающих функций в линейной форме распространено достаточно широко в связи с простотой автоматизации процесса обучения в таких системах и создания самообучающихся систем распознавания. Процесс автоматического обучения в таких системах заключается в коррекции весовых коэффициентов wy функций по результатам классификации предъявляемых системе векторов-образов. Для линейно разделимых классов существует целый ряд алгоритмов обучения, сходящихся за конечное число шагов, то есть позволяющих получить наилучшее приближение решающей функции на конечной выборке образов. Методология линейного дискриминантного анализа в настоящее время наиболее широко используется в нейронных сетях, где обучение является наиболее сложным и ответственным этапом процесса распознавания. Непосредственное построение разделяющих или решающих функций без предположений о каких-либо закономерностях группировки 99 образов внутри классов, которые можно описать математическими функциями, часто называют непараметрическим подходом. Применение непараметрического подхода целесообразно в тех случаях, когда нам ничего неизвестно о каких- либо закономерностях распределения образов внутри классов. При тематической обработке изображений земной поверхности такой метод бывает очень удобен для оценки положения определённых тематических категорий в признаковом пространстве. Некоторые разновидности непараметрического подхода, применяющиеся при обработке изображений, рассмотрены. При большом количестве образов, классов и признаков-измерений непараметрическая классификация становится чрезвычайно сложной и чаще, в том числе и при поэлементной классификации изображений, используются методы, априори предполагающие существование некоторых закономерностей внутри классов. 2.7. Эффективные алгоритмы и процедуры детектирования дефектов сварного шва Для каждой из поставленных 'задач оценки качества сварных соединений возникает необходимость в разработке специфической процедуры для обработки изображений, учитывающей особенности задачи. Алгоритм обнаружения кромок разделки стыка и определения средней линии разделки стыка представлены (Рисунок 2.46). В задаче обнаружения кромок разделки стыка целесообразно использовать методы предварительной обработки изображений преобразование цветного изображения в полутоновое, фильтрацию, коррекцию яркости и контроности изображения, выделение краёв. 100 "У^эсаьжгвиэиге ш у м о в 1Соо5>^аразнга-жтЕл гич^эогасоэс O n p « у х ^ Д * «ИИОЕЖС - x*oi>ejrnscn Рисунок 2.46 - Алгоритм обнаружения кромок разделки стыка и определения средней линии разделки стыка Алгоритм определения ширины сварного шва для детектирования дефекта представлен на Рисунок 2.47. В этой задаче целесообразно использовать методы цифровой обработки изображений, также как медианная фильтрация, коррекция яркости - гамма коррекция, пороговая бинаризация, определение порога по гистограмме, выделение краёв. Для постобработки целесообразно использовать морфологические операции для устранения шума, вычисление ширины шва и определение его геометрических параметров шва. И о ь е д а м * KS««S»XSK«OS» I Ул>тк«кк« Е*Ч«ТМ 2£№£?EK£2DSK % 1 Порогом* Тг * BbCtAtKKI КрМ£ и Рисунок 2.47 - Алгоритм определения ширины сварного шва для детектирования дефекта. 101 Алгоритм определения координаты средней линии шва и отклонения сварного шва представлен на Рисунок 2.48. Основной задачей контроля качества сварных соединений является обнаружение дефектов и оценка их геометрических параметров и его местоположения. Для решения этой задачи используются методы цифрой обработки изображений; для улучшения качества изображений - медианная фильтрация, гистограммная эквлизация, гаммакоррекция. Для локализации объектов использовали пороговую бинаризацию, определение порога по гистограмме, выделение краёв с помощью операторов Канни и Собеля. Для постобработки используется математическая морфология, метод водораздела, выделение признаков объектов, вычисление геометрические характеристик дефектов сварного шва. Алгоритм локализации дефектов сварного шва представлен на Рисунок 2.49. Исходное изображение 1 . Улущ£Ш8£о^ав&нзЫ%ш££Ш1й у пределен*не порог по гисго: 4 ч Пороговая бинаризация Выз&яеяп? кра!в 4 ™ ~~ Заполнение области + Морфологические оперши» (Эрозия « дошация) Вычисление средаей линии шва.W= Вычисление отклонения Рисунок 2.48 - Алгоритм определения координаты средней линии шва и отклонения сварного шва. 102 Исходное взовражетге I - _ с + Порл" по Пороговая гистограмме бняаризацняСОтсу) -г Выделгииг краёв * -Л» — 4. Морфологические операции (Эрозия н днлатащш) Ф Локализация (водораздел) : (Выделение признаков) Оконгурировакка дафактов В ы ч к а т г н в е гечэьгвтркче-сккх хл.рактеркстик дефектов Кпассгшфикагшя Результат Рисунок 2.49 - Алгоритм локализации и классификации дефектов сварного шва. 2.8. Выводы по второй главе В данной главе рассмотрены методы и алгоритмы цифровой обработки изображений, приведена типовая процедура цифровой обработки изображений. Представлены методы преобразование предварительной обработки изображений; цветного изображения в полутоновое, метод улучшения качества изображений, методы удаления шумов (фильтрация), бинаризация изображений, метод выделения краёв. Представлены морфологические основные операции, подходы методы к постобработке . изображений; сегментации по морфологическим водоразделам; представлены методы распознавания и выделения признаков изображений. Рассмотрены основные понятия теории распознавания образов, приведены основные видеомониторинга принципы сварочных построения процессов, систем представлены алгоритмы и процедуры детектирования дефектов сварного шва. распознавания эффективные 103 Глава 3. Реализация процедуры детектирования дефектов сварного шва с использованием технологий цифровой обработки алгоритмов обработки изображений в автоматической системе контроля качества сварных соединений 3.1. Структура и основные принципы функционирования программно- аппаратной системы мониторинга сварочных процессов Для обеспечения адаптивного управления процессом орбитальной сварки с минимальным влиянием на него сварщика-оператора адаптивная аппаратура управления должна иметь в своём составе хорошо развитую систему датчиков обратных связей и исполнительных устройств, обеспечивающих необходимую корректировку режимов сварки в зависимости от качества сборки стыка, пространственного расположения сварочной головки, внешних возмущений, в том числе по напряжению и частоте питающей сети, расходу и составу защитного газа [21,28]. Автоматизированная сварочная установка с адаптивной системой управления должна быть выполнена в виде функционально делимых структур, показанных на Рисунок 3.1. Монитор X * до 15м Датчик тока и налргяжения Клавиатура о. Сварочный RS485 ""2-oTSvi Ethernet д о 10Ом Системны» блюк RS485 д о 20м обеспечение ГЪрОглышЯ&*«**ыь* Сварочная головка g Датчик профиля стыка KS3**rsi»#ar*;$* Vso tS*A Пульт *оператора RS4as ПО 1 5 м Рисунок 3.1 - Структурная схема автоматизированной сварочной установки: 1) система управления, 2) пульт оператора, 3) блок управления, 4) датчик тока и напряжения, 5) сварочный источник, 6) датчик углового положения, 7) сварочная головка, 8) датчик профиля стыка. 104 Сварочная установка содержит следующие функционально-делимые блоки [14,32]: - Промышленный компьютер (ПК) со специальным программным обеспечением, содержащий системный блок, монитор, клавиатуру и мышь. - Пульт оператора, подключаемый к персональному компьютеру или блоку управления. Все основные управляющие функции возложены на ПК, расположенный в защищенном от осадков помещении, в котором должна поддерживается температура от -20°С до +60°С. Промышленный компьютер должен выполнять следующие основные функции: - Формирование управляющих команд для всех элементов системы управления. - Реализация циклограмм рабочего цикла. - Программирование всех параметров рабочего цикла. - Отображение всех параметров хода процесса. - Сохранение в базе данных каждого процесса сварки. - Просмотр сохранённых параметров сварочных процессов. Пульт оператора обеспечивает выполнение следующих функций: - Выбор режима работы оборудования. - Запуск и остановка процесса. - Аварийная остановка процесса. - Корректировка технологических параметров в процессе сварки. Блок управления подключается к ПК по интерфейсу Ethernet и выполняет следующие функции [14,32]: - Управление подачей газа. - Формирование управляющих сигналов для сварочного источника. - Статистическая обработка значений тока и напряжения сварки. 105 - Управление двигателями сварочной головки. - Обработка сигналов датчика углового положения сварочной головки. - Обработка сигналов датчика профиля стыка. - Формирование питающих напряжений для всех элементов установки. Выносной датчик тока и напряжения сварки подключается по интерфейсу RS485 к БУ и для выполнения следующих функции: - Измерение среднего тока сварки с помощью бесконтактного датчика. - Измерение мгновенных значений тока сварки. - Измерение среднего напряжения на дуге. - Измерение мгновенных значений напряжения на дуге. - Передача измеренных значений в блок управления. Сварочный источник при использовании управляющих сигналов от БУ должен позволять управлять переносом электродного металла для формирования сварочного "шва. Датчик углового положения сварочной головки выполняет следующие функции: - Измерение текущего углового положения сварочной головки на трубе. - Измерение угла наклона сварочной горелки относительно сварочной головки. - Передача измеренных данных в блок управления. Стандартная многомоторная сварочная головка позволяет реализовать следующие движения сварочной горелки: - Перемещение вдоль линии стыка. - Коррекция положения поперек линии стыка. - Колебания поперек стыка. - Вертикальная коррекция. - Изменение наклона сварочной горелки. Датчик измерения профиля стыка выполняет следующие функции: 106 • Измерение профиля стыка до сварки. • Измерение профиля сварного шва после сварки. • Передача измеренных данных в блок управления. Видеокамера выполняет функции захвата изображения сварного шва и передачи в управляющий компьютер в соответствии с заданными интерфейсами и форматами данных [14,32]. Видеокамера является частью системы мониторинга процесса сварки (Рисунок 3.2) IP Камера Видеокамер Интерфейс С Монитор > (АЦП) Клавиатура 7^— Программное обеспечение lz Системной Зона наблюдения блок Рисунок 3.2 - Структура видеокомпьютерной системы мониторинга сварных соединений. Система видеонаблюдения контролировать сварочный для процесс автоматической и имеет сварки в своей позволяет основе камеру, обеспечивающую постоянное и чёткое сканирование сварного соединения. Опциональная функция - видеорегистрация процесса и параметров сварки с последующей записью на электронные носители информации. Воспроизведение изображения сварочного соединения, параметров процесса удобно применяется для визуального контроля качества сварного шва. Интегрированная система управления сварочными технологическими процессами на основе данных видеомониторинга реализована на базе сварочной 107 установки ГАСТ-1 НЛП «Технотрон» [14,32]. Сварочная головка дополнительно оснащена сервоприводами вертикального перемещения и горелки, лазерным сканером и видеокамерой на Рисунок 3.3. Рисунок 3.3 - Установка для орбитальной сварки кольцевых стыков труб; 1 - сварочная головка, 2- видеокамера, 3 - лазерный сканер УАСТ-1 УАСТ-1 - установка для автоматической сварки неповоротных стыков трубопроводов диаметром от 219 мм, а также прямолинейных швов во всех пространственных положениях (Рис. 3.4). Установка предназначена для использования: - в заводских (цеховых) условиях, - в трассовых условиях при температурах от -40С до +40С. Сварка может производиться проволоками: - сплошной (СВ08Г2С или другой) в С0 2 , - самозащитой (Innershield или другой), - порошковой (FilArc или другой) в СОг или аргоновых смесях. 108 Установка используется для сварки труб из низколегированных конструкционных сталей, легированных коррозионностойких сталей. Установка может использоваться в следующих комбинациях: 1. Сварка всех проходов сплошной проволокой СВ08Г2С в С02. Применимо только металла толщиной до 10мм. 2. Сварка корневого прохода сплошной проволокой СВ08Г2С в СОг. Сварка остальных проходов порошковой проволокой типа FilArc, FluxoFil или другой в СОг. 3. Сварка корневого прохода сплошной проволокой СВ08Г2С в СОгСварка остальных проходов самозащитой проволокой типа Innershield NR207 или NR208. 4. Сварка корневого прохода штучным электродом. Сварка остальных проходов самозащитой проволокой типа Innershield NR207 или NR208. 5. Сварка корневого прохода штучным электродом. Сварка остальных проходов порошковой проволокой типа FilArc, FluxoFil или другой в ССЬ Установка состоит из сварочной головки - ГАСТ-1, направляющих поясов, блока управления и пульта дистанционного управления. Состав установки УАСТ-1: - сварочная головка ГАСТ-1; - блок управления УАСТ; - пульт дистанционного управления УАСТ; - источник инверторный - ДС 400.33УКП; - направляющий пояс; - заземляющий пояс. 109 Таблица 4. Технические характеристики сварочной головки УАСТ-1 Диапазон диаметров свариваемых труб, мм 325-1420 1 Скорость вращения сварочной головки ГАСТ-1, мм/сек 0,5-12 Скорость подачи электродной проволоки, мм/сек 16-200 Диаметр электродной проволоки, мм 0,8-2,0 Скорость колебаний горелки, мм/сек 10-100 Амплитуда колебания горелки, мм 0-20 Время "задержки на кромках", с 0-1,0 Масса, кг, не более головки 19 блока управления 8 источника ДС400.33 (ДС400.33УКП) 40 Рисунок 3.4 - Установка для орбитальной сварки УАСТ-1 НПП «Технотрон» по Направляющие пояса предназначены для установки и перемещения головки вокруг трубы. Для каждого диаметра трубы необходим соответствующий пояс (Рисунок 3.5). Рисунок 3.5 - Направляющвие пояса Блок управления с пультом дистанционного управления предназначен для задания режимов работы установки. - Регулировка скорости вращения сварочной головки, - Регулировка скорости подачи сварочной проволоки, - Регулировка частоты колебаний сварочной горелки, - Регулировка амплитуды колебаний сварочной горелки, - Регулировка времени "задержки на кромках" сварочной горелки, - Регулировка напряжения сварки. Рисунок 3.6 - Блок управления. Сварочный источник В зависимости от выбранной технологии сварки - установка комплектуется соответствующим сварочным источником: Ill - Сварка сплошной проволокой (СВ08Г2С или другой) в СОг, применяется источник для механизированной сварки с управляемым капле переносом - ДС 400.33УКП. Обеспечивает сварку «корня» с гарантированным обратным валиком. Процесс сварки с управляемым капле переносом обеспечивает формирование обратного валика во всех пространственных положениях. - Сварка самозащитой проволокой (Innershield или другой) и Сварка порошковой проволокой (FilArc или другой) в С02 или аргоновых смесях. Применяется источник для механизированной сварки ДС400.33УКП или ДС400.33. Рисунок 3.7 - Сварочный источник. В качестве технических средств информационного обеспечения программно-аппаратного сварочного комплекса использован лазерный датчик профиля - триангуляционный лазерный сканер РФ603 фирмы «Рифтек» (Рисунок 3.8), предназначенный для построения пространственных моделей разделки и сварного шва, и видеокамера SR-3000AT фирмы «Infinity» (Рисунок 3.8). для решения задач мониторинга и построения панорамных цифровых изображений протяжённых сварных соединений. 112 a) * б) Рисунок 3.8 - а)триангуляционный лазерный сканер на сварочной установке (РФ603 фирмы «Рифтек»), б) видеокамера на сварочной установке SR-3000AT фирмы «Infinity». USB аналоговый цифровой видео конвертер - предназначен для преобразования аналогового сигнала с камеры в цифровой формат (Рисунок 3.9). Рисунок 3.9 - USB аналоговый цифровой видео конвертер 3.2. Процедура обнаружения дефектов сварного шва по цифровым изображениям Для решения задачи локализации объектов на статических изображениях в системах технического зрения применяются различные методы цифровой обработки изображений. Под локализацией в работе понимается процесс определения областей объектов на изображениях по заданным параметрам. 113 Анализ литературы позволил выделить несколько подходов к классификации методов обработки изображений для локализации объектов [1,2,9]. Методы обработки различаются в зависимости от типа изображения локализируемого изображением, объекта группой (объект точек, в может виде быть представлен площадного или точечным протяжённого изображения), в зависимости от этапа процесса локализации (методы первичного и вторичного поиска), в зависимости от применяемой процедуры поиска (построчное сканирование всего изображения, сравнение выделенных областей с эталоном, обработка отдельных фрагментов сканирующим «окном», нахождение опорных точек, геометрический поиск). Существуют две основные группы признаков цветных изображений: это признаки пикселя изображения, обычно это характеристики цвета пикселя, и признаки искомого объекта, т.е. множества пикселей, из которых и состоит изображение объекта, обычно это геометрические характеристики. При выборе значений параметров локализации, исходя из изменяемости условий получения изображений, с целью исключения возможности потери области объекта, значения параметров задаются максимальным диапазоном возможных значений. Исходя из этого, не исключена вероятность локализации ложных областей объектов. На каждом этапе локализации возможно использование различных параметров объектов, поэтому методов локализации по какому-то одному набору признаков в чистом виде не существует. Иногда целевой объект в изображении может быть небольшого размера, т.е. изображение содержит большую часть фона, который является несущественной информацией. Локализация и сегментация могут удалить несущественную информацию. Реализация автоматической локализации и сегментации объекта также актуальное направление исследований в настоящее время [1,2,9]. На Рисунок 3.10 представлены этапы локализации дефектов. На Рисунок 3.11 представлен результат выполнения процедуры. 114 Захват цифрового изображения (по кадрам) щ SURF.SIFT Изображение протяженного соединеккя(раз вертка) njirnTi[iiiiiiiiini Повышение контрастности (Гистограмм) Шумоподавление Сегментации изображений Выделения признаков изображений Обнаружение дефектоЕ Результат Локализация дефектов Рисунок 3.10- Процедура обнаружения дефектов сварного шва по цифровым изображениям. Рисунок 3.11 - Обнаружение дефектов сварных швов средствами автоматизированного визуального контроля. 3.3. Реализация процедуры детектирования дефектов сварных соединений Панорамное изображение сварного шва получено с помощью методов SURF/SIFT [42]. Для улучшения качества изображений фильтрации использовали медианный фильтр, так как он пригоден для удаления шумов на изображениях сварных соединений [14,58]. Для улучшения изображений • 115 использовали коррекцию яркости (гамма коррекцию). Для выделения границ использовали операторы Собеля и Канни, более эффективный - это метод Канни. На Рисунок 3.12 представлены результаты выделения границ методом Канни (оптимальный порог t=0.4 обеспечивает хорошие результаты для обнаружения кромок разделки стыка). Сравнительный анализ для задачи обнаружения кромок разделки стыка представлен в Таблице 5,6. В соответствии с постановкой задачи обнаружения кромок и определения средней линии разделки стыка (глава 1) и алгоритмы обнаружения кромок и определения средней линии разделки стыка (глава 2) необходимо выполнить фильтрация, гистограммная эквализация, выделения границ операторы Собеля и Канни, бинаризация. Результаты моделирования обнаружения кромок и определения средней линии разделки стыка представлены на Рисунок 3.14. и Рисунок 3.18. Сравнение результатов обнаружения кромок с использованием цифровой обработки изображений (оператор Канни и Собель) (Таблица 5,6) Таблица 5. Сравнение результатов обнаружения кромок с использованием цифровой обработки изображений (оператор Канни) Задача Медианный фильтр Гамма коррекция (MxN) Выделение краёв Резуль (Канни)(порог (t)) тат (%) t=0.1 50% t=0.2 70% 1 2x2 2 2x2 3 2x2 у<1 t=0.4 98% 4 2x2 у<1 t=0.6 80% 5 2x2 у<1 t=0.8 60% У<1 • у<1 116 120% 100% t=0.1 t=0.2 t=0.4 t=0.6 t=0,8 Рисунок 3.12 - Обнаружения кромок с использованием оператора Канни и различным значением порога (t). Таблица 6. Сравнение результатов обнаружения кромок с использованием цифровой обработки изображений (оператор Собеля) Медианный фильтр Гамма коррекция Выделение карёв Резуль- (MxN) (У) (Собеля)(порог (t)) тат(%) 1 2x2 у<1 1=0.01 30% 2 2x2 у<1 t=0.02 50% 3 2x2 у<\ t=0.04 95% 4 2x2 у<1 t=0.06 85% 5 2x2 у<1 t=0.08 70% Задача 100% t=o.oi t=002 t=0 0 4 t=0 Об t=0 08 Рисунок 3.13 - Обнаружения кромок с использованием оператора Собеля и различным значением порога. В задаче улучшения яркости также можно использовать гистограммную эквализацию яркости изображения, в задаче обнаружения кромок разделки 117 стыка гистограммная эквализация даёт хорошие результаты, но оптимальный порог для выделения края изменяется [1,21]. Процедуры обнаружения кромок с помощью цифровой обработки изображений с использованием гистограммной эквализации представлен на Рисунок 3.14. г) д) е) Рисунок 3.14 - Этапы процедуры обнаружения кромок разделки стыка: а) исходное изображение, б) результат преобразования цвет в полутон, в) результат применения медианного фильтра, г) результат применения метода гистограммной эквализации, д) результат выделение краёв с помощью оператора Канни, е) окончательный результат - обнаружение кромок. Таблица 7. Сравнение результатов обнаружения кромок с использованием цифровой обработки изображений (оператор Канни) Медианный фильтр Гистограммная Выделение краёв Резуль (MxN) эквализация(L) (Канни порог t) тат^) 1 2x2 L = 256 t=0.1 20% 2 2x2 L = 256 t=0.2 30% 3 2x2 L = 256 t=0.4 60% 4 2x2 L = 256 t=0.6 85% 5 2x2 L = 256 t=0.8 95% Задача 118 ыхж t=oi t^0 4 t=0.2 ДОиВ t=o.« Рисунок 3.15 - Обнаружения кромок с использованием оператора Канни и различным значением порога. Таблица 8. Сравнение результатов обнаружения кромок с использованием цифровой обработки изображений (оператор Собеля) Задача Медианный фильтр Гистограммная Выделение карёв Резуь- (MxN) эквализация (L) (Собеля порог t) тат(%) 1 2x2 L = 256 t=0.01 10% 2 2x2 1 = 256 t=0.02 20% 3 2x2 1 = 256 t=0.04 40% 4 2x2 L = 256 t=0.06 60% 5 2x2 1 = 256 t=0.08 80% fcsQl t=0 2 t=0.4 t=0$ t=C8 Рисунок 3.16 - Обнаружения кромок с использованием оператора Собеля и различным значением порога. 119 Таблица 9. Сравнение результатов обнаружения кромок с использованием цифровой обработки изображений (оператор Собеля) Задача Медианный фильтр Гамма коррекция Пороговая Резуль (MxN) (У) бинаризация тат (%) (порог (t)) 1 2x2 у>1 t=0.1 . 80% 2 2x2 у>1 t=0.2 95% 3 2x2 К>1 t=0.4 65% 4 2x2 у>1 t=0.6 0% 5 2x2 у>1 t=0.8 0% t«0 2 t*0* t*0 6 t»0» Рисунок 3.17 - Обнаружения кромок с использованием пороговой бинаризации и различным значением порога. •• . •. г) б) в) Д) е) Рисунок 3.18 - Этапы процедуры обнаружения кромок разделки стыка с использованием пороговой бинаризации: а) исходное изображение, б) результат преобразования цвет в полутон, в) результат применения медианного фильтра, г) результат применения гистограммной эквализации, д) результат применения выделение краёв Канни, е) окончательный результат обнаружения кромок. 120 Таблица 10. Результаты сравнения методов для обнаружения кромок (бальная оценка, 1-10) Задача Выделение Выделение Пороговая Пороговая Краёв(Собеля) Краёв(Канни) Бинаризация^) (отсу) Изображение 1 7 9 8 7 Изображение 2 6 8 6 5 Изображение 3 7 7 5 6 Изображение 4 5 7 4 4 • изображение1 и изображение2 « изображениеЗ • изображение4 Выделение Выделение Краёв( Собель) Краёв (Канни) бинаризация^ (отсу) Пороговая Пороговая Рисунок 3.19 - Результаты сравнения методов обнаружения кромок. Для определения ширины сварного шва целесообразно использовать методы цифровой обработки изображений: методы предварительной обработки изображений - преобразование цвет в полутон, нелинейная медианная фильтрация, коррекция яркости и контрастности изображений. Для поиска объектов целесобразно использовать пороговую бинаризацию, определение порога по гистограмме, выделение краёв - Собель и Канни, морфологические операции - эрозия и дилатация. Для сегментации использует метод водораздел после поиска объектов. Для траектории перемещения сварочной горелки определяет ширины сварного шва и средней линии сварного шва для решения задачи слежения за стыком [32,33]. 121 Следующий этап детектирования - повышение контроности изображении (Рисунок 3.20). (а) (б) (в) Рисунок 3.20. Гамма коррекции яркости контроности: а) исходное изображение б) гамма = 0.5. в) оптимальное значение гамма коррекция 0.9 Следующий этап детектирования - фильтрация изображении. В данном работе использовали медианный фильтр для удаления шумов на Рисунок 3.21. . Mi^i^»^0khik^J»kj. (а) (б) Рисунок 3.21 - Медианная фильтрация; а) исходное изображение с шумами, б) результат обработки медианного фильтрация (4x4) После фильтрации обычно проводится бинаризация или выделение краёв на изображении [9,32]. Результат выделения границ методом Собеля на изображении представлен на Рисунок 3.22. 122 (a) Рисунок 3.22 - Выделение границ методом Собеля, а) Исходное изображение, б) Результат обработки изображения оператором Собеля со значением а = 0.02. Результат обработки изображения с целью связывания границ представлен на Рисунок 3.23. (а) Рисунок 3.23 - Соединение краёв, а) Исходное изображение, б) Результат обработка изображения методом связывания границ. Результат пороговой.бинаризации изображения представлен на Рис. 3.17. Следующий этап детектирования - применение морфологических операциях, в данной работе использовались операции дилатации и эрозии [33,45]. Результат обработки изображений с представлен на Рисунок 3.24. использованием морфологических операций 123 (a) (в) (г) Рисунок 3.24 - Морфологические операции: а) преобразование соединении краёв, б) бинаризация изображении, в) дилатация с структурным элементом(8е=3), г) эрозия с структурным элементом (se =13) Следующий этап детектирования - применение метода водораздела к изображениям для реализации сегментации на Рисунок 3.25. (а) Рисунок 3.25. Сегментация объектов на изображении: а) исходное изображении, б) метод водораздела, в) результат детектирования сварного шва с дефектами. 124 В соответствии с постановкой задачи определения средней линии сварного шва, определение ширины сварного шва и отклонения сварного средней линии сварного шва (глава 1) и алгоритмы (глава 2) необходимо выполнить фильтрация, гистограммная эквализация, выделения границ операторы Собеля и Канни, бинаризация, морфологические операции. Результаты моделирования определения средней линии сварного шва, определение ширины сварного шва и отклонения сварного средней линии сварного шва представлены на Рисунок 3.26, Рисунок 3.27, Рисунок 3.28. ji О 1 ZOO i 1 40Э 1 МО SOD 1 ] 1 13D2 б) 1 ! г Рисунок 3.26 - Результаты определения отклонения сварного шва: а) определение средней линии сварного шва, б) определение ширины сварного шва, в) отклонение сварного шва. б) -' * • > .' > ' ^L tw *« — в) г) Рисунок 3.27 - Результаты определения ширины сварного шва и отклонения сварного шва от средних линий сварного шва: а) исходное изображение сварного шва, б) градиент на изображении, в) пороговая бинаризация на изображении t=0.028. Щ т т w*m w s,- II ,_.—-- шк— • а) б) яЬ *= 4= т*г rJs r ^ J-*I г4з г±з в) Рисунок 3.28 - Результаты процедуры определения ширины сварного шва и отклонения сварного шва от средних линий сварного шва: а) определение средней линии сварного шва, б) определение отклонения сварного шва от заданной траектории сварки, в) определение ширины сварного шва. 126 Для определения ширины сварного шва целесобразно изображений: использовать методы следующее предварительной и отклонения сварного шва методы цифровой обработки обработки изображений преобразование цвет в полутон, нелинейная медианная фильтрация [14,13,29]. Для поиска объектов целесобразно использовать пороговую бинаризацию, определение порога по гистограмме, и заполнение области изображении на Рисунок 3.29. В соответствии с постановкой задачи локализации дефектов сварного шва, (глава 1) и алгоритмы (глава 2) необходимо выполнить фильтрация, градиент изображения, бинаризация, морфологические операции (дилатация и эрозия). Результаты моделирования локализации дефектов сварного шва представлены на Рисунок 3.29, Рисунок 3.30, Рисунок 3.31. Рисунок 3.29 - Результаты локализации дефектов сварного шва: а) исходное изображение, б) градиент изображения, в) результат применения проговой бинаризации, г) результат применения морфологической операции (дилатация и эрозия). в) г) Рисунок 3.30 - Результаты локализации дефектов сварного шва: а) результат применения морфологических операций, б), в) результат применения метода водораздела, г) Сегментация изображения - выделение дефектов сварного шва. Реальный размер объекта (дефекта) может быть определён путём преобразования пиксельных координат изображения в координаты реального мира (Рисунок 3.31). X 200 pix 40mm Рисунок 3.31 - Пересчет размеров дефекта Основные соотношения для вычисления реальных размеров дефекта: . _. X 40 р 200 . 1 Ргх = - = — =0.2 mm Spix = 2 0.2 х 0.2=0.04 mm Spix Л - реальный размер объектов. (.1-4) В соответствии с постановкой задачи классификации дефектов сварного шва (глава 1) и алгоритмы (глава 2) необходимо выполнить фильтрация, 128 градиент изображения, бинаризация, морфологические операции (дилатация и эрозия), классификация с помощью корреляционного метода. Результаты моделирования классификации дефектов сварного шва представлены на Рисунок 3.32, Рисунок 3.33. \ а) Defect 1 defect Diameter = б 1 pixels Area = 29 pixels Defect 2 d e f e c t Diameter = 14 4 pixels Area = 163 pixels Defect 5 defect Diameter = 10 0 pixels Area = 79 pixels Defects d e f e c t Diameter • 15 9 pixels A r e a = 198 pixels Defect 3 d e f e c t Diameter = 1 7 8 pix Area = 2 4 9 pixels 6 Defect4 d e f e c t Diameter = 15 2 pixels Area = 1 8 1 ptxe Is > Рисунок 3.32 - Результаты классификации дефектов сварного шва: а) результат применения метода проекции на изображении для выделения признаков на вертикальной и горизонтальной проекции, б) определение дополнительных геометрических характеристики. Рисунок 3.33 - Результаты классификации дефектов сварного шва с помощью корреляционного метода, а) Исходное изображение и шаблон дефекта, б) Корреляционная функция, в) Результат локализации дефекта на исходном изображении. 129 Рисунок 3.34 - Результаты классификации дефектов сварного шва с помощью корреляционного метода, а) Исходное изображение и шаблон дефекта, б) Корреляционная функция, в) Результат локализации дефекта на исходном изображении. 1 .. f Э5 , 0. Э5. -1 ., 40 30 Рисунок 3.35 - Результаты классификации дефектов сварного шва с помощью корреляционного метода, а) Исходное изображение и шаблон дефекта, б) Корреляционная функция, в) Результат локализации дефекта на исходном изображений. 130 Рисунок 3.36 - Результаты классификации дефектов сварного шва с помощью корреляционного метода, а) Исходное изображение и шаблон дефекта, б) Корреляционная функция, в) Результат локализации дефекта на исходном изображений. а) Ь) Рисунок 3.37 - Результаты классификации дефектов сварного шва с помощью корреляционного метода, а) Исходное изображение и шаблон дефекта, б) Корреляционная функция, в) Результат локализации дефекта на исходном изображений. 131 Рисунок 3.38 - Результаты классификации дефектов сварного шва с помощью корреляционного метода, а) Исходное изображение и шаблон дефекта, б) Корреляционная функция, в) Результат локализации дефекта на исходном изображений. Таблица. 11. Балльная оценка (1-10) эффективности применения алгоритмов по задачам контроля и качества сварных соединений. Метод Задачи Пороговый Выделение краёв (Собель) 9 Обнаружение кромок Определение ширины шва 5 5 4 Отклонение центра Локализация дефектов 4 2 Выделение краёв (Канни) 8 Водораздела Гистограммный 8 6 4 8 5 3 4 7 5 7 3 5 4 132 •Обнаружение кромок • Определение ширины I Отклонение центра • Локализация Метод пороговый Метод выделение Метод выделение Метод водораздел Метод краёв (собель) краёв {канни} Гистрограммный Рисунок 3.39 - Результаты сравнения методов обработки изображений для задач контроля качества сварных соединений. 3.4. Выводы по третей главе В данной главе представлены принципы функционирования программно- аппаратной системы моделирование мониторинга процедуры сварочных обнаружения процессов. дефектов сварного использованием технологий цифровой обработки изображений. Проведено шва с 133 Заключение В работе представлен обзор современных методов цифровой обработки изображений и алгоритмическое методов распознавания и программное изображений, обеспечение, реализовано представлены результаты моделирования системы обнаружение дефектов сварных соединений. Основные результаты работы: - Проведён анализ, способов получения цифровых изображений протяжённых сварных соединений. - Исследованы типовые структуры систем технического зрения и алгоритмы цифровой обработки изображений. - Разработана структура и принципы функционирования подсистемы распознавания дефектов сварных швов по изображениям протяжённых сварных соединений магистральных труба проводов. - Разработаны методики и процедуры обнаружения дефектов протяжённых сварных соединений магистральных трубопроводов. - Разработана алгоритмическая и программная реализации автоматической системы локализации дефектов сварных соединений. - Проведено моделирование -системы обнаружения дефектов сварного шва. На основе предложенных методов и алгоритмов разработана универсальная программная система, позволяющая эффективно решать задачи распознавания изображений. Эффективность разработанных методик, процедур и алгоритмов подтверждена результатами моделирования цифровой адаптивной системы управления сварочным процессом на базе сварочной установки ГАСТ-1 НПП «Технотрон» с инверторным источником питания ДС 400.33 и модернизированной сварочной головкой «ГАСТ-1», оснащённой лазерным сканером профиля стыка и видеокамерой. 134 Список литературы 1. Автоматизированный комплекс для многослойной сварки кольцевых стыков труб магистральных трубопроводов со средствами адаптации и прогнозирования качества сварки / Гладков Э.А., Гаврилов А.И [и др.] // Наука и техника в газовой промышленности. М.:, 2009г. № 4. С. 77-86. 2. Адаптивная система управления сварочным оборудованием / Тет Аунг [и др.] М: «Инженерный вестник http://ivdon.ru/magazine/archive/n2v2014/2385. Дона». 2014. №2- Загл. с экрана. Яз. Рус (дата обращения 15.1.2015). 3. Алфимцев А.Н., Разработка и исследование методов захвата отслеживания и распознавания динамических жестов: Дис.канд. Техн. Наук: 05.13.17 (МГТУ им. Н.Э. Баумана). Москва, 2008. 165 с. 4. Анализ эффективности применения искусственных нейронных сетей для решения задач распознавания, сжатияти прогнозирования / Талалаев А.А., Тищенко И.П [и др.] //Искусственный интеллект и принятие решений. —М.: № 2, 2008и. с.24-33. 5. Апальков И.В., Хрящев В.В. Удаление шума из изображений на основе нелинейных алгоритмов с использованием ранговой статистики. Ярославский государственный университет, 2007г. 6. Аун С. Информационно-измерительная система видеослежения за подвижными объектами на основе пространственных дескрипторов: Дис... Канд.техн. Наук: 05.11.16 (КАИ). Казань, 2012. 185 с. 7. Бухтояров С.С. Удаление шума из изображений нелинейными цифровыми фильтрами на основе ранговой статистики. -М.: 2007г. 8. Гаврилов А.И., Евдокимов П.В. Применение сетей Кохонена в задачах автоматизированного структурирования и анализа информации / Тр. Пятого международного симпозиума "Интеллектуальные системы", г. Калуга, 2002г. М : МГТУ им. Н.Э. Баумана, 2002. С. 315-317. 9. Гаврилов А.И., Тет Аунг. Применение методов сегментации изображений в задачах обнаружения дефектов поверхности сварных соединений // Вестник ' 135 ФГБОУ ВПО МГТУ им. Н.Э. Баумана. Серия "Приборостроение" №5 2014г. С. 124-132 (0,19п.л./0,04п.л.). 10. Гаврилов А.И., Шахназаров Г.А., Пупков К.А., Комплексирование технологий управления в интеллектуальных системах высокой точности и надёжности // Вестник Российского университета дружбы народов. Серия: Инженерные исследования. 2011. № 4. С. 60-67. 11. Гаганов В.В. Инвариантные алгоритмы сопоставления точёных особенностей на изображениях. Журнал Графика и Мультимедиа, выпуск №7(1) 2009г. 12. Герман Е.В. Методы выделения характерных особенностей изображений подстилающей поверхности 'при не корреляционных совмещениях: Дис.канд. Техн. Наук: 05.13.01 (РГГУ). Рязан, 2014. 175с. 13. Гладков Э.А., Гаврилов А.И. Имитационное моделирование лазерной сварки с глубоким проплавлением с пользованием нейросетевых моделей // Сварка и диагностика. 2009. № 1. С. 9-11. 14. Гладков Э.А., Гаврилов А.И., Малолетков А. В. Динамическая нелинейная модель технического процесса лазерной сварки с глубоким проплавлением // Сварочное производство. 2001г. № 12. С. 17. 15. Гонзалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2006. - 1072с. 16. Д. Форсайт., Д. Понс. Компьютерное зрение. Современный подход. М.: Вильяме, 2004г. С.603^6 10. 17. Заенцев И.В. Нейронные сети: основные модели. Воронеж, 1999г, 76 с. 18. Зуева Е.Ю. Компьютерное зрение в ИПМ им. В.М. Келдыша РАН-история развития, 2009г. 19. Калан Р. Основные концепции нейронных сетей. -М.: Вильяме, 2001.288 с. 20. Калинкина Д., Ватолин Д. Проблема подавления шума на изображениях и видео и различные подходы к ее решению, компьютерная графика и мультимедиа. Выпуск №3(2) /2005г. http: // cgm. Computer graphics. Ru / content / view / 74. 136 21. Классификаторы сварочных дефектов / Тет Аунг [и др.] Студенческий научный вестник. М : МГТУ им-. Н.Э. Баумана, 2012. Том XII, Часть-1.С. 3538. 22. Конушин А.А. Слежение за точечными особенностями сцены (Point feature tracking). Компьютерная графика и мультимедиа. Выпуск №1(5) /2003. http://cgm.computergraphics.ru/content/view/54. 23. Кохонен Т. Ассоциативная память, «Мир», Москва, 1980г, 240 с. 24. Краснобаев А.А., Обзор алгоритмов детектирования простых элементов изображения и анализ возможности их аппаратной реализации. 2005г. http://www.keldysh.ru/papers/2005/prepl 14/ргер2005_114.html. 25. Лысенко О. Машинное зрение от SICK/IVP // Компоненты и технологии. 2007г. http://kit-e.ru/articles/sensor/2007_l_66.php. 26. Макаренко А.А., Калайда В.Т., Методика локализации изображения лица для систем видеоконтроля на основе нейронной сети // Известия Томского политехнического университета / Томский политехнический университет (ТПУ). 2006. Т. 309. № 8 . С. 113-118. 27. Мерков А.Б. Распознавание образов. Введение в методы статистического обучения. М.: Едиториал УРСС, 2011. 256 с. 28. Методические аспекты применения нейросетевых моделей для прогнозирования качества сварки плавлением / Гладков Э.А., Гаврилов А.И [и др.] // Сварка и диагностика 2008. № 3. С. 2-7. 29. Микропроцессорная система видеокомпьютерного мониторинга / Тет Аунг [и др.] Молодёжный научно-технический вестник (Москва). 2014г. http://sntbul.bmstu.ru/doc/737905..html. (дата обращения 23.12.2014). 30. Микропроцессорный комплекс мониторинга и управления процессом сварки кольцевых стыков труб / Алёшин Н.П., Гладков Э.А. [и др.] // Пат. RUS 121765 06.04.2011. 31. Миронов Б.М., Малов А.Н. Сегментация изображений кластерным методом и алгоритмом случайных скачков: сравнительный анализ // Компьютерная оптика. 2010. Т. 34, №1. С. 132-137. 137 32. Нейросетевой классификатор сварочных дефектов / Тет Аунг [и др] Интеллектуальные системы: Труды девятого международного симпозиума. М.: РУСАКИ, 2010г. С. 614-615. 33. Нейросетевые технологии в задаче управления электроприводом постоянного тока / Тет Аунг [и др.] Интеллектуальные системы: Труды восьмого международного симпозиума. М.: РУСАКИ, 2008г. С. 631-635 (0,25п.л./0,0062п.л.). 34. Обработка и анализ цифровых изображений с примерами на Lab VIEW IMAQ Vision / Визильтер Ю.В., Желтов С Ю [и др.] М.: ДМК Пресс, 2007. 35. Опыт разработки и применения современных отечественных технологий и оборудования для автоматической орбитальной сварки магистральных газопроводов / Гецкин О.Б., Вышемирский Е.М [и др.] // Сварка и Диагностика. 2010г. № 6. С. 51 - 57. 36. Потапов А.С., Автоматический анализ изображений и распознавание образов на основе принципа репрезентационной минимальной длины описания: Дис... Докт. Техн. Наук: 05.11.07, 05.13.01 (спбгу ИТМО). СанктПетербург, 2008. 299 с. 37. Потапов А.С. Распознавание образов и машинное восприятие. —М.: Политехника, 2007 г. 552 с. 38. Применение технологий цифровой обработки изображений в нейросетевых системах управления сварочным оборудованием / Тет Аунг [и др.] Науковедение. Интернет журнал Том 7, №1, 2015. http://naukovedenie.ru/PDF/64TVN 115.pdf. Загл. с экрана. Яз. Рус (дата обращения 15.2.2015). 39. Программно алгоритмический комплекс стабилизации и улучшения качества видео изображений, получаемых информационными средствами космического базирования: свидетельство об официальной регистрации программ для ЭВМ / Колесса А.Е., Слынько Ю.В., Лагуткин В.Н., Лукьянов А.П. №2007614534 от 26 октября 2007г. . 438 40. Профилометрическая система позиционирования сварочной установки / Тет Аунг [и др], Интеллектуальные системы: Труды девятого международного симпозиума. М.: РУСАКИ, 20Юг, С. 659-662. 41. Пупкова К.А. Методы робастного, нейро-нечеткого и адаптивного управления: Учебник / Под общ. ред. М.: Изд-во МГТУ им. Н.Э. Баумана, 2001.774с, ил. 42. Реализация адаптивных технологий сварки кольцевых стыков магистральных трубопроводов / Алёшин Н.П., Гладков Э.А [и др.] Сварка и диагностика. М.: 2011. № 5. С. 48-53. 43. Реконструкция трёхмерных моделей по данным лазерной профилометрии / Тет Аунг [и др.] Интеллектуальные системы: Труды десятого международного симпозиума. -М.: РУСАКИ, 2012г. С. 513-517. 44. Савичева СВ., Система распознавания отдельных и наложенных плоских объектов: Дис.канд. Техн. Наук: 05.13.01 (влгу). Владимир, 2013. 192 с. 45. Сегментация изображений в задачах обнаружения дефектов поверхности / Тет Аунг [и др.] Молодёжный научно-технический вестник (Москва) 2014г. http://sntbul.bmstu.ru/doc/749643.html. (дата обращения 23.12,2014). 46. Сойфера В.А. Методы компьютерной обработки изображений / Под ред. М : Физматлит, 2003. С. 192-203. 47. Установка для считывания клейма с труб НКТ / Перковский Р.А., Гаврилов А.И [и др.]. М.: Дефектоскопия. 2003г. № 9. С. 81-83. 48. Фаворская М.Н. Модели и методы распознавания динамических образов на основе пространственно-временного анализа последовательностей изображений: Дис... Докт. Техн. Наук: 05.13.18 (СФУ). Красноярск, 2011. 326 с. 49. Фисенко В.Т., Фисенко Т.Ю. Компьютерная обработка и распознавание изображений: учеб. пособие. СПБ: СПБГУ ИТМО, 2008г. 192 с. 50. Царегородцев В.Г. Общая неэффективность использования суммарного градиента выборки при обучении нейронной сети // Нейроинформатика и ее 139 приложения: Матер. XII Всеросс. семинара. - Красноярск, 2004г. С. 145151. 51. Цифровая обработка изображений в информационных системах / Грузман И.С., Киричук В.С [и др.] // Учеб. пособие. Новосибирск. Изд-во НГТУ, 2003.-352 с. 52. Шапиро Л., Дж. Стокман. Компьютерное зрение. -М.: БИНОМ. Лаборатория знаний, 2006г. 752 с. 53. Яне Б. Цифровая обработка изображений. М.: Техно сфера, 2007г. 584 с. 54. Agapakis J.E., Bolstad J. Vision sensing and processing system for monitoring and control of welding and other high luminosity processes. International Robots & Vision Automation Conference, 1991, 23-29. 55. Agapakis J.E., Bolstad J. Vision sensing and processing system for monitoring and control of welding and other high luminosity processes. International Robots & Vision Automation Conference, 1991,23-29 56. Alhoniemi E. Process monitoring and modeling Using the Self-Organizing Map, Integrated Computer-Aided Engineering, IEEE. 1999. №.6 (1). 57. Beatlie R.J., Cheng S.K., Logue P.S. The use of vision sensors in multi-pass welding applications. Welding Journal. 1988, 67(11):28-33 58. Brzakovic D., Khani D.T.. Weld pool edge detection for automated control of welding. IEEE Transactions on Robotics and Automation. 1991, 7(3):397-403 59. Chen S.B., Wu L. A survey on intelligent welding technologies, Harbin: Heilongjiang People Press, Proceedings on 10th Chinese Conference on Welding (in Chinese), 2001,(l):84-96/ 60. Dayhoff J.E. Neural network architectures: an introduction. New York (NY): Van No strand Reinhold, 1990. -259 p.' 61. Drews P., G. Starke. Welding in the century of information technology. Welding intheWorld.1994, 34(1): 1-20 62. E.R. Davies. Machine Vision: Theory, Algorithms, Practicalities Academic Press, 2004. 140 63. Gonzalez R.C., Woods R.E., Eddins S.L. "Digital image processing using Matlab", Pearson Prentice Hall: Upper Saddle River2004. 64. Haykin S. Neural Networks, A Comprehensive Foundation, MacMillan College Publishing Co, New York, 1994. 65. Hertz J., Krogh A., Palmer R.G. Introduction to the Theory of Neural Computation, Addison Wesley, Reading, Mass., 1991. 66. Iivarinen J., Kohonen Т., Kangas J., Kaski S. Visualizing the clusters on the selforganizing map, Proc. Conf. on Artificial Intelligence Res. in Finland, Number 12 in Conf. Proc. of Finnish Artificial Intelligence Society, pp. 122 - 126. 67. Jin Z. Y, "Image Analysis", Tsinghua University Press: Beijing, 2005. 68. Jun Z.G., "Machine Vision", Science Press: Beijing, 2005. 69. K.M. Lee, Kuo C.J. Shape from shading with perspective projection. Computer Vision Graphics Image Process. 1994, 59(2):202-212 70. Kannatey Asibu E. Milestone developments in welding and joining processes, ASME Journal of Manufacturing Science and Engineering. 1997, pp.801-810. 71. Kimmel R., Bruckstein A.M. Global shape from shading. Computer Vision and Image Understanding. 1995, 62(3):360-369 72. Kohonen Т., (1995), Self-Organizing Maps, Springer, Berlin, 73. Kohonen Т.. Self-Organization and Associative Memory. - New-York: Springer, 1988. 620p. 74. Kohonen, Т., Oja E., Simula O., Visa A., Kangas J., (1996), Engineering applications of the self-organizing map, Proceedings of the IEEE, 84(10), 1358 1384. 75. Kovacevic R., Zhang Y.M. Z. Real-time image processing for monitoring of free weld pool surface. Journal of Manufacturing Science and Engineering. 1997, 119(5):161—169. 76. Mathworks Inc. (1996) Using Matlab Version 5 (Mathworks WWW address: http://www.mathworks.com/). Нейронныесети: Карты Кохонена, сентябрь, Валютный спекулянт, с 23-26. • 141 77. McCulloch W.S., Pitts W. A logical Calculus of Ideas Immanent in Nervous Activity Bull Mathematical Biophysics, Vol. 5, 1943, pp. 115-133. 78. Morgan C.G., Bromley J.S., Davey P.G.. Visual guidance techniques for Robot arc welding. Proceeding of 3rd International Conference on Robot Vision and Sensory Controls, 1983, pp, 615-619. 79. Nakata S., Huang J. Y. Visual sensing system for in-process control of arc welding process. Welding International. 1988, 2(12):1086-1090 80. Pal S.K. Automatic gray level thresholding through index of fuzziness and entropy. Pattern Recognition. 1983, 1(3): 141—146. 81. Pan J.L. A survey on 21th century welding science researches, Beijing :Mechanical Industry Press, Proceedings on 9th Chinese Conference on Welding (in Chinese), 1999, (1):D-001-D-017 82. Richardson R.W., Gutow D.A. Coaxial arc weld pool viewing for process monitoring and Control. Welding Journal. 1984, 63(3):43-50 83. Ritter H., Martinetz Т., Schulten, K. (1992), Neural Computation and SelfOrganizing Maps, Addison-Wesley Publishing Company. 84. Rumelhart D.E. Parallel distributed processing: Explorations in the microstructure of cognition. Cambridge (MA): MIT Press, 1986. Vol. 1. Foundations. - 532 p. 85. Sheng J.H. 3D image processing system based on Shape Reconstruction. Pattern Recognition and Artificial Intelligence. 1991, 4(4):46-52 86. Simula O., Vasara P., Vesanto J., Helminen R.R. The Self-organizing Map in Industry analysis, Laboratory of Computer and Information Science Laboratory of Computer and Information Science, Findland, Vol. 2. pp. 15-31 87. Sjoberg J., Hjalmarsson H., Ljung L. Neural networks in system identification // 10th IF AC Symposium on System Identification. - Copenhagen, 1994. - Vol. 2. - P. 49 - 72. 88. Song Т.Н., Li M.X.. Development of advanced manufacturing technologies and welding in the future, Beijing :Mechanical Industry Press, Proceedings on 8th Chinese Conference on Welding (in Chinese), 1997, (1): 17-27 • 142 89. Tarn T.J., Chen S.B., Chou C.J. Robotic Welding, Intelligence and Automation, Springer Verlag Berlin Heidelberg, Mar., 2004 90. Tarn T.J., Chen S.B., Chou С J. Robotic Welding, Intelligence and Automation, Springer ,Verlag Berlin Heidelberg, Mar., 2007 91. Vesanto J. Using SOM in Data Mining // Thesis for the degree of Licentiate of Science in Technology. - Espoo, Findland, 2000, Vol. 2. pp. 1 5 - 3 1 . 92. Weld width prediction based on artificial neural network. Yu X.P, Zhao X.R, Sum H., Gavrilov A., Hanjie Xuebao, Transactions of the China Welding Institution. 2005. T.26. № 5. 93. Xiangdong G., Mingtao L., Jianhui C. "Application of vision sensing and image processing technique in. welding control", Modern Welding, vol. 11, pp. 15- 18, 2006. 94. Xueqin L., Zhang K., Yixiong W. Condition and expectation of automatic weld seam tracking system, Chinese Journal of Mechanical Engineering, vol. 39, no. 12, pp. 80-85,2003. 95. Y.M. Zhang. Modern control analysis and design of welding process, Harbin Institute of Technology Press, Harbin, 1990, 72-76 96. Z.Y. Jin, "Image Processing", Tsinghua University Press: Beijing,2005. 97. Zhang Y.M., Kovacevic R., Wu L. Closed-loop control of weld penetration using front-face vision sensing. Journal of Systems and Control Engineering. 1993, 207(3):27-34. 98. Zhang Y.M., Wu L. Determination of top supervision parameters for state of full penetration in TIG welding, Transactions of The China Welding Institution. 1991, 12(1):39—45 99. Zhao D.B., Chen S.B., Chen. Shape parameter definition and image processing of the weld pool during pulsed GTAW with wire filler. Transactions of the China Welding Institution. 2001, 19(2): pp, 5-8. 100. Zhao D.B., Chen S.B., Wu L. Analysis and realization of the calculus of height from a single image. Chinese Journal of Computers. 2001, 27(4), pp, 367-369. 143/ ^Ijd 101. Zhao D.B., Chen S.B., Wu L. Research on the application of the 3-D shape from a single image. Optical Technique. 2000, 23(2): 147-f52.

razrabotka-videokompyuternoi-sistemy-avtomaticheskoi-klassifikatsii-defektov-svarnykh-soedin

Related documents

Products

Support

razrabotka-videokompyuternoi-sistemy-avtomaticheskoi-klassifikatsii-defektov-svarnykh-soedin

Related documents

Add this document to collection(s)

Add this document to saved

Suggest us how to improve StudyLib