Лекция 10. Морфологический и морфометрический анализ изображений 10.1. Основные понятия математической морфологии Традиционные методы обработки изображений, основанные на принципах и теории линейных систем и преобразовании Фурье, не дают прямого ответа на вопрос, каким образом численно описать форму или геометрическую структуру объектов на изображении. Например, спектральный анализ изображений в большинстве случаев позволяет количественно описать только упорядочения и анизотропию во взаимном расположении объектов. Дать строгое количественное описание многих особенностей геометрической структуры объектов в виде, согласуемом с интуицией и восприятием человека, позволяет математическая морфология, фундамент которой составляют теория множеств, интегральная геометрия, анализ выпуклых функций, стереология и геометрическая теория вероятностей. Основу методов математической морфологии составляют теоретико-множественные принципы, нелинейная суперпозиция сигналов и класс нелинейных систем, которые называются морфологическими системами. Несмотря на многие приложения математической морфологии, ее глубокую и изящную математическую структуру, она лишь недавно стала областью интереса академических исследований, и широта и общность этого метода еще не получили достойного признания. Основой морфологического подхода к обработке изображений является представление изображений и систем обработки на языке множеств и их преобразований. Бинарные изображения наиболее простым способом могут быть представлены с помощью множеств. В этом случае области, где значения яркости изображения равны 0, могут быть рассмотрены, например, как области черного фона, а области, где значения яркости изображения равны 1, как области белого фона. Ясно, что изображение может быть представлено множеством Х точек, соответствующих белому фону. Преобразования изображений в математической морфологии осуществляются с помощью нелинейных операторов, которые локально модифицируют геометрические характеристики изображений. Пусть R и Z представляют соответственно множества действительных и целых чисел, и пусть представляет двумерное непрерывное пространство R2 или дискретное пространство Z2 E Рассмотрим вначале случай бинарных изображений. Пусть X E есть множественное представление бинарного входного изображения и пусть B E есть компактное множество малого размера и простой формы (например, круг). Множество B называется структурирующим элементом. Пусть X b {x b : x X } выражает векторный перенос X на ± b E Фундаментальными морфологическими операторами для множеств являются наращение и эрозия X с помощью B , которые определяются как X B X b {x b : x X , b B} (10.1) bB X B X b {( z : ( B z) X } (10.2) bB Выход оператора наращения представляет собой множество перенесенных точек такое, что перенос отраженного структурирующего элемента образует непустое пересечение с входным множеством, т. е. B {b : b B} X B {z : ( B z ) X Ø} Аналогично, выход оператора эрозии представляет собой множество перенесенных точек, такое, что перенесенный структурирующий элемент содержится во входном множестве. Другие операторы могут быть определены как комбинации эрозии и наращения. Например, два дополнительных фундаментальных оператора - paзмыкание ◦ и замыкание • X с помощью B определяются как [160 ] X B (X B) B X B ( X B) B (10.3) (10.4) Представленный выше набор морфологических операторов может быть разными способами обобщен на полутоновые изображения, представляемые действительными положительно определенными функциями. Бинарные изображения часто получают в результате пороговой селекции полутоновых изображений, и пороговая селекция часто используется для того, чтобы представить полутоновые изображения через бинарные, т. е. с помощью множеств. Полутоновое изображение f x , где x означает двумерный вектор, можно представить с помощью ансамбля его двумерных пороговых множеств, определяемых как X a ( f ) {x : f ( x ) a} 0a (10.5) f где амплитудаa полностью перекрывает R или Z, в зависимости от того, имеет ли изображение непрерывный или квантованный диапазон значений. У пороговых множеств есть два важных свойства. Они линейно упорядочены, поскольку если a b, то X a X b что позволяет однозначно восстановить изображение f x , так как f ( x ) max{ a : x X a ( f )} , x (10.6) Таким образом, пороговые бинарные изображения, соответствующие пороговым множествам, для которых . f a ( x ) =1, если f ( x) a [т. е. x X a ( f ) ] и f a ( x ) 0 , если f ( x) a [ x X a ( f )] , причем a перекрывает диапазон изменения f (x) . Очевидно, что пороговые изображения f a ( x ) несут ту же информацию, что и пороговые множества Xa( f ) В работах Серры используется представление двумерной функции f (x) f x набором ее пороговых множеств (10.6). При этом операция наращения всех пороговых множеств функции с помощью одного и того же компактного множества В дает множества X a ( f ) B , которые f B являются пороговыми множествами нового изображения называемого наращением изображения f с помощью В. Подобно этому операция эрозии всех пороговых множеств функции f с помощью одного и того же множества В и суперпозиции всех выходных множеств дает функцию, называемую эрозией функции f с помощью B. Размыкание о и замыкание • функции f f B ( f B) B с помощью В определяются как и f B ( f B) B В литературе приведены примеры различного применения нелинейных морфологических операторов в обработке изображений. При этом приведенные процедуры в основном направлены на улучшение изображений (10.удаления фона, усиления края и др.), скелетонизации и выделения признаков. Однако морфологический анализ предполагает также и получение количественной информации об анализируемой области объекта: периметре, площади, анизотропии, координатах центра симметрии и т. д. Такой анализ реализован для бинарных изображений в пакете прикладных программ MATLAB. С помощью процедур, представленных в этом пакете, бинарное изображение сначала обрабатывается с помощью морфологических операторов эрозии, наращения и их комбинаций с целью выделения анализируемых объектов. Затем осуществляется анализ геометрических и статистических характеристик объектов, строятся соответствующие гистограммы. При таком подходе отдельной достаточно трудоемкой, вносящей наибольший субъективизм в анализ является процедура предварительной обработки и выбора подходящего порога бинаризации для исходного полутонового изображения . Очевидно, что для экспресс - анализа геометрических характеристик объектов должны быть построены процедуры, направленные на оценивание этих характеристик по исходным полутоновым изображениям. Кроме того, геометрический анализ объектов должен быть дополнен анализом их взаимного расположения на изображении. 10.2. Система для структурно-морфологического анализа изображений На рис.10.1 показана схема структурно-морфологической обработки изображений, реализованная в виде программы для персональных ЭВМ. Программа предоставляет исследователю широкий набор средств предварительной обработки изображений: локальных преобразований контраста, линейной и нелинейной фильтрации, рассмотренных выше, а также средств морфологической обработки. Если после такой обработки возможна удовлетворяющая исследователя декомпозиция исходного изображения в совокупность объектов и фона (10.перевод полутонового изображения в бинарное), то используются процедуры структурно-морфологической обработки бинарных изображений, а если нет, то используются процедуры структурно-морфологической обработки полутоновых изображений. Отдельный класс процедур предоставляется пользователю для обработки изображений типа “сетка”. Полутоновые изображения Морфологическая обработка полутоновых изображений Оценивание распределения объектов по размерам Бинаризация Морфологическая фильтрация изображений Оценивание положения объектов Морфологическая обработка бинарных изображений Оценивание формы объектов Анализ морфометрических характеристик изображений Морфологический анализ сеточных структур Анализ морфометрических характеристик бинарных изображений База по микроскопическим изображениям Метод секущих Измерение положения объектов бинарного изображения Измерение формы объектов бинарного изображения Анализ анизотропии сеток Аппроксимация распределения длин хорд секущих Анализ результатов аппроксимации Рис. 10.1. Схема структурно-морфологической обработки изображений лизованная подсистема морфологического анализа бинарных изображений функционирует в соответствии со дующей схемой: - выделение объектного множества методом порогового ограничения и его преобразование с помощью морфологических операций (эрозии, наращения, размыкания, замыкания, скелетонизации, деагломерации и др.) к виду, наиболее согласованному с восприятием объектной структуры исследователем; -расчет характеристик формы отдельных связных объектов: площади, периметра, эффективного размера, преимущественного направления и степени вытянутости и т.д.; -расчет статистических показателей формы по совокупности выделенных объектов (10.экстремальные и моментные статистики, гистограммы показателей формы, взаимные корреляции между показателями); -расчет специальных характеристик положения объектов (10.“ближнего порядка”, “координационного числа”, “функции радиального распределения” - ФРР). Обработка полутоновых электронно-оптических изображений осуществляется как для их улучшения и выделение признаков, так и для анализа форм объектов и распределения их по размерам. Подсистема структурноморфологической обработки полутоновых электронно-оптических изображений реализует следующие процедуры: морфологической медианной фильтрации с помощью сочетания операторов замыкания-размыкания для сглаживания изображений с сохранением резких границ; морфологических градиентов эрозии и наращения для обнаружения контуров и линий, морфологических операторов для обнаружения пиков и долин, скелетные преобразования. Для морфометрического анализа полутоновых изображений, на которых сложно путем пороговой селекции выделить какие-либо объекты (10.это в первую очередь относится к случайно - неоднородным изображения), применяется процедура обработки, c помощью которой производится оценивание характеристик формы и положения объектов путем анализа этих характеристик на бинарных пороговых множествах исследуемого полутонового изображения. После оценивания таких морфометрических признаков объектов на полутоновых изображениях как длина, ширина, анизотропность, ориентация и др., пользователь может произвести морфологическую фильтрацию полутонового изображения (10.выделение групп объектов, удовлетворяющих заданным ограничениям на параметры формы). Пользователю также предоставляются средства для расчета интегральных морфологических характеристик, не требующих точной локализации объектов (10.образного спектра, спектра эффективных размеров). Для определения параметров сеточной структуры применяются процедуры, основанные на методе секущих. Программой рассчитываются параметры распределения интервалов между пересечениями секущими границ сеточной структуры при случайном выборе сечений и при проведении секущих, ориентированных в определенном исследователем направлении. Это позволяет измерить максимальный размер ячеек сетки, оценить ее анизотропность, а также оценить параметры распределения длин хорд секущих линий. Пользователю дополнительно предоставляются средства для аппроксимации распределений длин хорд секущих нормальным, логнормальным и бета -распределением плотности вероятности и расчета параметров этих распределений. Измеряемые системой характеристики формы и расположения объектов, параметры сеток и распределения длин хорд секущих на бинарных изображениях, а также спектр эффективных размеров и оценки таких характеристик как длина, анизотропность, ориентация и др. для полутоновых изображений заносятся в базу и могут использоваться как признаки при классификации и идентификации структурных неоднородностей исследуемых сред и материалов по их изображениям. 10.3. Программная реализация морфологических операторов В рассматриваемой системе морфологической обработки изображений эрозия и наращение, являющиеся базовыми операциями, реализованы двумя способами. Первый способ основан на фильтрации изображения скользящим окном, которое фактически представляет собой структурирующий элемент, то есть, является маской морфологического фильтра. Ненулевые значения в маске определяют, какие из соседних пикселов следует учитывать при осуществлении операции. При эрозии бинарного изображения пиксел исходного изображения сбрасывается в 0, если хотя бы один из пикселей окрестности, соответствующий ненулевому элементу маски, равен 0. При наращении бинарного изображения пиксел исходного изображения устанавливается в 1, если хотя бы один из пикселов окрестности, соответствующий ненулевому элементу маски, равен 1. Таким образом, при локальном подходе вычисление эрозии и наращения сводится к перемещению окна В по всей плоскости изображения с одновременным выполнением локальных операций булева типа по окрестностям. Второй способ реализует морфологические фильтры в частотной области. Фактически операции эрозии и наращения осуществляются путем коррелирования бинарного входного изображения с бинарным структурным элементом В с последующим пороговым ограничением выходных корреляций. Использование высокого порога Th=N, где N - число пикселей в элементе B, дает в корреляционной плоскости эрозию, использование низкою порога Tl=1 - наращение. Промежуточные пороги между Th и Tl обеспечивают операции с фильтрами рангового порядка для их оптимизации к характеристикам обрабатываемого изображения. Для вычисления эрозии и наращения вычисляются с использованием алгоритма БПФ фурье-образы исходного бинарного изображения и изображения структурирующего элемента, которые затем перемножаются, и от полученного результата выполняется обратное преобразование Фурье. Полученная таким образом корреляционная функция подвергается далее операции порогового ограничения. Фурьеобразы структурирующих элементов простой формы (10.круг, квадрат) представляются в аналитическом виде. Это позволяет точно задавать форму структурирующего элемента при его малых размерах на дискретной сетке отсчетов. На рис. 2 иллюстрируется действие морфологических операторов на тестовое бинарное изображение. Структурирующий элемент – круг, радиусом в десять пикселей. Высота изображения – 400 пикселей. Изображения на рис. 2 (10.б, г, д) получены с использованием скользящего окна, а изображения на рис. 2 (10.в, е, з) с использованием преобразования Фурье. Отметим, что эрозия приводит к уменьшению множества X, а наращение – к его увеличению. Размыкание подавляет острые выступы и прорезает узкие перешейки в X, тогда как замыкание заполняет узкие заливы и малые отверстия, и таким образом X B X XСледовательно, B если структурирующий элемент В имеет регулярную форму, размыкание и замыкание можно рассматривать как нелинейную фильтрацию, которая сглаживает контуры входного изображения. Ясно, что форма и размер структурирующего элемента определяют природу и степень сглаживания. Использование обоих алгоритмов дает во многом схожие результаты, но алгоритм, основанный на преобразовании Фурье, дает результат более согласованный с формой структурирующего элемента. Оба алгоритма имеют значительные отличия в быстродействии и объеме используемой памяти. Алгоритм, реализующий морфологические фильтры в частотной области, быстрее при использовании структурирующих элементов значительного размера, но требует большего объема памяти. К настоящему времени разработано достаточное число различных архитектур вычислительных машин (10.конвейерных и параллельных), для реализации морфологических операций. Большинство этих архитек- тур воплощалось ранее в виде автоматов клеточной структуры для выделения информации об изображениях. Отметим также, что для реализации морфологических фильтров при обработке бинарных изображений могут также использоваться оптико-электронные корреляционные устройства. g - структурирующий элемент а) исходное изображение; б) наращение; в) эрозия; г) замыкание; д) размыкание. Рис.10. 2. Иллюстрация действия морфологических операторов тур воплощалось ранее в виде автоматов клеточной структуры для выделения информации об изображениях. Отметим также, что для реализации морфологических фильтров при обработке бинарных изображений могут также использоваться оптико-электронные корреляционные устройства. При реализации морфологических операторов для полутоновых изображений используем представление двумерной функции f (x) ее пороговых множеств. При этом операция наращения всех пороговых множеств функции f x с помощью одного и того же компактного множества В дает множества которые являются пороговыми множествами нового изображения f с помощью В. Xa( f ) B f B называемого наращением изображения Эта новая функция может быть вычислена либо из как ( f B )( x ) max{ a : x X a ( f ) B} (10.7) или из прямой эквивалентной формулы ( f B )( x ) max{ f ( x y )} yB (10.8) Подобно этому операция эрозии всех пороговых множеств функции f с помощью одного и того же множества В и суперпозиции всех выходных множеств дает функцию, называемую эрозией функции f с помощью В, орая может быть вычислена исходя из двух эквивалентных формул ( f B)( x) max{ a : x X a ( f ) B} (10.9) { f ( x y )} B )( x ) (min y )B (f (10.10) Пример применения морфологических операторов к полутоновому изображению магнитной структуры аморфной пленки показан на рис. 4.3. Операции наращения и эрозии полутонового изображения f с помощью другого полутонового изображения g могут быть вычислены по следующим прямым формулам ( f g )( x ) max{ f ( y ) g ( x y )} (10.11) y (f { f ( y ) g ( x y )} g )( x ) min y (10.12) где диапазоны x и y определяются как пересечение “опоры” функции f и (смещенной на x ) опоры функции g. Под опорой функции f мы понимаем множество значений x , на которых f ( x) 0 Предполагается, что функция g имеет компактную опору и выполняет роль структурирующего элемента. а) исходное изображение; в) наращение; б) эрозия; г) замыкание; д) размыкание (10.1-ый алгоритм); е) размыкание (10.2-ой алгоритм); Рис.10. 3. Иллюстрация морфологических операций над полутоновым изображением Размыкание и замыкание f посредством g выражаются, соответственно, функциями f g ( f g ) и f g ( f g) g Процедуры обработки полутоновых изображений реализованы в двух вариантах. В первом случае с помощью морфологических фильтров обрабатывается каждое из пороговых множеств полутонового изображения, а результат обработки находится в соответствии с равенством (10.6). Во втором случае действие того или иного морфологического оператора определяется как результат фильтрации скользящим окном, форма и размер которого определяется структурирующим элементом, полутонового изображения с последующим применением процедур max/min согласно формулам (10.8), (10.10) для бинарного структурирующего элемента и формул (10.11), (10.12) для полутонового структурирующего элемента. Например, эрозии полутонового изображения с бинарным структурирующим элементом соответствует замена значения центрального пикселя на минимальное из значений пикселов в пределах маски фильтра, а наращению соответствует замена центрального пикселя на максимальное из значений пикселов в пределах маски. На рис. 10.3, д, е показаны результаты применения морфологического оператора размыкания к полутоновому изображению (.рис. 10.3, а) и горизонтальные сечения полученных изображений вдоль указанного стрелкой направления в случаях, когда для вычисления размыкания использовался алгоритм обработки по пороговым множествам (.рис. 10.3, д) и когда использовался алгоритм фильтрации скользящим окном (.рис. 10.3, е). Вид изображений и их сечений подтверждает полную эквивалентность обоих алгоритмов.