Семантическая автономная система видеонаблюдения для сетей плотных камер в умных городах
advertisement
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3472835/ Семантическая автономная система видеонаблюдения для сетей плотных камер в умных городах Lorena Calavia,* Carlos Baladrón, Javier M. Aguiar, Belén Carro, and Antonio SánchezEsguevillas Author information Article notes Copyright and License information Disclaimer Аннотация В этой статье предлагается интеллектуальная система видеонаблюдения, способная обнаруживать и идентифицировать нештатные и тревожные ситуации, анализируя движение объекта. Система предназначена для минимизации обработки и передачи видео, что позволяет устанавливать в системе большое количество камер и, следовательно, делает ее пригодной для использования в качестве интегрированного решения по обеспечению безопасности в Smart Cities. Обнаружение тревоги осуществляется на основе параметров движущихся объектов и их траекторий, а также с использованием семантических рассуждений и онтологий. Это означает, что в системе используется концептуальный язык высокого уровня, понятный для операторов, способный вызывать расширенные сигналы тревоги с описанием того, что происходит на изображении, и автоматизировать реакцию на них, например, оповещать соответствующие аварийные службы с помощью Smart. Городская сеть безопасности. Ключевые слова: интеллектуальные датчики, наблюдение, семантика, охрана и безопасность 1. Введение Достижения в области информационных и коммуникационных технологий (ИКТ) инициируют преобразование сред, в которых мы живем, в интеллектуальные объекты, известные во всем мире как «Умные пространства» («Умные дома», «Умные здания», «Умные города» и т. Д.). Они собирают информацию, используя большие сенсорные сети, распределенные по всей ее области (дом, здание, целый город и т. Д.), И используют ее для разумной адаптации своего поведения к потребностям пользователей [1]. Кроме того, современное общество испытывает все больший интерес к безопасности и защите, что приводит к большому опыту, связанному с развертыванием систем видеонаблюдения в различных регионах. Будучи интегрированными в Smart Spaces, эти сети видеодатчиков предоставляют интеллектуальной системе возможность наблюдать за окружающей средой и, в сочетании с их интеллектом, обнаруживать и идентифицировать различные ненормальные ситуации, которые могут возникнуть внутри Smart-области. В настоящее время существует широкий спектр систем видеонаблюдения, которые используются в различных областях, таких как обнаружение вторжений или наблюдение за движением [2–4]. Однако автономное обнаружение предупреждений и нештатных ситуаций все еще находится на начальной стадии. Поэтому автоматическое распознавание объектов является горячей темой, за которой стоит довольно много литературы, например [5–8]. Когда система способна идентифицировать объекты, искусственный интеллект (AI) и алгоритмы интерпретации видео способны обнаруживать аномальное поведение этих объектов, в основном используя две разные стратегии: статистический и семантический анализ. Использование статистического анализа для обработки визуальной информации обсуждается, например, в [9,10]. Ориентированные на видеонаблюдение и использование «скрытого семантического анализа», авторы представляют вероятностные модели, в которых статистическая классификация и реляционное обучение применяются для выявления повторяющихся процедур. В литературе сообщается о некоторых системах, жестко закодированных для их работы в заранее определенных и строго контролируемых местах, таких как [7,11] (которые выполняют статистическую обработку изображений для распознавания и отслеживания различных объектов) или [10,12,13] (нацелены на выявление статистического поведения и назначение ролей объектам). Переносить их в реальные жизненные среды сложно, потому что их низкая гибкость: система должна быть полностью переработана и адаптирована для каждого домена. Семантическое представление и обработка знаний - это дисциплина, которая была внедрена в ландшафт информационных технологий около 10 лет назад [14]. Эти семантические технологии были разработаны для преодоления ограничений традиционного синтаксического / статистического управления данными и их представления и широко применяются в новом поколении Всемирной паутины, которое иногда называют Web 3.0 или Semantic Web [15]. Однако семантика также применяется к новым прикладным сценариям, которые могут извлечь выгоду из структурированного представления и обоснования знаний (обеспечивая такие преимущества, как функциональная совместимость между гетерогенными системами, способность выводить отношения, которые явно не хранятся в базах данных и т. Д.) [16,17] , Несколько источников [9,11,18,19] предлагают использовать алгоритмы машинного зрения для обнаружения присутствия набора неподвижных объектов в видеопотоке. Как только объекты обнаружены, можно получить характеристику нормального и ненормального поведения путем включения модели семантического знания. Некоторые авторы [20, 21] представляют семантическую информацию Fusion, где необработанные данные датчика преобразуются в семантические данные, так что прикладной уровень обрабатывает результирующие семантические интерпретации с использованием языка с абстракциями высокого уровня. Некоторые системы классифицируют различные области изображения [14,22–24] или визуальные шаблоны [16]; другие [20,21] фокусируются на обработке низкоуровневого изображения, используя байесовские методы. Эта семантическая обработка данных обычно состоит из двух этапов: во-первых, спецификация модели знаний; и во-вторых, распознавание и сопоставление с образцом. Первый из этих этапов выполняется автономно, во время разработки, и подразумевает создание онтологии, которая описывает область знаний, в которой система функционирует с точки зрения подразумеваемых сущностей и отношений между ними [10,12,13 , 15,25-27]. Эта модель знаний используется на втором этапе, который выполняет семантическую интерпретацию входных данных в соответствии с моделью знания предметной области, определенной на первом этапе. Однако все предыдущие случаи связаны с высокой вычислительной нагрузкой, поскольку алгоритмы работают непосредственно над изображениями. Это означает, что либо все камеры должны иметь высокопроизводительные процессоры, либо видеосигнал должен быть полностью отправлен в центр управления, где выполняются интеллектуальные алгоритмы. Для развертываний плотных сетей видеонаблюдения (что обычно имеет место в «Умных средах») это крайне неэффективно, поскольку камеры должны быть очень дорогими или требовать огромной полосы пропускания. Эта работа направлена на решение этой проблемы путем проектирования и разработки автоматизированной системы видеонаблюдения, подходящей для плотного развертывания в Smart Spaces, способной работать с небольшими и дешевыми камерами, малой пропускной способностью и оптимизирующей вычислительной мощностью. Подход, которому следует система, предложенная в этой работе, основан на трехэтапной схеме обработки: во-первых, обнаружение движущихся объектов на камерах, чтобы избежать отправки больших видеоданных, в то же время поддерживая низкую мощность обработки, требуемую камерами, избегая применение сложных, ресурсоемких алгоритмов идентификации объектов; вовторых, автоматическое построение в центре управления модели маршрута движущихся объектов в наблюдаемых сценах с использованием параметров движения, определенных камерами; и, втретьих, выполнение семантического обоснования модели маршрута и параметров движения для идентификации сигналов тревоги на концептуальном уровне, то есть не только для определения того, что происходит необычное событие, но и для определения характера этого события (автомобильная авария, пожар, вторжение и т. д.). Работа, представленная в этом документе, была выполнена в рамках европейского проекта CELTIC HuSIMS (Система мониторинга человеческой ситуации). После этого введения в разделе 2 представлен общий дизайн системы. Раздел 3 объясняет работу различных этапов системы (камеры, алгоритм обнаружения маршрута и семантические рассуждения по обработанным данным). В разделе 4 представлены три реальных варианта использования, реализованных в двух разных областях наблюдения. В разделе 5 приведены численные результаты экспериментов по производительности и точности системы. В разделе 6 обсуждаются особенности предлагаемого решения по сравнению с другими аналогичными вариантами, документированными в литературе. Наконец, в разделе 7 обобщены выводы этой работы. 2. Системный дизайн и архитектура высокого уровня Как описано во введении, целью данной работы является проектирование и разработка интеллектуальной / автономной системы интерпретации видео на основе семантического мышления, которая будет развернута в огромной сети видеонаблюдения с тысячами камер, способной покрывать территорию, похожую на город , Точнее говоря, целями этой работы являются: 1. Разработать алгоритм для интерпретации видео сцен и выявления тревожных ситуаций. 2. Система должна быть способна предоставлять богатую информацию о тревоге на уровне человека. Недостаточно сказать, что произошла тревога, система должна, например, сказать, что произошла автомобильная авария. 3. Система должна работать на большом количестве дешевых камер, чтобы обеспечить широкое распространение. Это означает, что камеры не будут иметь достаточной вычислительной мощности для запуска сложных алгоритмов идентификации объектов, и что каждая камера не сможет отправить подробный видеосигнал в диспетчерскую для анализа в реальном времени. Этот сценарий встречается в развертываниях «умного города», то есть в интеллектуальных системах городского масштаба. 4. Система должна быть в состоянии работать во всех различных областях знаний, связанных с надзором в сценарии «Умный город». Например, он должен быть в состоянии справиться с управлением движением, пожарной сигнализацией, контролем толпы и обнаружением вандализма. Современные системы видеонаблюдения основаны либо на статистическом анализе характеристик изображения, либо на жестко закодированной интерпретации идентификации объекта. Обнаружение статистической тревоги просто идентифицирует ненормальное поведение, понимая ненормальное как вещи, которые не происходят часто в соответствии с определенными математическими критериями, поэтому для них невозможно выполнить требование № 2. Системы, основанные на жестко закодированных интерпретациях, работают на основе жестко закодированных механизм управления и обычно не используют формальные семантические технологии. Это означает, что необходимо вручную изменить конкретную реализацию алгоритмов в системе, чтобы перенести ее из одного домена в другой, если это вообще возможно. Например, система видеонаблюдения для управления движением, которая основана на идентификации объектов автомобилей, потребует полного изменения алгоритмов идентификации объектов, чтобы система могла работать в области обнаружения вандализма. Следовательно, этот тип систем не подходит для многодоменного сценария, указанного в требовании № 4. Формальные семантические технологии, основанные на онтологиях, позволят легко, быстро и гибко задавать различные рабочие области, переключаясь на соответствующую онтологию, но сегодня его применение возможно только в средах, где камеры имеют мощные процессоры и способны выполнять сложные алгоритмы идентификации объектов. Однако цель проекта № 3 не совместима с этим требованием к вычислительной мощности. Это ограничение накладывается при работе с огромным количеством камер: встраивание мощных процессоров во все из них будет слишком дорогим, а отправка всего видеосигнала в один центр управления потребует огромной полосы пропускания. В этом документе представлена система, способная выполнить все четыре проектные задачи. Эта система видеонаблюдения основана на семантическом обосновании для выполнения интерпретации изображения, поэтому можно легко изменить область приложения (требование № 4), указав соответствующую онтологию. Кроме того, семантические рассуждения выполняются на высоком уровне абстракции с использованием человеческих понятий (таких как «автомобиль должен двигаться по полосе движения» или «есть сигнал тревоги, если автомобиль находится на тротуаре»), тем самым выполняя требование № 2. Однако, как уже упоминалось, выполнение такого рода семантических рассуждений непосредственно над видеосигналом потребует большой вычислительной мощности, главным образом для идентификации всех объектов на изображении, и это будет противоречить требованию № 3. Поэтому система, предложенная в эта работа не выполняет идентификацию объекта непосредственно через видеопоток. Вместо этого видео предварительно обрабатывается на первом этапе, чтобы извлечь информацию о движущихся объектах, их размере и траекториях. С этой информацией для каждой камеры создается модель пути сцены (режим обучения), и объекты идентифицируются на основе параметров их движения (режим работы). Наконец, семантическая аргументация выполняется над этой интерпретацией. Одним из преимуществ этого подхода является то, что он облегчает развертывание плотных сетей с большим количеством камер в реальном времени, упрощая этап калибровки и настройки для конкретной камеры. Модель пути каждой сцены автоматически создается системой на этапе обучения с использованием алгоритма автоматического обнаружения маршрута, и используемая онтология не зависит от камеры, а зависит от предметной области: концепции, определяющие, например, нормальное поведение автомобилей (например, « автомобили должны быть на дороге ») всегда одинаковы, независимо от конкретной дороги, которую смотрит камера. Это означает, что для каждого домена наблюдения существует одна онтология (управление трафиком, обнаружение пожара, наблюдение по периметру и т. Д.), Которая используется всеми камерами, наблюдающими сцену, связанную с этим доменом. Благодаря этому единственными двумя операциями конфигурации, специфичными для камеры, необходимыми для этого подхода, являются: (1) запись высоты камеры и угла наклона во время установки (параметры, которые помогут исправить искажение перспективы); и (2) выбор домена (ов) наблюдения, к которому применяется каждая камера (то есть выбор соответствующей онтологии / онтологий для каждой камеры). Стоит отметить, что построение онтологий является самостоятельной техникой, которая уже имеет четко определенный набор процедур, инструментов и лучших практик, как сообщается в литературе [10,12,13,15,25–27]. Онтология, созданная для обнаружения тревоги, не должна существенно отличаться от онтологий, предназначенных для других целей. Предлагаемая система основана на трехэтапной архитектуре, показанной на рисунке 1. Первый этап алгоритма реализован на каждой сенсорной камере, а второй и третий расположены в центре управления системой. Эти три модуля следующие: • Обнаружение: сенсорная сеть, включающая интеллектуальные камеры наблюдения и другие датчики (например, датчики пожара и движения), связана с центром управления. Камеры используют алгоритмы обнаружения движения для преобразования видеопотока в пакеты данных (в частности, файлы XML), которые содержат информацию о различных движущихся объектах (скорость, положение, размер и т. Д.). • Обнаружение маршрута. Как только XML-файл с данными о движущихся объектах становится доступным, траектории и шаблоны движения различных объектов обрабатываются с использованием алгоритма, который строит для каждой камеры модель маршрута сцены (зоны изображения, где находятся объекты). обычно перемещаются), обогащенные источниками и приемниками объектов (зоны изображения, где объекты обычно появляются или исчезают). Обнаружение маршрута реализовано с помощью двух внутренних подмодулей. Во-первых, препроцессор кадров получает от камеры файл XML с параметрами движения объектов, обнаруженных камерой, разделяет интегрированные данные в разные кадры (один файл может объединять несколько кадров для оптимизации связи), исправляет искажение перспективы с использованием высоты и значения угла наклона для исходной камеры путем применения простого картографирования обратной перспективы [28] и форматирования информации в виде матрицы необработанных данных. Исходя из этой матрицы данных, алгоритм обнаружения маршрутов, использующий набор процедур, реализованных в Matlab, определяет маршруты сцены. Обнаружение маршрута выполняется только тогда, когда система находится в режиме обучения. • Семантическое обоснование: этот этап выполняется только в рабочем режиме, когда этап обнаружения маршрута завершен и модель маршрута сцены завершена. Целью этого этапа является преобразование синтаксических параметров объектов, маршрутов, приемников и источников, полученных камерами и этапом обнаружения маршрута, в значимые семантические классы («машина» вместо «объект») и выявление любой ситуации оповещения (« автомобиль находится на тротуаре ») в соответствии с онтологическими и семантическими правилами (формальная модель знаний, указанная инженером-онтологом-человеком). Семантический перевод переводит синтаксическую информацию в формальные семантические данные (в соответствии со стандартными форматами семантической паутины) и заполняет ими онтологию (используя инфраструктуру Jena, которая обрабатывает все семантические операции, выполняемые в Java). После преобразования подмодуль обнаружения тревоги обрабатывает онтологию (недавно заполненную новыми данными) семантическим аргументом, чтобы вывести новые свойства об объектах на изображении и, в частности, определить, происходит ли ситуация тревоги. Если это так, отправляется соответствующий сигнал тревоги XML. В последующих разделах будет дано подробное описание каждой части отдельных модулей, чтобы понять работу системы. 3. Низкоуровневая система проектирования 3.1. датчиков Предлагаемый сенсорный модуль состоит из большого количества маленьких, дешевых и ненавязчивых (с низким разрешением) интеллектуальных визуальных сенсоров, которые могут осуществлять беспроводную связь с внутренним центром управления. Каждый датчик отслеживает движение объектов в области около 30 × 30 метров с низким разрешением (320 × 240 пикселей). Эти визуальные датчики низкого разрешения позволяют сохранить конфиденциальность людей, не способных распознавать лица (очень важная функция для реального развертывания в «Умном городе»). Несмотря на это, видео обрабатывается в камере с использованием алгоритмов обнаружения движения, способных идентифицировать движущиеся объекты и определять их параметры (направление, размер, скорость и т. Д.). Результатом этой обработки является поток облегченных пакетов данных XML (расширяемого языка разметки), которые содержат информацию о различных движущихся объектах (скорость, положение, размер и т. Д.) В каждом видеокадре. В прототипе, реализованном в проекте HuSIMS, используются визуальные датчики с оптимальной чувствительностью. Эти датчики могут работать даже в экстремальных визуальных условиях, как в помещении, так и на улице, независимо от освещения и метеорологии, и имеют низкую стоимость и требования к низкому энергопотреблению. Emza, один из партнеров проекта, предоставляет свой визуальный датчик WiseEye - платформу, способную удовлетворить все ранее упомянутые требования. Информацию с камер можно дополнить датчиками других типов, такими как детекторы дыма, влажность и / или акселерометры, чтобы обеспечить более точное обнаружение опасных ситуаций и обнаружение сигналов тревоги, которые трудно идентифицировать только с помощью камер. Эти данные напрямую передаются в семантический переводчик, который содержит онтологию, модель знаний, представляющую каждую рассматриваемую область наблюдения. Например, онтология обнаружения пожара, вероятно, будет иметь дело с вводом датчиков пожара, яркостью объектов в камерах (для обнаружения пламени и дыма) и скоростью людей, бегущих на изображениях. Все модули системы одинаковы, и даже более того, все онтологии могут быть загружены в систему одновременно, просто необходимо указать, какие онтологии применяются к каждой камере. Все датчики связаны с центром управления с помощью беспроводной сети 4G (WiMAX-Worldwide Interoperability for Microwave Access) [29]. 3.2. Обнаружение маршрута Цель этого модуля - построить модель сцены, которую наблюдает каждая камера, используя маршруты и приемники / источники объектов: • Маршруты: это зоны (обычно полосы) сцены, через которые обычно проходят объекты. Каждый маршрут можно рассматривать как группу похожих траекторий. • Раковины и источники: это зоны, в которых объекты обычно появляются (источники) или исчезают (стоки). Стоит отметить, что, поскольку камеры обнаруживают только движущиеся объекты, раковина также может быть местом, где объект останавливается. В зависимости от конкретной области наблюдаемой сцены, каждое из этих понятий имеет различное значение. Например, при просмотре улицы маршруты могут быть дорогами и тротуарами, а стоки и источники могут быть расположены по краям изображения и на светофоре. Однако эта интерпретация выполняется в модуле семантического мышления. Стратегия, реализованная в системе, аналогична той, которая была найдена в [22–24,30–33], для выполнения определения маршрута и приемника / источника. По сути, сходные траектории сгруппированы вместе для формирования маршрутов, причем сходство измеряется с использованием модифицированного расстояния Хаусдорфа, составленного из двух значений: традиционно определенного расстояния Хаусдорфа и среднего расстояния между точками (среднее из углов между направлением траектории в начальной точке, второй точке, третьей точке и т. д.). Чтобы две траектории считались частью одного кластера, два значения расстояния должны быть ниже двух разных пороговых значений. Включение угловой меры помогает различать две траектории, которые имеют сходную компоновку, но развиваются в противоположных направлениях (проблема уже сообщалась в [34]). Каждый маршрут характеризуется как полоса: последовательность центральных точек и два конверта, как показано на рисунке 2 (последовательность центральных точек, представленных зелеными линиями, и конверты в желтых линиях), отмеченные направлением (на рисунке направление маршрута обозначено более острым концом стрелки). Это означает, что обратимая полоса движения будет представлена двумя маршрутами, по одному для каждого направления. Конверты получены с использованием значений ширины и высоты, заданных камерой. Два примера приложения (одно поверх синтетического фильма, другое поверх реального фильма) обнаружения маршрута. Зеленые и синие линии представляют собой центральную линию маршрутов, а желтые и красные линии представляют конверты маршрутов. Точки голубого и пурпурного «х» являются точками входа и выхода соответственно (точка, в которой объект появился или исчез). Белые квадраты являются источниками (скопления точек входа). Кроме того, маршруты представляют параметр, называемый «сила», который представляет количество траекторий, сгруппированных внутри. Когда новая траектория совпадает с маршрутом, точки результирующего маршрута усредняются, чтобы найти среднюю точку между траекторией и маршрутом, но взвешивают маршрут с параметром силы, поэтому хорошо установленные маршруты отличаются меньше, чем маршруты, содержащие только несколько траекторий. Возможны точечные сравнения, потому что все траектории пересчитываются с фиксированной частотой дискретизации. Это также имеет то преимущество, что уменьшает количество точек на траектории, тем самым оптимизируя количество вычислений, необходимых для получения расстояния Хаусдорфа (которое по определению является дорогостоящей операцией). Алгоритм построения модели маршрута выглядит следующим образом: 1. Как только объект исчезает с экрана, вектор истории точек, через которые он прошел, считается его траекторией. Затем траектория передискретизируется, чтобы содержать только (настраиваемое) фиксированное количество точек. 2. Каждый раз, когда новая траектория завершена: а. Если в системе нет маршрута, эта траектория считается маршрутом силового маршрута. б. Если есть какой-либо другой маршрут, для каждого существующего маршрута вычисляются два расстояния: расстояние Хаусдорфа и угловое расстояние между направлениями траектории и маршрутом в каждой точке. I. Если оба расстояния находятся под настраиваемым порогом только для одного маршрута, эта траектория кластеризуется с маршрутом (центральные точки, направления и огибающие, усредненные с добавлением новой траектории), а его параметр прочности увеличивается на единицу. II. Если оба расстояния находятся под настраиваемым порогом для нескольких маршрутов, эта траектория группируется вместе с ближайшим маршрутом так же, как описано в предыдущем пункте. III. Если расстояние не превышает пороговых значений, то создается новый маршрут силы с использованием только рассматриваемой траектории. 3. Начальная и конечная точки вектора траектории добавляются в матрицу источника и приемника соответственно. Точки в этих матрицах группируются с использованием алгоритма кластеризации Густавсона-Кесселя (ГК) [35] для получения групп стоков и источников. Зоны сцены, определяемые этими кластерами, считаются приемниками и источниками. На рисунке 2 представлены все точки стока в виде пурпурных крестов, все точки источника в виде голубых крестов и кластеры источников, полученные с помощью алгоритма GK, в виде белых квадратов. Кроме того, маршруты также содержат набор параметров для траекторий объектов, которые кластеризованы внутри: средний размер, средняя максимальная скорость и средняя средняя скорость, в случае управления трафиком, но другие могут быть включены для других доменов. Это поможет семантическому переводчику определить тип объектов, которые используют этот маршрут, и, следовательно, присвоить ему правильное значение. Например, в сценарии управления движением маршруты со средним размером и скоростью, превышающими средний средний размер и скорость всех маршрутов, могут рассматриваться как кандидаты (указанные в онтологии) в качестве дорог, а другие - в тротуары. 3.3. Семантическая обработка Стадия семантического мышления состоит из двух подэтапов: семантического перевода и обнаружения тревоги. Стоит отметить, что на этом этапе данные каждого объекта в реальном времени рассматриваются и анализируются: обнаружение тревоги не выполняется с использованием траектории каждого объекта (которая доступна только после того, как объект исчезает со сцены и используется для вычисления модели маршрута). ). • Семантический перевод: данные, полученные каждой сенсорной камерой, обрабатываются в соответствии с моделью маршрута, созданной Детектором маршрута, и моделью семантического знания (состоящей из онтологии и набора правил) с целью преобразования синтаксических данных о движущихся объектах. в семантические данные. Для этого приемники, источники, маршруты и объекты присваиваются одному из классов в онтологии в зависимости от его параметров. Например, конкретный маршрут может быть обозначен как тротуар или дорога в зависимости от среднего и максимального размера и скорости объектов, которые обычно следуют по нему; конкретный объект может быть помечен как автомобиль или пешеход в зависимости от его скорости и размера; раковина может быть помечена как дверь, если пешеходы обычно исчезают через нее. • Обнаружение семантической тревоги: после того, как изображение и модель маршрута были переведены в семантическую область, применяются онтология и правила для проверки нормального поведения объекта или возникновения чрезвычайной ситуации. Например, семантическое правило может указывать, что «автомобили не движутся по тротуарам», поэтому объект, обозначенный как «автомобиль» на маршруте, обозначенном как «тротуар», вызовет сигнал тревоги. Модуль семантического анализатора использует модель семантического знания, которая представляет рассматриваемый домен наблюдения. Эта модель знаний включает онтологию и набор семантических правил и создается инженером-онтологом-человеком. • Онтология - это абстрактное представление всех различных действующих лиц, участвующих в рассматриваемой области, как классов (абстрактные группы схожих субъектов) и отдельных лиц (конкретные экземпляры класса), так и их свойств и отношений между ними. Его можно рассматривать как своего рода расширенный класс UML (Unified Modeling Language) и диаграмму экземпляра, которая позволяет более сложную спецификацию свойств и отношений. Например, онтология движения может указывать класс «транспортное средство» со свойствами «скорость» и «размещенный_», а также подклассы «автомобиль» и «грузовик» и класс «полоса движения». Индивидуальный «индивидуальный_1» может быть автомобилем со скоростью 40 км / ч, расположенным в «полосе_1» и «индивидуальной_2», грузовым автомобилем со скоростью 30 км / ч, расположенным_в «полосе_2». Стоит отметить, что искажение перспективы в измерениях скорости и размера корректируется с помощью измерений угла наклона и высоты камеры, которые настраиваются техническим специалистом во время установки и сохраняются в базе данных в центре управления системой. • Набор семантических правил - это формальная спецификация условий и логических операций, выполняемых над онтологией. Например, правило может указывать, что всякий раз, когда позиция члена класса «движущийся объект» находится внутри члена класса «маршрут», свойство selected_in первого задается, указывая на последний; другое правило может указывать, что всякий раз, когда объект класса «автомобиль» расположен над объектом класса «тротуар», статус объекта «автомобиль» должен быть изменен на «сигнал тревоги». Реализованный прототип использует стандарты Semantic Web для спецификации этих двух элементов, используя инфраструктуру JENA в качестве поставщика всех необходимых семантических операций в Java. В частности, онтология определяется с использованием OWL (Web Ontology Language); SWRL (язык правил семантической паутины) используется для спецификации семантических правил (рисунок 3). Онтология определяет способ понимания движущихся объектов, маршрутов, стоков и источников. Например, в онтологии управления движением, используемой для камеры, наблюдающей за отрезком шоссе, движущимися объектами будут легковые и грузовые автомобили; маршруты будут трассами шоссе; раковины и источники, скорее всего, станут краями сегмента шоссе. Но в онтологии контроля вандализма, используемой для камеры, наблюдающей за общественным садом, движущимися объектами будут люди, а маршруты будут общими путями. Когда система работает, камеры отправляют данные в семантический переводчик через препроцессор кадров. Семантический переводчик делает интерпретацию полученного фрейма и обновляет онтологию, добавляя соответствующих людей в их соответствующие классы. Это делается с помощью семантических правил, которые определяют условия, которым должен соответствовать объект, чтобы считаться членом определенного класса. Семантический мыслитель (программа, предназначенная для выведения выводов из спецификации классов и отдельных лиц в онтологии) отвечает за рассуждение над онтологией и применение семантических правил. Каждый раз, когда появляются новые данные, разум обрабатывает их, соответственно обновляя модель знания сцены. Пеллет был выбран в качестве аргумента в реализации. На рисунке 4 показана иерархическая структура классов примера онтологии домена трафика, предназначенного для тестирования системы. На рисунке 5 показано описание индивида с его собственными характеристиками перед его классификацией по пеллетам. На рисунке 6 показано, как этот объект был классифицирован в соответствии с указанными семантическими правилами, и в его описании появилось два новых класса, которым принадлежит объект. Вопервых, он классифицируется как «автобус» в категории «транспортное средство» и, кроме того, он классифицируется как «превышенная скорость» в классе «Тревога», когда выполняются соответствующие условия. Стоит отметить, что в этом случае представлено «абсолютное» определение условий для сигнала тревоги «exceededSpeed», в котором используется нормализация параметров, выполненная в препроцессоре кадра. В этом случае онтология должна быть изменена в зависимости от конкретных условий дороги, на которой расположена камера (например, в зависимости от шоссе и улицы в центре города). Однако «относительное» определение тревоги также возможно, запуская тревогу, например, когда объект превышает некоторый порог средней максимальной скорости прошлых объектов на том же маршруте. Одним из преимуществ предлагаемой системы является то, что она способна охватить разные области, просто создав соответствующую онтологию и соответствующий набор правил. Это делает систему чрезвычайно гибкой и настраиваемой в зависимости от конкретной области, в которой она работает. Например, внутри Умного Здания могут использоваться онтологии для обнаружения пожара и контроля толпы, тогда как для Умного Города управление движением и обнаружение вандализма были бы более подходящими. В обоих случаях используемая система будет одинаковой, за исключением онтологий и правил. Кроме того, особой ручной настройки каждой камеры не требуется. Поскольку процесс обнаружения маршрута зависит от конкретной камеры, модель сцены для каждой камеры динамически создается в центре управления. Более того, благодаря коррекции искажения перспективы, выполненной в компоненте Frame Preprocessor, числовые значения размера и скорости указываются в онтологии в общем, а затем применяются ко всем камерам. 4. Использует чехлы Система была протестирована с реальными видеоданными, чтобы подтвердить подход. В этом разделе представлены три варианта использования, в которых показана работа системы. Во всех них набор видеоданных был обработан с использованием программного обеспечения Wise Eye, поэтому результаты точно такие же, как если бы Wise Eye физически присутствовал на месте оригинальной камеры. 4.1. Пешеход, переходящий улицу ненадлежащим образом В первых двух случаях использования в качестве эталонных данных используются контрольные показатели MIT Traffic Surveillance (доступны на [36]), а модель маршрута, выделенная для них обоих, показана на рисунке 2. Этот первый сценарий (рисунок 7) может происходить в любом городском районе любого города. Камера управляет сценой, состоящей из нескольких дорог и тротуаров, управляемых светофорами, включая велосипедную полосу, а также транспортные средства и людей, движущихся над ними. В определенное время пешеход неправильно пересекает дорогу, не используя пешеходный переход. В этом случае онтология классифицирует нового человека (пешеходный переход неправильно) в соответствии со значениями свойств hasHeight и hasWidth. В этом случае индивидуум имеет значения 2 для ширины и 4 для высоты, поэтому он присваивается мыслителем пешеходному классу. В то же время, два дополнительных свойства индивида автоматически заполняются с помощью семантического набора правил: objectWay и hasSink. Свойство objectWay указывает тип дороги, на которой оно находится. В этом случае Пешеход имеет этот параметр, установленный на Тротуар. Ранее система делала вывод, что маршрут Тротуар является дорогой из-за средней скорости и размеров объектов, которые пересекали его. Свойство hasSink, также автоматически выполняемое рассуждателем в соответствии с семантическим набором правил, указывает, что пешеход находится за пределами zebraCrossing. Таким образом, семантический аргумент делает вывод, что происходит тревога типа pedestrianOnPavement. Чтобы избежать ложного оповещения из-за ложных показаний, система проверяет, что этот сигнал тревоги происходит в течение минимального периода времени, а затем система запускает сигнал тревоги в направлении центра управления, указывающий, что пешеход неправильно пересекает дорогу. Одним из преимуществ семантического подхода, реализованного в предлагаемой системе, является то, что сигнал тревоги включает в себя подробные данные о событии, которое его вызвало. В этом случае аварийный сигнал pedestrianOnPavement может не заслуживать внимания оператора-человека (поскольку этот тип аварийных сигналов происходит часто и не представляет особой опасности), поэтому система может автоматически решить, что аварийный сигнал не должен передаваться на консоль управления в этом случае. случай, в соответствии с поведением, которое также может быть закодировано непосредственно в онтологии. Эта функция чрезвычайно удобна в интеллектуальных средах, где автоматические исполнительные механизмы аварийных систем могут автоматически включаться системой наблюдения (например, огнетушители в интеллектуальном здании), что позволяет задавать семантические условия для автоматического реагирования на каждый вид тревоги. , 4.2. Автомобиль в неправильном направлении В этом случае автомобиль, движущийся в неправильном направлении, создает риск для остальных транспортных средств (рисунок 8). Как и в предыдущем случае, онтология классифицирует индивида как члена класса Vehicle из-за значений свойств hasWidth и hasHeight (9 и 8 соответственно, и, следовательно, в пределах предопределенных диапазонов класса Vehicle). В этом случае рассудитель, согласно правилам, назначил этому Транспортному средству параметр Pavement для его свойства objectWay, что означает, что он находится в Pavement. Однако этот тротуар (член класса Way) представляет свойство routeDirection, которое определяет направление объектов, которые проходят через него. Чтобы убедиться, что Автомобиль находится в правильном направлении для Тротуара, в котором он находится, семантический анализатор анализирует значение своего свойства hasDirection. Поскольку направление транспортного средства не совпадает с соответствующим из Pavemenent, в котором он расположен, система выдает сигнал тревоги типа неправильного направления. 4,3. Пешеход на железной дороге В предыдущих двух случаях использования система работала в сценарии управления трафиком, но система легко переносилась в другие среды, поддерживая все программные и аппаратные модули и просто изменяя онтологию, используемую в семантическом рассуждении и переводе. В этом сценарии система используется в качестве средства безопасности для обнаружения, когда человек падает на железнодорожные пути на станции (рисунок 9). В этой ситуации онтология классифицирует человека как пешехода, который ходит по платформе. Когда пешеход падает и оказывается на рельсах, система подает сигнал тревоги. Стоит отметить, что если объект падает на дорожки, когда он приземляется, он больше не определяется камерой как объект, поскольку он больше не находится в движении. Однако система понимает, что один объект, который двигался, исчез в месте, которое не является зоной слива, поэтому также возникает тревога. Механизм наблюдения, основанный на статистическом анализе, может также обнаружить наличие сигнала тревоги, поскольку был обнаружен объект, движущийся в зоне и в направлении, которое обычно не происходит. Однако в этом случае невозможно автоматически провести различие между человеком, падающим на дорожки, и одним человеком, например, перелезающим через скамейку. Это означает, что оператор должен проверить видеосигнал, чтобы определить условия тревоги, и в этом случае вызвать водителя метро, чтобы предупредить его о погибшем человеке. Этот процесс может занять некоторое время, времени, которого в критических ситуациях, подобных этому, может быть недостаточно. Напротив, семантическая система, предложенная в этой работе, дает преимущество в том, что она позволяет различать тип тревоги, и в этом случае система может быть настроена (определяя конкретное поведение в онтологии) для автоматической отправки сигналы тревоги типа «Человек на рельсах» для водителей метрополитена или даже больше, чтобы активировать экстренные тормоза поезда, входящего на станцию. В литературе [4,6–8] представлены случаи систем специального назначения, основанных на семантике, которые также могут предложить эту функцию автоматизации реагирования на сигналы тревоги. Однако в этих случаях семантика домена наблюдения жестко закодирована в системе, поэтому она применима только в этой конкретной области. Напротив, в системе, представленной в этой работе, семантика отделена от реализации системы, поэтому изменение онтологии достаточно, чтобы в разных доменах работала одна и та же система. 5. Результаты оценки Чтобы охарактеризовать поведение предлагаемой системы, важно изучить как потребление ресурсов, так и точность системы при идентификации аварийных сигналов. В соответствии с архитектурой системы, состоящей из детектора маршрута и модуля семантической обработки, этот анализ был выполнен независимо, чтобы идентифицировать различные особенности каждого компонента. Поведение детектора маршрута было изучено как с точки зрения потребления ресурсов, так и с точки зрения точности при идентификации маршрута. Для этого детектором маршрутов было проанализировано четыре различных видео, записывающих затраченное время обработки и вручную сравниваемые пути, идентифицированные с реальными путями, которые должны быть обнаружены, чтобы вычислить% правильно идентифицированных путей и% идентифицированных неправильных путей. (для идеальной операции эти цифры были бы 100% и 0% соответственно). Для испытаний использовался компьютер Intel Pentium 4 3,00 ГГц с 2 ГБ оперативной памяти. В таблице 1 представлены результаты анализа. Количество объектов, появляющихся в каждом видео, и количество точек на траекторию, рассматриваемых в каждом исполнении, также были включены. Изучая цифры для каждого видео, легко понять, что количество различных маршрутов в изображении влияет на время обработки до такой степени, что самые сложные видео, очевидно, не могут быть обработаны в реальном времени. Однако следует помнить, что обнаружение маршрута выполняется только во время обучения, поэтому алгоритм не должен работать в режиме реального времени. Например, самая сложная проанализированная сцена требует времени обработки 1696 секунд; Учитывая скорость повторного обучения один раз в день (довольно высокий показатель для Smart City), количество камер, которые может поддерживать одна машина, например старая, используемая для тестов, составляет более 50. Что касается точности, числа для простых сцен, такие как ожидаемые для автомагистралей с четко определенными полосами, очень хороши, легко идентифицируя все полосы без ошибок при запуске алгоритмов с траекториями по 10 и более точек. В более сложных сценах показатели все еще хороши для больших объектов (автомобилей) и не так хороши для маленьких объектов (людей). Этот высокий уровень ложных срабатываний происходит из-за того, что для анализа видео, записанных с гораздо более высоким разрешением, используется очень ограниченное разрешение. Следовательно, алгоритм имеет большой потенциал для улучшения при размещении камер ближе к полу (или при использовании более высоких разрешений и / или более точных - но более тяжелых - алгоритмов обнаружения движения), но результаты в этих условиях являются удовлетворительными для многих приложений. в умных городах. Что касается семантической обработки (которая включает в себя подпроцессы семантического перевода и семантического мышления), был разработан синтетический эталон для определения влияния количества маршрутов и объектов в сцене. В этой точке системы рассматриваемые данные больше не являются изображением, а представляют собой только отдельных лиц внутри онтологии, поэтому нет зависимости от визуальных / пространственных величин, таких как геометрия или разрешение сцены, и, следовательно, результаты эталонного теста напрямую портативный в реальных условиях эксплуатации. Вывод из этого заключается в том, что количество точек на рассматриваемой траектории практически не влияет на этап семантического анализа. Для каждого теста генерировалось 50 кадров со случайным расположением для соответствующего количества объектов и маршрутов, а затем обрабатывалось с помощью семантического механизма на том же компьютере, который использовался для оценки детектора маршрутов, Intel Pentium 4 3,00 ГГц с 2 ГБ ОЗУ. На рисунке 10 представлено среднее время обработки для каждого кадра. Рисунок 10 Время обработки кадра в зависимости от количества объектов и маршрутов в изображении и параметра точек на траекторию. Время вывода на кадр в основном зависит от количества объектов. Вариации количества маршрутов или количества точек на траекторию дают очень похожие результаты. Результаты вполне удовлетворительные, поскольку кадр с менее чем 20 объектами обрабатывается примерно за 10 мс, а сценарий с чрезвычайно высокой загруженностью, состоящий из 100 объектов, обрабатывается менее чем за 100 мс. Тесты на точность идентификации тревог и частоту ложных тревог не имеют большого значения применительно к семантической стадии системы. Из-за своей семантической природы (то есть условия для подачи тревоги определяются с точки зрения значения объектов и их поведения), если сцена должным образом охарактеризована детектором маршрута, а онтология учитывает соответствующие условия, 100% Скорость идентификации и 0% ложных срабатываний являются обычными. Следовательно, точность системы напрямую зависит от скорости обнаружения маршрута (которая, в свою очередь, сильно зависит от качества алгоритмов обнаружения движения). 6. Обсуждение В последние годы автономные системы наблюдения были горячей темой. Потребность в системах большой площади, охватывающих большие пространства, делает системы на основе человека устаревшими. Доступные решения, документированные в литературе, такие как [37], используют две разные стратегии для идентификации тревоги: либо статистический анализ (они математически характеризуют нормальные вариации параметров изображения и идентифицируют ситуации вне этой характеристики), либо «семантический» анализ ( значение объектов на изображении используется, чтобы понять, когда возникает тревожная ситуация). В литературе слово «семантика» [22,38–41] иногда используется для указания того, что обнаружение тревоги не выполняется только статистически (как в [42]), но тесно связано с областью наблюдаемой сцены, поэтому обнаружение сигналов тревоги происходит из значения вещей, которые происходят на изображении, которое жестко запрограммировано в алгоритмах обнаружения сигналов тревоги. Например, система обнаружения превышения скорости на шоссе может выполнять идентификацию объекта для обнаружения автомобилей и сканирования их скорости, но этот алгоритм нельзя изменить, чтобы обнаружить пожарную тревогу или подозрительных людей, бегущих в здании. Эта работа идет на шаг дальше, чем этот подход, потому что она основана на формальном представлении значения изображения с использованием технологий семантической паутины, которые позволяют быстро и легко проектировать онтологию. Следовательно, просто изменив онтологию, владелец может переключать условия тревоги, используемые параметры и даже весь домен наблюдения. Другое использование слова «семантика» в литературе встречается в статьях, которые фактически используют формальные технологии семантической паутины. Однако эти подходы используют только семантические технологии для характеристики информации. Чжан и соавт. [43,44] и Marraud et al. [45] в своих исследованиях используют семантику, чтобы разрешить сложные запросы, основанные на функциях видео, к базам данных; Франсуа и др. [46] предлагают новый язык для представления событий в видео для облегчения поиска, и Poppe et al. [47] Отчет о системе унификации семантической информации видеонаблюдения. Это означает, что они используют какой-то другой подход для идентификации объектов и сигналов тревоги, а затем используют семантические технологии только для представления этой информации. Этот подход отличается от тех, потому что он полностью семантический: информация сначала транслируется в формальную семантическую область, а затем рассуждение, идентификация объекта и обнаружение тревоги выполняются с использованием чисто семантического мышления. По сравнению со статистическим анализом, решение, предлагаемое в этой статье, дает преимущество в том, что оно способно отправлять обогащенную информацию об идентифицированных аварийных сигналах, и оно намного более управляемо и предсказуемо, потому что эксперт всегда может проверить онтологию и семантически определить или изменить аварийный сигнал. условия. Умные города могут воспользоваться этим преимуществом, потому что эта богатая информация может использоваться для автоматического реагирования на сигналы тревоги. 7. Выводы В традиционных системах видеонаблюдения требуется оператор-человек для интерпретации сцены и выполнения необходимых действий при проверке тревоги. Это не может быть большой проблемой, когда оператор наблюдает за ограниченной областью с ограниченным количеством камер. Однако по мере увеличения количества камер для наблюдения может потребоваться несколько операторов, что увеличивает сложность и стоимость системы. Автоматизированные системы наблюдения, по-видимому, решают эту проблему, упаковывая алгоритмы для автономной интерпретации сцены и идентификации условий тревоги. Однако в Smart Spaces обычно требуются плотные и гибкие сети камер, при этом многие камеры покрывают большие площади в Smart Cities или Smart Buildings. Большинство документированных автономных систем не подходят для этих сред, поскольку они требуют слишком много ресурсов или основаны на жестко закодированных подходах. Система, реализованная в рамках этой работы, которая была реализована в рамках проекта Eureka Celtic HuSIMS, преодолевает эти трудности, работая с дешевыми камерами низкого разрешения и следуя легкому, основанному на данных подходу для идентификации поведения. В результате можно развернуть множество дешевых камер, не требуя огромной полосы пропускания в системе или вычислительной мощности в камерах. Кроме того, примененный семантический подход позволяет детально обнаруживать тревоги, добавляя много значимой информации к каждой вызванной аварийной ситуации и, следовательно, открывая дверь для реализации автономных ответных действий с использованием исполнительных механизмов Smart Space под наблюдением. Основываясь на семантических рассуждениях по формальной модели знаний, реализованной человеком-оператором, система подходит для ее развертывания в широком диапазоне различных сред только путем переключения на соответствующую онтологию и набор правил. Хотя некоторые системы, основанные на статистическом анализе, которые не являются предметно-специфичными, могут работать в разных областях без какой-либо адаптации, они имеют ряд недостатков в отношении решения, представленного здесь: их поведение трудно предсказать (поскольку они основаны на математическом анализе параметров видео) и не имеет отношения к семантике наблюдаемой сцены, они не способны различать различные типы сигналов тревоги и не могут предоставить обширную информацию о них. Поэтому они вообще не подходят для его развертывания в Smart Spaces. Короче говоря, семантический подход для обнаружения сигналов тревоги в системах видеонаблюдения, представленный в этом документе, предлагает ряд важных преимуществ, которые недоступны в других решениях в современном уровне техники. Acknowledgments This work has been partially funded by the Ministerio de Industria, Turismo y Comercio del Gobierno de España and the Fondo de Desarrollo Regional (FEDER) inside the European Eureka Celtic project HuSIMS (TSI-020400-2010-102). Go to: References 1. Baladrón C., Cadenas A., Aguiar J., Carro B., Sánchez-Esguevillas A. Multi-Level context management and inference framework for smart telecommunication services. J. Univers. Comput. Sci. 2010;16:1973–1991. 2. DataMonitor Global Digital Video Surveillance Markets: Finding Future Opportunities as Analog Makes Way for Digital; Market Research Report. Available online:http://www.datamonitor.com/Products/Free/Report/DMTC1014/010DMTC1014.pdf (acce ssed on 16 July 2012) 3. Bodsky T., Cohen R., Cohen-Solal E., Gutta S., Lyons D., Philomin V., Trajkovic M. Advanced Video-Based Surveillance Systems. Vol. 4. Kluwer Academic Publishers; Boston, MA, USA: 2001. Visual Surveillance in Retail Stores and in the Home; pp. 50–61. 4. Ferryman J.M., Maybank S.J., Worrall A.D. Visual Surveillance for Moving Vehicles. Proceedings of the 1998 IEEE Workshop on Visual Surveillance; Bombay, Indian. 2 January 1998; Dordrecht, The Netherlands: Kluwer Academic Publishers; 2000. pp. 73–80. Volume 37. 5. Foresti G.L., Micheloni C., Snidaro L., Remagnino P., Ellis T. Active video-based surveillance system: The low-level image and video processing techniques needed for implementation. IEEE Signal Proc. 2005;22:25–37. 6. Hu W., Tan T., Wang L., Maybank S. A survey on visual surveillance of object motion and behaviors. Trans. Syst. Man Cybern. Appl. Rev. 2004;34:334–352. 7. Rota N., Thonnat M. Video Sequence Interpretation for Visual Surveillance. Proceedings of the Third IEEE International Workshop on Visual Surveillance; Dublin, Ireland. 2000. pp. 59– 68. 8. Lloret J., García M., Bri D., Sendra S. A Wireless sensor network deployment for rural and forest fire detection and verification. Sensors. 2009;9:8722–8747. [PMC free article] [PubMed] 9. Sivic J., Russell B., Efros A., Zisserman A., Freeman W. Discovering Objects and Their Location in Images. Proceedings of the ICCV 2005 Tenth IEEE International Conference on Computer Vision; Beijing, China. 17–21 October 2005; pp. 370–377. Volume 1. 10. Craven M., Kumilien J. Constructing Biological Knowledge Bases by Extracting Information from Text Sources. Proceedings of the 7th International Conference on Intelligent Systems for Molecular Biology (ISMB-99); Heidelberg, Germany. 6–10 August 1999; pp. 77–86. 11. Torralba A., Murphy K.P., Freeman W.T., Rubin M.A. Context-Based Vision System for Place and Object Recognition. Proceedings of the Ninth IEEE International Conference on Computer Vision; Nice, France. 13–16 October 2003; pp. 273–280. Volume 1. 12. Cristani M., Cuel R. A survey on ontology creation methodologies. Int. J. Semant. Web Inf. Syst. 2005;1:49–69. 13. Vargas-Vera M., Domingue J., Kalfoglou Y., Motta E., Buckingham Shum S. TemplateDriven Information Extraction for Populating Ontologies. Proceedings of the IJCAI'01 Workshop on Ontology Learning; Seattle, WA, USA. 4 August 2001. 14. Fensel D. Ontologies: A Silverbullet for Knowledge Management and Electronic Commerce. Springer; Heidelberg, Germany: 2000. 15. Buitelaar P., Cimiano P., Magnini B. Frontiers in Artificial Intelligence and Applications. IOS Press; Lansdale, PA, USA: 2005. Ontology Learning from Text: Methods, Evaluation and Applications; p. 123. 16. Whitehouse K., Liu J., Zhao F. Semantic Streams: A Framework for Composable Inference over Sensor Data. Lect. Notes Comput. Sci. 2006;3868/2006:5–20. 17. Arslan U., Emin Dönderler M., Saykol E., Ulusoy Ö., Güdükbay U. A Semi-Automatic Semantic Annotation Tool for Video Databases. Proceedings of the Workshop on Multimedia Semantics, (SOFSEM 2002); Milovy, Czech Republic. 22–29 November 2002; pp. 1–10. 18. Tan T.N., Sullivan G.D., Baker K.D. Model-based localization and recognition of road vehicles. Int. J. Comput. Vis. 1998;29:22–25. 19. Serre T., Wolf L., Bileschi S., Riesenhuber M., Poggio T. Robust object recognition with cortex-like mechanisms. IEEE Trans. Pattern Anal. Mach. Intell. 2007;29:411–426. [PubMed] 20. Nakamura E.F., Loureiro A.A.F., Frery A.C. Information fusion for Wireless Sensor Networks: Methods, models and classifications. ACM Comput. Surv. 2007;39 doi: 10.1145/1267070.1267073.[CrossRef] 21. Friedlander D., Poha S. Semantic information fusion for coordinated signal processing in mobile sensor networks. Int. J. High Perf. Comput. Appl. 2002;16:235–241. 22. Makris D., Ellis T. Learning semantic scene models from observing activity in visual surveillance. IEEE Trans. Syst. Man Cybern. 2005;35:397–408. [PubMed] 23. Piciarelli C., Foresti G.L. On-line trajectory clustering for anomalous events detection. Pattern Recognit. Lett. 2006;27:1835–1842. 24. Morris B., Trivedi M.M. Learning Trajectory Patterns by Clustering: Experimental Studies and Comparative Evaluation. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition; Miami, FL, USA. 20–25 June 2009; pp. 312–319. 25. Faure D., N'Edellec C. ASIUM: Learning Sub-Categorization Frames and Restrictions of Selection. Proceedings of the 10th Conference on Machine Learning (ECML 98): Workshop on Text Mining; Chemnitz, Germany. 21–24 April 1998. 26. Tanev H., Magnini B. Weakly Supervised Approaches for Ontology Population. Proceedings of the 11st Conference of the European Chapter of the Association for Computational Linguistics (EACL 2006); Trento, Italy. 3–7 April 2006; pp. 3–7. 27. Cimiano P., Völker J. Towards large-scale, open-domain and ontology-based named entity classification. Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2005); Borovets, Bulgaria. 21–23 September 2005; pp. 166–172. 28. Mallot H.A., Biilthoff H.H., Little J.J., Bohrer S. Inverse perspective mapping simplifies optical flow computation and obstacle detection. Biol. Cybern. 1991;64:177–185. [PubMed] 29. Ghosh A., Wolter D.R., Andrews J.G., Chen R. Broadband wireless access with WiMax/802.16: Current performance benchmarks and future potential. Commun. Mag. IEEE. 2005;43:129–136. 30. Makris D., Ellis T. Path detection in video surveillance. Image Vis. Comput. 2002;20:895– 903. 31. Morris B.T., Trivedi M.M. A survey of vision-based trajectory learning and analysis for surveillance. IEEE Trans. Circuits Syst. Video Technol. 2008;18:1114–1127. 32. Makris D., Ellis T. Automatic Learning of an Activity-Based semantic Scene Model. Proceedings of the IEEE Conference on Advanced Video and Signal Based Surveillance; Miami, FL, USA. 21–22 July 2003; pp. 183–188. 33. Wang X., Tieu K., Grimson E. Learning semantic scene models by trajectory analysis. Lect. Notes Comput. Sci. 2006;3953/2006:110–123. 34. Zhang Z., Huang K., Tan T. Comparison of Similarity Measures for Trajectory Clustering in Outdoor Surveillance Scenes. Proceedings of the 18th International Conference on Pattern Recognition; Hong Kong, China. 20–24 August 2006; pp. 1135–1138. Volume 3. 35. Gustafson D.E., Kessel W.C. Fuzzy Clustering with a Fuzzy Covariance Matrix. Proceedings of the 1978 IEEE Conference on Decision and Control Including the 17th Symposium on Adaptive Processes; San Diego, CA, USA. 10–12 January 1978; pp. 761–766. 36. Wang X., Ma X., Grimson E. Unsupervised Activity Perception in Crowded and Complicated scenes Using Hierarchical Bayesian Models. IEEE Trans. Pattern Anal. Mach. Intell. 2009;31:539–555. [PubMed] 37. Hu W., Tan T., Wang L., Maybank S. A survey on visual surveillance of object motion and behaviors. IEEE Trans. Syst. Man Cybern. Appl. Rev. 2004;34:334–352. 38. Raman R.M., Chandran M.S., Vinotha S.R. Motion Based Security Alarming System for Video Surveillance. Proceedings of the International Conference on Computational Techniques and Artificial Intelligence (ICCTAI'2011); Pattaya, Thailand. 7–8 October 2011. 39. McKenna S.J., Nait Charif H. Summarising contextual activity and detecting unusual inactivity in a supportive home environment. Pattern Anal. Appl. 2004;7:386–401. 40. Tsow F., Forzani E., Rai A., Wang R., Tsui R., Mastroianni S., Knobbe C., Gandolfi A.J., Tao N.J. A wearable and wireless sensor system for real-time monitoring of toxic environmental volatile organic compounds. Sens. J. IEEE. 2009;9:1734–1740. 41. Yu X. Approaches and Principles of Fall Detection for Elderly and Patient. Proceedings of the 10th International Conference on e-health Networking, Applications and Services; Singapore. 7–9 July 2008; pp. 42–47. 42. Tung F., Zelek J.S., Clausi D.A. Goal-based trajectory analysis for unusual behaviour detection in intelligent surveillance. Image Vis. Comput. 2010;29:230–240. 43. Zhang C., Chen X., Zhou L., Chen W. Semantic retrieval of events from indoor surveillance video databases. Pattern Recognit. Lett. 2009;30:1067–1076. 44. Chen X., Zhang C. An Interactive Semantic Video Mining and Retrieval Platform— Application in Transportation Surveillance Video for Incident. Proceedings of the 2006 IEEE International Conference on Data Mining (ICDM); Hong Kong, China. 18–22 December 2006; pp. 129–138. 45. Marraud D., Cepas B., Reithler L. Semantic Browsing of Video Surveillance Databasesthrough Online Generic Indexing. Proceedings of the Third ACM/IEEE International Conference on Distributed Smart Cameras; Como, Italy. 30 August–2 September 2009; pp. 1–8. 46. Francois A.R., Nevatia R., Hobbs J., Bolles R.C. VERL: An ontology framework for representing and annotating video events. IEEE MultiMed. 2005;12:76–86. 47. Poppe C., Martens G., de Potter P., de Walle R.V. Semantic web technologies for video surveillance metadata. Multimed. Tools Appl. 2012;56:439–467.
