Качество данных ГИС

ФЕВРАЛЬ 2012
Качество данных ГИС
Примеры работы с данными для предприятий
водоснабжения/водоотведения
© Esri CIS 2011. Все права защищены.
Esri CIS Москва, ул. Смольная, 52 стр. 6
ww.esri-cis.ru, [email protected], тел. +7 (495) 662-99-79
Качество данных ГИС. Примеры работы с данными для предприятий водоснабжения/водоотведения
Оглавление
Задачи .......................................................................................................................................... 2
Почему качество данных настолько важно ............................................................................. 2
Обзор процедуры обеспечения/контроля качества (QA/QC) ................................................. 3
Процедуры обеспечения качества ............................................................................................ 3
Инструменты контроля качества .............................................................................................. 7
Контроль исправления ошибок ............................................................................................... 10
Заключение ............................................................................................................................... 11
Дополнительная информация ................................................................................................. 11
Задачи
Предприятия, работающие в сфере водоснабжения/водоотведения,
рассматривают геоинформационные системы (ГИС) как системы технической
инвентаризации, хранящие достоверные данные об активах, которые в свою
очередь доступны всему предприятию и интегрированы с данными других
корпоративных ИТ - систем. Для увеличения эффекта от использования ГИС
содержащиеся в ней данные должны отвечать всем требованиям отрасли.
Данные об активах должны содержать точную информацию о
пространственном положении объектов, об их характеристиках (оптимально и
достоверно описывать свойства объектов) и при этом данные должны быть
актуальными на текущий момент. Для реализации этих требований многие
предприятия отрасли, создающие корпоративные ГИС – системы, активно
разрабатывают и внедряют процедуры обеспечения (quality assurance - QA) и
контроля качества (quality control - QC).
Почему качество данных настолько важно
Доступ к данным
Эволюция ГИС-технологий обеспечила, наконец, простой способ использовать
пространственные данные во всех подразделениях компаний. Это означает,
что все большему числу сотрудников открыт доступ к актуальной информации.
Плохое качество данных влияет на качество принимаемых решений и может
привести к значительным затратам на устранение последствий.
Интеграция данных
Корпоративная ГИС должна обеспечивать тесную интеграцию с другими
информационными системами предприятия, чтобы усилить их
возможности по работе с пространственными данными. Становится
обычной интеграция ГИС с системами диспетчеризации, CRM-системами,
лабораторными системами (LIMS), а так же с финансовыми и билинговыми
системами, системами гидравлического моделирования и др. Такая
интеграция повышает уровень требований к данным и вызывает
необходимость обеспечивать их высокую точность и актуальность.
Использование данных
2
Качество данных ГИС. Примеры работы с данными для предприятий водоснабжения/водоотведения
То, как предприятие использует ГИС-данные, также влияет на их качество.
Несколько лет назад ГИС преимущественно рассматривались как системы для
производства бумажных карт. Если объекты выглядели хорошо на бумажной
карте определенного масштаба, то этого было достаточно чтобы считать, что он
правильно описан в системе. Сегодня, большинство сотрудников отрасли
обращаются к данным ГИС через интернет или с мобильных устройств. При
этом они работают с данными в различных масштабах и пользуются
возможностью получать детальную информацию по каждому объекту.
Содержание данных
Качество данных имеет первостепенное значение при использовании ГИС
для выполнения пространственного анализа и составления отчетов,
например, используемых для клиентского билинга или регулярных
вычислений ключевых показателей эффективности (KPI). Все более
расширяющаяся практика их применения также требует качественных
исходных данных.
Обзор процедуры обеспечения/контроля качества (QA/QC)
Легко поручить сотрудникам исправить плохие данные, однако не так легко
определить участки, где требуются исправления, и определить рабочие
процессы, которые позволили бы сотрудникам быстро внести необходимые
изменения. Это актуально для постоянного обновления данных посредством
внесения правок (redline submissions). Для эффективного предотвращения
ошибок и идентификации проблемных мест, процедуры обеспечения и
контроля качества должны быть внедрены в рабочий процесс еще на стадии
первичного ввода данных.
ArcGIS® предлагает широкий спектр инструментов, дополнительных модулей
и возможностей проектирования баз данных, которые могут быть
использованы для повышения качества данных. Этот документ описывает
некоторые из них на основе опыта компаний, успешно внедривших у себя
процесс контроля качества.
Процедуры обеспечения качества
Обеспечение качества (QA) - это комплекс мероприятий, гарантирующих
производство качественных ГИС-данных. Выполнение процедур QA имеет
много преимуществ, включая сокращение последующей доработки данных,
благодаря тому, что требования к качеству определяются заранее и
постоянно контролируется в процессе ввода данных.
Обеспечение качества часто представляют как процесс проверки данных на
предмет их корректности. В действительности же, это контроль качества (QC)
который является неотъемлемой частью QA. Помимо этого QA также должно
обеспечить инфраструктуру и рабочие процессы для предотвращения ошибок
на этапе ввода данных. Далее приводятся примеры использования конкретных
инструментов ArcGIS для обеспечения процессов QA:
Используйте Базу геоданных
Shape-файлы и покрытия используются в основном для экспорта данных и
обмена, и не являются удобным способом хранения ГИС-данных для
предприятий водоснабжения/водоотведения. База геоданных, с другой
стороны, является стандартной структурой хранения данных для ArcGIS, и
позволяет хранить как данные, так и бизнес-правила в одном месте.
Некоторые из этих правил позволяют избежать ошибок редактирования,
например, не позволяя вводить неверные значения атрибутов. Другие
3
Качество данных ГИС. Примеры работы с данными для предприятий водоснабжения/водоотведения
правила обеспечивают проверку связности и отношений между объектами
там, где это необходимо. Чтобы БГД была эффективной, необходимо
правильно спроектировать и поддерживать модель данных.
Правильно спроектируйте модель данных
Модель данных, или схема, это то, как описаны реальные объекты в Базе
геоданных. Модель данных также используется для разработки структуры
данных, отвечающих вашим требованиям. Хорошая модель данных сводит к
минимуму возможность неправильного представления объекта внутри базы
данных ГИС. Например, применительно к базе геоданных, хорошая модель
не позволит ввести недопустимые значения атрибутов объекта, благодаря
использованию доменов.
Хотя невозможно разработать такую модель данных, которая предотвратит
все ошибки редактирования, вполне можно свести их к минимуму с
помощью моделирования данных внутри вашей организации.
Компания ESRI предлагает готовые модели данных. Их использование
может быть весьма полезным, если ГИС-проект в вашей организации только
начинается, так как большинство рутинной работы по настройке моделей
уже выполнено и это позволит сохранить время и средства.
Обратите внимание: Модели данных для предприятий
водоснабжения/водоотведения являются частью модели данных местного
самоуправления (local government).
Используйте Геометрические сети
Еще одной ключевой особенностью базы геоданных является поддержка
геометрических сетей. Геометрическая сеть представляет собой набор
линейных и точечных объектов (ребер и соединений, соответственно),
объединенных правилами связности, моделирующими поведение реальных
сетевых структур. Геометрические сети обеспечивают дополнительный способ
описания поведения жидкостей в водопроводных и канализационных сетях. В
сетях водоснабжения вода поступает из водозаборов к водопользователю через
сложную систему, состоящую из клапанов, фитингов, насосных станций и
другого оборудования. Правила связности помогают определить, как те или
иные объекты связаны друг с другом. Например, пожарный гидрант может
быть подключен только к сегменту трубы с типом «для пожарных нужд»; к
тройниковой арматуре должно быть подключено ровно три трубы и т. п.
В то время как модель данных позволяет описать объекты инженерной
сети (активы) и их характеристики - т.е. обеспечить инвентаризацию,
геометрическая сеть дает возможность описать процесс и правила ее
функционирования.
Более детальную информацию о геометрических сетях Вы можете получить,
пройдя по ссылке
blogs.esri.com/Dev/blogs/waterutilities/archive/2009/11/17/Geometric-networks-forwater-utilities.aspx.
Формализуйте рабочие процессы
Следующий шаг к созданию высококачественных данных - это
стандартизация и формализация рабочих процессов в вашей организации.
Это особенно важно, когда редактирование данных происходит в
многопользовательской среде. Стандартизация требует наличия ясных и
задокументированных регламентов работ. Однако на практике, многие
4
Качество данных ГИС. Примеры работы с данными для предприятий водоснабжения/водоотведения
организации используют свои собственные процедуры и рабочие процессы.
Часто это вызывает разработку своих собственных нестандартных
инструментов поддержки этих рабочих процессов (которые в дальнейшем
приходится поддерживать на уровне исходных кодов).
С другой стороны, можно использовать готовые инструменты
дополнительного модуля ArcGIS Workflow Manager для разработки,
выполнения, отслеживания и распространения рабочих процессов.
Проектирование и выполнение рабочих процессов
С помощью Workflow Manager, руководитель может получать отчеты по
статусу того или иного процесса, кому были назначены определенные задачи,
какие работы превышают время, выделенное на них и т.д. Task Assistant
Manager - компонент в составе Workflow Manager, обеспечивающий
автоматизацию задач в ArcMap™. Он помогает пользователю выполнять
определенную последовательность действий в ArcMap: команды и
инструменты геообработки, настройку свойств слоев (например, видимость и
свойства замыкания). Использование этих инструментов может предотвратить
ошибки и помочь выполнить сложные рабочие процессы (процессы в которых
задействованы несколько подразделений) последовательно и контролируемо.
Получите преимущества от использования версий
В многопользовательской среде использование версий баз геоданных позволит
реализовать такой рабочий процесс редактирования данных, при котором можно
разрешать потенциальные проблемы в данных, такие как конфликты
редактирования, и осуществлять операции контроля качества редактируемых
данных до того, как они станут доступными другим ГИС-пользователям или
пользователям смежных систем. Также использование версий может применяться
в целях защиты данных.
Типичный пример использования версий - разработка проектов или планов по
расширению. Предположим, Вы хотите использовать ГИС для моделирования
будущего прохождения трассы водопровода, например, для предполагаемого
строительства. Однако это только проект, и Вам нужно чтобы проектные
данные были изолированы от данных основной БД до момента, когда проект
будет завершен и введен в эксплуатацию. Путем использования версий для
изолированного хранения проектных данных, Вы защищаете основную БД и
5
Качество данных ГИС. Примеры работы с данными для предприятий водоснабжения/водоотведения
пользователей работающих в ней от принятия неверных решений. Управление
версиями в большой компании - достаточно сложная задача. ArcGIS Workflow
Manager позволяет автоматизировать управление версиями, а не управлять ими
вручную. Вместо того чтобы с помощью ArcCatalog™ администрировать
версии в ручном режиме, Вы можете просто добавить рабочий процесс в
Workflow Manager, который обеспечит создание, согласование, отправку и
удаление версий. Таким образом, Workflow Manager позволяет получить все
преимущества от использования версий, сократив обычные издержки, с этим
связанные.
Используйте модели и скрипты Геообработки
На предприятии для выполнения регулярно повторяющихся операций
редактирования и обработки данных имеет смысл потратить силы на
автоматизацию этих процессов средствами геообработки. Вы можете легко
преобразовать определенные задачи обработки и редактирования в модели и
скрипты геообработки, которые можно запускать по расписанию в пакетном
режиме. С их помощью можно также заранее установить некоторые
значения, чтобы избежать ошибок ввода. Использование моделей
геообработки и скриптов обеспечивает успешное выполнение необходимых
операций в заданном порядке.
Настройте шаблоны Infrastructure Network Editing
Шаблон Infrastructure Network Editing специально разработан для предприятий,
обслуживающих системы водоснабжения/водоотведения. Он представляет
собой проект и набор специализированных инструментов (для редактирования,
создания отчетов и т.д.) ArcGIS 10. Например, в него входят инструменты для
решения следующих задач:



Автоматическое соединение абонентских точек с основной трассой
(врезка).
Трассировка и отчет по оборудованию входящему в трассу.
Построение профиля прохождения всей трассы или ее участка.
Также шаблон содержит расширение Attribute Assistant, которое использует
набор правил для автоматического заполнения некоторых атрибутов при
обновлении/добавлении объектов базы геоданных.
Используйте проверку “на лету”
База геоданных позволяет установить правила, контролирующие наличие в
атрибутивных данных только предопределенных значений, а также
взаимосвязи между атрибутивными значениями. Например, установка домена
ограничивает набор или диапазон значений конкретного поля. Однако на
практике правила, описывающие допустимые значения атрибута, могут быть
более сложным: очень часто значение одного атрибутивного поля может
зависеть от значения другого.
Esri® Production Mapping позволяет установить расширенные правила
проверки, которые будут контролировать значения атрибутов при создании
новых и редактировании существующих объектов. Если при редактировании
пользователь введет некорректное значение атрибута, система предупредит
его об этом, и ему придется внести исправление перед записью объекта. Такой
тип проверки “на лету” гарантирует, что пользователь не сможет ввести
недопустимые сочетания значений для создаваемых шаблонов или
редактируемых объектов при записи их в базу геоданных.
6
Качество данных ГИС. Примеры работы с данными для предприятий водоснабжения/водоотведения
Увеличение эффективности ввода данных за счет использования проверки объектов “на лету”.
Инструменты контроля качества
Контроль качества направлен на выявление и устранение существующих
ошибок. Ключ к успеху этого процесса - регулярная проверка ваших данных
на наличие ошибок. Проверка данных может включать различные операции:
от выполнения запросов (пространственных и/или атрибутивных) с целью
генерации и анализа случайных выборок, до выполнения визуального
изучения данных. Такие проверки, там где это возможно, могут (и должны)
быть формализованы, для того чтобы их можно было автоматизировать и
использовать многократно.
Используйте запросы для поиска ошибок
В ArcMap инструменты Выбрать по атрибуту (Select By Attribute), и
Выбрать по расположению (Select by Location) позволяют определить
параметры и выбрать объекты, которые отвечают этим параметрам. Вы
можете использовать Выбрать по атрибуту для поиска ошибок в
атрибутивных данных, например: найти трубы, установленные после 2000 г.,
у которых материал труб - глина или дерево. Выбрать по расположению
может использоваться для выявления неправильно расположенных объектов.
С помощью этого инструмента можно анализировать совместно объекты,
принадлежащие к разным классам. Например, можно наложить абонентские
врезки на земельные участки и идентифицировать те подключения, которые
находятся вне границ участков.
7
Качество данных ГИС. Примеры работы с данными для предприятий водоснабжения/водоотведения
Пример использования инструмента Выбрать по атрибуту для нахождения
врезок, которые подключены и имеют значение NULL в атрибуте Дата
подключения.
Модели и скрипты геообработки
При использовании инструментов Выбрать по атрибуту или Выбрать по
расположению, параметры необходимо заполнять каждый раз, когда
требуется выполнить запрос. Это может привести к ошибкам при вводе
значений параметров.
С использованием моделей и скриптов геообработки, можно хранить
сколь угодно много предварительно настроенных параметров, для
обеспечения выполнения последовательностей запросов. Геообработка
также дает возможность выполнять (и автоматизировать) сложные
запросы, и использовать дополнительную бизнес-логику, такую как
объединение нескольких запросов и создание циклов.
8
Качество данных ГИС. Лучшие практики работы с данными для предприятий водоснабжения/водоотведения
Пример модели геообработки для поиска вентилей, диаметр которых не соответствует диаметру подводящих труб.
Автоматизированный контроль качества
Хотя вполне возможно, что для автоматизации процесса контроля качества
окажется вполне достаточно скриптов и моделей геообработки, есть вероятность,
что придется разрабатывать и оригинальные модели/скрипты для обеспечения всех
правил проверки данных. ArcGIS Data Reviewer - дополнительный модуль для
ArcGIS Desktop, представляющий собой легко конфигурируемое, готовое к работе
(out-of-the-box) решение для проверки данных и автоматизации процесса контроля
качества. Более 40 готовых инструментов для автоматизированной проверки,
которые можно использовать поодиночке или в группах для выполнения пакетной
обработки. Пакетные задания можно сохранять для использования в разных отделах
организации, тем самым стандартизируя процесс проверки, а также для выполнения
повторных проверок после внесения изменений в данные. Объекты, параметры
которых будут отличаться от заданных в условиях проверки, будут сведены в
таблицу.
Вы также можете запускать проверки по графику в определенные промежутки
времени, используя планировщики заданий, что исключает необходимость вручную
запускать пакетные задания. Примеры некоторых автоматизированных проверок
коротко описаны в следующей таблице.
Название
проверки
Домены
Описание проверки
Проверяет объекты, для
атрибутивных значений которых
определены домены кодированных
значений или домены диапазонов.
Проверка позволяет убедиться, что
все значения соответствуют
ограничениям доменов базы
геоданных.
Применение
Эти проверки используются при
переносе данных из различных
форматов (CAD-файлы, Shapeфайлы, данные GPS) в базу
геоданных.
Подтипы
Находит объекты с неправильным
или пустым кодом подтипа
Правила связности
Ищет объекты, которые являются
частью геометрической сети, но в
которых нарушены правила
связности.
Правила связности являются важным
аспектом геометрической сети.
Поиск и исправление объектов,
которые нарушают правила
геометрических сетей, поддерживает
целостность данных, что в свою
очередь, обеспечивает правильную
работу инструментов анализа
геометрических сетей.
Отношения
Ищет записи, которые являются
независимыми объектами, или имеют
неверную кардинальность в классе
отношений.
Знать количество насосов на
насосной станции очень важно.
Проверка позволяет выявить те
насосы, которые не принадлежат
насосной станции или очистному
сооружению.
9
Качество данных ГИС. Лучшие практики работы с данными для предприятий водоснабжения/водоотведения
Название
проверки
Описание проверки
Применение
Дублирование
геометрии
Ищет объекты одного типа
геометрии, имеющие идентичное
местоположение, и, возможно,
одинаковые атрибуты. (Объекты
могут принадлежать как одному, так
и разным классам пространственных
объектов.)
Эта проверка может быть полезна
для нахождения дубликатов
соединений (узлов) в геометрической
сети. Только один из этих узлов
может в действительности быть
присоединен к сети. Проверка
позволяет выявить и исправить такие
узлы с целью обеспечения связности
сети.
Совпадающая
геометрия
Ищет объекты, которые находятся в
специфических пространственных
отношениях. (Объекты могут
принадлежать как одному, так и
разным классам объектов,
дополнительно сравниваются
атрибуты объектов.)
Эта проверка может находить
вентили, соединенные с трубами и
проверять их диаметр. Если
диаметры не совпадают, то это
считается ошибкой.
Валентность
(Valency)
Проверяет отношения между
точечными и линейными объектами
или между линейными объектами
одного класса на предмет количества
связанных объектов: например, к
одному точечному объекту должно
быть присоединено три линейных
объекта.
Эта проверка может использоваться
для поиска нарушений в
пространственных отношениях,
например: тройники, должны быть
связаны с тремя трубами, или
переходная муфта должна соединять
две трубы различных диаметров.
Автоматизация процесса проверки данных с использованием инструментов для оценки,
документирования, исправления, и проверки для обеспечения качества данных.
Вы можете еще более упростить процесс контроля качества за счет интеграции
дополнительных модулей ArcGIS Data Reviewer и ArcGIS Workflow Manager. Это
позволит запускать пакетные задания проверок Data Reviewer на одном из шагов
общего рабочего процесса и автоматически назначать ответственного за
устранение найденных ошибок.
Контроль исправления ошибок
Помимо важности обнаружения ошибок в данных, не менее важно своевременно
исправлять эти ошибки. ArcGIS Data Reviewer отслеживает ошибки и информацию
10
Качество данных ГИС. Лучшие практики работы с данными для предприятий водоснабжения/водоотведения
об их устранении, сохраняя всю историю изменений в центральной таблице. Эта
таблица может быть использована для генерации отчетов, которые отражают
точную картину качества данных.
Путем анализа информации, которая хранится в этой таблице, можно постоянно
улучшать качество данных. Например, таблица позволяет сортировать и
группировать информацию об ошибках, чтобы увидеть в каких классах объектов, и
какого типа ошибки возникают чаще всего. Это может помочь улучшить стратегию
и конкретные методы QA/QC для достижения максимальной эффективности в
обеспечении качества данных.
Заключение
В документе описаны разные инструменты, которые могут использоваться
предприятиями сферы водоснабжения/водоотведения для обеспечения контроля
качества данных. База геоданных предлагает различные функциональные
возможности, такие как поддержка доменов и геометрических сетей, позволяющие
моделировать объекты реального мира внутри базы данных, а также минимизировать
ошибки при вводе данных. Такие инструменты как Выбор по расположению и
Выбор по атрибуту, а также модели геообработки позволяют находить конкретные
ошибки в данных. Дополнительные модули, такие как ArcGIS Data Reviewer, ArcGIS
Workflow Manager и Esri Production Mapping разработаны для выявления ошибок и
обеспечения целостности рабочих процессов, что должно повысить общее качество
данных.
Документ также в общих чертах показывает различные возможности для
осуществления процедур QA/QC. Начните с поиска наиболее критичных ошибок в
Ваших данных, а затем используйте идеи, которые содержатся в этом документе,
для решения выявленных проблем.
Дополнительная информация
Дополнительную информацию об использовании ГИС на предприятиях
водоснабжения/водоотведения можно получить по ссылке: http://esricis.ru/industries/communication/water-supply/. Для получения информации по
дополнительным модулям см. статьи: http://esri-cis.ru/products/workflowmanager/,
http://esri-cis.ru/products/datareviewer/ и http://esri-cis.ru/products/productionmapping/.
Также Вы можете получить информацию на английском языке на сайте Esri:
Информацию об использовании ГИС на предприятиях
водоснабжения/водоотведения можно найти по этой здесь: esri.com/water.
Информацию по дополнительным модулям можно получить здесь:
esri.com/workflowmanager, esri.com/datareviewer, и esri.com/productionmapping. Еще
больше информации - блоги, примеры, видео уроки, форумы, Вы сможете найти в
специализированном отраслевом разделе сайта Esri ArcGIS Resource Center.
11