Семинар проекта ENPI-SEIS по совершенствованию баз данных и форматов обмена данными 19-21 сентября 2012, Скопье Игорь Вернер Цели и задачи семинара • Организовать работу специфической рабочей группы по информационным технологиям, деятельность которой должна должна быть направлена на: • Оказание помощи в создании наборов данных, которые базировались бы исключительно на текущей ситуации в области обмена екологической информацией, а также определении процедур, которые могли бы использоваться как основа для осуществления пилотных действий, определенных в докладах стран и SEIS в регионе (включая потоки данных) • Обмен опытом между странами Западно-Балканского региона, странами ENPI-Юг и ENPI-Восток Участники семинара • 12 участников из стран ENPI-Юг (представители двух стран не смогли присутствовать на встрече) • 10 участников из стран ENPI-Восток (Молдова и Грузия не смогли присутствовать на встрече) • Представители Македонии, Сербии и Хорватии • Представители Австрийского агентства окружающей среды, ЮНЕП-МАП, и Экологической сети Zoi Программа семинара • День 1. – Обмен опытом по созданию систем экологической информации между различными регионами • День 2. – Работа в подгруппах по обсуждению суб-региональных приоритетов и разработка мини-проектов (ENPI-Юг, ENPI-Восток) • День 3. – Пленарное заседание. Представление работы подгрупп. – Выработка рекомендаций по дальнейшей работе рабочей группы по информационным технологиям День 1. Обмен опытом по созданию систем экологической информации • Представители Македонии, Сербии и Хорватии поделились опытом сотрудничества с ЕАОС по реорганизации данных, обеспечению регулярного потока данных для разработки показателей и их использования в докладах о состоянии окружающей среды • Представители ЕАОС представили «Поваренную книгу SEIS» и страны прокомментировали структуру и содержание материалов День 2. Рабочая группы по вопросам ИТ ENPISEIS Восток • В ходе встречи обсуждались: Отчет о проделанной за период работе Представление результатов и прояснение сведений, заполненных в вопросниках по метаданным 8-ми экологических показателей Представление национального опыта по организации потоков данных (Беларусь) Представление опыта Евростата по использованию стандарта SDMX для обмена статистической информацией Предложения по основным направлениям работы на ближайшую перспективу в восточном регионе ENPI-SEIS Вопросники по метаданным • Представлены результаты анализа вопросника и прояснены некоторые нюансы (см. презентация Е. Сантер) • Участники высказали пожелания по улучшению технической стороны построения вопросника: Вопросы по форматам данных Исключение вопроса № 9 Включение возможности множественного выбора Улучшение вопросов безопасности доступа к заполнению вопросника Другие пожелания Statistical Data and Metadata еXchange Что такое SDMX? – Стандарт для обмена статистическими данными(метаданными) – Информационная модель и технические спецификации – Основные форматы • SDMX-ML (основанный на XML) • SDMX-EDI (также известный как GESMES-TS) 19/09/2012 How to establish a common dataset 8 Как сгенерировать SDMX-ML файл? 19/09/2012 SDMX-конвертер Java-программа, которая конвертирует плоские файлы (CSV…) в SDMX-ML файлы Программа свободно доступна для загрузки с сайта Евростата eDAMIS web-формы (размещены на web-серевере Евростата) Позволяет ввести данные в web-форму или скопировать и вставить данные в таблицу 9 Data Structure Definition (DSD) … помогает статистикам … помогает ИТ Определить таблицы и кубы данных Описать обследование (флаги, итоги, …) Использовать классификаторы и справочники Дает ИТ инструмент для проверки – Структуры данных – Использованных кодов Осуществлять автоматический обмен информацией – Между разными статистическими доменами – С помощью стандартных инструментов – С помощью Web-сервисов 19/09/2012 How to establish a common dataset 10 Взгляд Евростата на использованию стандарта SDMX для организации потоков данных • Организация потоков данных для получения ENPI-Восток екологических показателей требует проведения двух этапов: – Этап 1: концептуальная работа по определению методологии для каждого показателя – Этап 2: практическая работа по организации потоков данных для экологических показателей • Современные иструменты и форматы передачи данных (в т.ч. SDMX) • Web-формы • Разработка структурных метаданных и DSD является общей задачей соответствующих специалистов и экспертов по формату SDMX. При этом, разрботка структурных метаданных есть наиболее важный этап для получения гарантий однородности передаваемых данных. Предложения по реализации механизма потока данных 2 набора данных (отчетность по межд. Обязательствам) 9 наборов данных (отчетность по нац. обязательствам) Другие наборы данных, необходимые для разработки показателей ENPI – SEIS проект (6 месяцев) Определение объемов информации, особенностей использования стандарта SDMX для обмена информацией с Reportnet и связи с потоком данных международной отчетности + рекомендации по определению структур для оставшихся 9 индикаторов ENPI – SEIS проект (следующие 6 месяцев) Используя результаты СЦГ, Подготовка и публикация данных в SDMX формате, размещение метаданных на Reportnet и обеспечение их связи с национальными данными опубликованными на вебсайтах или переданных на Reportnet + рекомендации JTF по определению структур для других показателей Показатели по которым наборы данных, существуют на национальном уровне – (до конца проекта ENPI-SEIS) Технические аспекты связанные с включением других показателей Обсужденные предложения • Были одобрены предложения по реализации механизма потока данных с использованием формата SDMX для обмена данными. • Для эффективного вовлечения стран ENPI-SEIS Восток, ЕАОС было предложено подготовить «дорожную карту» для использования формата SDMX при обмене данными и вынести ее на обсуждение Руководящего комитета проекта ENPI-SEIS. • Страны участники огласили потребности в повышении знаний по современным информационным технологиям в области создания систем экологической информации, соответствующим принципам SEIS. При этом любые обучающие мероприятия должны быть привязаны к конкретным мероприятиям (пилотным проектам). • Некоторые страны предложили ускорить реализацию планов внедрения SDMX на национальном и региональном уровне, они также подчеркнули, что предложенные мероприятия являются только частичными в построении SEIS – необходимы и другие пилотные проекты, которые будут поддерживать создание интерактивных сопоставимых систем по производству и распространению экологической информации в странах ENPI Восток. • Было принято решение рекомендовать JTF опубликовать обновленное Руководство по применению экологических показателей в cтранах Восточной Европы, Кавказа и Центральной Азии и разработать спецификации данных для выбранных показателей.