Подход ЕЭК ООН

Европейская экономическая комиссия
Организации Объединенных Наций
Статистический отдел
Значение баз данных в
процессе распространения –
подход ЕЭК ООН
Учебный семинар ЕЭК ООН о распространении
показателей ЦРТ и статистической информации
Астана, Казахстан 23 – 25 Ноября 2009
Стивен Вейл, ЕЭК ООН
Содержание





Обзор системы ЕЭК ООН
Вводная о кубах данных
Системы ввода данных
Обработка данных
Системы распространения информации
12 ноября 2009 г
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 2
Производство и распространение статистических данных
Получение данных от
НСО, ИО и т.д.
Основная обработка данных
при создании баз данных
Распространение по Интернету
через базы данных PC-Axis
ЕЭК
Статистики
получают данные
из различных
источников: НСО,
ИО и т.д.
- Веб-сайты
- Базы данных
- Электронная
почта
- CD-диски
- Публикации
Создание базы: таблица данных
Обновить или дополнить данные
Определить аналитические ряды
Определить справочные блоки.
Приложения: «DB Admin» и «Data
Admin»
Импорт
CSV
Хранимые процедуры SQL
Производные показатели
рассчитываются каждую
ночь
Общественность
PX-Web
PC-Axis
Веб-сервер
Обновление
PC-Axis SQL
Обработка и
форматирование
нестандартных
данных
Таблица Data_AnalyticalSeries
Все основные и производные
показатели
PC-Axis SQL
Общая база данных
Создать / обновить
кубы данных в PC-Axis
Приложение: «PC-Axis
DB Admin»
Что такое куб данных?
Многомерная конструкция,
содержащая информационные
точки, которые представляют
уникальные комбинации нескольких
классификаций одновременно
 Удобный вид хранения и
распространения данных

12 ноября 2009 г
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 4
Двухмерный куб
Год
Страна 2000
2001
2002
2003
AAA
123 456 124 567 125 678 126 789
BBB
987 654 988 654 989 654 999 654
CCC
35 789
12 ноября 2009 г
36 789
37 789
Стивен Вейл - Статистический отдел ЕЭК ООН
38 789
Слайд 5
Трехмерный
куб
12 ноября 2009 г
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 6
Можно ввести больше
измерений, но сложно это
отобразить!
12 ноября 2009 г
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 7
Почему кубы данных так важны




Многие статистические модели и системы
управления данными основаны на принципе
куба
Пользователи могут выбрать только
интересующие их данные
Кубы можно легко расширить, например, для
ввода значений дополнительных лет,
государств или других параметров
По крайней мере в теории, кубы могут иметь
неограниченное количество измерений
12 ноября 2009 г
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 8
Системы ввода данных

Требуемые функциональные возможности:
Массовый ввод больших файлов данных
• Автоматический порядок сбора данных
• Изменение формата данных
• Сбор метаданных и их «перевод»
• Ручной ввод значений данных
• Связь с электронными анкетами
• Проверка достоверности данных
•
12 ноября 2009 г
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 9
Подход ЕЭК ООН




Автоматических сбор данных из нескольких
важных источников, проводимый каждую ночь
Преобразование файлов в стандартный формат
для обновления базы данных
Наличие анкет для некоторых типов данных
• Автоматические системы обновления данных
находятся на стадии разработки
Интерфейс ручного ввода / обработки данных
12 ноября 2009 г
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 10
Обработка данных

Требуемые функциональные
возможности:
•
•
•
•
•
Проверка достоверности данных
Ввод расчетных данных для
недостающих значений
Расчет производных переменных
Расчет суммарных значений регионов,
например, для стран СНГ
Определение выходных данных
12 ноября 2009 г
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 11
Подход ЕЭК ООН




Создание «супер-куба», содержащего все данные
Использование разработанных нами приложений
для проверки, ввода и подсчета данных
Язык программирования высокого уровня
позволяет статистикам разрабатывать и управлять
личными процедурами расчетов
Кубы с меньшим объемом выходных данных
определяются при помощи метаданных и
обновляются каждую ночь
12 ноября 2009 г
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 12
Системы распространения

Требуемые функциональные
возможности:
•
•
•
•
•
Доступ к сети Интернет
Легкий доступ к ключевым данным
«Дружественный» пользовательский интерфейс
Поддержка нескольких языков
Возможность обрабатывать и скачивать данные
12 ноября 2009 г
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 13
Почему ЕЭК ООН приняла PC-Axis


Ввиду недостатка ресурсов для разработки системы
Преимущества сети компьютеров:
• Многообразие функций
• «Дружественный» пользователю
• Гибкая структура
• Наличие хорошей сети поддержки со стороны
пользователей – более 40 других статистических
организаций
12 ноября 2009 г
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 14
Европа Лицензии (68)
Страна Басков (5)
Хорватия
Дания (9)
Эстония
Фарерские острова
Финляндия (15)
Аландские острова
Греция
Гренландия
Исландия
Ирландия (2)
Латвия
Литва
Македония
Норвегия
Словакия
Словения (2)
Испания (3)
Украина, Львов
ЕЭК ООН
Швеция (18)
PC-Axis в мире
Страны
Америки.
Лицензии (3)
Бразилия
Боливия
Гватемала
Потенциальные
страныучастницы
Канада
Гайана
Аргентина
Сальвадор
Коста-Рика
МВФ
Багамские о-ва
СОООН
Деп. с/х США
Эквадор
Страны-участницы CountrySTAT
(2006-2007) (2008-2009)
Африка. Лицензии (14)
Алжир
Мозамбик
Намибия
Южная Африка
Танзания
Уганда
Южно-Африканская Комиссия
Западная Африка (ЭКОВАС)
УЕМОА (ФАО)
Кения
Сенегал (ФАО)
Мали (ФАО)
Того (ФАО)
Кабо-Верде
Бутан
Эфиопия
Гаити
Ирак
Малави
Мали
Мозамбик
Палестина O.T.
Филиппины
Судан
Танзания
Ангола
Бенин
Буркина Фасо
Камерун
Эфиопия
Гана
Кот-д’Ивуар
Кения
Малави
Мали
Мозамбик
Нигерия
Руанда
Сенегал
Танзания
Уганда
Замбия
Азия и станы
Тихоокеанского
региона. Лицензии (5)
Филиппины (2)
Тайвань (КР)
Бутан (ФАО)
Ирак (ФАО)
Новая Зеландия
Потенциальные
страны-участницы
Гонконг
Таджикистан
Потенциальные страныучастницы
Соединенное королевство
Кипр
Молдова
Черногория
Северная Ирландия
Румыния
Сербия
Кыргызстан (ФАО)
Украина
Албания
Швейцария
ФАО Лес. Стат.
Что мы добавили





Приложение для ввода метаданных
Приложение для управления кубом
данных
Язык для расчёта временных рядов
Сервер обновлений для PC-Axis
Интерфейс на русском языке
12 ноября 2009 г
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 16
Приложение для ввода метаданных
12 ноября 2009 г
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 17
Компоненты с открытым кодом
Визуальное проектирование
HTML
Проверка орфографии
12 ноября 2009 г
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 18
Интерфейс пользователя




Использует “PX-Web” – компонент программного
обеспечения PC-Axis, разработанного
Статистической Организацией Швеции
• В настоящий обновляется до новейшей версии
Интерфейс на английском и русском языке
Древовидная структура для облегчения поиска
данных пользователем
Возможность обрабатывать данные и загружать их
в нескольких форматах
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 19
Планы на будущее


Разработка сквозных систем ЕЭК ООН:
• Импорт данных
• Проверка на достоверность
• Обработка
• Расчет
• Ввод расчетных данных
• Распространение
Развитие интерактивного аналитического сервиса
12 ноября 2009 г
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 26
Новая система
базы данных ЕЭК
ООН



Находится на
стадии
разработки
Введены
системы расчета
и «супер-куб»
Завершение
работ ожидается
в 2010 году
Техническая поддержка



ЕЭК ООН рада поделиться опытом и
программным обеспечением
Русскоязычный координатор баз
данных
Миссии по оказанию технической
поддержки в 2008-2009 годах
Казахстан
• Кыргызстан
• Таджикистан
•
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 28
Вопросы?
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 29