Доступность

Европейская экономическая комиссия
Организации Объединенных Наций
Статистический отдел
Измерение и предоставление
качества данных
Учебный семинар ЕЭК ООН о распространении
показателей ЦРТ и статистической информации
Астана, Казахстан 23 – 25 ноября, 2009 г.
Стивен Вэйл, ЕЭК ООН
Содержание



Что такое качество?
Как мы можем измерять
качество?
Как мы должны описывать и
отображать качество?
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 2
Что обладает наилучшим
качеством?
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 3
Определение качества
Международный стандарт
ISO 9000/2005 определяет
качество как:
‘Степень в которой
совокупность неотъемлемых
характеристик удовлетворяет
требованиям.’
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 4
Что это значит?

Чьи требования?
•

Совокупность неотъемлемых
характеристик?
•

Потребителя товаров и услуг
Потребители оценивают степень качества
по совокупности критериев, отражающих
различные характеристики товаров и услуг
Поэтому, качество – это предоставление
товаров и услуг, которые удовлетворяют
требования пользователей (покупателей)
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 5
Критерии качества
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 6
Критерии качества для
статистики


Различные статистические организации
используют различные критерии
- но список критериев почти одинаковый
Список ЕЭК ООН:
Уместность
Сравнимость
Точность
Понятность
Своевременность Доступность
Пунктуальность
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 7
Уместность
Необходима ли производимая
статистика?
 Производиться ли необходимая
статистика?
 Удовлетворяют ли понятия,
определения и классификации
требования пользователей?

Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 8
Точность
Степень приближенности
статистических оценок к
истинному значению
 В прошлом: Качество = Точность
 Сейчас точность является лишь
одной из частей качества

Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 9
Своевременность

Отрезок времени между
предоставлением данных и событием
или явлением, описываемым в них
Пунктуальность

Интервал времени между
фактической датой выпуска данных и
обещанной датой выпуска
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 10
Сравнимость

Величина при которой различия реальны,
или которая обусловлена
методологическими или измерительными
различиями
Сравнимость во времени
• Сравнимость по территории (например,
между странами / регионами)
• Сравнимость между статистическими
областями (иногда называется
когерентностью)
•
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 11
Доступность

Пути посредством которых пользователи
могут получить или извлечь выгоду из
статистических услуг (ценообразование,
формат, расположение, язык и т.д.)
Понятность

Доступность дополнительного
материала (например, метаданных,
диаграмм и т.д.), позволяющего
пользователю лучше понимать
выходные данные
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 12
Важность доступности

Это не только предоставление
информации в Интернете или в книге
•

Пассивная доступность
Доступность – это донесение
информации до пользователей в
понятном виде, начало диалога с этими
пользователями и гарантирование того,
что их потребности в информации будут
удовлетворены
•
Активная доступность
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 13
Доступность должна включать:






Общение
Маркетинг
Объяснение
«Рассказ историй»
Информирование
Обучение
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 14
Доступность и отображение




Хорошее отображение делает информацию
доступной большему количеству
пользователей
Плохое отображение является бесполезным /
вводящим в заблуждение
Отображение «Самообслуживания» должно
быть простым, с руководством, чтобы помочь
пользователям получить значимые результаты
«Готовое» отображение может быть более
сложным, приспособленным для
специфических массивов данных
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 15
Доступность и отображение

Является ли более экономичным:
•
•


разрабатывать «готовые» графики, или
предлагать пользователям больше
функциональных возможностей для
«самообслуживанием»?
У многих потребителей не достаточно
времени или знаний для создания хорошего
отображения
У опытных пользователей есть доступ к
собственным отображениям и аналитическим
инструментам
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 16
Важность понятности


Понятность – это объяснение информации
Помогают ли пояснительные примечания,
используемые сейчас?
•
•
•
•

Зачастую написанные специалистами для
специалистов
Изобилующие жаргоном
Слишком длинные
Слишком скучные!
Нужны упрощенные версии с понятным
текстом
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 17
Другие критерии
Стоимость / эффективность
 Целостность / доверие
 Репутация организации
 Профессионализм

•
Соблюдение международных
стандартов (например, Основные
принципы официальной статистики
ООН)
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 18
Качества касается не только
выходных данных
Входные
данные

Обработка
Выходные
данные
Чтобы получить хорошие выходные
данные, нам нужно иметь хорошие
входные данные и обработку данных,
поэтому мы также должны принимать
их качество во внимание
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 19
Качество входных данных





Своевременность
Завершенность – есть ли какие-либо
недостающие элементы или
переменные?
Сопоставимость с другими
источниками
Контроль проверки качества?
Знания источника крайне необходимы!
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 20
Качество обработки данных





Качество сопоставления / связывания
Выявление и обработка резко
выделяющихся значений
Качество редактирования данных
Качество расчетных данных
Хранение исходных данных /
метаданных для обращения к ним при
необходимости
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 21
Качество выходных данных





Удовлетворены ли пользователи?
Сопоставимы ли выходные данные с
данными из других источников?
Каково влияние на временной ряд?
Экономичны ли выходные данные?
Отчет о качестве для измерения и
отображения различий?
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 22
Измерения качества

Количественные методы
•
Например, доверительные интервалы
Опрос пользователей
 Самооценка
 Эталонный анализ

Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 23
Количественные измерения
Вершины
прямоугольников
показывают
расчетные величины,
а красные линии
представляют
доверительные
интервалы,
окружающие их.
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 24
Опрос пользователей базы
данных ЕЭК ООН



Проводится каждую осень на вебсайте базы данных
10 вопросов
150 ответов
(цель – 100)
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 25
Задание


Создать опрос пользователей, до 10
вопросов, для пользователей Вашего
веб-сайта
20 минут
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 26
Вопросы опроса потребителей
ЕЭК ООН
1. Тип пользователя
2. Частота использования
3. Месторасположение (страна)
4. Тип данных
5. Уместность базы данных
6. Своевременность
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 27
Продолжение...
7. Понятность (метаданные)
8. Качество общей информации
9. Интерфейс пользователя
10. Другие замечания и вопросы
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 28
Результаты:
Тип
пользователя
Media
Individual
Other
Private
business
National
Statistical
Office
National
government
International
organization
/ NGO
Student
Academic /
research
Результаты:
Частота
использования
Результаты:
Страна
Результаты:
Качество
информации
Very poor
1%
Poor
1%
Excellent
18%
Average
17%
Good
63%
Результаты:
Интерфейс
пользователя
Poor
1%
Average
23%
Very poor
1%
Excellent
15%
Good
60%
Улучшение наших услуг






Повышение своевременности данных
Новый куб данных «Обзор страны» для
предоставления быстрого доступа к ключевым
показателям
Больше содержания на русском языке
Улучшенный интерфейс пользователя
Больше метаданных и в лучшем качества
Статистическая грамотность
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 34
Собственная оценка



Относительно быстро и дешево
Является ли достаточно объективной?
Требуется стандартная структура для
сопоставления оценок качества
•
Перечень вопросов РАПСО (DESAP)
ЕВРОСТАТА :
http://epp.eurostat.ec.europa.eu/portal/page
/portal/quality/documents/desap%20G0LEG-20031010-EN.pdf
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 35
Эталонный
анализ


Сравнение значений
данных и процесса
обработки данных
между двумя
источниками
Различия могут быть
изучены для поиска
путей улучшения
качества
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 36
Эталонный анализ стран




Довольно дешевый и простой способ
получения идей как улучшить
статистические процессы
Взаимная выгода – «выигрыш - выигрыш»
Помогает укрепить международное
сотрудничество
Может привести к совместным проектам
развития
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 37
Качество предоставления

Отчеты о качестве
•
Краткий – показатель «светофор»



•
•
Красный – серьезные проблемы с качеством, прочитать
отчет о качестве перед использованием
Оранжевый – осторожно, не использовать для
принятия важных решений без прочтения отчета о
качестве
Зеленый – хорошее качество
Промежуточный – короткий отчет о качестве
(максимум 1000 слов)
Подробный – полный отчет о качестве
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 38
Подробные отчеты о
качестве




Должны включать все
компоненты качества
Должны быть написаны
для пользователя
Должны быть легко
доступны
Должны следовать
стандартным шаблонам
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 39
Задание

Что должно содержаться в
подробном отчете о качестве?
•

Перечислить вопросы, которые
должны быть включены
10 минут
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 40
Содержание (1)







Знакомство со статистическими
процессами и их выходными данными
Уместность
Точность
Своевременность
Пунктуальность
Доступность
Понятность
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 41
Отчет ЕВРОСТАТА о качестве,
Содержание (2)






Сопоставимость
Компромиссы между компонентами качества
Оценка потребностей и взглядов пользователя
Производительность, стоимость и нагрузка на
респондента
Конфиденциальность, прозрачность и
надежность
Заключение
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 42
Выводы




Качество – это удовлетворение потребностей
пользователя
Существует множество аспектов качества,
некоторые из которых могут противоречить
друг другу
• Например, своевременность против
точности
Существуют различные способы измерения
качества; важны мнения пользователей
Качество должно быть предоставлено
пользователю в понятном виде
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 43
Что обладает наилучшим
качеством?
Это зависит от потребностей
пользователя!
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 44
Вопросы?
Стивен Вейл - Статистический отдел ЕЭК ООН
Слайд 45