Оценочные шкалы - Международная сеть "Оценка программ"

Оценка с использованием
оценочных шкал
Наталья Кошелева
Компания «Процесс Консалтинг»
АВТОРЫ ПРЕДЛАГАЕМЫХ
ИДЕЙ
E. Jane Davidson
Автор идеи
оценочных шкал evaluative rubrics
(evaluative
interpretation guides)
realevaluation.com
Оценочная шкала - пример
Школьные оценки:
Отлично (5)
Хорошо (4)
Удовлетворительно (3)
Неудовлетворительно (2)
Авторы идей по теории программ
Sue Funnell
Patricia Rogers
План семинара
Введение – подходы к оценке
 Этапы оценки с использование
оценочных шкал
 Оценочные вопросы оценки
 Теория программы как основа для
разработки вопросов оценки
 Оценочные шкалы
 Особенности разработки инструментов
сбора данных
 Особенности написания отчета

ВВЕДЕНИЕ
Оценка - определение
Оценка программы (ориентированной
на создание общественного блага) – это
систематический сбор информации о
деятельности в рамках программы, ее
характеристиках и результатах, который
проводится для того, чтобы вынести
суждение о ценности программы,
повысить ее эффективность, и/или
разработать планы на будущее.
Подходы к определению
ценности
Ценность = Полезность
Экономическая теория: люди
представляют (способны
оценить) полезность любого
блага.
Трактовка ценности (полезности)
в экономике
Ценность (полезность) того или иного
блага для конкретного потребителя
сугубо индивидуальная (субъективна)
 Но так как потребителей и тех, кто
предлагает то или иное благо, на
рынке, много, то удается найти
оптимальную цену (меру ценности)
 При изменении условий, в которых
происходит обмен, цена может
измениться

Похожие идеи в оценке программ

Проблема субъективности –
объективности ценности

Участие широкого круга
заинтересованных сторон

Связь между ценностью программы и
контекстом, в котором она реализуется
Подходы к оценке программ - 1

В результате оценки должна быть
получена информация,
необходимая для принятий тех
или иных решений относительно
программы.

По умолчанию предполагается, что
лица, принимающие эти решения, на
основании представленной
информации сами вынесут суждение о
ценности программы (после оценки).
Подходы к оценке программ - 2
 Суждение о ценности программы
и отдельных ее компонентов
должно быть в явном виде
вынесено в процессе оценки.
Специалист по оценке программ
В обоих подходах это
специалист по СБОРУ и
АНАЛИЗУ ИНФОРМАЦИИ о
деятельности в рамках
программы, ее характеристиках
и результатах.
Рекомендации по результатам
оценки


«Информационный» подход – обычно от
специалиста по оценке просят дать
рекомендации относительно программы,
часто происходит смещение в сторону
технической экспертизы.
«Оценочный» подход – приоритетом
является вынесение суждения о
ценности. На основании этих суждений
руководители программы могут решить,
что нужно привлечь технических
экспертов.
ТЕХНОЛОГИЯ ПРОВЕДЕНИЯ
ОЦЕНКИ С
ИСПОЛЬЗОВАНИЕМ
ОЦЕНОЧНЫХ ШКАЛ
Этапы
Формулирование вопросов оценки,
ответ на которые предполагает
вынесение ценностных суждений.
 Разработка оценочных шкал.
 Определение того, какие данные
нужно собрать.
 Сбор информации.
 Вынесение оценочных суждений.
 Подготовка отчета.

ВОПРОСЫ ОЦЕНКИ,
ОТВЕТ НА КОТОРЫЕ
ПРЕДПОЛАГАЕТ
ВЫНЕСЕНИЕ
ОЦЕНОЧНЫХ СУЖДЕНИЙ
Примеры вопросов, ответ на
которые НЕ предполагает
вынесения ценностных суждений
Соответствовала ли реализация
программы плану?
 На сколько изменилась успеваемость в
результате реализации программы?
 Снизилась ли младенческая
смертность в результате программы?
 Каким образом проводился отбор
участников программы?

Примеры вопросов, ответ на
которые предполагает вынесение
ценностных суждений
Насколько значимым было участие в
программе для представителей
целевых групп?
 Насколько хорошо программа
удовлетворила потребности
представителей целевых групп?
 Насколько справедливо проводился
отбор участников программы?

Тематика вопросов оценки
Проблема, для решения которой
создавалась программа
 Процесс реализации программы
(качество содержания, дизайна и
исполнения программы)
 Результаты (их ценность)
 Уроки (что мешало, что способствовало
достижению результатов, и почему)
 Общая ценность программы
 Будущее программы и ее результатов
(устойчивость, возможность расширение
или переноса, угроза и возможности)

Проблема, для решения которой
создавалась программа
Какую проблему (разницу между
желаемым и действительным
положением вещей) должна была
решить программа?
 Сохраняется ли потребность в
программе?
 Насколько предлагаемое программой
решение соответствовало проблеме?
 Является ли выбранное решение
наилучшим?

Процесс реализации программы
Насколько качественно была
разработана программа?
 Насколько хорошо программа была
реализована?

Результаты программы
Насколько значимыми и ценными
являются результаты программы для:
 ее участников;
 их семей;
 их организаций;
 местного сообщества;
 общества в целом?
Уроки
Какие факторы определи успех или
неуспех реализации программы в тех
или иных условиях?
 Какие еще уроки можно вынести из
опыта программы (причинноследственные связи; влияние
различных факторов на процесс
реализации и результаты; что
сработало, что нет; уроки на будущее)?

Общая ценность программы
Стоило ли реализовывать данную
программу?
 Превышает ли ценность полученных
результатов ценность затраченных
ресурсов?
 Является ли данная программа
наилучшим способом получить
необходимый результат с помощью
имеющихся ресурсов?

Будущее программы и ее
результатов
Будет ли программа представлять
ценность в других условиях?
 В какой степени использованный
подход применим в других условиях?
 Насколько устойчивыми будут
полученные результаты?

ТЕОРИЯ ПРОГРАММЫ КАК
ОСНОВА ДЛЯ
ФОРМУЛИРОВКИ
ВОПРОСОВ ОЦЕНКИ
Теория программы
Теория изменений:
 Анализ ситуации
 Определение
фокуса и
масштабов
программы
 Цепочка
результатов
Теория действий:
 Характеристики
ожидаемых
результатов
 Внешние и
внутренние
факторы, которые
могут повлиять на
достижение
результатов
 Действия
Пример «программы»
 Текущее положение вещей – ВОЛК
 Желаемое положение вещей –
КОЗА
 Стратегия: менять по одной букве,
так чтобы получаемое слово
имело смысл
Теория программы
Теория изменений
ВОЛК
ПОЛК
ПОЛА
ПОЗА
КОЗА
Теория действий
Заменить В на П
Заменить К на А
Заменить Л на З
Заменить П на К
ЦР для образовательной программы
ЦР для программы, направленной на
поощрение определенного поведения
ЦР для программы, направленной на
профилактику определенного
нежелательного поведения
ЦР для сервисной программы
ЦР для программы, предполагающей
индивидуальную работу с клиентами
ЦР для программы развития сообщества
ОЦЕНОЧНЫЕ ШКАЛЫ
Вопрос: Насколько эффективно школа
проводит политику создания благоприятных
условий обучения для учеников майори?
Описание
Очень
эффективно
• Весь педагогический коллектив нацелен на создание
благоприятных условий для учеников-майори;
• Учителя у уважением относятся к культуре майори;
• Учителя стремятся к тому, чтобы каждый ученикмаойри успевал не хуже своих сверстников.
Минимально
эффективно
• Педагогический коллектив прилагает усилия, чтобы
создать благоприятные условия для учениковмайори, их родителей и родственников, но результат
этих усилий пока не очевиден;
• В стратегическом плане школы определены учебные
цели для учеников-майори, и регулярно проводится
мониторинг того, насколько эти цели достигаются.
• Учителя не ожидают от учеников-майори успехов в
контрпродуктивно
учебе;
• Учителя мирятся с неуспеваемость среди учениковмайори.
Неэффективно/
Примеры оценочных шкал
Разработка оценочных шкал

Когда?
o На этапе разработки программы
o В процессе оценки – перед сбором данных

Кто участвует в разработке? = Чьи
ценности должны быть учтены в оценке?
◦
◦
◦
◦
◦
Технические эксперты
Разработчики программы
Представители донора
Благополучатели
Другие заинтересованные стороны
Технологии разработки шкал






Определите, для какого вопроса
разрабатывается шкала.
Обсудите параметры «крайних» точек шкалы
(например, «неэффективно» и «максимально
эффективно»).
Опишите нижний уровень шкалы (что будет
неприемлемо).
Опишите, что будет минимально приемлемо.
Опишите идеальную ситуацию (верхний
уровень шкалы).
Определите все остальные уровни.
Оптимальное число уровней
шкалы – 4-6
ОТЛИЧНО
ОЧЕНЬ ЭФФЕКТИВНО
ОЧЕНЬ ХОРОШО
В ЗНАЧИТЕЛЬНОЙ СТЕПЕНИ
ЭФФЕКТИВНО
ХОРОШО
ДОВОЛЬНО ЭФФЕКТИВНО
УДОВЛЕТВОРИТЕЛЬНО
МИНИМАЛЬНО ЭФФЕКТИВНО
НЕУДОВЛЕТВОРИТЕЛЬНО
НЕЭФФЕКТИВНО
ПЛОХО
СПОСОБСТВУЕТ УХУДШЕНИЮ
СИТУАЦИИ
УПРАЖНЕНИЕ
Вопрос, для которого нужно
разработать оценочную шкалу
Насколько удачно выбрано
место проведения семинара?
РАЗРАБОТКА
ИНСТРУМЕНТОВ ОЦЕНКИ
Сбор данных при использовании
оценочных шкал
Шкала дает комплексное описание
оцениваемого параметра
 Для ответа нужно собрать комплекс
информации
 Триангуляция
 Сочетание количественных и
качественных методов
 Использование нескольких источников
информации

Традиционный вариант шкалы
Ликкерта
Как вы относитесь к следующему
утверждению:
Семинар был хорошо организован
Совершенно не согласен

Не согласен

Нейтрально (затрудняюсь определить свое
отношение)
Согласен

Совершенно согласен


Оценочный вариант шкалы
Оцените, насколько хорошо был
организован семинар
Отлично

Очень хорошо

Хорошо

Приемлемо

Неприемлемо или плохо

Традиционный вариант шкалы
Ликкерта
Как вы относитесь к следующему
утверждению: Я использовал в своей работе
знания и навыки, полученные на семинаре
Совершенно не согласен

Не согласен

Нейтрально (затрудняюсь определить свое
отношение)
Согласен

Совершенно согласен


Сбор информации о наличии причинноследственных связей между действиями
и результатами
Насколько программа повлияла на
следующие аспекты вашей работы:
НИКАК
Доступ к
профессиональным
сетям
Возможность получить
повышение
Способность
выполнять более
сложные функции
Карьерный рост
НЕЗНАЧИ ЗАМЕТНО
ТЕЛЬНО
ОЧЕНЬ
СИЛЬНО
Оценочные вопросы интервью


После обучения меняли ли вы работу?
Если да, является ли это, на ваш взгляд,
карьерным ростом? Если да, то в какой
степени программа помогла вам
добиться этого карьерного роста?
Почему вы так думаете?
Какие изменения произошли в вашей
организации благодаря программе?
Какую пользу получила организация
благодаря тому, что вы участвовали в
этой программе?
Общая ценность программы
Насколько полезным оказалось для
вас ваше участие в программе?
◦ Очень полезным
◦ Достаточно полезным
◦ Мало полезным
◦ Совершенно бесполезным
Общая ценность программы
Если сравнить ваши личные затраты
(затраты вашей организации) на участие
в программе, например, рабочее время,
командировочные и т.п., и пользу от
этого участия, то:
◦
◦
◦
◦
Польза явно превышает затраты
Польза только компенсирует затраты
Польза намного ниже затрат
Сложно оценить
УПРАЖНЕНИЕ
Предложите источники и
инструменты для сбора
информации для шкалы «Удачность
выбора места для проведения
семинара»
ФОРМАТ ОТЧЕТА
Формат предоставления ответов
на вопросы оценки
Вопрос оценки
 Ответ – точка на оценочной шкале.
 Комментарий к ответу – описание
данных (краткое в резюме отчета или
подробное в теле отчета), на
основании которых была получена
оценка.

Формат предоставления ответов
на вопросы оценки - пример



Насколько удачно было выдрано место
проведения семинара?
Очень неудачно.
Помещение находилось далеко от метро,
около 3 км пешком через промзону.
Автобусы, на которых можно добраться
до место от метро ходят редко – два раза
в час. Большинство опрошенных
участников отметили, что им было очень
неудобно добираться.
Содержание отчета
Резюме
 Введение
 Зачем и как (методология)
проводилась оценка
 Ценности и контекст
 Вопросы оценки
 Ответы на вопросы оценки

Спасибо за внимание!
Наталья Кошелева
Партнер, Компания «Процесс
Консалтинг»
natalia@processconsulting.ru
+7-903-170-2400