- Журнал руководителя управления образованием

Как оценить
удовлетворённость качеством
образования?
Горшков Владимир Юрьевич,
кандидат педагогических наук, главный специалист (психолог)
государственного учреждения Ярославской области «Центр оценки
и контроля качества образования»
Удовлетворённость образованием и связанные с ней понятия
Простота понятия «удовлетворённость образованием» обучающихся и их
родителей явление кажущееся. На первый взгляд: спроси ученика — и он ответит.
Но вот про что он ответит? И можно ли по его ответу будет судить о его
удовлетворённости образованием? В чём сложность?
Во-первых, в том, что для разных учащихся важными являются различные
стороны образования. Для одних это глубокие знания по учебным предметам,
другие делают акцент на переживания в связи с получением знаний, третьи
больше обращают внимание на отношения с учителями и сверстниками,
четвертые имеют в виду все перечисленное и т.д. В результате данное понятие
приобретает неопределённый характер, поэтому сравнивать удовлетворённость
образованием двух или нескольких субъектов — обучающихся, образовательных
учреждений, муниципальных районов — будет некорректно.
Во-вторых, само понятие «удовлетворённость» достаточно сложное. Однако
подробное его теоретическое рассмотрение и различение с такими понятиями,
как: отношение, оценка, аттитюд — увело бы нас далеко в сторону. Для наших
целей достаточно привести рабочее определение удовлетворённости
образованием, которого мы и будем придерживаться.
Тогда правильнее будет оценивать не удовлетворённость образованием в целом, а
удовлетворённость отдельными аспектами образования как в части
образовательных результатов, так и в части образовательного процесса и его
условий. Тогда удовлетворённость образованием в целом можно понимать как
сумму (агрегацию) удовлетворённостей по каждому из аспектов оценивания.
Процесс оценки и выводов об удовлетворённости чем-либо включает
установление степени соответствия внутреннему эталону. На основании этого и
делается вывод об удовлетворённости или неудовлетворённости. Внутренний
эталон — это запрос обучающихся, «предъявляемый» образовательному
учреждению. Его также можно назвать ожиданиями. Но как заглянуть «внутрь
человека»?
Нами сделана попытка внутренний эталон перевести во внешний план и учесть в
оценке удовлетворённости образованием.
Оценка и измерение удовлетворённости
Имея в виду все вышеизложенное, нами был разработан инструмент (анкета) для
измерения удовлетворённости. В настоящее время она используется для оценки и
измерения удовлетворённости в общеобразовательных учреждениях, а также в
учреждениях начального профессионального и среднего профессионального
образования.
Ключевой результат, который может быть получен в результате проведения
исследований по данной анкете, это обнаружение величины неудовлетворённого
запроса.
Под удовлетворённостью образованием мы понимаем эмоционально-оценочное
отношение учащегося к образовательным результатам, условиям и процессу
предоставления образовательной услуги.
Почему мы выбрали именно такие параметры? Для общеобразовательных
учреждений большинство параметров были определены на основе
социологических опросов, по результатам фокус-групп старшеклассников,
студентов вузов, интервью с ними.
Оценки проводятся уже несколько лет, некоторые параметры корректируются по
результатам анализа предыдущих опросов.
В число оцениваемых параметров было включено несколько таких, которые
обучающиеся и выпускники не отметили как важные, но которые являются
таковыми по нашим представлениям.
Удовлетворённость можно измерить как разницу между запросом (ожиданием) по
данному параметру (оценкой его «важности») и оценкой своей удовлетворённости по
нему.
В настоящее время в методике мы предлагаем для оценки обучающихся ООУ 13
параметров, шесть из которых отражают образовательные результаты, семь —
образовательный процесс и его условия.
Список параметров для оценки обучающихся ООУ
1. Знания, умения, навыки по преподаваемым в школе предметам
2. Умение общаться с разными людьми и работать с разнообразными
текстами (коммуникативная компетентность)
3. Постоянная забота работников школы о здоровье
обучающихся
4. Отношение педагогов к обучающимся
5. Построение обучения с учётом интересов и особенностей каждого
ученика (индивидуализация образования)
6. Обеспечение личной безопасности обучающихся
в школе
7. Помощь обучающимся в осознанном выборе будущей профессии
8. Понимание своих прав и умение отстаивать их в разных ситуациях
9. Умение организовывать свою деятельность
10. Устойчивые личностные черты: обязательность,
добросовестность, аккуратность и др.
11. Чёткая организация учебных занятий и школьного
досуга
12. Отсутствие вражды между одноклассниками и другими учениками
школы
13. Возможность пользования школьными компьютерами и другой техникой
во внеурочное время, наличие богатой библиотеки
К предложенному обучающимися и выпускниками списку параметров мы добавили
заботу о здоровье (параметр 3), индивидуализацию образования (параметр 5) и
обеспечение безопасности (параметр 6).
По результатам опроса строится график соотношения запроса и
удовлетворённости по одним и тем же параметрам. На примере измерения
удовлетворённости в реальной школе он выглядит следующим образом (см. с. 20).
На графике по горизонтальной оси расположены параметры (под теми же
номерами из списка, приведённого выше), по вертикальной — ранги значимости
тех или иных параметров как по удовлетворённости, так и по запросу
(ожиданиям). Величина удовлетворённости по каждому параметру определяется
как разница рангов запроса (ожиданий) и удовлетворённости.
Например, «знания, умения, навыки по преподаваемым в школе предметам», по
мнению обучающихся, является самым важным из запросов (ранг № 1), разница
рангов (-3), а удовлетворённость по этому параметру на четвертом месте (ранг №
4); ранг запроса такого параметра, как «обеспечение безопасности учащихся», на
последнем месте (ранг № 12,5), а удовлетворённость по этому параметру на
третьем месте (ранг № 3), разница рангов (+9,5).
Рис. 1. Соотношение запроса (ожиданий) и удовлетворённости
Удовлетворённость образованием в целом определяется как суммарная разница
рангов всех параметров. В данном случае суммарная разница этой школы равна
21, в целом по региону — 26,3. Данное образовательное учреждение входит в
число 20% лучших образовательных учреждений региона по удовлетворённости
учащихся образованием.
На графике это видно как расхождение линий. Удовлетворённость тем выше, чем
ближе друг к другу будут линии, отражающие запросы и оценку
удовлетворённости.
В идеальном случае линии должны совпасть, слиться в одну.
Разница может быть одинаковой или почти одинаковой, однако величина
удовлетворённости различной. Например, в нашем случае разница по первому
(приобретаемые в образовательном учреждении знания, умения и навыки) и
двенадцатому параметру (отношения в ученических коллективах) одинаковая — (3 ранга). Запрос же (а следовательно, значимость) первого параметра является
самым важным, а двенадцатого — на 6 месте по значимости.
Логично предположить, что приобретение знаний, умений и навыков будет самым
главным из запросов учащихся к образовательному учреждению, забота о
здоровье должна уступать по важности приобретению знания.
Чтобы учесть значимость параметра в подсчетах удовлетворённости, необходимо
вводить дополнительные коэффициенты. Это можно делать экспертно,
приписывая каждому параметру тот или иной коэффициент. Второй способ —
уменьшение коэффициента в соответствии с уменьшением значимости запроса.
Например, первому по запросу параметру приписывается коэффициент N, второму
N-1, третьему N-2 и так далее.
Однако использование коэффициента значимости ещё не до конца объективирует
оценку удовлетворённости. Мы используем ранговую (порядковую) шкалу, которая
«огрубляет» реальную оценку. Представим такую ситуацию: в спринтерском
забеге на 100 метров победитель обогнал второго бегуна на 0,5 метра, второй
третьего — на 10 метров, а третий и четвертый финишировали почти
одновременно, и кто какое место занял, решил фотофиниш, то есть третий
опередил четвёртого на величину, для глаза незаметную. Бегун, пришедший к
финишу третьим, получит бронзовую медаль, а четвёртый никакой медали не
получит.
Но разница между бронзовой медалью и четвёртым местом ничтожна, а между
серебряной и бронзовой для спринтерской стометровки — пропасть. На гистограмме на другом реальном примере в условных
единицах представлена иллюстрация описанного применительно к
удовлетворённости (данные 2009–2010 года).
Рис. 2. Запросы и удовлетворённость по параметрам
При не очень большой разнице рангов (-4,5) по первому параметру, разница
значений весьма велика. По 14-му параметру разница рангов (-8), а разница
значений на гистограмме незначительна.
Рис. 3. Неудовлетворённый запрос
Для соотнесения разноразмерных или разномасштабных шкал необходимы
определённые математические преобразования (преобразование в z-оценки).
После их осуществления и с учетом ранее описанных коэффициентов мы и
получаем степень (величину) неудовлетворённого запроса.
Этот показатель можно назвать общим, или интегральным, индексом
удовлетворённости как по каждому параметру образования, так и образованием в
целом. В нём учтены все описанные выше факторы, влияющие на величину
удовлетворённости.
Запрос не удовлетворён по тем параметрам, значение которых выше нуля.
Результаты измерения запроса (ожиданий) и удовлетворённости обобщаются
каждый год по региону. По тем параметрам, по которым запрос не удовлетворён,
разрабатываются и реализуются программы изменения ситуации.
Так, в настоящее время разрабатывается система оптимизации помощи
обучающимся и выпускникам в профессиональном самоопределении, усиления
роли школы в этом процессе.
По запросу руководителей школ проводится их консультирование по результатам
исследований — от простого информирования о результатах до совместного
анализа ситуации и выработки идей её коррекции.
Анкета размещена на сайте журнала в сети Интернет по адресу http://obr.direktor.ru
© Журнал руководителя управления образованием №1, 2012.