Критериальная база оценки качества образования

Критериальная база оценки качества
образования
Педквалиметрия
Лекция
В научной литературе выделена следующая
структурно-логическая схема
критериальной базы оценки качества
образования:
Параметры - КритерийПоказатели- ИндикаторыСпособ фиксации.
Параметр - в большей мере математическое понятие,
трактуемое как переменная величина, хотя
довольно часто используется и в других областях
науки, обозначая при этом
величину, которая характеризует какое-либо
основное свойство процесса, явления или
системы.
Требования к параметрам: параметры не должны
дублировать друг друга,
их недолжно быть много, но в то же время, они
должны быть универсальны, подходить для
изучения эффективности деятельности, давать
полное представление о мере влияния качества
организации, жизнедеятельности, соответствовать
реальным возможностям практического
применения.
Виды параметров:
а) деятельностно-процессуальные
параметры отражают сущность
деятельности, основные структурные
компоненты, характеризующие
состояние (качество);
Примеры:
отношение к учебе,
интерес к учебе,
к сотрудничеству
б)социальные параметры – должны
отражать наиболее существенные факторы
деятельности, влияющие на обеспечение
эффективности данного вида деятельности;
Например:
отношения в семье;
отношения в учебной группе;
в) функциональные параметры - отражают
степень реализации потенциальных
возможностей субъектов деятельности;
Например:
 учебные достижения;
 профессиональная компетентность
В педагогике: критерий - как основной
признак, по которому одно решение
выбирается из множества возможных.
Критерий - это мерило, признак для
оценки, классификации, суждение;
признак, позволяющий из множества
возможных решений выбрать одно.
(М.И.Шилова)
Критерий - как средство, с помощью которого
измеряются уровни, степени проявления
того или иного явления, трактуется как
мерило оценки суждений. (И.А. Маврина)
Посредством применения критерия
выделяется преимущество какого-либо
выбора по сравнению с остальными,
проверяется соответствие результата
поставленной цели или дается оценка
степени ее реализации.
Критерии оценки – уровни усвоения
Будем считать, что ученик усвоил понятия на
уровне:
Знаний, если он верно выполнил задания №
1,4;
Понимания, если - № 1,4,7,8
Применения в знакомой ситуации, если № 1,2,4,5;
Применения в новой ситуации, если –
№ 3,6,7,8
Философия: критерии - как определенные нормы
и правила, которые позволяют решить является
ли правильным каждый отдельный шаг.
Критерии не фиксируют наиболее перспективные
и продуктивные принципы и способы действия,
а только выражают объективные законы и
логику развития явления.
Социология: критерий выступает как мера
оценки, определения, сопоставления явления
или процесса; признак, являющийся основой
классификации
(Социологический энциклопедический словарь /
под ред. Г.В. Осипова).
Пример.
Выберите критерий аттестации испытуемых по
учебной дисциплине
а)не менее 80% испытуемых освоили
60% – 70% разделов;
б)от 70% до 60% испытуемых освоили
80% – 90% разделов;
в)не менее 50% испытуемых освоили
100% разделов;
г)100% испытуемых освоили
50% разделов.
1.Различная степень выполнения задания:
верно и полностью;
верный ход рассуждений, но не
доведенный до конца;
верна только часть рассуждений.
2.По количеству ошибок, недочетов в
задании:
 «выполненное»
 «выполненное частично»
 «невыполненное»
3.Определение доли выполнения работы:
2/3 – «3»;
3/4 – «4»;
1 – «5»
4.Описание критериев оценки через
следующие характеристики:
полнота освоения;
владение понятийным аппаратом;
ориентация в учебном материале;
осознанность применения знаний;
грамотность и логичность изложения.
Оценка заданий типа С в ЕГЭ
Идеальное решение (эталон) предполагает наличие
следующих элементов:
• 1)верной последовательности всех шагов решения;
• 2) обоснования всех ключевых моментов решения;
• 3)правильно выполненных преобразований и
вычислений;
• 4)правильного ответа.
Решение, содержащее все выделенные элементы,
оценивается 4 баллами, что соответствует школьной
отметке «5».
Типы критериев:
критерии эффективности,
критерии результативности,
критерии оценки эффективности.
Специфика
критерии эффективности позволяют оценить степень
достижения цели с учетом произведенных затрат
различных ресурсов.
критерии результативности дают возможность понять
достигнуты ли результаты, а также характеризуют
стандарты для определения качества этих
результатов.
критерии оценки эффективности – это мера( степень )
проявления признака характеризующегося
эффективность деятельности.
Выступая в роли мерила, нормы, критерий
служит как бы идеальным образцом,
выражает, высший, наиболее совершенный
уровень изучаемого явления.
Он выступает как фундаментальный принцип,
норма, эталон, который определяет
основания, позволяющие отличить
эффективную деятельность от неэффективной.
С одной стороны, это инструмент для
определения, выявления факта наличия или
отсутствия эффективности деятельности, а с
другой - правило.
Этапы создания критерия:
Например, этапы для создания критерия оценки
 - выделить основания для поиска критериев
(параметры);
- выделить системообразующий признак,
объединяющий параметры (критерий);
- найти основания, позволяющие судить о
проявлении выделенных параметров
(показателей);
- обозначить характеристики критерия,
которые могут быть реально зафиксированы
(индикаторы).
Требования, которые предъявляют к критериям
Критерии должны быть:
- валидными, то есть быть пригодными для выполнения
поставленной задачи;
- однозначными, то есть их словесное выражение должно иметь
однозначный смысл;
- независимыми от субъективных условий и обстоятельств;
- формулировка критериев не должна быть громоздкой, чтобы не
осложнять процесс изучения эффективности;
- полными , учитывающими все особенности деятельности;
- гибкими, то есть такими, чтобы, с одной стороны, с помощью
критериев можно определить эффективность видов
деятельности, так называемую «аспектную деятельность», а, с
другой- эффективность деятельности в целом.
- простыми в использовании;
- достаточными, но не избыточными. Не исключается, что может
быть найден только один (универсальный), отвечающий всем
вышеизложенным требованиям .
Показатели
Показатель вместе с критерием рассматривается
как средство, с помощью которого измеряются
или одобряются альтернативы наиболее
оптимального решения практических задач в
существующих или заданных конкретных
условиях.
Вычленение конкретных показателей вызвано
необходимостью содержательного и глубокого
анализа феномена деятельности. Показатель
есть конкретный измеритель критерия,
он делает его доступным для измерения и
наблюдения.
Показатель не включает в себя всеобщее измерение,
так существует достаточность свойств для полноты
характеристики того или иного явления.
Он отражает отдельные свойства и признаки
познаваемого объекта и служит средством
накопления количественных и качественных
данных для критериального обобщения.
Главными характеристиками понятия
«показатель»являются конкретность и
диагностичность, что предполагает доступность его
для наблюдения, учета и фиксации, а также
позволяет рассматривать показатель как более
частное по отношению к критерию, а значит
измерителя последнего.
В общем смысле под показателем понимают
основание, позволяющее судить о наличии
того или иного признака.
Число показателей, как и параметров, должно
быть сведено до минимума, потому что
процедура оценивания должна быть простой.
Наиболее важное требование- показатели
должны быть понятными, конкретными,
доступными для измерения. Каждый из
показателей должен быть достаточно емким, с
тем, чтобы он отражал основные области
деятельности.
Помимо показателей критериальную базу составляют
норма, правило.
В философии:
норма рассматривается как предписание, разрешение
или запрещение действовать определенным образом.
Независимо от ее конкретного содержания, структура
нормы включает четыре элемента:
содержание- действия, являющееся объектом
нормативной регуляции;
характер-норма обязывает, разрешает или запрещает это
действие;
условия приложения-обстоятельства, в которых должно
или не должно выполняться действие;
субъект- лицо или группа лиц, которым адресована норма.
• Самым общим образом норму можно
разделить на правила, предписания,
технические нормы ( что должно быть
сделано для достижения определенного
результата).
• Норма представляет собой частный случай
оценок: это социально апробированные и
социально закрепленные оценки.
Пример: ФГОС
В социологии норма- это
1. мера, образец, средняя величина чего-нибудь;
2. узаконенное представление, признанный
обязательный порядок, строй чего- нибудь;
3. правило поведения в определенной ситуации;
4. форма регулирования поведения в биологических,
технических, социальных системах
В психологии выделяют три основных вида норм:
1. статические, характеризующие статистическое
большинство описываемых объектов,
2. физиологические, характеризующие по
избираемым параметрам процессы и состояния
здорового организма,
3. индивидуальные
В педагогике: Правило рассматривается как
постановление, предписание,
устанавливающее порядок чего- либо.
В социологии: Правило трактуется как1.норма, регулирующая поведение;
2. общепринятый способ поведения или
действия;
3. критерий, эталон, образец поведения
(Социологический словарь С. 254).
Попытки ученых и практиков найти ответы на
вопросы о том, на какие показатели и
критерии следует ориентироваться при
оценке КО, позволяют констатировать, что
показатели и критерии качества
образования пока еще не полностью
разработаны, чаще всего они увязываются с
критерием эффективности
функционирования образовательной
системы.
К основным принципам отбора показателей для оценки качества
образования можно отнести следующие:
 ориентация на требования внешних пользователей;
 учет потребностей системы образования;
 минимизация системы показателей с учетом потребностей разных
уровней управления системой образования;
 инструментальность и технологичность используемых показателей
(с учетом существующих возможностей сбора данных, методик
измерений, анализа и интерпретации данных, подготовленности
потребителей к их восприятию);
 оптимальность использования источников первичных данных для
определения показателей качества и эффективности образования
 иерархичность системы показателей;
 сопоставимость системы показателей с международными аналогами;
 соблюдение морально–этических норм в отборе показателей .
Для оценки эффективности системы все показатели разделяют на три
группы, тесно взаимосвязанные между собой.
1 группа – включает показатели, отражающие информацию :
о финансировании образования, его кадровом,
информационном, материально–техническом (учебные помещения,
лаборатории, оборудование, расходные материалы),
методическом (учебная литература, наглядные пособия, макеты,
тренажеры и т.д.) и другом обеспечении;
о структуре и содержании образовательных программ,
формах организации учебного процесса,
методах реализации целей обучения и воспитания,
о педагогических технологиях, подготовке и переподготовке
педагогических кадров.
Эти показатели более всего различаются в образовательных системах
одного уровня и достаточно быстро изменяются с течением времени
и требуют стандартизации
2 группа показателей отражает:
доступность и дифференциацию обучения,
организацию образовательного процесса (назначение,
принципы, методы, планирование),
стандартизированность и вариативность программ,
использование традиционных и информационных
технологий обучения и контроля,
соответствие структуры и содержания актуальным
тенденциям теории и практики образования,
деятельность образовательного учреждения в основное и
неосновное время,
внедрение инновационных методов обучения,
использование современных средств и методов контроля за
процессом и результатами обучения,
способность к модификации форм и методов контроля.
3 группа. показатели, характеризующие результаты
контрольно–оценочной деятельности и ожидаемые
позитивные изменения в процессе управления качеством
обучения: показатели, определяющие качественный
состав обучаемых, качество получаемых знаний, умений,
навыков и компетенций, результаты учебных
достижений, информацию о дальнейшей общественной
судьбе обучавшихся;
увеличение динамики прироста качества знаний учащихся,
личностных достижений учащихся и учителей,
рациональность организационной структуры учебного
процесса и гибкость использования контрольно–
оценочной системы, сбалансированность пропорций
контроля и самоконтроля, адаптивность образовательной
системы применительно к запросам пользователей и
качеству подготовки обучающихся.
В процессе мониторинга в центр внимания ставятся данные о результатах
учебных достижений или подготовленности обучающихся.
Показатели КО можно разделить на две основные группы:
качество условий для осуществления образовательного процесса,
обеспечиваемое со стороны органов управления образованием
(стандарты, учебные программы, кадры, материально–техническое и
информационно–технологическое обеспечение и др.)
и уровень учебных достижений как результат овладения обучающимися
определенной суммой знаний, умений, навыков и компетенций.
В конечном счете, при оценке КО важнейшей является оценка
достижений обучающихся как результата учебно-воспитательного
процесса.
Остальные данные о размерах вложений в образование, кадровом
обеспечении, методических системах обучения, социально–
экономическом статусе семей и многое другое являются условиями,
влияющими на результаты обучения и степень усвоения знаний и
позволяющими оценивать комплексно КО.
Для понимания КО вводятся дополнительные показатели:
• образовательные достижения по отдельным предметам;
• динамика образовательных достижений;
• отношение к учебным предметам;
• ключевые (внепредметные) компетентности (познавательные,
социальные, информационные и др.);
• удовлетворенность образованием;
• степень участия в образовательном процессе (активная работа на
уроке, участие во внеурочной работе, пропуски занятий и др.);
• дальнейшее образование и карьера выпускника; выделение в
таксономии образовательных достижений по отдельным предметам
уровней грамотности и компетентности.
Критерии оценивания состояния объекта исследования
зависят от задач и целей мониторинга. В обобщенном
виде к таковым можно отнести:
• соответствие тестового балла эталону, статистической
норме или заданному уровню;
• достижение требований образовательных стандартов как
степень совпадения фактического и запланированного
результатов;
• соответствие достигнутого уровня подготовленности
запросам и ожиданиям потребителей образовательных
услуг (учащихся, родителей, вузов, сузов и др.).
Оценка качества учебных достижений
обучающихся позволяет
опосредованно делать выводы о
качестве предоставляемых
образовательных услуг. По анализу
результатов контрольно–оценочной
деятельности, как правило, делаются
выводы о качестве образовательного
процесса.
Замечание.
В объективной педагогической оценке отражаются
не только уровень учебных достижений и степень
развития обучающегося, но и уровень
профессионализма педагога, надежность
методов и технологий обучения, интегральные
показатели независимого контроля позволяют
делать выводы о качестве образовательного
процесса и образовательных систем,
осуществлять прогнозирование их дальнейшего
развития, создания новых средств и методов
управления качеством образования.