Под внутренним мониторингом качества образования в
реклама
1 На правах рукописи С. Н. Кучер, Т. М. Гозман ОРГАНИЗАЦИЯ ВНУТРЕННЕГО МОНИТОРИНГА КАЧЕСТВА ОБРАЗОВАНИЯ В ОБРАЗОВАТЕЛЬНОМ УЧРЕЖДЕНИИ Методические рекомендации для руководителей образовательных учреждений, специалистов муниципальных органов управления образованием Барнаул 2010 2 Авторы: Сергей Николаевич Кучер, проректор краевого государственного образовательного учреждения дополнительного профессионального образования «Алтайский краевой институт повышения квалификации работников образования» (АКИПКРО) по качеству, кандидат педагогических наук [email protected] моб. 8 909 500 00 11 раб. 3852 361980 Татьяна Марковна Гозман, начальник отдела контроля качества образования Управления Алтайского края по образованию и делам молодежи, кандидат педагогических наук [email protected] 3 Оглавление Введение .........................................................................................................................................4 1. Назначение и место внутреннего мониторинга качества образования в образовательном учреждении ......................................................................................................6 2. Общая организация внутреннего мониторинга качества образования ...........................11 2.1. Определение целей и задач...................................................................................11 2.2. Определение объектов и предмета мониторинга ...............................................13 2.3. Формирование показателей (индикаторов) ........................................................21 2.3.1. Понятие показателя ........................................................................................................21 2.3.2. Отбор показателей ..........................................................................................................23 2.3.3. Выбор типа и размерности измерительной шкалы ................................................27 3. Формирование функциональной структуры внутреннего мониторинга качества образования ..................................................................................................................................35 3.1. Общая функциональная структура ......................................................................35 3.2. Сбор первичных данных .......................................................................................39 3.2.1. Наблюдение .....................................................................................................................39 3.2.2. Опрос .................................................................................................................................43 3.2.3. Тестирование ...................................................................................................................51 3.2.4. Метод экспертных оценок ............................................................................................54 3.2.5. Выборочный метод ........................................................................................................57 3.3. Обработка данных .................................................................................................61 3.3.1. Преобразование данных................................................................................................61 3.3.2. Статистическая обработка данных .............................................................................66 3.3.3. Агрегирование показателей .........................................................................................72 3.4. Предоставление информации ...............................................................................77 3.5. Хранение информации ..........................................................................................86 4. Распределение кадровых, временных и иных ресурсов ...................................................90 5. Правовое регулирование функционирования системы внутреннего мониторинга качества образования ..................................................................................................................94 Список литературы ......................................................................................................................98 Приложение 1. Информация об образовательном учреждении, доводимая до всеобщего сведения ......................................................................................................................................101 Приложение 2. Примерный перечень показателей для осуществления внутреннего мониторинга качества образования .........................................................................................103 Приложение 3. Примерный перечень должностей (функциональных позиций) работников, привлекаемых к выполнению работ в рамках ВМК ..............................................................118 Приложение 4. Основные факторы, оказывающие негативное влияние на качество информации................................................................................................................................ 121 4 Введение Осуществление внутреннего мониторинга качества образования для значительного числа образовательных учреждений является достаточно освоенной деятельностью. Но до недавнего времени решение о его организации и проведении принималось лишь отдельными учреждениями (как правило, инновационными), испытывавшими потребность в дополнительной информации о состоянии дел на различных участках, ходе и результатах образовательного процесса в связи реализацией перспективных планов развития образовательного учреждения, программ научноисследовательской (опытно-экспериментальной) и иной деятельности. Вступающий в силу с 1 января 2011 года Федеральный закон от 08 ноября 2010 года № 293-ФЗ «О внесении изменений в отдельные законодательные акты Российской Федерации в связи с совершенствованием контрольно-надзорных функций и оптимизацией предоставления государственных услуг в сфере образования» расширяет сферу компетенции и ответственности образовательных учреждений, определенную статьей 32 Закона РФ «Об образовании», возлагая на образовательное учреждение решение таких задач, как обеспечение функционирования системы внутреннего мониторинга качества образования, а также создание и ведение официального сайта образовательного учреждения в сети Интернет. Согласно пункту 3 указанной выше статьи Закона РФ «Об образовании» образовательное учреждение несет ответственность в установленном законом порядке за невыполнение функций, отнесенных к его компетенции. Это означает, что создание и обеспечение функционирования системы внутреннего мониторинга качества образования следует рассматривать не как право образовательного учреждения, а как его обязанность, и ставить законный вопрос, насколько качественно это осуществляется. Настоящие методические рекомендации по организации внутреннего мониторинга качества образования в образовательном учреждении опираются, во-первых, на общее представление о том, что любая деятельность может рассматриваться как технологический процесс (совокупность технологических процессов) и потому может быть улучшена. Данное представление является аксиомой концепции всеобщего управления качеством (Total Quality Management), выступающей в качестве теоретической основы организации управления качеством в различных областях производственной и иной деятельности и закрепленной в международных и российских стандартах качества. 5 Во-вторых, внутренний мониторинг качества образования в образовательном учреждении рассматривается как деятельность, направленная на обеспечение принятия органами управления образовательного учреждения своевременных и обоснованных решений. Не менее важным в этой связи является также информирование органов управления о последствиях ранее принятых ими решений, о ходе и результатах деятельности учреждения, его отдельных структурных подразделений, должностных и иных лиц. Таким образом, внутренний мониторинг качества образования выступает как вид информационного обеспечения управления образовательным учреждением, дополняющий поток нормативной информации («как должно быть») информацией о реальном положении дел в учреждении («как есть»). В-третьих, систему внутреннего мониторинга качества образования не следует понимать как дополнительную надстройку в структуре управления образовательным учреждением, возводимую в дань моде и, как считают некоторые руководители образовательных учреждений, просто дублирующую существующую практику информационного обеспечения управления. Организация внутреннего мониторинга – согласно духу и букве первой аксиомы всеобщего управления качеством – заключается в последовательной реорганизации указанной практики, ее совершенствовании в целях получения своевременной, полной и достоверной информации для эффективного управления функционированием и развитием образовательного учреждения. В-четвертых, из обязательности создания и осуществления внутреннего мониторинга качества образования не следует, что во всех образовательных учреждениях это должно быть сделано совершенно одинаково. Структура и содержание мониторинга качества образования в конкретном образовательном учреждении отражает специфику данного учреждения, особенности его образовательной и иной деятельности. Вместе с тем, существуют определенные требования и правила к его организации и осуществлению, игнорирование которых может свести на нет все затраченные усилия. Настоящие методические рекомендации призваны способствовать грамотному решению основных вопросов, встающих перед органами управления образовательным учреждением в части формирования (совершенствования) и функционирования системы внутреннего мониторинга качества образования, что, в свою очередь, позволит обеспечить полное и своевременное удовлетворение потребностей органов управления образовательным учреждением в необходимой им информации. 6 1. Назначение и место внутреннего мониторинга качества образования в образовательном учреждении Под внутренним мониторингом качества образования в образовательном учреждении (ВМК) понимается вид деятельности по информационному обеспечению управления образовательным учреждением, основанной на систематическом стандартизированном изучении состояния основных и обеспечивающих процессов (видов деятельности) данного учреждения, условий и результатов их осуществления. В приведенном рабочем определении следует выделить ряд наиболее важных моментов. В первую очередь, ВМК осуществляется в интересах управления конкретным образовательным учреждением (ОУ); и его ценность определяется исключительно тем, насколько он соответствует этому предназначению. Предполагается, что ВМК – это систематически осуществляемая деятельность. Систематичность ВМК означает, с одной стороны, охват мониторингом всех ключевых процессов, объектов и сторон деятельности ОУ, с другой стороны – определенную периодичность (многократность, повторяемость) соответствующих измерений и иных контрольных действий. Не менее существенным признаком мониторинга вообще и ВМК в частности является указание на обязательную стандартизированность действий, составляющих эту деятельность. Требование стандартизации (жесткой регламентированности, унификации) логически вытекает из предыдущего требования (т.е. систематичности). Данные, предоставляемые ВМК, могут поддаваться сравнению и анализу в динамике только при наличии гарантий, что в течение всего времени осуществления ВМК эти данные собираются, обрабатываются и анализируются однотипно, унифицировано. Если, например, в прошлом учебном году воспитанность обучающихся оценивали посредством устного опроса классных руководителей, а в текущем году – путем анкетирования самих обучающихся, то никаких выводов об улучшении или ухудшении результатов воспитательной работы в ОУ делать нельзя. Требование стандартизированности относится не только к используемым методам и средствам изучения состояния объектов управления, но и к срокам их изучения. Очевидно, что если год назад обучающихся, завершивших обучение по образовательной программе начального общего образования, тестировали в мае, а в этом году — в силу ряда обстоятельств — это провели лишь в сентябре, есть серьезные основания сомневаться в сопоставимости результатов. Даже несмотря на то, 7 что и тесты были те же самые, и процедура тестирования была соблюдена точно, и проводили тестирование те же люди. Разумеется, сказанное выше не означает, что во всех ОУ должны использоваться одни и те же методы, средства, процедуры, временные графики и т.д. Каждое ОУ вправе самостоятельно определять содержание и порядок осуществления ВМК. Но сделав это, ОУ должно в последующем настаивать на безусловно точном соблюдении установленного порядка и пресекать несанкционированные отступления от него со стороны отдельных исполнителей, чем бы такое «творчество» ни оправдывалось. Если в определенный момент становится очевидным, что те или иные методы, средства или процедуры ВМК исчерпали себя, либо были выбраны ошибочно, ОУ вносит необходимые изменения и реализует ВМК с учетом этих изменений. Место ВМК в общем кортеже процессов (видов деятельности) ОУ определяется его назначением и предоставляемыми им возможностями с точки зрения интересов обеспечения органов управления ОУ информацией о других процессах, осуществляемых в данном учреждении. Таблица 1 Перечень основных и обеспечивающих процессов (видов деятельности) ОУ Процессы Ожидаемый продукт (результат) процесса Деятельность руководства ОУ Определение стратегии, политики и Стратегия, политика и цели деятельности ОУ целей деятельности ОУ Планирование деятельности ОУ в Перспективные и оперативные планы целом. Организация планирования в деятельности ОУ, структурных подразделений, ОУ должностных лиц Распределение ответственности и Полное и последовательное распределение полномочий ответственности и полномочий между органами управления, структурными подразделения, отдельными должностными лицами Анализ деятельности ОУ со стороны Управленческие решения. руководства Информирование учредителя и Своевременное обеспечение учредителя и общественности о деятельности ОУ общественности достоверной информацией о деятельности ОУ в установленных объемах Основные процессы Разработка основных Основные образовательные программы, образовательных программ соответствующие нормативным требованиям, социальным и личностным ожиданиям Прием обучающихся Контингент обучающихся Реализация основных Достижение и подтверждение обучающимися 8 Процессы образовательных программ Ожидаемый продукт (результат) процесса определенного образовательного уровня, предусмотренного федеральными государственными образовательными стандартами Воспитательная и внеучебная работа Воспитанность обучающихся. Личностный опыт с обучающимися социально полезной деятельности обучающихся Разработка дополнительных Дополнительные образовательные программы, образовательных программ соответствующие социальным и личностным ожиданиям Реализация дополнительных Обогащение личностного опыта, развитие образовательных программ интересов и специальных способностей обучающихся Предоставление платных Удовлетворение индивидуальных образовательных услуг образовательных запросов обучающихся и их родителей (законных представителей), населения Обеспечивающие процессы Управлением персоналом Соответствие работников квалификационным требованиям по занимаемым ими должностям Управление образовательной средой Материальные, санитарно-гигиенические и иные условия обучения, соответствующие нормативным требованиям, социальным и личностным ожиданиям Управление социальной Условия для питания, медицинского инфраструктурой обслуживания и проживания1 обучающихся, соответствующие нормативным требованиям Библиотечно-информационное Удовлетворение информационных запросов обслуживание обучающихся и участников образовательного процесса в ОУ работников ОУ Управление производственной Условия труда работников ОУ, соответствующие средой нормативным требованиям. Выполнение обязательств по коллективному договору и иным соглашениям в области трудовых отношений между работодателем и работниками Управление закупками Своевременное и полное обеспечение ОУ товарами и услугами сторонних организаций, необходимыми для деятельности ОУ Обеспечение безопасности Безопасные условия пребывания участников жизнедеятельности образовательного процесса в здании и на территории ОУ Социальная поддержка Выполнение мероприятий по социальной обучающихся и работников поддержке Измерение, анализ и улучшение Мониторинг, анализ и измерение Своевременное обеспечение органов управления процессов достоверной и полной информацией о состоянии ОУ Управление несоответствиями Устранение несоответствий Улучшение процессов Улучшение процессов 1 Для ОУ, обеспечивающих условия для проживания обучающихся. 9 В приведенном в Таблице 1 перечне ВМК занимает особое место. С одной стороны, это один из самостоятельных процессов, входящий в группировку «Измерение, анализ и улучшение», с другой – как бы «накрывает» все остальные процессы (виды деятельности) ОУ, выступая в качестве одного из основных источников информации об их состоянии в прошлом, настоящем и даже — при определенных условиях — в ближайшем будущем. В этой связи ВМК можно рассматривать как «правопреемника» внутришкольного контроля. Последний в его традиционном, наиболее распространенном понимании обычно ограничивался осуществлением контроля за деятельностью педагогических работников и результатами обучения обучающихся, воплощаясь в таких форматах, как «персональный контроль», «классно-обобщающий контроль», «тематический контроль». Современное трактовка понятия качества образования, включающая в это понятие качество не только педагогической деятельности и ее результатов, но и других видов деятельности, а также условий для их осуществления, означает, что содержание внутришкольного контроля должно быть дополнено и систематизировано (распределено) с учетом функциональных возможностей других доступных инструментов информационного обеспечения управления ОУ. Мониторинг, анализ и измерение процессов Внутренний мониторинг качества образования в ОУ Внутренний административный контроль Специальные исследования Систематическое регламентированное локальными правовыми актами ОУ отслеживание состояния постоянно осуществляемых основных и обеспечивающих процессов ОУ, непосредственно определяющих качество образования в ОУ Осуществление текущего контроля выполнения перспективных, годовых и оперативных планов (программ), приказов и распоряжений органов управления (должностных лиц) ОУ, проведения отдельных запланированных мероприятий Изучение, анализ и измерения различных объектов (процессов, явлений и т.д.), осуществляемые внешними организациями, а также силами ОУ по соответствующим разовым запросам органов управления ОУ Рис. 1. Процессы информационного обеспечения управления ОУ По определению, ВМК осуществляется силами самого ОУ, т.е. силами его работников и, в ряде случаев, других участников образовательного 10 процесса. Соответственно, в содержание ВМК не включаются государственная (итоговая) аттестация обучающихся и другие виды деятельности по изучению и оценке качества образования в ОУ, осуществляемые внешними организациями, в том числе международные, федеральные и другие мониторинговые исследования в области образования. Смысл и управленческая ценность ВМК заключается в том, чтобы обеспечить органы управления ОУ достоверной оперативной информацией о качестве образования до того, как ими будут получены какие бы то ни было сведения о нем (т.е. о качестве образования в ОУ) извне. Более того, что касается мониторинговых исследований регионального и более высокого уровня, вероятность участия в них конкретного ОУ сравнительно невелика и обусловлена, главным образом, случайностью в ее вероятностностатистическом смысле. Управление же качеством образования в ОУ осуществляется «здесь и сейчас», планомерно и систематически, и постоянно нуждается в полной и точной оперативной внутренней информации, которую другие организации, по определению, предоставить не могут. Назначение и место внутреннего административного контроля — в связи с развертыванием и осуществлением ВМК — уточняется с учетом актуальных управленческих задач, которые в содержание ВМК не включены (Рис. 1). Специфика последнего определяется тем, что он обеспечивает органы управления ОУ информацией о постоянно осуществляемых процессах (видах деятельности), регламентируемых локальными нормативными актами (уставом, положениями, инструкциями, в том числе должностными, и т.п.). В этой связи, внутренний административный контроль позиционируется как контроль исполнения организационнораспорядительных актов оперативного характера (приказов и распоряжений администрации, решений органов самоуправления ОУ, годовых и оперативных планов), т.е. предоставляет информацию о полноте и своевременности выполнения структурными подразделениями и отдельными должностными лицами ОУ конкретных действий (мероприятий, задач). Эта информация представляет собой очевидную управленческую ценность и логично дополняет информацию о состоянии основных и обеспечивающих процессов в ОУ, предоставляемую ВМК. 11 2. Общая организация внутреннего мониторинга качества образования Как было указано выше, общую организацию ВМК целесообразно рассматривать как реорганизацию (совершенствование) практики внутриучрежденческого контроля с учетом особенностей конкретного образовательного учреждения и современных требований к основным и обеспечивающим процессам (видам деятельности), условиям и результатам их осуществления. Организация ВМК включает определение целей и задач, объектов и предмета (показателей) ВМК, форм и порядка сбора, обработки, предоставления и хранения представления информации, распределение функций (полномочий) и ответственности между непосредственными исполнителями, а также материальных, временных и иных необходимых ресурсов. 2.1. Определение целей и задач Предполагается, что целью ВМК является своевременное обеспечение органов управления ОУ полной и достоверной информацией о состоянии текущей деятельности (видов деятельности) ОУ, необходимой для осуществления указанными органами отнесенных к их компетенции функций и полномочий. В приведенной формулировке цели зафиксированы назначение и основные требования к ВМК (критерии достижения цели), позволяющие судить о достижении или недостижении цели. Назначение ВМК заключается в обеспечении органов управления ОУ информацией, необходимой для осуществления ими возложенных на них функций (полномочий). При этом под указанными органами понимают органы управления, предусмотренные уставом ОУ и наделенные последним определенными функциями и полномочиями. К числу этих органов относятся: учредитель, органы самоуправления ОУ (управляющий совет, педагогический совет, общее собрание работников и т.д.) и единоличный исполнительный орган в лице руководителя (директора, заведующего и т.д.) учреждения. Перечисленные органы рассматриваются как потребители (пользователи) информации, которым она предоставляется в обязательном порядке. По усмотрению ОУ перечень потребителей информации ВМК может быть расширен. Например, в ряде ОУ в число таковых включают 12 педагогических работников, родителей (законных представителей) обучающихся и других лиц2. Согласно предлагаемой формулировке цель ВМК можно считать достигнутой, если предоставленная органам управления ОУ информация полна, достоверна и своевременна. Требование полноты информации не означает, что чем больше информации, тем лучше. Поскольку материальные, кадровые и временные ресурсы ОУ всегда ограничены (не бесконечны), объем и содержание предоставляемой органу управления информации должен быть минимально достаточным для осуществления данным органом возложенных на него функций (полномочий). Избыток информации не менее вреден, чем ее недостаток, а затраты на сбор, обработку и предоставление излишней информации неизбежно ведут к снижению эффективности деятельности ОУ в целом. Разумная полнота информации достигается четким определением перечня объектов мониторинга в ОУ, необходимых показателей (индикаторов), отражающих состояние этих объектов, и предоставлением информации в объеме, соответствующем характеру задач, решаемых тем или иным органом управления ОУ. Достоверность информации обеспечивается использованием методов и средств сбора и обработки данных, позволяющих получать как можно более объективную, надежную и валидную информацию о состоянии объектов мониторинга, полнотой их обследования3, привлечением квалифицированных (специально подготовленных) исполнителей. Своевременность информации обеспечивается, главным образом, разумным распределением кадровых, материальных и временных ресурсов, использованием менее трудоемких методик и процедур и, разумеется, дисциплинированностью и исполнительностью должностных лиц, непосредственно участвующих в осуществлении ВМК. Определение задач в любом виде деятельности осуществляется таким образом, чтобы в своей совокупности они обеспечивали достижение конечной цели. Руководствуясь этим правилом, целесообразно выделить следующие задачи ВМК: Речь в данном случае идет о педагогических работниках и иных лицах, взятых по отдельности. Иными словами, не следует смешивать педагогический совет как орган самоуправления ОУ, состоящий из педагогических работников и получающий информацию для осуществления своих уставных функций и полномочий, и отдельных педагогических работников, которым предоставляется право на получение той или иной информации вне заседания педагогического совета. Соответственно, различают общее собрание родителей (орган самоуправления ОУ) и отдельно взятых родителей. 3 Под полнотой обследования понимается, с одной стороны, охват всех наиболее существенных свойств, признаков, характеристик объекта мониторинга (например, о качестве образовательной программы ОУ нельзя судить лишь на основании данных о качестве ее оформления как документа); с другой стороны – охват всех объектов, относящихся к данному классу, категории (соответственно, нельзя судить об обученности всех обучающихся начальных классов ОУ, если был обследован только один класс). 2 13 1. Осуществление систематического сбора информации (первичных данных) о состоянии основных и обеспечивающих процессов (видов деятельности) ОУ. 2. Осуществление статистической и аналитико-синтетической обработки собранных данных, документальное оформление результатов обработки и предоставление их непосредственным пользователям в установленном порядке. 3. Хранение первичных данных и (или) документов, содержащих результаты их обработки, на бумажном и электронном носителях в течение установленного срока, обеспечение доступности первичных данных и (или) документов, содержащих результаты их обработки, в течение срока хранения. Указанные выше задачи сформулированы на основе выделения основных технологических процессов, образующих функциональную структуру ВМК (сбор, обработка, предоставление и хранение информации). Такой подход не является единственно возможным; в качестве приемлемой альтернативы можно рассматривать формирование перечня задач на основе выделения основных объектов ВМК (например, отдельных основных и обеспечивающих процессов), либо потребителей информации. Необходимо заметить, что в предложенный перечень задач не включены задачи, связанные с организационно-методическим обеспечением ВМК (определение объектов, формирование показателей и критериев и т.д.) и его совершенствованием. Указанные задачи, действительно, требуют выполнения, но представляют собой не столько задачи ВМК, сколько задачи ОУ по созданию (реорганизации) и развитию системы ВМК, т.е. соответствуют иной деятельности — организационно-управленческой деятельности руководства ОУ. Результатом выполнения указанных задач становится организационное обеспечение полноценного функционирования ВМК, эффективного выполнения им его специфических, внутренних задач 2.2. Определение объектов и предмета мониторинга В качестве объектов мониторинга могут выступать различные материальные (вещественные) и информационные объекты, а также люди и группы людей4. Формирование перечня объектов ВМК осуществляется на основе определенных правил и с учетом особенностей ОУ. Нисколько не умаляя значимости идеи о субъектности всех участников образовательного процесса в ОУ (включая обучающихся) и каждого из них в отдельности, в настоящих методических рекомендациях 4 14 В первую очередь следует отметить, что перечень объектов ВМК должен включать все ключевые объекты и быть исчерпывающим, т.е. закрытым, не оставляющим места для несанкционированных дополнений. Указанное правило логически следует из ограниченности материальных и иных ресурсов, которые ОУ может выделить для ВМК, и, соответственно, признания принципиальной невозможности охватить мониторингом все и вся — «Никто не обнимет необъятного!» Второе правило относится к решению вопроса о том, что именно можно считать объектом и включать в соответствующий перечень. В ряде случаев руководство образовательных учреждений и разработчики систем мониторинга в них смешивают объекты и качества (свойства, признаки, характеристики) этих объектов, представляющие, так сказать, «мониторинговый интерес». Для четкого различения объекта и предмета мониторинга руководствуются следующим: объектом мониторинга считается то, что существует объективно, самостоятельно, само по себе (люди, здания и помещения, оборудование, процессы и т.д.); предмет мониторинга составляют свойства этих объектов. При этом свойство объекта само по себе не существует, оно неотделимо от объекта5. Третье правило является следствием процессного подхода к управлению организацией, согласно которому основное внимание субъекта управления должно сосредоточиваться на самом процессе, а не на конечном результате этого процесса. Применительно к ВМК это означает, что хотя конечные результаты образовательной деятельности ОУ представляют безусловную и очевидную ценность6, но ориентировать содержание ВМК на них явно нецелесообразно. Во-первых, измерение (оценка) указанных результатов осуществляется в формате государственной (итоговой) аттестации обучающихся, т.е. не самим ОУ, а уполномоченными государственными органами; поэтому включать их в содержание ВМК, по меньшей мере, некорректно. Во-вторых, даже если возможно выделить такие конечные результаты образовательной деятельности, которые государственной аттестацией не измеряются и не учитываются, их ценность для управления ОУ весьма ограничена. Использовать их для совершенствования основных и обеспечивающих процессов в ОУ не представляется возможным, поскольку предполагается, что указанные лица выступают как объекты мониторинга, т.е. подвергаются изучению (обследованию) со стороны других лиц. 5 Так, например, воспитанность обучающихся – это свойство (характеристика) обучающихся, выступающих здесь как объект мониторинга. Соответственно, их воспитанность рассматривается как предмет мониторинга, поскольку сама по себе, вне объекта-носителя этого свойства, она не существует. 6 Под конечными результатами образовательной деятельности ОУ, согласно законодательству в области образования, понимается достижение (или недостижение) обучающимися образовательного уровня, установленного соответствующими федеральными государственными образовательными стандартами. 15 они характеризуют, главным образом, обучающихся, которые покидают данное учреждение (выпускников), и распространять их на тех, кто продолжает учиться в этом учреждении, будет явной натяжкой. Но еще более важным обстоятельством является то, что конечные результаты сами по себе обычно не содержат информации о причинах (факторах), следствием которых эти результаты являются. С точки зрения процессного подхода к управлению, высокое качество конечных результатов достигается систематическим и настойчивым совершенствованием соответствующих производственных процессов, а для этого требуется информация не столько о качестве конечных результатов, сколько о качестве (состоянии) процессов, которые это качество определяют. Иными словами, ВМК оправдывает свое наименование и соответствует своему назначению, если он обеспечивает органы управления информацией не столько о конечных результатах, сколько о состоянии тех факторов (материальных и информационных объектов, процессов), которые оказывают или могут оказать существенное влияние на конечные результаты деятельности ОУ сейчас или в ближайшем будущем. Общепризнано, что к числу таких факторов — применительно к образовательной практике — относятся: Качество образовательных программ ОУ; Качество образовательной среды ОУ; Качество педагогических и других кадров ОУ; Качество обучающихся ОУ; Качество родителей (законных представителей) обучающихся ОУ; Качество процессов реализации образовательных программ ОУ (образовательный процесс). Образовательные программы (как основные, так и дополнительные) представляют собой организационно-содержательную основу образовательного процесса в ОУ, своего рода пакет проектной документации, в соответствии с которой этот процесс организуется и осуществляется. В некоторых отраслях, например, в строительстве, считается, что качество проектной документации более чем на 70% определяет качество конечной продукции — ни качество используемых строительных материалов и оборудования, ни качество выполнения всех работ самыми квалифицированными специалистами не могут компенсировать просчеты проектировщиков, недостатки подготовленного ими проекта. В образовательной практике наблюдается совершенно аналогичная ситуация: некачественные образовательные программы существенно затрудняют, а порой и совершенно исключают достижение 16 качественных образовательных результатов даже при благоприятном влиянии других факторов. Образовательная среда представляет собой совокупность определенных материальных и информационных факторов (условий), в которых и посредством которых реализуются образовательные программы ОУ (здания, помещения, учебное оборудование, программное обеспечение, информационные ресурсы и т.д.) Некачественная, т.е. не соответствующая установленным требованиям, а также целям и содержанию реализуемых программ, образовательная среда не позволит достичь необходимых результатов даже при наличии безупречных образовательных программ. Кадры, как иногда говорится, решают все. Если педагогические работники, непосредственно участвующие в реализации образовательных программ одного не знают, другого не умеют, третьего не могут, а четвертого не хотят, ни качественные программы, ни качественная образовательная среда не могут гарантировать высоких результатов. Обучающиеся. Нет необходимости убеждать кого-либо в том, что обучающиеся, в том числе несовершеннолетние и даже малолетние – не материал для образовательного процесса, а его полноправные участники. Они, действительно, обладают субъектностью и рядом качеств (характеристик), которые оказывает на результаты их обучения отнюдь не меньшее влияние, чем остальные факторы. Влияние родителей (законных представителей), а в ряде случаев и других лиц из личного окружения обучающихся, видится невооруженным глазом. Но при этом необходимо учесть, что их можно рассматривать в качестве объектов ВМК только в случае, когда потребители информации ВМК (т.е. органы управления ОУ) знают, какая информация об этих лицах им необходима и как эта информация может быть использована. Образовательный процесс – это особый самостоятельный объект ВМК, представляющий собой системное взаимодействие перечисленных выше факторов и, в этой связи, не сводимый ни к одному из них в отдельности, ни к их совокупности. Названные объекты образуют инвариантную часть соответствующего перечня объектов ВМК в конкретном образовательном учреждении. Органы управления ОУ, с учетом особенностей данного учреждения и характера осуществляемых ими функций и полномочий, вправе дополнить приведенный перечень по своему усмотрению. Некоторые объекты, например, образовательная среда, могут рассматриваться не в целом, а по составляющим их более мелким объектам. Участников же образовательного процесса, для целей ВМК, часто объединяют в группы, представляющие собой новый объект. Общеизвестно, что люди, взятые по отдельности, и 17 группа людей – это совершенно разные объекты, обладающие столь же разными свойствами. Класс как группа обучающихся обладает свойствами, отнюдь не равняющимися сумме соответствующих свойств входящих в него индивидов, и поведение обучающегося в классе может сильно отличаться от его поведения один на один с учителем или в семье. Предмет ВМК определяется, как правило, одновременно с формированием перечня объектов, поскольку последние представляют практический интерес для управления ОУ не во всем многообразии их свойств (признаков, качеств, характеристик), а лишь в определенных аспектах, т.е. в их конкретных свойствах, непосредственно или прямо влияющих на качество образования. Так, основные образовательные программы ОУ, с точки зрения управления качеством образования, характеризуются, в первую очередь, насколько они соответствуют: а) существующим нормативным требованиям7, б) социальным и в) личностным ожиданиям, — что и составляет предмет мониторинга в данном случае. Достаточно важной представляется и другая предметная характеристика образовательных программ, которую можно условно обозначить термином реалистичность образовательной программы, т.е. наличие в ОУ достаточных кадровых, материальных и иных ресурсов для ее реализации. Впрочем, даже если та или иная основная образовательная программа признана на данный момент нереалистичной, это не означает, что она некачественная и должна быть отвергнута. Возможно, внедрение этой программы (разумеется, при условии, что она соответствует нормативным требованиям, социальным и личностным ожиданиям) является смысловым содержанием программы развития данного ОУ. Иными словами, коллектив ОУ принимает эту образовательную программу в принципе, сознает, что для ее реализации необходимы определенные дополнительные ресурсы, и ставит перед собой задачу эти ресурсы создать (изыскать). При определении предмета мониторинга довольно часто возникает проблема, заключающаяся в затруднениях при соотнесении предмета с конкретным объектом. В ряде случаев предмет мониторинга выделяется сравнительно легко, например, удовлетворенность родителей (законных представителей) обучающихся содержанием основной образовательной программы, но возникает вопрос, к какому именно объекту следует отнести эту характеристику: к родителям (законным представителям) обучающихся или к образовательной программе. Кого или что она характеризует? С одной стороны, федеральным государственным образовательным стандартам, с другой – гигиеническим требованиям к организации и осуществлению образовательного процесса в образовательном учреждении соответствующего типа и вида. 7 18 Объективная причина возникновения подобных затруднений заключается в системном характере образовательной практики. И образовательное учреждение как таковое, и осуществляемая в нем образовательная деятельность представляют собой не просто совокупность различных элементов (объектов), а их систему, целокупность, в рамках которой входящие в нее элементы взаимодействуют друг с другом. Поэтому сущность образовательной деятельности раскрывается не столько особенностями ее отдельных компонентов, сколько отношениями, функциональными связями между ними – образовательными отношениями. Практически любая информация может соотноситься и с одним участником (объектом) образовательных отношений, и с другим, и с третьим, и со всеми сразу. Для разрешения затруднений, возникающих при соотнесении объекта и предмета мониторинга, предлагается руководствоваться следующим правилом: информация, воспринимаемая как характеризующая несколько объектов одновременно, приписывается тому объекту, в отношении которого предполагается принимать те или иные решения, меры, санкции и т.д. Таким образом, если речь идет об удовлетворенности родителей обучающихся содержанием образовательной программы, то соответствующая информация рассматривается как характеризующая качество образовательной программы; соответственно, необходимые меры будут предприняты в отношении именно образовательной программы, а не лиц, выражающих удовлетворенность или неудовлетворенность этой программой8. Определяя предмет мониторинга в отношении каждого из объектов управления, т.е. формируя перечень основных свойств (качеств, характеристик) этих объектов, подлежащих систематическому отслеживанию, рекомендуется помнить о том, что это осуществляется в интересах эффективного управления ОУ, поэтому за каждой позицией данного перечня должен просматриваться конкретный фактор качества образования. По Г. П. Щедровицкому, любая деятельность связана с тремя типами факторов9: 1) учитываемыми и контролируемыми, 2) учитываемыми, но не контролируемыми, При этом не исключено, что неудовлетворенность родителей обучающихся образовательной программой является следствием не столько низкого качества данной программы, сколько искаженного или неполного представления о ней. В таком случае действия со стороны руководства ОУ, разумеется, должны быть направлены совсем на иной объект. 9 От лат. factor – делающий, производящий: причина, движущая сила какого-либо процесса, определяющая его характер или отдельные его черты. 8 19 3) не учитываемыми и не контролируемыми. При этом под учитываемостью фактора понимается принципиальная возможность получать информацию о его действии, учитывать его при принятии решений; а под контролируемостью – возможность оказывать инициативное или ответное воздействие на тот или иной фактор, контролировать его в процессе деятельности. В полной мере назначению и целям ВМК соответствуют факторы первого типа (учитываемые и контролируемые). Нельзя отрицать ценность факторов и второго типа (учитываемые, но не контролируемые). Несмотря на то, что ОУ не располагает возможностью непосредственно влиять на них, отсутствие или недостаточность информации о том, как они действуют на ОУ, не позволит обеспечить эффективное функционирование и развитие ОУ. Примером такого фактора, который ОУ не контролирует, но может и даже обязано учитывать, является законодательство в области образования со всеми его изменениями и дополнениями, вносимыми практически постоянно. Учет этого фактора безусловно необходим для принятия обоснованных управленческих решений и практических мер. Факторы третьего типа (не учитываемые и не контролируемые) по понятным причинам в содержание ВМК не включаются. Это не означает, что они в принципе не учитываемы и не контролируемы. Возможно, какие-либо другие организации обладают ресурсами для учета воздействия указанных факторов на систему образования и возможностями их контролировать, но ОУ об этом неизвестно. Развивая мысль Г. П. Щедровицкого, следует признать, что теоретически возможно существование факторов и четвертого типа (не учитываемые, но контролируемые). Иными словами, речь идет о таких факторах, которые ОУ может контролировать, но по тем или иным причинам не учитывает, т.е. не осуществляет их систематического изучения посредством ВМК или иной информационной деятельности. Это может объясняться просчетами, упущениями со стороны руководства ОУ при организации ВМК (если такая информация действительно необходима для эффективного управления ОУ), либо сознательным исключением соответствующих объектов управления из перечня объектов ВМК в связи с тем, что для осуществления органами управления ОУ своих функций и полномочий данная информация не требуется или требуется лишь эпизодически (может быть получена вне ВМК). 20 ФАКТОРЫ КАЧЕСТВА ОБРАЗОВАНИЯ УЧИТЫВАЕМЫЕ НЕУЧИТЫВАЕМЫЕ А Б ОБЛАСТЬ АКТУАЛЬНОЙ УПРАВЛЯЕМОСТИ КОНТРОЛИРУЕМЫЕ ОБЛАСТЬ ВОЗМОЖНОЙ УПРАВЛЯЕМОСТИ В НЕКОНТРОЛИРУЕМЫЕ Г ОБЛАСТЬ ОГРАНИЧЕННОЙ УПРАВЛЯЕМОСТИ «СЛЕПОЕ ПЯТНО» СУБЪЕКТА УПРАВЛЕНИЯ Рис. 2. Области управляемости качеством образования в ОУ Приведенная на Рис. 2 типологическая структура управления ОУ с точки зрения возможности учета и контроля факторов качества образования позволяет не только более полно и последовательно определить объекты и предмет (предметы) ВМК, но и оценить результаты этой работы на любой стадии его организации и осуществления. При этом содержанию ВМК в конкретном ОУ соответствуют области А (актуальной управляемости) и Б (ограниченной управляемости), выделенные на Рис. более светлым цветом. В идеале ОУ стремится к расширению области актуальной управляемости (область А), т.е. учитывает и контролирует более широкий круг факторов, влияющих на качество образования в ОУ. Это достигается, в первую очередь, за счет уменьшения области Б (не учитываемые в настоящий момент, но в принципе контролируемые факторы). Одновременно, благодаря сдвигу вправо границы между учитываемыми и не учитываемыми факторами увеличивается область В и уменьшается область Г (Рис. 3). А Б В Г Рис. 3. Оптимизированное соотношение областей управляемости качеством образования в ОУ В идеале ОУ стремится к полной ликвидации области Б (и, соответственно, области Г – «слепого пятна» управления ОУ). Разумеется, ввиду ограниченности ресурсов ОУ, которые оно может выделить на осуществление ВМК, в практике указанные области можно лишь более или 21 менее значительно уменьшить. При этом в разряд учитываемых, в первую очередь, переводятся по возможности те факторы, которые оказывают наиболее существенное влияние на качество конечных результатов деятельности ОУ. 2.3. Формирование показателей (индикаторов) 2.3.1. Понятие показателя В большинстве современных научных словарей показатель раскрывается как обобщенная формализованная характеристика объекта (процесса) или его свойства. Различают качественные показатели, фиксирующие наличие или отсутствие у объекта определенных свойств, и количественные показатели, фиксирующие меру выраженности, развитости свойств объекта. Одно и то же свойство объекта может отражаться разными показателями. Например, эффективность урока в значительной мере зависит от такого свойства класса (учебной группы), как учебная активность. Это свойство может быть измерено и отражено таким качественным показателем, как «Уровень учебной активности класса (низкий, средний или высокий)», либо количественным показателем: «Доля обучающихся, принимающих активное участие в уроке, в процентах к числу присутствующих на уроке», либо иными показателями, достаточно адекватно отражающими данное свойство с точки зрения потребителя информации. Термин «индикатор» (от позднелат. indicator – указатель) появился в естественных и технических науках и используется в этих областях в двух значениях. В первом значении он обозначает прибор (устройство), отображающий изменения какого-либо параметра процесса или объекта в форме, наиболее удобной для непосредственного восприятия человеком. Например, медицинский термометр – индикатор температуры тела человека, имеющей важное значение при диагностике и лечении заболеваний; длина столбика ртути в нем и является той самой удобной для восприятия формой отображения температуры тела. Во втором значении индикатором называют химическое вещество, служащее для определения присутствия других веществ. Так, благодаря изменению цвета лакмуса можно установить, какую среду имеет исследуемый раствор (кислую, щелочную или нейтральную). 22 Но в последнее время отмечается появление и интенсивное распространение термина «индикатор» в общественных и, в частности, педагогических науках. При этом этот термин фактически теряет то смысловое значение, которое он имел в естественных и технических науках, и все чаще употребляется наряду с термином «показатель» для обозначения таких формализованных характеристик объекта, которые замещают свойства (качества) этого объекта, не доступные непосредственному наблюдению. Необходимость замещения указанных свойств обусловлена в большинстве случаев тем, что эти свойства обозначаются достаточно абстрактными понятиями и непосредственное восприятие обозначаемых этими понятиями свойств объекта действительно затруднено. Например, для целей управления опытно-экспериментальной работой в ОУ необходимо оценить творческий потенциал педагогического коллектива. Но что такое творческий потенциал? Чем его можно выразить? В качестве ответа на эти вопросы и формируются показатели (индикаторы), замещающие абстрактное понятие «творческий потенциал» и представляющие его в удобной для восприятия форме, например: «Доля педагогических работников, реализующих инновационные образовательные проекты», «Количество профессионально-педагогических и социальных инициатив педагогических работников ОУ» и т.д. Важно обратить внимание на то, что вследствие внедрения в научнопедагогическую и образовательную практику нового термина потребовалось выяснить, в каких отношениях находятся между собой понятия «показатель» и «индикатор». В настоящее время известны различные точки зрения. Ряд ученых и практиков в области образования настаивают на необходимости их определенным образом различать. При этом обычно игнорируется тот факт, что русскоязычное «показатель» и иноязычное «индикатор» являются, по сути дела, синонимичными, и предлагается считать: показателем – определенную форму представления результатов измерения свойств объекта, а индикатором – конкретное числовое или иное значение, которое принимает тот или иной показатель. Другие специалисты определяют эти понятия с точностью до наоборот. С точки зрения общей теории измерений понятия «показатель» и «наблюдаемое значение показателя» — вещи, действительно, разные, хотя тесно связанные. Но называть, без достаточно веских оснований, одно словом «показатель», а другое иноязычным синонимом этого слова — значит порождать неизбежную путаницу. В настоящих методических рекомендациях термины «показатель» и «индикатор» рассматриваются как взаимозаменяемые, тождественные и используются в одном значении — 23 формализованная характеристика свойств объектов, непосредственно не воспринимаемых человеком. в том числе 2.3.2. Отбор показателей Формирование набора показателей (индикаторов) для целей ВМК — как, впрочем, и для решения других задач в управлении образованием — традиционно является одним из наиболее сложных и ответственных участков работы. С одной стороны, выбранные показатели должны адекватно, без чрезмерного упрощения и искажения отражать свойства объектов, интересующих субъекта управления ОУ. При этом указанные свойства имеют, как правило, сложную внутреннюю структуру и многочисленные явные и скрытые связи с другими свойствами. С другой стороны, информация, представляемая посредством этих показателей, должна быть удобной для восприятия, по возможности однозначно интерпретируемой. Втретьих, они не должны предполагать слишком больших материальных и иных затрат на измерение; при прочих равных условиях предпочтительнее наименее ресурсоемкие показатели. В настоящее время в образовательной и управленческой практике используется большое количество различных показателей. Для целей ВМК необходимо провести их тщательный отбор и, при необходимости, уточнить смысл (содержание) каждого из отобранных показателей. Это позволит обеспечить в последующем качество результатов соответствующих измерений, особенно в случае привлечения к осуществлению ВМК разных исполнителей. При отборе показателей обычно руководствуются следующими основными правилами, выполнение которых является залогом успешного функционирования системы ВМК и достижения целей эффективного управления ОУ на основе предоставляемой ею информации. Во-первых, отбираемые показатели должны отражать состояние процессов и иных объектов управления (их свойства, характеристики), которые прямо или опосредованно влияют на качество конечных результатов основной (образовательной) деятельности ОУ. В этой связи необходимо обратить особое внимание на показатели, отражающие состояние материально-технических и иных условий обучения, а также характеризующие качество образовательного процесса, в том числе в его санитарно-гигиеническом аспекте, которые часто неоправданно исключаются из содержания ВМК как нечто слишком банальное, малозначительное. 24 Во-вторых, совокупность отобранных показателей должна обеспечивать органы управления ОУ информацией, достаточной для принятия обоснованных и целесообразных решений в сфере их компетенции. При этом необходимо подчеркнуть, что речь идет о минимально необходимой достаточности. Часто в образовательных учреждениях затрачиваются значительные ресурсы на сбор и обработку различной информации, которая едва ли представляет практическую ценность для управления образовательным и другими процессами в ОУ. В-третьих, в интересах разумной минимизации объема работ на стадии сбора информации в перечне показателей ВМК целесообразно предусмотреть только так называемые первичные показатели, т.е. несущие данные, которые не могут быть получены иначе, кроме как в результате непосредственного измерения объекта (свойства объекта). В последующем, в случае необходимости, имеющиеся первичные данные могут обрабатываться в соответствии с поставленной задачей и использоваться для определения значений более сложных, производных показателей. Так, например, располагая первичными данными о численности обучающихся и учителей, можно определить «Число обучающихся, приходящихся на одного учителя»; статистическое обобщение данных об индивидуальной обученности обучающихся позволяет представить целый веер показателей: «Число (или доля) обучающихся, успешно освоивших программу учебного года (общая успеваемость)», «Число (доля) обучающихся на «хорошо» и «отлично» (качество знаний)», в том числе по классам, параллелям классов, ступеням образования и ОУ в целом, и т.д. В-четвертых. Необходимо добиться возможно большей конкретности и однозначности принимаемых показателей, т.е. предельно четко определить объем и содержание лежащих в их основе понятий. Многие из фактически используемых в современной образовательной практике показателей могут истолковываться по-разному, но для целей ВМК это следует считать совершенно неприемлемым. В последнее время все большей популярностью пользуется, скажем, такой показатель, как «Количество (доля) уроков с использованием современных информационно-коммуникационных технологий». Его общий смысл с точки зрения интересов управления развитием образовательного учреждения кажется очевидным, понятным. Но непосредственно при измерении часто возникает вопрос, что именно понимается под «уроком с использованием современных информационнокоммуникационных технологий». Всякий урок, в ходе которого были использованы хотя бы один компьютер, мультимедийный проектор или интерактивная доска? Или урок, на котором учителем были задействованы 25 информационные ресурсы сети Интернет, причем в режиме реального времени (on-line)? Что-то иное? Очень важно обеспечить единство понимания смысла и содержания каждого показателя (по крайней мере, внутри конкретного ОУ) всеми должностными и иными лицами, привлекаемыми к сбору и обработке данных для целей ВМК, с учетом общих целевых ориентиров и приоритетов образовательной деятельности ОУ. Например, можно установить, что в пределах данного ОУ под уроком с использованием современных информационно-коммуникационных технологий понимается не просто урок, на котором какая-либо компьютерная техника вообще была использована, а урок, на котором всем обучающимся была предоставлена возможность непосредственно работать на соответствующем оборудовании, т.е. лично использовать указанные технологии для выполнения учебных, тренировочных или контрольных заданий на этом уроке. Конечно, при такой «жесткой» трактовке понятия, лежащего в основе данного показателя, наблюдаемые значения последнего окажутся значительно ниже, чем в ОУ, принявших более «мягкую» трактовку. Но, возможно, это в большей степени будет соответствовать целям и содержанию образовательных программ, в том числе в части формирования и развития информационной компетентности обучающихся. Резюмируя сказанное выше, можно утверждать, что показатели должны быть конкретными, измеримыми, адекватными целям управления качеством образования в ОУ и, в своей совокупности, минимально достаточными для достижения указанных целей. Примерный перечень рекомендуемых показателей, сформированный с учетом приведенных требований и правил представлен в Приложении 2 к настоящим методическим рекомендациям. Следует заметить, что данный перечень не является исчерпывающим и закрытым, т.е. не допускающим каких-либо дополнений или иных изменений. В него включены лишь первичные показатели, прямо или косвенно (опосредованно) соответствующие требованиям законодательства и иных нормативных правовых актов органов государственной власти в области образования. Он может и, по всей видимости, должен быть дополнен с учетом особенностей конкретного ОУ и существа решаемых им образовательных задач. В случае необходимости, отдельные показатели из числа представленных в Приложении 2 могут быть уточнены или даже изменены. Известны различные способы изменения показателей, из которых следует назвать, в первую очередь, два наиболее распространенных: 1. Ограничение или обобщение понятий, образующих содержание показателя. 26 2. Изменение типа и (или) размерности измерительной шкалы (переход на другие единицы измерения). Ограничение понятия – это логическая операция, заключающаяся в переходе от понятия с большим объемом к понятию с меньшим объемом (Рис. 4). 1 1. Урок 2. Урок с использованием технологии уровневой дифференциации 2 3 4 3. Открытый урок с использованием технологии уровневой дифференциации 4. Открытый урок с использованием технологии уровневой дифференциации в начальных классах Рис. 4. Ограничение понятия (на примере понятия «урок») Например, от предложенного в примерном перечне показателя «Наполняемость классов (групп)» можно перейти к показателю «Наполняемость начальных классов (групп продленного дня)», а если требуется — к еще более частному показателю «Наполняемость первых классов» и т.д. В результате ограничения понятия измененный показатель отражает, соответственно, свойства более узкого круга объектов. Существуют определенные правила ограничения понятий, которые необходимо соблюдать. В настоящих методических рекомендациях они не приводятся, поскольку хорошо известны практически всем руководящим и педагогическим работникам из вузовского курса формальной (классической) логики. Обобщение понятия представляет собой обратную логическую операцию – переход от понятия с меньшим объемом к понятию с большим объемом. Применительно к показателям, используемым для целей ВМК, это может осуществляться как путем статистического обобщения (обучающийся – обучающиеся определенного класса – обучающиеся параллели классов – обучающиеся ступени образования – обучающиеся ОУ), так и в результате объединения (агрегирования) частных показателей (Рис. 5). 27 4 3 2 1 1. Качество освоения определенной единицы учебного содержания 2. Качество освоения программы отдельного учебного предмета 3. Качество освоения программы учебного года (совокупности учебных предметов) 4. Качество промежуточных образовательных достижений (учебных и внеучебных достижений) Рис. 5 Обобщение понятия (на примере понятия «качество освоения единицы учебного содержания») Обобщение понятий также подчиняется общеизвестным правилам логики. В результате обобщения понятий происходит переход от показателей, отражающих состояние одного или нескольких однотипных объектов, к показателям, характеризующим состояние гораздо большего количества таких объектов (статистическое обобщение), либо более полно, разносторонне отражающим исходный объект (аналитико-синтетическое обобщение). 2.3.3. Выбор типа и размерности измерительной шкалы Вопреки распространенному в педагогике и образовании мнению измерить можно, буквально, всё. Отрицание возможности измерения тех или иных качеств и свойств личности (характеристик групп людей и других вещей, представляющих актуальный интерес для ВМК) обычно является следствием неоправданно узкой трактовки самого понятия «измерение». В большинстве случаев измерение понимают как определение исключительно количества чего-либо или кого-либо, и поскольку некоторые объекты (свойства объектов), действительно, не могут быть измерены количественно, заявляют, что они не измеримы в принципе. Однако, согласно общей теории измерений, последние могут быть не только количественными, но и качественными — точнее, осуществляться посредством и количественных, и качественных измерительных шкал в зависимости от особенностей объекта и целей измерения. Таким образом, измерение представляет собой наиболее общее понятие, отражающее суть практически любого познавательного действия, начиная с отнесения объекта к определенному классу (категории) и 28 заканчивая определением его физических характеристик (длины, ширины, высоты, массы и т.д.) В этой связи следует считать некорректным противопоставление, например, педагогических измерений и экспертизы в образовании. Сколь бы сложным ни был объект экспертного изучения (оценки), эксперт его, по сути дела, измеряет, давая тем самым ответы на вопросы «Что это?», «Можно ли этот объект отнести к тому или иному классу подобных объектов?», «Какое место занимает объект Х среди других объектов данного класса?» и т.п. В основе любого измерения лежит некоторое множество уже упомянутых стандартных моделей объекта, составляющих соответствующую измерительную шкалу. В настоящее время известны измерительные шкалы четырех типов (номинальные, ранговые, интервальные и абсолютные). Указанным типам шкал соответствуют различные правила, ограничивающие возможные способы обработки результатов измерения и их интерпретации. Для каждого из отобранных показателей ВМК необходимо четко определить тип и размерность используемой в данном показателе измерительной шкалы, т.е. задать это самое множество стандартных моделей, без которого измерение просто невозможно. Установление однозначного соответствия по заранее установленным правилам Множество объектов, взятых в определенном аспекте (множество свойств объектов) Множество стандартных моделей объектов в данном аспекте, составляющих измерительную шкалу Рис. 6. Измерение как установление соответствия между объектом и его стандартной моделью Номинальная шкала (шкала наименований). Изучение всякого объекта начинается с выделения его из множества других объектов и обозначения каким-либо термином. При этом автоматически возникает шкала наименований, содержащая всего два возможных значения: «объект Х» и «не объект Х». Именно посредством такой шкалы измеряются многие показатели, отражающие наличие (или отсутствие) тех или иных необходимых объектов, свойств этих объектов, например: «Наличие выхода в Интернет со скоростью канала не ниже 128 кб/с»; 29 «Соблюдение гигиенических требований к режиму проветривания учебных помещений»; «Готовность ребенка к обучению в школе (школьная зрелость)»; «Соответствие качества подготовки обучающихся требованиям федерального государственного образовательного стандарта (ФГОС)» и т.д. Во всех перечисленных случаях множество стандартных моделей измеряемого объекта (свойства объекта) включает только два допустимых варианта («есть или нет»; «соблюдаются или не соблюдаются»; «готов или не готов» и т.д.) Но шкала наименований может иметь и более двух предустановленных значений, т.е. обладать большей размерностью. Так, для определения характера жалоб (обращений) родителей и иных законных представителей обучающихся может быть разработана соответствующая измерительная шкала, согласно которой любая поступившая жалоба должна быть отнесена и затем рассмотрена: либо как жалоба на качество образовательной программы, либо на качество условий для реализации образовательных программ, либо на качество деятельности педагогических работников, либо на прочие факторы и обстоятельства. Основу данной шкалы составляет более или менее полный и упорядоченный тематический перечень типичных групп жалоб и обращений этой категории участников образовательного процесса. Применение такой шкалы позволяет классифицировать все поступающие жалобы (обращения), выявлять тенденции изменения их характера и частоты (количества). Еще более сложной является номинальная шкала (шкала наименований), опирающаяся одновременно на несколько признаков, или содержательно-логических оснований. Одним из наиболее наглядных примеров такой шкалы является шкала наименований, используемая при определении организационно-правового статуса ОУ. Лежащая в ее основе стандартная модель измеряемого объекта опирается на следующие основания: тип образовательного учреждения (дошкольное образовательное учреждение, общеобразовательное учреждение, образовательное учреждение дополнительного образования детей, образовательное учреждение начального профессионального образования и т.д.); вид образовательного учреждения (начальная общеобразовательная школа, основная общеобразовательная школа, средняя (полная) общеобразовательная школа, лицей, гимназия и т.д.10); 10 На примере видов общеобразовательных учреждений. 30 форма собственности (государственное, муниципальное, негосударственное); тип учреждения по отношению к собственности (автономное, бюджетное, казенное). Результат измерения по данной шкале представлен в полном наименовании ОУ, приводимом в первом пункте его устава, типа: «Муниципальное бюджетное общеобразовательное учреждение «Краснопольская основная общеобразовательная школа» Павловского района». Сама шкала может служить примером развернутой многоуровневой классификации образовательных учреждений (объектов измерения) по их организационно-правовому статусу (предмет измерения). Построение или модификация номинальных шкал для показателей – наименее регламентированная правилами процедура, и обычно не вызывает существенных затруднений у организаторов (разработчиков) ВМК. Главным достоинством этих шкал является их универсальность — в образовательном учреждении и даже за его пределами нет ничего, к чему нельзя было бы их применить. Но использование шкал этого типа накладывает существенные ограничения на применение методов и средств статистического анализа и обобщения предоставляемых ими данных. Номинальная шкала является, в сущности, качественной шкалой и не допускает, например, никаких арифметических операций с полученными данными. Возможно применение лишь некоторых статистических действий: подсчет частоты встречаемости отдельных значений (классов), определение характеристик распределения значений (моды, медианы) и ряд других действий, которые будут рассмотрены ниже. Ранговая шкала (шкала порядка). Ранговая шкала, как и номинальная, является качественной шкалой. Но в отличие от номинальной она не просто называет то или иное свойство объекта (относя его тем самым к определенному классу), а указывает степень выраженности этого свойства. В одном из наиболее простых вариантов ранговая шкала используется для измерения уровня выраженности того или иного признака (обученность, воспитанность, интеллектуальное развитие и т.д.) посредством отнесения к одному из трех возможных значений (уровней): «высокий», «средний» или «низкий». Если трехзначной ранговой шкалы по тем или иным причинам оказывается недостаточно, ее можно заменить аналогичной шкалой большей размерности: «высокий», «выше среднего», «средний», «ниже среднего», «низкий». 31 По определению размерность ранговая (порядковая) шкала должна предусматривать не менее трех значений (классов), посредством которых измеряемые объекты упорядочиваются по определенному признаку. Единица измерения в ранговой шкале – различие в один класс, или в один ранг. Ранговые шкалы (шкалы порядка) в ряде случаев приписывают объектам значения ординальных чисел (от лат. ordinalis – порядковый), которые представляют качество объектов, например, положение в последовательности, степень (первый, второй и т.д.), но не являются количественными, как кардинальные числа, представляющие собственно количество (один, два,.. пять). Наиболее распространенная в образовательных учреждениях страны шкала отметок текущей успеваемости («отлично», «хорошо», «удовлетворительно», «неудовлетворительно») является именно шкалой порядка, даже если результаты ее применения представляют в цифровом виде («5», «4», «3», «2»). Это становится совершенно очевидным, если принять во внимание, что за указанными отметками стоит не количество знаний и умений, а определенный уровень качества выполнения тех или иных работ, предусмотренной рабочими программами учебных предметов11.. Характерная черта ранговых шкал (шкал порядка) – неопределенность (отсутствие) нулевого значения. Так, некорректно утверждать, что некий обучающийся имеет «нулевую» обученность или воспитанность. Даже если он находится на последнем месте в классе (в школе, в районе т.д.) по обученности, воспитанности или иным показателям, это не является достаточно серьезным основанием считать, что у него, в буквальном смысле слова, ноль знаний, умений или положительных личностных качеств12. С точки зрения предоставляемых возможностей статистической обработки получаемых данных ранговые шкалы (шкалы порядка) являются более мощными, чем шкалы наименований. Если последние допускают лишь определение частоты встречаемости (т.е. подсчет количества) различных качественных значений, а также моды (наиболее часто встречающегося значения), то шкалы порядка предоставляют дополнительную возможность: определять медиану – значение, находящееся в середине ряда значений, упорядоченного по возрастанию или убыванию. Расшифровка традиционных цифровых обозначений уровней освоения учебного содержания может выглядеть следующим образом: «2» (неудовлетворительно) – не освоено в минимально требуемом объеме; «3» (удовлетворительно) – освоено в минимально требуемом объеме; «4» (хорошо) – освоено с некоторым превышением минимально требуемого объема; «5» (отлично) – освоено со значительным превышением минимально требуемого объема. 12 Это не более чем риторический прием, «фигура речи» для усиления педагогического воздействия на самого обучающегося или его родителей (законных представителей) в личном общении. 11 32 Но за более широкие возможности, предоставляемые для обработки и анализа данных, ранговая шкала, как и все последующие типы измерительных шкал, «расплачивается» более узким диапазоном применимости. Если шкалы наименований применимы, буквально, повсеместно, то шкалы порядка – только для измерения объектов по степени (уровню, порядку) выраженности тех или иных свойств. Интервальная шкала (шкала расстояний). Интервальная шкала приписывает объектам значения кардинальных чисел, т.е. она является собственно количественной шкалой. Интервальная шкала позволяет не только констатировать различие объектов по степени выраженности измеряемых свойств, как шкала порядка, но дает возможность отображать степень выраженности этих свойств определенным количеством единиц. Отличительной чертой интервальной шкалы является наличие нулевого значения (нуля). Но нулевое значение на этой шкале устанавливается произвольно и не свидетельствует о полном отсутствии измеряемого свойства объекта. Классический пример интервальной шкалы – температурная шкала Цельсия, фактически используемая при мониторинге условий обучения и пребывания обучающихся в ОУ (соблюдения теплового режима в учебных и иных помещениях). Нулевое значение температуры в этой шкале – условное, оно не означает отсутствия измеряемого свойства, обусловленного в конечном итоге движением молекул вещества. В собственно педагогической практике интервальные шкалы применяются для измерения результативности выполнения большинства тестов учебных достижений (педагогических тестов), осуществления психолого-педагогической диагностики и т.д. Обычно они предстают в таких показателях, как количество (или доля) правильно выполненных заданий в тесте, количество (или доля) положительных ответов на контрольные (диагностически значимые) вопросы и т.д. При этом важно заметить, что нулевое значение в результатах педагогического или психологического тестирования ― в силу интервального характера используемой измерительной шкалы ― имеет, как было указано, исключительно условный характер. Если обучающийся не выполнил правильно ни одного задания в тесте (показал нулевой результат), отсюда не следует, что у него нет вообще каких-либо знаний, умений и иных достижений в соответствующей образовательной области (учебном предмете). Это не более чем нулевой результат в конкретном тесте, по конкретному показателю. 33 Интервальная шкала по своей мощности (т.е. предоставляемым ею возможностям аналитико-статистической обработки данных) превосходит и шкалу порядка, и тем более шкалу наименований. Он позволяет, например, определять такую важную и, без преувеличения, наиболее распространенную в практике меру статистики, как среднее арифметическое. На качественных шкалах это в принципе не допускается. В самом деле, невозможно — не греша против здравого смысла — вычислить среднее арифметическое от «пятерки» по русскому языку и «тройки» по математике и утверждать, что полученная таким образом «четверка» – это осмысленная обобщенная оценка достижений обучающегося, скажем, по результатам ЕГЭ. Самое существенное ограничение интервальной шкалы – невозможность оценить отношение величин. Располагая данными, полученными посредством этой шкалы, можно констатировать, что «Объекты А и В отличаются по выраженности свойства С на n единиц (например, можно утверждать, что «Обучающийся А выполнил правильно на 10 тестовых заданий больше, чем обучающийся В»)», но нельзя утверждать, что «Выраженность свойств данных объектов различается в n раз (например, утверждение «Средний результат 10А класса по тесту интеллекта в 1,5 раза лучше, чем в 10Б классе», по меньшей мере, некорректно)». Абсолютная шкала (шкала отношений). Абсолютная шкала отличается от интервальной шкалы наличием «естественного», или абсолютного, нуля, которому соответствует полное отсутствие измеряемого свойства. Шкала отношений является наиболее мощной среди всех измерительных шкал. Она суммирует все возможности, которыми обладают менее мощные шкалы (номинальная, ранговая и интервальная). Возможность оценки отношения величин – наиболее важная отличительная черта этой шкалы, определившая ее название. Известные примеры шкалы отношений: массы, длины; температурная шкала Кельвина. В образовательной практике данная шкала представлена практически всеми показателями, отражающими численность (количество) тех или иных объектов. Например, «Число обучающихся, принявших участие в предметных олимпиадах», «Количество интерактивных досок, используемых в образовательном процессе» и т.д. На шкале отношений определены отношения эквивалентности, равенства, порядка, расстояния. С ее помощью можно устанавливать равенство и ранговый порядок величин, равенство интервалов и отношений между величинами все арифметические операции. К полученным на ней значениям применимы любые статистические критерии и процедуры. 34 В идеале следует стремиться использовать именно шкалы отношений. Однако далеко не все показатели, используемые для целей управления качеством образования, могут быть измерены в этих шкалах. Выбор измерительной шкалы, как уже указывалось выше, должен соответствовать как измеряемым показателям, так и целям и задачам управления ОУ. Хотя номинальные шкалы обладают наименьшей мощностью, но они, например, позволяют решить многие задачи классификации и систематизации объектов управления, а также установления их соответствия определенным качественным требованиям (нормам), занимающие важное место в информационном обеспечении управления ОУ. Цель отбора и уточнения показателей заключается не в выработке идеальных, совершенных во всех отношениях показателей. Последнее – цель недостижимая, поскольку, перефразируя известное высказывание К. Маркса, всякий показатель хромает – он всегда содержит в себе определенную условность, ряд произвольных допущений и отражает измеряемое им свойство не абсолютно точно и полно. Следовательно, целью уточнения показателей правильнее считать достижение их содержательной определенности (с учетом принятых условностей и допущений), единообразного понимания их смысла и порядка измерения всеми исполнителями ВМК и потребителями его информации: о чем и какую именно информацию несет тот или иной показатель; что остается за пределами его измерительных возможностей, но, возможно, оказывает существенное влияние на результаты измерения; каким образом следует относиться к тем или иным наблюдаемым значениям показателя (интерпретировать их) при принятии соответствующих управленческих решений. 35 3. Формирование функциональной структуры внутреннего мониторинга качества образования 3.1. Общая функциональная структура Под функциональной структурой ВМК понимается совокупность взаимосвязанных основных технологических процессов, посредством которых осуществляется выполнение задач ВМК и, следовательно, достижение поставленной перед ним цели. Функциональную структуру ВМК можно представить с помощью соответствующей модели (схемы), построенной в соответствии с любой из известных на сегодняшний день методик моделирования. При прочих равных условиях рекомендуется методика IDEF0, основанная на подходе, получившем в зарубежной практике название SADT (Structured Analysis & Design Technique – метод структурного анализа и проектирования). Основная концептуальная идея IDEF0 заключается в представлении любой изучаемой системы в виде набора взаимодействующих и взаимосвязанных блоков, соответствующих процессам, операциям, действиям и графически обозначаемых прямоугольниками. Интерфейсы, посредством которых каждый блок взаимодействует с остальными блоками или внешней средой, обозначают стрелками, входящими в блок или выходящими из него. Входящие стрелки показывают, какие условия должны быть выполнены, чтобы функция, которой соответствует данный блок, осуществилась. Выходящие стрелки показывают, что является продуктом (результатом) осуществления данной функции. Предусмотрены четыре типа стрелок и четкие правила их размещения: стрелки, входящие в левую сторону блока – «Вход» (материальные и информационные объекты, непосредственно подвергаемые преобразованию в ходе выполнения соответствующей функции); стрелки, входящие в блок сверху вниз (в верхнюю сторону прямоугольника) – «Управление» (совокупность ограничений и (или) предписаний относительно данного процесса, формируемую на основе соответствующих нормативных актов и теоретических представлений данной деятельности и определяющую таким образом порядок осуществления функции); стрелки, входящие в блок снизу вверх (в нижнюю сторону прямоугольника) – «Механизмы (ресурсы)» (человеческие, материальные и другие ресурсы, непосредственно осуществляющие функцию или иным образом задействованные в ее осуществлении); 36 стрелки, выходящие из блока (из правой стороны прямоугольника) – «Выход» (материальные и информационные объекты, представляющие собой продукт данного процесса. Важно заметить, что в соответствии с семантическими особенностями IDEF0 под ресурсами для выполнения функции понимается все то, посредством чего осуществляется функция в определенное время в определенном месте. В этой связи любой ресурс (механизм выполнения функции) характеризуется ограниченностью (определенной мощностью) и, как следствие, невозможностью одновременного использования для выполнения другой функции (преобразования других объектов). Если человек выполняет в данный момент одну работу, предполагается, что он не может в это же время выполнять другую работу. Аналогичная картина наблюдается и в отношении материально-технических (здания и помещения, учебное оборудование и т.д.), временных и других ресурсов, необходимых для осуществления ВМК. Концептуальные представления о мониторинге для целей управления ОУ; методические рекомендации Объекты мониторинга в ОУ Локальные правовые акты ОУ, регламентирующие порядок осуществления ВМК ВМК Формализованная и упорядоченная (систематизированная) информация о состоянии объектов мониторинга Ресурсы для осуществления ВМК Цель: Выявление совокупности общих условий, определяющих результативность внутреннего мониторинга качества образования в образовательном учреждении Точка зрения: Организация внутреннего мониторинга качества образования в образовательном учреждении А–0 Управление функционированием и развитием образовательного учреждения Рис. 7. Контекстная диаграмма внутреннего мониторинга качества образования в образовательном учреждении (ВМК) На Рис. 7 приведена контекстная диаграмма верхнего уровня (А – 0), на которой объект моделирования (ВМК) представлен единственным блоком 37 (прямоугольником) с граничными стрелками. Стрелки отображают связи ВМК с окружающей средой. Приведенная диаграмма содержит наиболее важные свойства и функциональные связи ВМК как функции верхнего уровня и, соответственно, объекта моделирования. Далее объект моделирования декомпозируется путем разбиения на подфункции (технологические процессы); выделенные выше свойства и функциональные связи при этом уточняются (конкретизируются). Ведущим основанием для указанной декомпозиции является представление о ВМК как совокупности основных технологических процессов, к числу которых относятся процессы: сбора первичных данных о состоянии заранее определенных объектов; статистической и аналитической обработки собранных первичных данных, а также оформление результатов обработки; предоставление информации о результатах обработки (конечной информации) ее непосредственным потребителям в лице органов управления ОУ для принятия необходимых решений в сфере их компетенции; хранение ранее собранных первичных данных и результатов их обработки на бумажном и (или) электронном носителе в течение установленных сроков; обеспечение доступности указанной информации в течение срока ее хранения для лиц, которым предоставлено право доступа к ней. При этом выделенные основные технологические процессы ВМК: сбор данных, обработка данных , предоставление и хранение информации (далее именуемые: блок-функции) ― не могут рассматриваться как рядоположные. Доминирующее положение среди них занимает блок-функция «Сбор данных», результаты осуществления которой используются для выполнения все остальных блок-функций. Сбор данных А1 Обработка данных А2 Предоставление информации А3 Хранение информации А4 Рис. 8. Отношения доминирования между функциональными компонентами ВМК 38 Доминирующее положение блок-функции «Сбор данных» (А1) отражается на Рис.8 ее размещением в левом верхнем углу диаграммы. Блокфункции «Обработка данных» (А2), «Предоставление информации» (А3) и т.д. располагаются ниже и правее его, что подчеркивает влияние, которое оказывает на них блок-функция А1. Соответственно, блок-функция А2 рассматривается как доминирующая, в свою очередь, по отношению к блокфункции А3. При этом блок-функция «Хранение информации» (А4) занимает особое место. С одной стороны, ее крайнее правое и нижнее положение означает влияние, которое оказывают на нее все остальные блок-функции (их «выходы» непосредственно или опосредовано являются «входом» блокфункции А4). С другой стороны, ее «выход» обслуживает не только конечного потребителя информации (органы управления ОУ), но и доминирующие блок-функции, предоставляя им необходимые «архивные» сведения в случаях, когда обработка данных об актуальном состоянии объектов управления или принятие решений в отношений этих объектов требует учета данных об их состоянии в прошлом. Приведенная на Рис. 9 диаграмма является «дочерней» по отношении к диаграмме на Рис. 7 и представляет собой результат функциональной декомпозиции ВМК как функции (процесса) верхнего уровня. Информация от внешних организаций Объекты мониторинга в ОУ Локальные правовые акты (программы, положения, методические и рабочие инструкции и др.), регламентирующие соответствующие процессы ВМК Информация, предоставляемая органам управления ОУ Сбор данных А1 Обработка данных А2 Предоставление информации А3 Хранение информации А4 Кадровые, материальные, временные и прочие ресурсы, необходимые для осуществления процессов ВМК Рис.9 Функциональные связи основных технологических процессов ВМК 39 Каждая из указанных на Рис. 9 блок-функций при необходимости в свою очередь декомпозируется с учетом конкретных условий ОУ. Эту работу можно считать полностью завершенной, когда возникает ясность относительно того, кто, что и какими ресурсами выполняет, от кого получает информацию (ресурсы) и кому их предоставляет. Высокая практическая значимость предлагаемой методики функционального моделирования определяется наглядностью представления ВМК в целом и его компонентов, очевидной возможностью быстро и качественно проанализировать функциональную структуру ВМК (как впрочем, и любых иных основных и обеспечивающих процессов деятельности ОУ), выявить пробелы и проблемные места, требующие принятия неотложных мер. 3.2. Сбор первичных данных С точки зрения обеспечения достижения общих целей ВМК основной задачей организации сбора первичных данных о состоянии объектов мониторинга в ОУ является определение (отбор) методов, средств и процедур осуществления сбора, закрепляемые в последующем соответствующими локальными правовыми актами ОУ (приказами, распоряжениями, положениями, инструкциями). К основным методам сбора данных следует отнести: наблюдение, опрос, тестирование и метод экспертных оценок. В ряде научных источников иногда упоминается такой метод, как анализ продуктов деятельности (документов). В настоящих методических рекомендациях он рассматривается как частный случай метода экспертных оценок, поскольку в подавляющем большинстве случаев фактически предстает именно в этом качестве. 3.2.1. Наблюдение Под наблюдением в ВМК понимается направленное, систематическое, непосредственное визуальное восприятие и регистрацию значимых с точки зрения целей управления качеством образования в ОУ явлений (ситуаций, процессов). В приведенном определении особенно важна такая характеристика наблюдения, как его непосредственность, отличающая его от так называемого косвенного наблюдения, т. е. получения необходимой информации «из вторых рук». Вполне естественно, что если есть 40 возможность выбора, предпочтение отдается непосредственному (прямому) наблюдению, хотя оно и не всегда возможно. Главным преимуществом непосредственного наблюдения следует считать то, что оно позволяет фиксировать события в момент их появления, а также дает возможность собирать данные как в отношении неодушевленных, так и одушевленных объектов (людей), причем независимо от умения последних рассказать что-либо о себе и даже их желания делать это. В этой связи наблюдение следует признать основным методом сбора данных практически по всем показателям, отражающим состояние учебноматериальной базы и социальной инфраструктуры ОУ (начиная от температуры воздуха в учебных помещениях и вплоть до снятия показаний приборов учета расхода тепловой энергии, электроэнергии, воды и т.д. для целей обеспечения эффективного использования финансово-материальных средств ОУ); по показателям, отражающим движение контингента обучающихся (число принятых на обучение, число отчисленных и т.д.), а также по ряду показателей, отражающих качество образовательного процесса. Другая особенность наблюдения, связанная с первой и вытекающая из нее, заключается в том, что наблюдатель не может в полной мере исключить влияние на результаты наблюдения собственной эмоциональности, предпочтений (и даже предубеждений и предрассудков!) — вообще своей субъективности. Если наблюдение осуществляется, например, за поведением участников образовательного процесса, то восприятие наблюдателя всегда носит эмоциональный характер, а интерпретация наблюдаемых им событий во многом определяется его морально-этическими установками и ценностными ориентациями. Третья особенность наблюдения – это сложность (а порой и невозможность) проведения повторного наблюдения. Повторное наблюдение даже повседневного факта, даже в достаточно стандартной ситуации чрезвычайно затруднительно, ибо наблюдаемые процессы в своем развитии подвергаются воздействию огромного числа различных факторов и поэтому крайне редко бывают полностью идентичными. Приведенная ниже SWOT-диаграмма обобщает достоинства и недостатки метода наблюдения, выделяемые в различных научных и иных источниках. В дополнение к сведениям, представленным в этой диаграмме, необходимо подчеркнуть, что фиксация результатов наблюдения должна осуществляться либо в ходе его проведения, либо сразу после окончания. В противном случае они перестают быть результатами наблюдения и становятся результатами совсем другого процесса – припоминания, который 41 в еще большей степени, субъективным влияниям. чем наблюдение, подвержен различным Сильные стороны: Фиксация фактов в момент их совершения; Незначительные материальные затраты на проведение Сравнительная простота и оперативность развертывания и свертывания. Слабые стороны: Сильная зависимость от субъективных особенностей наблюдателя; Сложность, а в ряде случаев невозможность подтверждения фактов путем повторного наблюдения; Ограниченность количества объектов, за которыми наблюдатель способен наблюдать одновременно (как правило, не более 7); Значительные временные затраты (особенно в случае наблюдения за поведением людей) для обеспечения достоверности результатов наблюдения. Возможности: Получение информации о естественном ходе событий, процессов, поскольку наблюдение не предполагает какого-либо вмешательства в них; Получение необходимой информации в случаях, когда участники образовательного процесса и другие лица не хотят или не могут ее дать, либо могут давать искаженную информацию. Ограничения: Может применяться только в отношении явлений, непосредственно воспринимаемых органами чувств (зрения, слуха и т.д.); Требует четкой регламентации порядка проведения наблюдения и фиксации его результатов; В ряде случаев требует учета вероятности изменения естественного поведения объекта наблюдения вследствие присутствия наблюдателя. Рис. 10. SWOT-диаграмма наблюдения как метода сбора данных для целей ВМК Выбор метода наблюдения для измерения (определения значений) того или иного показателя следует считать целесообразным, если выполняются следующие условия: 1. Измеряемый объект (свойство объекта), действительно, проявляется в доступной для непосредственного восприятия форме, либо имеются соответствующие технические устройства (измерительные приборы и т.п.), преобразующие его проявления в указанную форму. 2. В ОУ четко определен порядок проведения наблюдения и фиксации его результатов (имеются средства наблюдения). 3. В ОУ имеются необходимые кадровые, материальные и иные ресурсы для систематического наблюдения соответствующих объектов (свойств объекта). 42 Средствами наблюдения выступают соответствующие методики (методические или рабочие инструкции), устанавливающие цель наблюдения, порядок его осуществления и фиксации результатов. Объем и степень детализации содержания указанных инструкций зависит от сложности измеряемого показателя. Возможно, для измерения такого показателя, как «Количество современных технических средств обучения (ТСО), используемых в образовательном процессе», и не требуется пространной методической инструкции. Тем не менее, необходимость уточнить, что именно понимается под современными ТСО, а что – под использованием их в образовательном процессе, как правило, имеется. Если ОУ планирует включить в содержание ВМК достаточно значительное количество сравнительно «простых» показателей, то допустимо объединить все соответствующие методические указания в одной методической инструкции. К проведению наблюдений в ОУ привлекается, как правило, значительное число людей, которые могут совершенно по-разному понимать, что именно и как именно наблюдается. Поэтому в отношении «сложных» показателей методические инструкции должны давать четкие ответы на все вопросы при проведении наблюдения и, тем самым, обеспечить единство подхода к измерению этих показателей. В качестве примера качественной проработки вопросов, связанных с измерением посредством наблюдения такого показателя, как педагогическая компетентность учителя, можно привести методику Дж. Хессарда. Она может применяться для измерения профессиональной компетентности педагогического работника как на момент обследования, т.е. однократно (например, в рамках аттестации на квалификационную категорию), так и многократно – для выявления индивидуальной динамики компетентности учителя на протяжении определенного периода времени. В любом случае — для обеспечения достаточной достоверности результатов — наблюдение осуществляется дважды и двумя наблюдателями одновременно. В качестве наблюдателей, присутствующих на уроках этого учителя, могут выступать школьные администраторы или иные уполномоченные администрацией лица, прошедшие необходимый инструктаж. Результаты наблюдения фиксируются в специальном листе наблюдения, содержащем перечень проявлений (наблюдаемых признаков) профессиональной компетентности учителя на уроке. Указанный перечень включает как обязательные, так и дополнительные проявления (признаки) компетентности, для удобства наблюдения сгруппированные в 23 блока (демонстрация владения учебным материалом; оценивание продвижения 43 обучающихся на уроке и т.д.) Фиксация проявлений компетентности осуществляется по двузначной номинальной шкале (проявилось, не проявилось). То или иное проявление компетентности учителя считается зафиксированным, если оба присутствующих на уроке наблюдателя сочли его проявившимся. Результат наблюдения в целом представляется значением показателя «Соответствие профессиональной компетентности учителя установленным требованиям» (соответствует, не соответствует). Профессиональная компетентность признается соответствующей этим требованиям, если в ходе наблюдения зафиксированы все ее обязательные проявления, а в специально оговоренных случаях – в сочетании с любым одним или любыми двумя (тремя) дополнительными проявлениями. 3.2.2. Опрос Опрос является одним из древнейших методов измерения, который и сегодня активно используется в исследовательских, диагностических и иных целях. Он развился из обыкновенной беседы двух и более лиц и отличается от нее, прежде всего, наличием четко поставленной цели и использованием определенного инструментария для управления ходом разговора и контроля его результатов (достижения цели опроса). Если наблюдение может зафиксировать лишь непосредственно воспринимаемые человеческими органами чувств (зрением, слухом, обонянием и т.д.) факты, события и явления, то опрос позволяет собрать информацию, недоступную непосредственному восприятию, причем как объективные данные (биографические факты, иные личные сведения о том или ином лице, группе лиц), так и субъективные, отражающие личностные особенности опрашиваемых лиц (жизненные цели, ценности, мотивы, индивидуальные предпочтения и т.д.) В принципе, все перечисленное выше можно выявить и посредством наблюдения. Но для этого потребуются очень продолжительное время и весьма сложная содержательная и технологическая организация наблюдения, благодаря которой наблюдатель получит возможность фиксировать, например, внутренние мотивы поведения обучающегося или педагогического работника, основываясь, по сути дела, лишь на их словах и поступках, наблюдаемых в тех или иных ситуациях. Опрос как один из основных методов сбора информации имеет ряд разновидностей, классифицируемых обычно по таким основаниям, как форма 44 опроса (устный или письменный опрос), численность одновременно опрашиваемых (индивидуальный или групповой опрос) и степень стандартизированности (стандартизованный или нестандартизованный опрос). С точки зрения организатора ВМК, каждая разновидность опроса имеет свои достоинства и недостатки. Устный нестандартизованный опрос, обычно обозначаемый термином «беседа», предоставляет опрашиваемым оптимальную возможность выразить свою позицию, свою индивидуальность в наиболее удобной для них форме, а для ведущего беседу – выявить факты, тенденции и проблемы, в том числе и такие, о которых до начала беседы ни сам ведущий беседу, ни органы управления ОУ, в чьих интересах он в данный момент действует, даже не подозревали. Беседа, и индивидуальная, и групповая, позволяет выявить те или иные проблемы в деятельности ОУ (его структурных подразделений, отдельных должностных лиц и участников образовательного процесса) иногда задолго до того, когда они проявились бы на уровне управления ОУ. И этим определяется высокая информационная ценность беседы. Вместе с тем, беседа как форма опроса предъявляет очень высокие требования к лицу, ее проводящему. Ход и результаты беседы находятся в сильной зависимости от личностных особенностей всех ее участников, умения ведущего установить полноценный контакт с опрашиваемыми, стимулировать их на откровенность и непринужденный разговор о вещах, которые их прямо касаются или вообще составляют личное пространство. Кроме того, на ход и результаты беседы влияет множество других факторов, в том числе практически неконтролируемых (состояние погоды, настроение участников, предшествующие события в личной жизни и т.д.) Стандартизованный устный опрос (интервью13) отличается от беседы, которая представляет собой достаточно «свободный» формат и может уходить далеко от первоначальной цели, наличием не только четко поставленной диагностической цели, но и заранее сформулированными вопросами, задаваемыми в строго определенной последовательности. Тем самым достигается более высокая надежность результатов опроса, а также большая вероятность получения именно той информации, получение которой предполагалось для достижения цели опроса. В психологическом плане ситуация при проведении интервью является достаточно экстремальной для опрашиваемых: спрашивает только ведущий интервью (интервьюер), отвечает только опрашиваемый (респондент). Только интервьюер может направить интервью в нужное русло, В ряде научных и иных источников и нестандартизованный, и стандартизованный устный опрос обозначают одним термином – интервью. В настоящих методических рекомендациях за термином «интервью» закрепляется одно значение – стандартизованный устный опрос. 13 45 контролировать его и представить все интервью в целом. На качество результатов интервью влияют те же факторы, которые были указаны в отношении беседы. Сильные стороны: Возможность получения информации об объектах (свойствах объектов), недоступных непосредственному восприятию; Получение информации о фактах, событиях, проблемах, неизвестных или не учитываемых органами управления ОУ; Возможность оперативной корректировки инструментария (переформулирование вопросов и т.д.) с учетом индивидуальных особенностей опрашиваемых; Возможность уточнения смысла и содержания даваемых опрашиваемыми ответов, различения уверенных и неуверенных, искренних и неискренних и т.д. ответов. Слабые стороны: Сильная зависимость от субъективных особенностей ведущего беседу (интервью); Зависимость от уровня интеллектуального развития опрашиваемых, а также их готовности и желания отвечать на вопросы; Значительные временные затраты (особенно при проведении в индивидуальном порядке); Имеющиеся средства фиксации результатов опроса обычно вызывают напряженность опрашиваемых; Вероятность фальсификации информации опрашиваемыми, в том числе неосознанно. Возможности: Получение информации об индивидуальных психологических особенностях участников образовательного процесса и других лиц; Выявление конкретных социальных и личностных ожиданий в отношении качества образования в ОУ; Измерение удовлетворенности отдельных лиц (групп лиц) качеством образования в ОУ во всех его составляющих. Ограничения: Практически не дает достоверных результатов в отношении лиц, не достигших возраста 12-14 лет; Требует четкой регламентации порядка проведения опроса и фиксации его результатов; Предполагает создание положительной психологической атмосферы во время проведения Рис. 11. SWOT-диаграмма устных форм опроса Для получения качественных результатов при использовании интервью для целей ВМК рекомендуется руководствоваться рядом правил14. При подготовке интервью очень важное значение имеет предварительная работа интервьюера. Он должен тщательно продумать все аспекты проблемы, о которой пойдет речь, сформулировать вопросы, определить, в какой последовательности они будут задаваться. При этом необходимо учитывать, что психологическая последовательность вопросов значительно важнее логической. По этой причине вначале избегают трудных, личных или других щекотливых См. Ингенкамп, Карл-Хайнц. (Зарубежная школа и педагогика) 14 Педагогическая диагностика: Пер. с нем. – М.: Педагогика, 1991. – 46 вопросов, начиная с так называемых вопросов-ледоколов, которые должны вызвать интерес к интервью. Вопросы, которые могут оказаться неприятными для респондента или вызвать ощущение проверки, не должны быть сосредоточены в одном месте, они должны равномерно распределяться на протяжении интервью. Интервьеру важно создать атмосферу симпатии и взаимного доверия, оставаясь все время абсолютно естественным, искренним и заинтересованным. Однако он должен занимать по возможности нейтральную позицию: его задача в ходе интервью состоит не в том, чтобы выступать от имени морали, педагогики или психологии, а в том, чтобы получить нужную информацию. Речь интервьюера не должна быть ни слишком специальной («заумной»), ни искусственно упрощенной, простонародной. Даже если он беседует с не очень образованным человеком, не имеет права выражаться серо, банально или некорректно, стараясь таким образом приблизиться к уровню своего собеседника. Скромное и корректное поведение вызывает доверие; демагогическая небрежность его разрушает. Иногда обрадованные возможностью выразить свое мнение, респонденты отвечают иногда слишком многословно. В таких случаях важно сохранить заинтересованность и любезность, не действовать опрометчиво, а умело направить интервью в запланированное русло. Довольно часто у интервьюера может возникать ощущение, что респондент уклоняется от ответа на поставленный вопрос. Из страха потерять свое лицо, отклониться от заранее сформулированных вопросов интервьюер начинает настаивать на ответе строго на поставленный вопрос, что обычно не дает ничего, кроме ненужного напряжения и потери интереса респондента к интервью. Если вопрос все-таки имеет важное значение для целей интервью, то его допустимо задать повторно, но в несколько иной формулировке. Интервью можно брать не только у отдельной личности. Оно может быть и групповым, когда интервьюер задает вопросы всей группе и следит за тем, чтобы в ответах не доминировали только отдельные ее члены. Групповое интервью приближается по форме к общей дискуссии. Оно неизбежно менее структурировано, и к нему прибегают как к средству сбора информации не столько об участниках группы, сколько о происходящих в ней процессах. В интервью, как и в анкете, возможны открытые и закрытые вопросы. На открытый вопрос респондент сам формулирует свой ответ. На закрытые вопросы ему предлагаются ответы для выражения своего согласия или несогласия с ними, список ответов на выбор, а также ответы для 47 установления последовательности (предпочтительности). Такие вопросы могут предъявляться в устной форме, но чаще для этого используются заранее приготовленные карточки с напечатанными на них вопросами и вариантами ответов. Особую проблему и для беседы, и для интервью представляет фиксация результатов. Магнитофонная или диктофонная запись, производящаяся без осведомленного согласия опрашиваемых, запрещается по этическим и юридическим мотивам. Открытая запись с помощью технических средств смущает и угнетает респондента точно так же, как стенографирование или подробная запись беседы (интервью). Непосредственная фиксация ответов во время опроса становится еще более серьезной помехой, если ведущего интересуют не столько факты и события, сколько точка зрения, позиция респондента по тому или иному, вопросу. Записи же, сделанные непосредственно после завершения беседы (интервью), таят в себе, однако, опасность субъективных трансформаций со стороны ведущего. Удовлетворительного решения проблемы в данном случае для устных форм опроса пока не существует. Письменный опрос, или анкетирование, представляется наименее трудоемким, по сравнению с другими формами опроса, способом получить необходимую информацию. По умолчанию, предполагается, что это вид стандартизированного опроса, проводимого с использованием соответствующей анкеты. Любая анкета является (или, по меньшей мере, должна являться) конечным продуктом целой совокупности операций. Несмотря на то, что еще достаточно часто начинают сразу с разработки конкретных вопросов, принципиально необходимо, прежде всего, разложить тему анкетирования на отдельные проблемы. Только после этого можно приступить к разработке вопросов пробной анкеты, причем уже на этом этапе необходимо иметь представление о способе их обработки. Далее проводятся пробные опросы, поручаемые наиболее квалифицированным специалистам. На этой стадии обычно используют открытые вопросы, так как они обеспечивают лучший контроль за реакцией респондентов. Кроме того, поскольку можно лишь предположить появление тех или иных ответов, то одна из важнейших задач пробного анкетирования заключается в том, чтобы представить данные для определения порядка обработки ответов. Считается, что только в случае отсутствия опубликованных профессионально разработанных методик анкетирования ОУ может позволить себе заняться конструированием анкет. Если же такая необходимость имеется, цели создаваемых ОУ анкет должны быть как можно более конкретными (с учетом характера требуемой информации) и даже, 48 если можно так выразиться, узкими. Было бы слишком самонадеянным пытаться зафиксировать мотивацию, агрессию, отношение к профессии и другие подобные вещи с помощью анкеты собственного изготовления. В случаях, когда ОУ принимает решение разработать собственную анкету, следует руководствоваться определенными правилами. В каждом конкретном случае необходимо обращать внимание на язык и словарь тех лиц, к которым обращаются с вопросами. Иногда даже рекомендуется считаться с известными диалектными особенностями. Вопросы не должны превышать уровень осведомленности респондента. Респондент не должен попадать в такую ситуацию, которая обнаружит недостаток общей эрудиции. Субъективные ощущения, возникающие у респондента при отсутствии информации, можно смягчить, предпослав несколько предложений, в которых говорится, что эта проблема еще мало известна, что о ней трудно получить информацию и т. д., заключая все это вопросом типа, не слышал ли случайно что-нибудь об этом анкетируемый? Необходимо избегать расплывчатых и неопределенных понятий. Сюда относятся такие обозначения, как «посредственный», «в среднем», «выше», «часто» и т.п. У каждого респондента свое понимание этих слов, поэтому необходимо объяснить, что в данном случае считается средним показателем, что значит часто и т.д.. Вопрос должен затрагивать лишь одну проблему. Если в одном вопросе заключены две проблемы, то может случиться так, что респондент откликнется только на одну из них, а при обработке его ответ будет воспринят как ответ на вопрос в целом. Не обязательно всегда спрашивать о чём-то напрямик. Можно, например, быть уверенным в том, что на прямой вопрос, одобряют ли они физическое наказание, родители (законные представители) обучающихся не дадут истинного ответа, а выскажут общепринятую точку зрения о недопустимости физических наказаний. Поэтому лучше спросить их о том, как, по их мнению, ведут себя дети, получающие пощечину за очень плохое поведение, и как ведут себя дети, которых никогда не били. Непрямые вопросы являются прекрасным средством исключить при ответе осознанную или неосознанную попытку ввести анкетирующих в заблуждение. Вместе с тем непрямые вопросы представляют собой «палку о двух концах», ибо редко можно знать точно, как следует интерпретировать тот или иной ответ. При формулировании вопросов анкеты, наряду с упомянутой тенденцией многих людей давать социально желательные ответы, следует учитывать явление, которое получило название «тенденция к подтверждению». Она проявляется, если по недосмотру или сознательному умыслу разработчика анкеты несколько вопросов подряд предполагают ответ 49 «да» как положительный, как выражение одобрения или согласия15. Дав несколько раз подряд определенный ответ, респондент скорее всего даст такой же ответ и на следующий вопрос — уже практически не задумываясь, так сказать, по инерции. По этой причине в хорошей анкете вопросы нельзя формулировать таким образом, чтобы при одобрении (согласии) всегда возникал положительный ответ. Необходимо включать также такие вопросы, при отрицательном ответе на которые можно сделать вывод о положительном выражении интересующего нас признака. Анкеты могут содержать и закрытые, и открытые вопросы. Открытые вопросы помогают выявить особенности мировосприятия и иные индивидуальные особенности анкетируемого; кроме того, они могут стимулировать интерес к анкетированию, поскольку приближают его к естественным условиям. По этой причине хорошо информированные лица с собственной позицией отдают предпочтение открытым вопросам. Закрытые вопросы, напротив, обусловливают большее единообразие ответов, облегчая тем самым их сопоставимость. Они облегчают и заполнение анкеты, и обработку результатов анкетирования. Менее образованным респондентам больше подходят именно закрытые вопросы, поскольку освобождают их от затруднений, возникающих при спонтанном и детальном обсуждении проблем. Если же анкетирование предполагается провести как анонимное, необходимо использовать только закрытые вопросы; в противном случае у многих людей возникает опасение, что они будут идентифицированы по почерку — со всеми вытекающими отсюда последствиями для достоверности результатов анкетирования. Из приведенной на Рис. 12 SWOT-диаграммы письменного опроса как метода сбора информации для целей ВМК очевидно, что он имеет те же возможности и ограничения, что и устные формы опроса, но вместе с тем выгодно отличается от последних, поскольку позволяет охватить опросом одновременно большое число людей. В связи с принципиальной ограниченностью кадровых и временных ресурсов ОУ это – весьма существенное его преимущество. Но за меньшую трудоемкость письменного опроса в конечном счете «расплачиваются» некоторым снижением достоверности собираемой информации, что обусловлено невозможностью уточнить, что именно стоит за теми или иными ответами респондентов. Материальные затраты на проведение письменного опроса в случае использования анкет на бумажном носителе могут оказаться весьма значительными (особенно в крупных ОУ). Применение современных информационно-коммуникационных технологий (электронного 15 Это относится не только к положительным ответам, но и, в не меньшей мере, к отрицательным. 50 анкетирования) позволяет их снизить до вполне приемлемых значений. Но при этом приходится учитывать, что определенное влияние на результаты опроса оказывает информационно-технологическая компетентность респондентов, в частности, их уверенное владение персональным компьютером, наличие достаточного опыта работы с ним. Сильные стороны: Возможность получения информации об объектах (свойствах объектов), недоступных непосредственному восприятию; Получение информации о фактах, событиях, проблемах, неизвестных или не учитываемых органами управления ОУ; Возможность охвата одновременно большого числа людей (респондентов); Менее значительные (по сравнению с устными формами опроса) временные затраты, в том числе на обработку результатов. Слабые стороны: Невозможность отличить уверенные ответы от неуверенных; уточнить неясные, расплывчатые ответы; Зависимость от уровня интеллектуального развития опрашиваемых (понимания ими существа вопросов), а также их готовности и желания отвечать на отдельные вопросы; Вероятность фальсификации информации опрашиваемыми, в том числе неосознанно. Возможности: Получение информации об индивидуальных психологических особенностях участников образовательного процесса и других лиц; Выявление конкретных социальных и личностных ожиданий в отношении качества образования в ОУ; Измерение удовлетворенности отдельных лиц (групп лиц) качеством образования в ОУ во всех его составляющих. Ограничения: Предполагает наличие качественного, профессионально разработанного инструментария (анкеты); Практически не дает достоверных результатов в отношении лиц, не достигших возраста 12-14 лет; Требует четкой регламентации порядка проведения опроса и фиксации его результатов; Предполагает создания положительной психологической атмосферы во время проведения. Рис. 12. SWOT-диаграмма письменного опроса (анкетирования) Для целей ВМК опрос (и в его устных, и письменных формах) оказывается практически единственным приемлемым методом для решения такой важной задачи, как выявление (фиксация) социальных и личностных ожиданий в отношении качества образования в ОУ. Многие руководители и педагогические работники образовательных учреждений уверены, что знают, в чем состоят образовательные запросы, потребности обучающихся и их родителей (законных представителей). Но это, в большинстве случаев, не более чем частное мнение. Чтобы мнение стало знанием, необходима достоверная информация, которую и могут предоставить только грамотно 51 организованные и проводимые систематические опросы обучающихся, их родителей (законных представителей), педагогических работников, работодателей16 и иных лиц, чьи ожидания и потребности ОУ должно или считает должным учитывать. 3.2.3. Тестирование Существует много различных определений понятия «тестирование», предлагаемых и педагогами, и психологами, и специалистами в других областях науки и практики. Для целей настоящих методических рекомендаций тестирование рассматривается как специфический метод сбора информации о свойствах (качествах, характеристиках) объекта, основанный на объективной фиксации особенностей поведения данного объекта в определенной ситуации, специально созданной для целей тестирования, а также характера и количества ответных реакций объекта на стимульные воздействия в рамках данной ситуации. Наиболее существенным признаком тестирования является именно изучение объекта посредством преднамеренного создания определенной ситуации, заставляющей его действовать (реагировать, отвечать). Этим тестирование отличается от наблюдения, предполагающего, как уже указывалось, фиксацию естественного поведения объекта (т.е. поведения объекта в обычных для него условиях), и от опроса, основное назначение которого заключается в фиксации мыслей и чувств, выражаемых объектом, так сказать, в порядке индивидуальной рефлексии, т.е. вне какой-либо практической деятельности. Сказанное выше означает, что в принципе тестировать, или испытывать17, можно не только людей, но и неодушевленные, материальные объекты. Легко представить себе, как может происходить тестирование телевизора, интерактивной доски, токарного станка или автомобиля, скажем, после их ремонта. Но в контексте образования тестирование обычно ассоциируется именно с людьми и, в первую очередь — с обучающимися. Обучающиеся, действительно, являются главным объектом тестирования во многих образовательных учреждениях, а тестирование, в свою очередь, является практически единственным методом, пригодным для сбора необходимой информации, например, по всем показателям, Для ОУ, реализующих профессиональные образовательные программы. Общеизвестно, что само слово «тест» – иноязычного происхождения, и в дословном переводе означает испытание, проба. 16 17 52 отражающим учебные достижения обучающихся (обученность, успеваемость и т.п.) Эту информацию можно получать и другими методами (например, наблюдением), но для этого придется ждать, когда ситуация, в которой проявятся или могут проявиться интересующие свойства объекта наблюдения, случится вследствие естественного хода событий. В силу понятных обстоятельств субъект ВМК в большинстве случаев не может ждать, когда это случится само собой, и вынужден такие ситуации создавать искусственно. При этом совершенно очевидно, что содержание ответной реакции объекта в искусственно созданной ситуации может существенно отличаться от той, которая была бы дана им в аналогичной, но естественно сложившейся ситуации. Так, содержание письма другу (подруге), написанного ребенком по собственной воле перед началом учебного года, скорее всего, очень далеко от содержания тестового задания «Напишите письмо другу (или подруге) накануне учебного года», выполненного тем же самым ребенком. Но ни учитель, ни иные лица не могут пассивно ждать, когда случится ситуация, которая предоставит возможность измерить (оценить) умение обучающегося — в данном случае — писать письма. Очень вероятно, что современный школьник сам вообще не напишет ни одного более или менее развернутого письма на протяжении всех одиннадцати лет обучения в общеобразовательном учреждении. Поэтому тестирование как создание ситуации вынужденной активности, в которой должны проявиться подлежащие измерению (оценке) качества объекта, является, без преувеличения, главным методом текущего контроля успеваемости и всех форм аттестации обучающихся несмотря на указанные выше его слабости и недостатки. В отношении тестирования как метода вообще, содержательных и технологических вопросов его использования в образовательных учреждениях, создания соответствующих методик контрольноизмерительных материалов (тестов) имеется богатая литература, как отечественная, так и зарубежная (переводная). Необходимо заметить, что вопреки довольно распространенному среди педагогических работников мнению тестирование не сводится к предъявлению тестируемым вопросов (заданий) с вариантами ответов, из которых надо выбрать один или несколько правильных. Задание, содержащее вопрос и несколько вариантов ответа на него – лишь один из видов тестовых заданий; более того, это один из видов заданий при так называемом бланочном тестировании, которое является, разумеется, далеко не единственным видом испытания. 53 «Обычная» контрольная работа по учебному предмету – это, в сущности, тоже тест, состоящий из нескольких заданий открытого типа, требующих развернутого ответа (решения). Поскольку такие задания достаточно трудоемки, их количество в одной работе не может быть большим. По этой причине обычная контрольная работа по математике, рассчитанная на один урок, содержит не более 10 заданий (задач) — как правило, 5 – 6 заданий. Но с точки зрения теории педагогических измерений, малое количество заданий (как следствие высокой трудоемкости каждого из них) также не соответствует интересам объективного оценивания учебных достижений обучающегося, поскольку не позволяет проверить, освоены ли им все обязательные единицы учебного содержания, предусмотренные соответствующей образовательной программой. Сильные стороны: Возможность получения информации ходе и результатах освоения образовательных программ; Возможность охвата одновременно большого числа людей (тестируемых); Высокая технологическая проработанность метода; наличие значительного количества методик тестирования и материалов к ним, адекватных целям деятельности ОУ. Слабые стороны: Высокая трудоемкость на стадии разработки (создания) измерительных материалов для целей тестирования; Достаточно сильная зависимость результатов тестирования от характера и уровня собственно тестовой культуры; Вероятность умышленной фальсификации результатов со стороны тестируемых. Возможности: Осуществление текущей и промежуточной аттестации обучающихся; Измерение профессиональной компетентности руководящих и педагогических работников Получение информации о техническом состоянии и функциональных возможностях технических средств (объектов учебноматериальной базы и социальной инфраструктуры ОУ). Ограничения: Предполагает наличие качественного, профессионально разработанного инструментария; Требует четкой регламентации порядка тестирования и фиксации его результатов; Высокая обусловленность результатов особенностями созданной для целей тестирования ситуации; как следствие, ограниченная возможность распространения (экстраполяции) результатов тестирования на поведение объекта в других ситуациях.. Рис. 13. SWOT-диаграмма тестирования Обобщая сказанное выше, следует признать практически все, что связано с текущим контролем успеваемости и промежуточной аттестацией обучающихся в ОУ (начиная с устного ответа у доски, чтения стихов наизусть и заканчивая выполнением практических задач, соответствующих 54 определенной профессии или должности18) более или менее полной и последовательной реализацией метода тестирования как такового. С другой стороны, любые контрольно-измерительные материалы (КИМ), используемые для тестирования (разработаны ли они профессиональными тестологами или педагогическими работниками ОУ), должны быть качественными. Учитывая, что разработка КИМ, отвечающих всем обязательным требованиям – трудоемкая, сложная и очень ответственная работа, при прочих равных условиях предпочтительнее использовать контрольно-измерительные (тестовые) материалы не собственного изготовления, а разработанные профессионально занимающимися этим организациями (специалистами). 3.2.4. Метод экспертных оценок Метод экспертных оценок как метод сбора информации для целей ВМК занимает совершенно особое место среди всех остальных методов. С одной стороны, он выступает как альтернатива наблюдению, опросу, тестированию и другим известным методам сбора и обработки информации. С другой стороны, он не только не исключает другие методы, но и часто включает их в себя. Содержательно-технологическую основу данного метода составляет использование «живого», неотчужденного знания и опыта одного или нескольких экспертов (от лат. еxpertus – опытный) для непосредственного измерения определенного объекта и (или) обработки и интерпретации результатов проведенных измерений. Необходимость привлечения неотчужденного личного знания и опыта эксперта возникает в случае отсутствия или недоступности общепризнанных, апробированных методик изучения (оценки) объекта, алгоритмов принятия решения в той или иной ситуации. Соответственно, эксперту полностью и безоговорочно доверяют решение поставленных перед ним вопросов, не предъявляя каких-либо определенных требований к методам и средствам их решения. Метод экспертных оценок предполагает, что методы и средства своей работы эксперт выбирает самостоятельно. В большинстве случаев эксперт для выполнения поставленных перед ним задач опирается не только на рациональные (факты, понятия, теории, методики, алгоритмы и т.д.), но и иррациональные инструменты познания, 18 Для обучающихся ОУ, реализующих профессиональные образовательные программы. 55 например, на собственную интуицию. Очевидным следствием этого является неизбежная субъективность результатов его работы. Если эксперт может произвести отчуждение своего личного знания и опыта решения той или иной задачи (т.е. изложить в доступном другим людям виде, как именно он решает эту задачу), то появляется новая методика, которая будет дорабатываться, «отшлифовываться» и, в итоге, получит научное признание и распространение в практике. Все известные на сегодняшний день методики решения научных, образовательных, производственных и иных задач, в том числе посредством стандартизованного наблюдения, опроса и тестирования, являются отчужденным опытом их авторов-экспертов. Из приведенного выше понимания сущности метода экспертных оценок вытекает ряд важных следствий, принимаемых в качестве основных постулатов, т.е. без доказательства: 1. Метод экспертных оценок представляет собой механизм формирования оценочных суждений о каком-либо объекте в условиях информационной неопределенности, т.е. отсутствия общепризнанных эталонов (методик, алгоритмов) для оценки данного объекта, недостаточности или противоречивости информации о нем и т.д. 2. Индивидуальная оценка любого эксперта имеет субъективный, в значительной мере интуитивный характер, поэтому максимально возможное приближение к объективной истине может быть достигнуто лишь за счет привлечения двух и более экспертов и последующего сведения их индивидуальных оценок в общую, итоговую оценку. Ограничиваться получением оценки одного эксперта можно в случаях, когда привлечение других экспертов невозможно, либо когда речь идет о решении оперативных задач, рутинных (повторяющихся) производственных ситуаций и проблем, вероятные последствия ошибок в которых не представляются значительными. 3. Если для выполнения той или иной экспертной задачи привлекается два или более экспертов, возможность непосредственного общения их друг с другом в ходе выполнения задачи должна быть исключена. В противном случае эксперты вступают в практически неконтролируемое межличностное взаимодействие, которое может иметь и негативные последствия. 4. Необходимое качество результатов применения метода экспертных оценок достигается, с одной стороны, за счет тщательного отбора на роль экспертов наиболее компетентных в соответствующей предметной области, авторитетных и уважаемых специалистов, а с другой стороны – четкой регламентацией процедурных моментов их работы. 56 Для целей ВМК применение метода экспертных оценок наиболее целесообразно для измерения (оценки) качества таких объектов, как: нормативные и иные правовые акты ОУ, в том числе их проекты; основные и дополнительные образовательные программы, рабочие программы учебных предметов (курсов, дисциплин, модулей); перспективные и годовые планы (программы) ОУ, в том числе по отдельным видам деятельности; процесс реализации образовательных программ ОУ 19 (образовательный процесс) ; участники образовательного процесса20. Сильные стороны: Квалифицированное измерение (оценка) объектов при отсутствии объективных средств измерения (оценки); Высокая оперативность; Возможность измерения любых объектов (свойств объектов). Слабые стороны: Субъективность результатов, получаемой в результате применения метода; Невозможность проверки (подтверждения) полученной информации другими лицами (методами); Сложность организации и проведения в случае привлечения нескольких экспертов. Возможности: Измерение (оценка) качества различных документов и материалов; Получение информации об участниках образовательного процесса, материальных и иных объектов, не выявляемой другими методами и средствами.). Ограничения: Предполагает наличие определенных знаний, практического опыта и квалификации лиц, привлекаемых в качестве экспертов; Требует четкого соблюдения установленных правил организации и проведения. Рис. 14. SWOT-диаграмма метода экспертных оценок Учитывая принципиально низкую регламентированность содержания, методов и форм работы эксперта, основным средством ее организации — с точки зрения органа управления ОУ как потребителя результатов работы эксперта — является вопрос (или несколько вопросов), на который эксперт должен дать ответ (ответы). Суть поставленных перед экспертом вопросов и характер ожидаемых ответов определяются с учетом особенностей объекта (показателей, отражающих эти особенности) и существа управленческого решения, которое может быть принято в отношении данного объекта. Для осуществления измерений (оценивания) по показателям качества данного процесса, для которых не имеется объективных средств измерения (оценки). 20 См. предыдущее примечание. 19 57 Так, в соответствии с законом принятие устава (изменений к уставу) ОУ осуществляется коллективом этого учреждения. Для обоснования соответствующего решения предварительно проводится экспертиза, которая должна дать ответы на ряд вопросов — в первую очередь, на вопрос о соответствии представленного проекта устава законодательству РФ и типовому положению об образовательном учреждении. Иными словами, эксперту предлагается измерить (оценить) качество проекта устава посредством показателя, в основе которого лежит номинальная шкала, имеющая два возможных значения: «соответствует», «не соответствует (требует доработки)». Разумеется, в случае, когда эксперт дает отрицательный ответ, от него ожидают конкретных рекомендаций, что и как необходимо доработать. Обязательными требованиями к продукту (результатам) работы эксперта являются соответствие ответов существу поставленных перед экспертом вопросов и однозначность (конкретность) этих ответов. Ответы эксперта не могут иметь условно-положительный характер, т.е. сопровождаться какими-либо оговорками, условиями и т.п. Если эксперт указывает на какие-то недостатки или необходимость доработки объекта экспертизы, то это рассматривается как отрицательный результат экспертизы и основание для принятия необходимых мер в отношении данного объекта с целью его доработки, совершенствования, развития и т.д. 3.2.5. Выборочный метод Хотя выборочный метод имеет прямое отношение к сбору информации, его нельзя поставить в один ряд с рассмотренными выше методами. В основе выборочного метода лежит признание того, что при определенных условиях для получения достаточно достоверной информации о состоянии некоторого множества объектов допустимо обследовать не все объекты, относящиеся к этому множеству, а лишь часть из них. При этом результаты, полученные в отношении обследованной части множества объектов (выборочной совокупности, или выборки), можно распространить на все множество в целом (генеральную совокупность). Тем самым можно значительно уменьшить затраты кадровых, материальных и временных ресурсов, не теряя при этом в качестве результатов ВМК. Для этого необходимо правильно сформировать эту самую выборочную совокупность (выборку) — обеспечить ее репрезентативность. Под репрезентативностью выборки понимается ее свойство воспроизводить собой структуру и особенности генеральной совокупности, к которой она 58 относится. Если, скажем в ОУ 58% девочек и 42% мальчиков, то и в сформированной для обследования выборке должно наблюдаться такое же соотношение мальчиков и девочек. Если среди педагогических работников около 10% имеют среднее профессиональное, а остальные – высшее профессиональное образование, то и в выборке на одного человека со средним профессиональным должно приходиться девять человек с высшим профессиональным образованием и т.д. Перечень контролируемых характеристик выборки (пол, возраст, образовательный уровень, уровень квалификации, национальность, место жительства, уровень материального благосостояния и т.д.) определяется в каждом конкретном случае с учетом целей и задач. Известны различные способы формирования выборки, среди которых, в первую очередь, следует выделить один достаточно простой, но надежный способ. Этот способ основывается на том, что качественную, репрезентативную выборку можно получить путем случайного отбора объектов из генеральной совокупности, при этом не обращая особого внимания ни на пол, ни на возраст, ни какие-либо иные факторы. Самое главное – обеспечить чисто случайный характер формирования выборки! Для этого необходимо выполнить следующее. Во-первых, определить общее количество (объем генеральной совокупности) объектов, которые, по идее, должны быть обследованы (изучены, измерены). Например, в крупном образовательном учреждении (с общей численностью обучающихся – 1200 человек) программой ВМК предусмотрено ежегодное измерение (оценка) воспитанности обучающихся в целях не столько определения уровня воспитанности каждого обучающегося в отдельности, сколько анализа результативности воспитательной работы в ОУ в целом и совершенствования ее организации и осуществления. Поскольку сплошное обследование обучающихся (всей генеральной совокупности, объем которой составляет 1200 человек) потребует таких ресурсных затрат, которые ОУ не может себе позволить, принимается решение о проведении выборочного обследования. Принимая такое решение, т.е. предполагая обследование только некоторой доли, а не всех 1200 обучающихся, орган управления неизбежно получает данные, которые характеризуют генеральную совокупность не точно, а с определенной погрешностью. В этой связи, необходимо заранее установить требуемый уровень точности результатов выборочного обследования. Предположим, администрация ОУ настаивает на том, что результаты выборочного обследования не должны отклоняться от результатов, которые были бы получены в случае сплошного обследования, более чем на ±5%. 59 На третьем шаге с помощью специальной таблицы, фрагмент которой приведен ниже, определяется минимальный объем выборки, которая обеспечит достижение заданного уровня точности с учетом общей численности обучающихся (объема генеральной совокупности). В первом столбце таблицы («Объем генеральной совокупности») находят значение, соответствующее объему генеральной совокупности (в рассматриваемом примере – 1200 чел). Если точного совпадения нет, обычно принимают ближайшее большее значение (1500 чел), а на пересечении соответствующей строки и столбца с заданным уровнем точности (±5%) находят значение, соответствующее минимальному объему выборки для заданных условий. В рассматриваемом примере минимальный объем выборки должен составить 316 человек, т.е. должно быть обследовано чуть более одной четверти общей численности обучающихся в ОУ. Таблица 2 Определение минимального размера выборки для заданных уровней точности Объем генеральной совокупности Объем выборки для различных уровней точности ±1% ±2% ±3% ±4% ±5% ±10% 500 * * * 222 83 – 1000 * * * 385 286 91 1500 * * 638 441 316 94 2000 * * 714 476 333 95 2500 * 1250 769 500 345 96 3000 * 1364 811 517 353 97 3500 * 1458 843 530 359 97 4000 * 1538 870 541 364 98 4500 * 1607 891 549 367 98 5000 * 1667 909 556 370 98 Примечание: * Обследование более половины объема генеральной совокупности обеспечит более высокую точность, чем указанная в данном столбце. Если орган управления настаивает на более высокой точности данных (например, отклонение не более чем на ±3%), необходимо измерить воспитанность не менее 638 обучающихся, а для того, чтобы быть уверенными в том, что предоставленные практически не отличаются от 60 данных сплошного обследования (менее ±1%) — более 750 обучающихся, т.е. более половины объема генеральной совокупности.21 На четвертом, заключительном шаге формирования выборки случайным образом отбирают конкретных обучающихся, которые будут включены в обследуемую выборку. До недавнего времени это представляло известную трудность, но благодаря компьютерной технике, имеющейся во всех образовательных учреждениях, выполняется довольно легко. Для этого необходим нумерованный список обучающихся и компьютерная программа, генерирующая в случайном порядке натуральные числа в заданном диапазоне (в данном случае – от 1 до 1200). Разумеется, обращение к выборочному методу может стать необходимостью лишь для сравнительно крупных ОУ (с численностью обучающихся 500 и более человек). В малокомплектных (малочисленных) образовательных учреждениях формировать выборки для целей ВМК, скорее всего, вообще не потребуется. Поскольку в рассматриваемом здесь ОУ не 1500, а 1200 обучающихся, то обследование даже 638 человек позволит получить результаты, отклоняющиеся от результатов сплошного обследования не более чем на ±1%, так как 638 составляет более половины общего числа обучающихся. 21 61 3.3. Обработка данных Данные, получаемые в результате применения рассмотренных выше методов и средств сбора (наблюдения, опроса, тестирования и т.д.), принято называть первичными данными. Они характеризуют единичные объекты и, хотя в ряде случаев могут быть непосредственно использованы органами управления ОУ при принятии решений в сфере их компетенции, часто требуют совершения над ними дополнительных действий, обеспечивающих их обобщение, сравнение, систематизацию и интерпретацию. Так, результат тестирования обучающихся в целях измерения их учебных достижений обычно предстает в виде количества (или доли) правильно выполненных конкретным обучающимся заданий соответствующего теста. При этом перед потребителем информации о качестве учебных достижений обучающихся неизбежно встают вопросы типа: «Что следует из того, что данный обучающийся выполнил правильно, скажем, 62% заданий теста?», «А какой результат продемонстрировал этот обучающийся в прошлом учебном году?», «А как справились с этим тестом обучающиеся того или иного класса (параллели, школы) в целом?» и т.п. Иными словами, первичные данные, характеризующие объекты управления в ОУ, как правило, требуют соответствующей статистической и аналитической обработки, обеспечивающей возможность их рассмотрения и учета при принятии управленческих решений. Иногда указанная обработка данных выполняется непосредственно в ходе их сбора, но в настоящих методических рекомендациях представляется более оправданным рассмотреть ее виды, методы и процедуры отдельно – как относительно самостоятельный технологический процесс ВМК. 3.3.1. Преобразование данных Собранные первичные данные об объектах (свойствах объектов) часто требуется преобразовать для большей наглядности или удобства последующей работы с ними. Под преобразованием первичных данных понимается перевод значений показателя, первоначально измеренных с помощью измерительной шкалы определенного типа (номинальной, ранговой, интервальной или абсолютной) и размерности, в соответствующие им значения другой измерительной шкалы (т.е. шкалы другого типа или размерности). При этом, как правило, одновременно преобразуется и сам показатель. 62 В качестве достаточно простого и наглядного примера можно привести преобразование первичного результата выполнения обучающимся теста в рамках государственной итоговой аттестации обучающихся, завершивших обучение по образовательным программам основного общего образования (ГИА-9), измеренного в интервальной шкале (количество набранных обучающимся баллов), в соответствующее этому результату значение на традиционной школьной шкале отметок успеваемости («отлично», «хорошо», «удовлетворительно» или «неудовлетворительно»). В той же логике действует и учитель в рамках текущего контроля успеваемости, оценивая качество выполнения той или иной работы обучающегося: вначале он, как правило, подсчитывает количество выполненных или невыполненных отдельных заданий, а затем выставляет обучающемуся отметку, являющуюся, по сути дела, в данном случае результатом преобразования некоторого количественного значения (например, количества допущенных обучающимся ошибок при выполнении работы) в качественное значение. При осуществлении преобразования первичных данных (фактически измеренных значений показателей) необходимо обеспечить соблюдение двух важнейших условий. Первое условие заключается в том, что преобразование данных осуществляется либо в пределах одного и того же типа измерительных шкал, либо из более мощной измерительной шкалы – в менее мощную, и в ни в коем случае не наоборот (Рис. 15). Тип измерительной шкалы Показатель Возможные значения (единицы измерения) показателя Шкала расстояний Количество выполненных обучающимся заданий Количество заданий (ед.) Шкала порядка Уровень подготовки обучающегося Высокий; средний; низкий Шкала наименований Соответствие качества подготовки обучающегося требованиям ФГОС Соответствует; не соответствует Рис. 15. Преобразование данных о качестве подготовки обучающегося с переходом на другую измерительную шкалу. 63 Самой мощной из всех измерительных шкал считается абсолютная шкала (шкала отношений); далее – в порядке убывания мощности – располагаются: интервальная шкала (шкала расстояний), ранговая шкала (шкала порядка) и, наконец, номинальная шкала (шкала наименований). Принципиальная невозможность преобразования имеющихся данных от менее мощных к более мощным шкалам заставляет сформулировать важное требование к организации и осуществлению хранения информации о результатах ВМК: чем в более мощных шкалах будут измерены, обработаны и сохранены данные о качестве образования (во всех его составляющих), тем большую информационную ценность они представляют для целей управления ОУ. При наличии соответствующих организационнотехнических возможностей22 следует рекомендовать сохранять всю собираемую информацию – от первичных данных до итоговых сводных отчетов). В противном случае восстановить при необходимости утраченные первичные данные – даже по материалам, содержащим сводные результаты преобразования, обобщения и иной обработки этих данных – будет невозможно. Второе условие преобразования данных заключается в обязательном наличии четких критериев (от греч. kritērion – средство для суждения), посредством которых эти преобразования осуществляются. В настоящих методических рекомендациях — в соответствии с научной и культурной традицией, закрепленной в большинстве научных словарей и энциклопедий — термином «критерий» обозначается признак или правило, на основании которых производится оценка, определение или классификация чего-либо; нечто, выступающее как мерило суждения, оценки. Важнейшим, ключевым моментом в приведенном определении понятия «критерий» является указание на то, что это некоторое содержательное правило (иногда – совокупность правил), являющееся основанием для какого-либо суждения (в том числе оценочного). В контексте вопросов, связанных с мониторингом качества образования, критерии рассматриваются как правила логического вывода определенных суждений о том или ином объекте на основе результатов измерения характеризующих его показателей. Так, возвращаясь к рассматриваемому вопросу о преобразовании данных — и, в частности, к примеру с преобразованием данных о количестве баллов, набранных обучающимся в тесте ГИА-9, в данные о соответствии качества подготовки этого обучающегося требованиям ФГОС — можно задать резонный вопрос: «Каким образом из той или иной конкретной суммы тестовых баллов обучающегося выводится, что качество подготовки этого Такие возможности реально предоставляют компьютерные базы данных, которые может создавать и вести любое современное ОУ. 22 64 обучающегося соответствует или не соответствует требованиям образовательного стандарта? Чем руководствуются при этом?» Ответ в данном случае очевиден и может прозвучать так: «Имеется четкий критерий, т.е. правило: качество подготовки обучающегося считается соответствующим требованиям ФГОС, если он набрал по результатам тестирования не менее 52 баллов из 100 возможных». Логическая структура любого критерия, в отличие от показателей и индикаторов, может быть выражена следующей «формулой»: Если А, то В; где: А – одно или несколько условий (предположений), которые должны наличествовать (выполняться); В – логическое следствие, наступающее в случае выполнения условий, предусмотренных первой частью критерия. Таким образом, если показатели (индикаторы) как таковые отражают фактические, наблюдаемые в данный момент результаты измерения объекта (наличие или отсутствие у него определенных свойств, степень их выраженности и т.д.), то критерии устанавливают, как следует относиться к этим результатам при принятии соответствующих управленческих, педагогических или иных решений. Иными словами, критерии – это ни в коем случае не показатели или индикаторы (пусть даже обобщенные, комплексные) и не конкретные значения показателей, а именно заранее установленные правила обращения с результатами измерения при принятии решений. В естественном языке критерии могут выражаться разными лексикосинтаксическими конструкциями, в том числе формально не имеющими в своем составе слов «если» и «то», например: «Обучение детей в образовательных учреждениях, реализующих программы начального общего образования, начинается с достижения ими возраста шести лет шести месяцев при отсутствии противопоказаний по состоянию здоровья, но не позже достижения ими возраста восьми лет»; «Высшая квалификационная категория может быть установлена педагогическим работникам, которые: имеют установленную первую квалификационную категорию; 65 владеют современными образовательными технологиями и методиками и эффективно применяют их в практической профессиональной деятельности; имеют стабильные результаты освоения обучающимися, воспитанниками образовательных программ и показатели динамики их достижений выше средних в субъекте Российской Федерации …»; «Документ государственного образца о соответствующем уровне образования является необходимым условием для продолжения обучения в государственном или муниципальном образовательном учреждении по программам последующего уровня образования.» При необходимости любое из приведенных выше высказываний (утверждений) можно представить в «каноническом», с точки зрения формальной логики, виде. Например, первое из приведенных утверждений может быть представлено так: «Если ребенок достиг к моменту начала обучения возраста 6 лет 6 месяцев и не имеет противопоказаний по состоянию здоровья, то он зачисляется (вправе быть зачислен) в образовательное учреждение для обучения по образовательной программе начального общего образования. Если ребенок достиг к моменту начала обучения возраста 8 лет, то он зачисляется в такое образовательное учреждение независимо от каких-либо иных обстоятельств». Таким образом, рассматриваемый критерий связывает несколько показателей (возраст ребенка: количество лет и месяцев; индивидуальные медицинские противопоказания к обучению в образовательном учреждении: имеются или отсутствуют) и определяет, при каких именно значениях, принимаемых этими показателями, руководитель образовательного учреждения обязан принять решение о зачислении этого ребенка. В предельно формализованном виде он будет выглядеть следующим образом: Если (А и В) или С, то D. где: А – достижение ребенком возраста не менее 6 лет 6 месяцев; В – отсутствие противопоказаний по состоянию здоровья; С – достижение ребенком возраста не более 8 лет; D – зачисление ребенка в образовательное учреждение, реализующее образовательную программу начального общего образования. 66 В соответствии с вышеизложенным можно выделить три основные области практического применения критериев для целей ВМК: 1. Преобразование фактических значений показателей, измеренных в одной измерительной шкале, в соответствующие им значения на иных шкалах (пример с ГИА-9 и т.п.). 2. Сведение частных показателей в общий (комплексный, интегрированный) показатель путем обобщения частных показателей, в том числе статистического, или иными способами. 3. Оценка качества полученных данных (результатов измерения), т.е. их полноты, достоверности, валидности и т.д., с помощью различных статистических критериев, позволяющих установить, например: действительно ли между двумя и более объектами мониторинга наблюдаются существенные различия по тому или иному признаку; имеется ли более или менее существенная динамика (как позитивная, так и отрицательная) состояния объекта и т.п. 3.3.2. Статистическая обработка данных Статистическая обработка данных включает в себя различные методы и средства, предназначенные для решения широкого круга задач, встречающихся как в массовой образовательной и управленческой практике, так и «нетипичных» для нее, редко возникающих на уровне управления ОУ. Классификации и группировки Классификация – это систематическое распределение объектов по определенным группам, классам, разрядам на основании их сходства и различия. В сущности, классификация представляет собой измерение объектов посредством соответствующей номинальной шкалы, что было рассмотрено выше. Группировка – это распределение множества изучаемых объектов по группам в соответствии с существенным для данной группы признаком. Одним из наиболее часто используемых в ОУ, но далеко не единственным признаком для группировки обучающихся (и, соответственно, относящихся к ним данных) является, например, принадлежность к определенному классукомплекту. Благодаря этому можно соотнести сводные показатели по обучающимся ОУ в целом со сводными показателями по отдельным классам 67 (группам); появляется возможность сравнивать, анализировать причины различий между группами, изучать взаимосвязи между признаками. Метод группировки позволяет обеспечивать первичное обобщение данных, представление их в более упорядоченном виде, делать вывод о структуре совокупности и о роли отдельных групп этой совокупности. Именно группировка формирует основу для последующей сводки и анализа данных. Признаки, по которым проводится группировка, называют группировочными признаками (основанием группировки). Они могут иметь как количественное, так и качественное выражение. При определении числа выделяемых групп, как правило, учитываются общий объем совокупности (количество объектов) и виды признаков, которые берутся в качестве основания группировки. Например, по такому признаку, как возраст участники образовательного процесса могут быть разбиты на самые различные группы. Их число будет зависеть от поставленных в данном случае задач. Например, это могут быть группы обучающихся на ступени начального общего, основного общего и среднего (полного) общего образования, либо несовершеннолетние и совершеннолетние участники образовательного процесса, либо педагогические работники трудоспособного, предпенсионного и пенсионного возраста и т.д. Если берется такой качественный признак, как образовательный уровень (например, в отношении родителей или иных законных представителей обучающихся), то групп будет ровно столько, сколько существует образовательных уровней: начальное общее образование, основное общее образование, среднее (полное) общее образование, начальное профессиональное образование, среднее профессиональное образование, высшее профессиональное образование, послевузовское профессиональное образование. По профилю образования количество групп может совпадать или с числом профессиональных групп, или с числом сфер образования (гуманитарное; инженерно-техническое; естественнонаучное). Если для построения группировки используется только один признак, то такую группировку называют простой, если несколько признаков – сложной. Виды группировок зависят от целей и задач, которые они выполняют. С известной мерой условности для выполнения этих задач группировки соответственно делят на типологические, структурные и аналитические. Метод типологической группировки заключается в выявлении в качественно разнородной совокупности однородных групп. При этом очень важно правильно отобрать группировочный признак, который поможет 68 идентифицировать выбранный тип. Примером такой группировки могут служить группы персонала ОУ по отношению к основной (уставной) деятельности. Категория персонала Руководящие работники Педагогические работники Учебно-вспомогательный персонал Обслуживающий персонал Итого: Численность категории абсолютная (чел) в процентах 5 5 60 60 10 10 25 25 100 100 Рис. 16. Пример типологической группировки персонала ОУ по отношению к основной деятельности Метод структурной группировки есть разделение однородной совокупности на группы по тому или иному варьирующему группировочному признаку. Примерами такого вида группировок могут быть группы участников образовательного процесса по полу, возрасту, месту проживания и т.д., то есть может решаться задача по изучению структурного состава той или иной однородной совокупности, структурных изменений по тому или иному группировочному признаку. Уровень освоения образовательной программы учебного года Отлично Хорошо Удовлетворительно Неудовлетворительно Итого: Число обучающихся абсолютное в процентах 54 235 467 4 760 6,7 32,9 59,9 0,5 100 Рис. 17. Пример структурной группировки обучающихся по результатам промежуточной аттестации Метод аналитической группировки заключается в исследовании взаимосвязей между изучаемыми признаками в качественно однородной совокупности. С помощью аналитических группировок удается выявлять объекты (их свойства, качества, признаки), которые могут выступать или причиной, или следствием того или иного явления. Учебно-методический комплект Учитель Число учащихся (чел) Доля родителей, удовлетворенных результатами 69 Начальная школа XXI века» (Н.Ф. Виноградова) «Школа России» (А.А. Плешаков) Система начального образования Д.Б. Эльконина – В.В. Давыдова (Б.Д. Эльконин) «Школа 2000...» – «Школа 2100» (Л.Г. Петерсон) Л. В. Петрова 45 обучения ребенка (%) 74 К. Н. Синцова 23 82 П. Р. Чайкина П. П. Коржова В. Н. Митяева С. А. Карцева 19 22 48 24 45 62 95 78 181 81 Итого по ОУ: Рис. 18. Пример аналитической группировки обучающихся, завершивших обучение по образовательной программе начального общего образования Результаты выполнения группировки представляют обычно в виде таблиц, при составлении которых необходимо соблюдать следующие правила: таблица должна быть легко обозримой; общий заголовок должен кратко выражать основное содержание; наличие строк «общих итогов»; соблюдение правил округления чисел. Определение средних величин Средней величиной называют значение показателя, которое характеризует обобщенное значение признака или группы признаков в исследуемой совокупности объектов. Практическое значение средних величин состоит в их обобщающей функции. Средняя величина заменяет большое число индивидуальных значений признака, обнаруживая общие свойства, присущие всем изучаемым объектам. Это, в свою очередь, позволяет избежать случайных причин и выявить общие закономерности, обусловленные общими причинами. На этапе статистической обработки могут быть поставлены самые различные задачи, для решения которых нужно выбрать соответствующую среднюю. При этом необходимо руководствоваться следующим правилом: величины, которые представляют собой числитель и знаменатель средней, должны быть логически связаны между собой. Известны две категории средних величин: степенные средние (средняя арифметическая, средняя гармоническая, средняя квадратическая, средняя геометрическая); структурные средние (мода, медиана). 70 Учитывая, что некоторые из перечисленных видов средних величин в статистических целях ОУ практически не используются, рассмотрим лишь наиболее распространенные и достаточно информативные для потребителей информации ВМК. Средняя арифметическая – самый распространенный вид средней величины. Она используется, когда расчет осуществляется по несгруппированным статистическим данным, где нужно получить среднее слагаемое. Средняя арифметическая – это такое среднее значение признака, при получении которого сохраняется неизменным общий объем признака в совокупности. Медиана и мода используются для изучения структуры совокупности изучаемых объектов и, в этой связи, относятся к категории структурных средних, характеризующих распределение объектов по измеренному признаку. Медиана – это величина, которая соответствует значению, находящемуся в середине ранжированного ряда (т.е. ряда, в котором зафиксированные ранее фактические значения показателя расположены по возрастанию или убыванию23). Для ранжированного ряда с нечетным числом индивидуальных значений (например, 1, 2, 3, 3, 6, 7, 9, 9, 10) медианой будет величина, которая расположена в центре ряда, т.е. пятое по счету значение в этом ряду. Для ранжированного ряда с четным числом индивидуальных значений (например, 1, 5, 7, 10, 11, 14) медианой будет средняя арифметическая величина, которая рассчитывается из двух соседних значений в середине ряда. Для данного случая медиана равна (7+10) : 2= 8,5. Модой (Мо) называют значение признака, которое встречается наиболее часто у изучаемых объектов (в совокупности объектов), т.е. с наибольшей вероятностью. Например, если по результатам психологического наблюдения в ходе изучения обучающихся, принятых в первый класс, выявлено 32 сангвиника, 24 холерика, 18 флегматиков и 6 меланхоликов, то модой (модальным значением) в данном случае является «сангвиник». Именно они встречаются в первых классах этого ОУ с наибольшей вероятностью. Несмотря на наглядность и достаточную простоту определения, медиана и мода гораздо реже, чем, скажем, средняя арифметическая, практически используются в образовательных учреждениях. Средняя арифметическая применяется, буквально, повсеместно, причем иногда — без достаточных на то оснований. Выбор средней величины для обобщения результатов измерения в значительной мере предопределяется типом В каком именно порядке расположены измеренные значения показателя (по убыванию или по возрастанию), при определении медианы не имеет существенного значения. 23 71 измерительной шкалы, использованной на стадии измерения (сбора первичных данных). Таблица 3 Виды средних величин, используемых для обобщения данных с учетом типа измерительной шкалы Измерительная шкала Вид средней величины Номинальная шкала (шкала наименований) Мода Ранговая шкала (шкала порядка) Мода, медиана Интервальная шкала (шкала расстояний) Мода, медиана, средняя арифметическая Абсолютная шкала (шкала отношений) Все виды средних величин Как видно из приведенной Таблицы 3, лишь абсолютная шкала позволяет применять все виды известных средних величин — потому-то она и является самой мощной из всех измерительных шкал. Номинальная шкала – наименее мощная с точки зрения использования средних величин: по отношению к данным, полученным на ее основе, допускается только определение моды (модального значения). Недопустимость определения медианы для данных, полученных на номинальной шкале, логически следует из качественного характера этих данных и принципиальной невозможности упорядочить значения номинальной шкалы по возрастанию или убыванию, что безусловно необходимо для определения медианы. Например, нельзя без насилия над здравым смыслом расположить по возрастанию (или убыванию) такие понятия, как «отец», «мать», «бабушка», «дедушка», «брат», «дядя», или определить, кто из перечисленных лиц занимает медианное (центральное) положение среди кровных родственников обучающегося. Для ранговой же шкалы определение медианы – вполне приемлемое и осмысленное действие (операция), поскольку эта шкала и есть, в сущности, упорядоченный ряд качественных значений, по определенным правилам приписываемых измеряемым объектам. Но, в свою очередь, на этой шкале не допускается определять, например, среднюю арифметическую, поскольку последняя применима только к количественным, а не к качественным данным. В этой связи становится совершенно очевидным, что практика выведения так называемого среднего балла успеваемости обучающихся не вполне корректна: «двойки», «тройки», «четверки» и «пятерки» – не количество баллов, а общепринятые обозначения соответствующих уровней качества выполнения учебных заданий, т.е. имеют качественную, а не 72 количественную природу. Поэтому шкалу отметок школьной успеваемости часто называют именно качественной. Перечень возможных методов и средств статистической обработки данных в ОУ не исчерпывается рассмотренными выше. Большие возможности предоставляют методы и средства анализа вариации признаков объектов, их распределений и согласия (согласованности), корреляционного анализа (установления наличия связей между двумя и более признаками), индексирования данных и др. Но для их квалифицированного применения требует специальная подготовка, объем и содержание которой выходит за рамки настоящих методических рекомендаций. 3.3.3. Агрегирование показателей Объекты управления качеством образования в ОУ имеют, как правило, сложную внутреннюю структуру и характеризуются не одним, а в большинстве случаев целой совокупностью показателей. Некоторые показатели, в свою очередь, могут декомпозироваться на более «мелкие», частные показатели, отражающие различные аспекты того или иного измеряемого качества объекта, либо его составные части. Так, согласно рабочему определению качества образования, оно представляет собой интегральную характеристику, выражающую меру соответствия образовательного процесса, условий для его осуществления и достигаемых образовательных результатов нормативным требованиям, социальным и личностным ожиданиям. Логический анализ приведенного определения позволяет выделить три основные составляющие образования (как объекта-носителя некоторого интегрального качества) и столько же групп требований к нему (Рис. 19). Образование Требования к образованию Условия для осуществления образовательного процесса Соответствие нормативным требованиям Образовательный процесс Соответствие социальным ожиданиям Образовательные результаты Соответствие личностным ожиданиям 73 Рис. 19. Основные элементы определения «качество образования в ОУ» Поскольку анализируемое определение не содержит в явном виде указания, к каким именно составляющим образования относятся те или иные требования, предполагается, что каждое требование относится и к условиям, и к процессу, и к результатам. На этой основе можно сконструировать девять частных показателей, отражающих качество образования в ОУ: начиная с соответствия условий для осуществления образовательного процесса нормативным требованиям и заканчивая соответствием образовательных результатов личностным ожиданиям. Предположим, что необходимые методы и средства для измерения каждого из указанных показателей имеются; более того, фактические значения показателей уже «сняты», т.е. получены (например, от привлеченных для этих целей экспертов). В результате, орган управления ОУ располагает экспертными оценками по всем интересующим его показателям качества образования, в совокупности своей исчерпывающими понятие «качество образования». Но исходное определение содержит еще один существенный содержательный элемент: оно указывает на то, что качество образования в ОУ не столько совокупность отдельных характеристик, сколько интегральная, целостная характеристика, определенным образом обобщающая все входящие в нее частные характеристики. Возникает естественный вопрос: «Как, каким образом следует связывать, соединять, обобщать частные показатели (оценки), чтобы получить требуемую интегральную характеристику (оценку) качества образования?» Решению этой задачи и служит такой метод, как агрегирование показателей. Под агрегированием, или агрегацией, понимается укрупнение показателей посредством их объединения в единую группу. С математической точки зрения, оно рассматривается как преобразование исходной модели объекта в модель с меньшим числом переменных и (или) ограничений, т.е. в агрегированную модель, дающую более общее по сравнению с исходной моделью описание изучаемого объекта или процесса. Агрегирование может осуществляться различными методами, в том числе путем: простого суммирования показателей (арифметического сложения их значений); группировки показателей с представлением образованной группы через характеризующую ее среднюю величину, в том числе с учетом предустановленных весовых коэффициентов (коэффициентов значимости) для отдельных показателей; 74 а также иными способами, адекватными имеющимся данным. Несмотря на значительное разнообразие различных методов агрегирования, их можно сгруппировать в две группы, различающиеся по фактически используемой стратегии обобщения частных показателей. Суть стратегии, лежащей в основе методов агрегирования первой группы, можно изложить следующим образом: «Если объект характеризуется одновременно несколькими частными показателями, то значение показателя, их обобщающего, не может быть выше значения самого «слабого» из этих показателей». В качестве ее метафорического эквивалента можно привести известный «принцип цепи»: «Качество любой цепи определяется качеством ее самого слабого звена. Непрочность хотя бы одного звена не позволяет считать цепь качественной, какими бы при этом прочными ни были ее остальные звенья!» Для иллюстрации такого подхода к агрегированию показателей можно привести достаточно простой пример. Если предполагается, что приобретаемый для образовательных целей компьютер должен быть: а) достаточно мощным, функциональным (т.е. предоставлять необходимые возможности для выполнения определенных видов работ); б) надежным (по крайней мере, иметь гарантию, что он будет работать надежно — без частых сбоев и поломок); в) сравнительно недорогим (не дороже определенной цены), — то ОУ откажется от покупки очень мощного и надежного, но чересчур дорогого для него компьютера. А равно оно откажется и от надежного и недорогого, но «немощного» компьютера; и даже – от достаточно мощного и недорогого, но ненадежного. Вторая стратегия агрегирования основывается на принципиальном допущении, что отсутствие или слабость (недостаточность) одного элемента объекта может восполняться, компенсироваться наличием или достаточной силой других элементов. Метафорической иллюстрацией этой стратегии является «принцип связки»: «Даже тонкие и хрупкие тростинки могут удержать тяжелый груз, если их связать друг с другом». Отсюда следует признание возможности некоторым образом суммировать или группировать различные показатели, определять значение обобщающего их показателя путем арифметического сложения значений частных показателей и т.п. Именно такая логика может лежать в основе, например, нового подхода к организации и осуществлению промежуточной аттестации обучающихся, заключающегося в учете не только их учебных (т.е. предусмотренных соответствующими рабочими программами учебных предметов), но внеучебных достижений. Возможно, по результатам выполнения обучающимся обязательных видов работ, предусмотренных указанными 75 программами, его достижения нельзя признать впечатляющими. Но если принять во внимание его внеучебные достижения в данной образовательной области, становится очевидным, что этот обучающийся заслуживает достаточно высокой итоговой оценки. Кроме описанных выше двух основных стратегий агрегирования существуют и ряд других, вариантов, представляющих собой модификации основных стратегий или даже результат их объединения. Так, простое арифметическое суммирование может заменяться суммированием с учетом весовых коэффициентов (значимости) отдельных показателей. Именно такой вариант лежит в основе так называемой рейтинговой системы промежуточной аттестации обучающихся24, в соответствии с которой оценка учебных достижений обучающегося за определенный период (четверть, полугодие, год) определяется на основе суммирования баллов, выставленных обучающемуся за все виды обязательных контрольных работ, выполненных им в течение этого периода. При этом все виды работ оцениваются по одной и той же шкале (от «1» до «5»), но, принимая во внимание разную сложность и трудоемкость этих работ (устный ответ в классе, выполнение письменного теста, лабораторная работа и т.д.), для них устанавливаются соответствующие коэффициенты сложности. Система предполагает, что сначала выставленная обучающемуся оценка в баллах за определенную работу умножается на коэффициент сложности, установленный для данного вида работы; затем полученные таким образом значения суммируются по всем видам выполненных работ и определяется итоговое, обобщенное значение (в баллах), которое преобразуется в окончательную оценку за соответствующий учебный период. С точки зрения организатора ВМК следует обратить внимание на следующее. Агрегирование показателей предполагает наличие четких и исчерпывающих правил его осуществления, т.е. соответствующих критериев, однозначно определяющих условия и порядок обобщения частных показателей. Эти правила (критерии) должны быть известны непосредственным исполнителям работ, связанных с обработкой данных, и, разумеется, соблюдаться. В противном случае органам управления ОУ будет предоставляться не обобщенная информация, а данные по каждому показателю в отдельности — пусть полные, достоверные и своевременные, но разрозненные; и потребителю информации ВМК придется самому их обобщать для принятия осмысленных и обоснованных решений. Встречаемое в наименовании этой системы слово «рейтинговая» не вполне соответствует сущности данной системы. Термин «рейтинг» вообще обозначает порядковое место объекта среди других однотипных объектов по степени выраженности определенного признака (качества, свойства). Но данное наименование исторически закрепилось за этой системой, и корректировать его не представляется возможным. 24 76 Конкретное содержание указанных правил (критериев) и процедуры агрегирования устанавливается ОУ с учетом особенностей объектов, выбранных для измерения их свойств показателей и типа измерительной шкалы и, конечно же, здравого смысла. 77 3.4. Предоставление информации Организация предоставления информации включает в себя решение задач, связанных с определением конкретных органов управления (должностных лиц) ОУ, которым предоставляется информация и, соответственно, ее характера, а также форм и сроков (периодичности) предоставления. Согласно общему правилу, ВМК предоставляет органам управления (должностным лицам) ОУ только ту информацию, которая им необходима для выполнения своих функциональных (должностных) обязанностей и реализации предоставленных им прав (полномочий). При этом, по определению, ВМК не предназначен для выполнения такой задачи, как распространение информации о качестве образования в ОУ25. Решение о распространении той или иной информации путем размещения ее на официальном сайте ОУ или иным способом принимается компетентным органом управления ОУ с учетом требований законодательства РФ (Приложение 1) после подтверждения полноты и достоверности этой информации. Указанное подтверждение дается органом управления, главным образом, в результате констатации факта полного и точного соблюдения установленного порядка их сбора и обработки, учтенности влияния основных факторов, которые могли оказать негативное влияние на качество информации (Приложение 4). Поскольку распределение функций и полномочий между отдельными органами управления ОУ определяется уставом и другими локальными правовыми актами этого ОУ и может существенно различаться в разных образовательных учреждениях (даже в учреждениях одного типа и вида) привести исчерпывающие рекомендации о том, кому и какая именно информация предоставляется, невозможно. Но, в дополнение к указанному выше общему правилу, следует привести еще одно правило, согласно которому доступ к данным, содержащим персональную информацию (т.е. информацию, например, о конкретных обучающихся, их родителях, педагогических работниках и других лицах) должен быть ограничен с учетом законных прав этих лиц на неприкосновенность частной жизни, личную и семейную тайну, защиту своей чести и доброго имени. Данное правило не распространяется на персональные данные, подвергнутые статистическому или иному обобщению, т.е. обезличиванию – действиям, в результате которых невозможно определить принадлежность Под распространением информации понимается предоставление ее неопределенному кругу лиц путем воспроизведения, опубликования, передачи в эфир, размещения на общедоступных сайтах сети Интернет и т.д. 25 78 персональных данных конкретному субъекту (индивиду). К числу таких данных относятся, например, сводные данные всех видов: о средних результатах тестирования обучающихся по классам (параллелям классов, ОУ в целом), процентные распределения участников образовательного процесса по различным признакам (по полу, возрасту, образовательному уровню и т.д.) В качестве иллюстрации можно привести ситуацию принятия педагогическим советом ОУ решения о выборе УМК по отдельным учебным предметам в рамках реализации конкретной основной общеобразовательной программы26. Для принятия обоснованного и наиболее целесообразного решения по этому вопросу педагогический совет не может ограничиться лишь рассмотрением пожеланий и личных предпочтений учителей, преподающих соответствующие учебные предметы; ему необходимо принять во внимание и другую информацию (данные, сведения), которую может предоставить ВМК. Обобщенные данные о результатах промежуточной аттестации обучающихся по учебному предмету (по классам) Данные об использовании в классах различных УМК по учебному предмету Данные об удовлетворенности родителей (законных представителей) обучающихся качеством промежуточных результатов обучения Федеральный перечень учебников и учебных пособий на следующий учебный год Определение перечня УМК Решение о включении определенных УМК в соответствующую образовательную программу Педагогический совет Рис. 20. IDEF0-диаграмма процесса принятия решения об определении перечня УМК, используемых для целей конкретной образовательной программы ОУ Во многих ОУ именно педагогический совет – согласно уставу ОУ – осуществляет такое полномочие, как «Определение списка учебников в соответствии с утвержденными федеральными перечнями учебников, рекомендованных или допущенных к использованию в образовательном процессе в имеющих государственную аккредитацию и реализующих образовательные программы общего образования образовательных учреждениях, а также учебных пособий, допущенных к использованию в образовательном процессе в таких образовательных учреждениях», отнесенное федеральным законом к компетенции ОУ. 26 79 Согласно приведенной диаграмме, для принятия решения об определении перечня УМК на ближайшую учебную перспективу (по крайней мере, на следующий учебный год) компетентному органу управления ОУ требуются объективные данные о фактическом использовании в ОУ тех или иных УМК и результатах их использования. Если при этом речь идет о каких-либо новых УМК, ранее не применявшихся в образовательном процессе ОУ, необходимы и соответствующие экспертные оценки качества этих УМК, а также их приемлемости с точки зрения целей и содержания образовательной программы, в рамках которой их предполагается использовать, и материально-технических и иных условий ее реализации27. По умолчанию, указанные данные, предоставляемые органу управления ОУ, полны и достоверны, т.е. субъекты ВМК, осуществлявшие их сбор и обработку, гарантируют их надлежащее качество и готовы нести за это моральную и иную предусмотренную локальными правовыми актами ОУ ответственность. В противном случае ни один орган управления – каким бы квалифицированным, компетентным и работоспособным они ни был – не в состоянии принимать решения, действительно, в интересах обеспечения качества образования в ОУ. Важным моментом в организации предоставления информации является установление сроков (периодичности) ее предоставления, которые определяются, с одной стороны, с учетом рабочего графика органов управления ОУ (потребителей этой информации) и установленными для них сроками принятия решений; с другой стороны – содержательной спецификой отслеживаемых свойств (признаков) объектов управления в динамическом аспекте. Что касается последнего, то считается: чем более динамично изменяется (или может изменяться) объект управления, тем чаще информация о его состоянии должна предоставляться компетентному органу управления. Отсюда следует, что не имеет смысла слишком часто измерять и, соответственно, предоставлять результаты измерения о том, что практически не меняется или меняется достаточно медленно. Например, жизненные ценности или мотивационная структура личности – настолько устойчивые образования, что измерять их чаще, чем один раз в несколько лет (в отношении детей – возможно, один раз в два-три года) означает напрасную трату времени и сил. А скажем, температура воздуха в учебных помещениях или посещаемость занятий обучающимися – очень динамичные показатели, о которых в большинстве образовательных учреждений докладывают ежедневно, поскольку то, что за ними стоит, требует незамедлительного, Если тот или иной УМК предполагает наличие каких-либо определенных, особенных условий для его использования. 27 80 оперативного реагирования со стороны органов управления (должностных лиц) ОУ. Информация может предоставляться как в устном, так и письменном виде (в том числе в электронном виде). Выбор формы предоставления в значительной мере определяется интересами и возможностями органов управления, выступающих как непосредственные потребители этой информации. Небольшая по объему или разовая (оперативная) информация может предоставляться в устной форме. Если же на основании данных ВМК принимаются решения, для которых предусмотрена обязательная письменная (документальная) форма, то указанные данные предоставляются, соответственно, тоже в письменном виде. Таблицы – один из наиболее распространенных способов структурирования и представления данных, как количественных, так и качественных. Чаще всего используются таблицы двух видов: перечневые и взаимной сопряженности признаков. Перечневая таблица обычно представляет результаты типологической группировки данных по одному или нескольким показателям. Динамика общей и качественной успеваемости обучающихся по математике в 2004-2007 годах Учебный год Общая успеваемость28 Качественная успеваемость29 2003/2004 96,2 32,3 2004/2005 97,3 38,4 2005/2006 98,4 43,7 2006/2007 96,3 41,7 Рис. 21. Пример перечневой таблицы Каждая графа таблицы представляет отдельную переменную (в данном случае приведены три переменные). Тот факт, что таблица задана переменной «Учебный год», которая расположена в первой графе, называемой боковик таблицы, определяет и порядок изложения данных. Каждая таблица должна иметь заголовок, который точно отражает содержание представленных данных. В случае, когда данные охватывают определенный период времени – как в приведенном примере – этот период Под общей успеваемостью понимается доля обучающихся, освоивших программу учебного года («удовлетворительно» и выше), в процентах от общего числа обучающихся. 29 Под качественной успеваемостью (качеством знаний) понимается доля обучающихся, освоивших программу учебного года на «хорошо» или «отлично», в процентах от общего числа обучающихся 28 81 также следует включить в заголовок. Сокращения в заголовках таблиц не допускаются. Если таблицу формируют полностью или частично по данным, взятым из иных документальных источников (классных журналов, протоколов, отчетов и пр.), то необходимо дать ссылку на эти источники сразу под таблицей (как в приведенном примере), либо называя использованные источники в тексте комментариев (пояснений). Основное назначение таблицы взаимной сопряженности признаков заключается в демонстрации взаимосвязей между рассматриваемыми признаками (показателями); иными словами, она представляет собой форму представления результатов структурной или аналитической группировки данных. При этом один признак (его возможные значения) располагается в строках таблицы, а другой признак (его значения) – в ее графах (столбцах). Удовлетворенность участников образовательного процесса структурой и содержанием основных образовательных программ (в процентах от числа опрошенных) Категория участников образовательного процесса Степень удовлетворенности низкая средняя высокая Обучающиеся 12 45 43 Родители (законные представители) обучающихся 29 43 28 Педагогические работники 5 65 30 Рис. 22. Пример таблицы взаимной сопряженности признаков По формату и структуре таблица взаимной сопряженности признаков похожа на перечневую таблицу, однако по содержанию она совершенно иная. В самом деле, хотя приведенная ранее таблица о динамике успеваемости внешне очень похожа на таблицу об удовлетворенности участников образовательного процесса качеством основных образовательных программ, нет никаких оснований полагать, что с помощью первой таблицы демонстрируют какую-либо закономерную связь между собственно учебным годом и успеваемостью обучающихся в этом году. Да, общая успеваемость в 2005/2006 учебном году составила 98,4%; но не потому, что на дворе стоял 2005/2006 учебный год, а видимо, совсем по другой причине, которая в самой таблице не представлена, а выявляется из контекста документа. В таблице же об удовлетворенности участников образовательного процесса предпринимается попытка продемонстрировать определенную связь между 82 категорией участников образовательного процесса и степенью их удовлетворенности основной образовательной программой. Представленные различия достаточно существенны, но без хорошего аналитического комментария, объяснения характера и причин возникновения этой связи здесь не обойтись. Характерной чертой таблиц взаимной сопряженности признаков является то, что они всегда строятся так, что данные по включенным в них признакам суммируются. Это значит, что если, например, таблица содержит процентные распределения, то сумма указанных процентных значений по любой строке (или столбце) таблицы будет равна 100%. Графики (иногда их называют линейными диаграммами) используются, как правило, для демонстрации динамики определенного процесса или изменения значений какой-либо переменной, что оказывается весьма полезным для изображения тенденций (трендов). Легче всего читать график, когда количество линий в нем сведено к минимуму, то есть речь идет об одной переменной (показателе). Однако иногда бывает полезно поместить на одном графике данные о нескольких переменных или процессах. Тогда график следует изобразить как можно крупнее и придать максимум разнообразия линиям, относящимся к разным объектам. Число обучающихся в % Рис. 1 Динамика успеваемости обучающихся в 2004-2007 годах 100 80 97,3 96,2 98,4 96,3 43,7 41,7 2005/2006 2006/07 60 40 20 38,4 32,3 0 2003/04 2004/05 Общая успев аемость Качеств енная успев аемость Рис. 23. Пример графика (линейной диаграммы) Если соседние значения переменной на графике отличаются друг от друга незначительно, то есть направление ее изменения невооруженным глазом уловить трудно, рекомендуется подписать значения переменной в точках, по которым построен график. 83 Очень важно обратить внимание на то, что использование графиков (линейных диаграмм) можно считать безусловно корректным только в тех случаях, когда они представляют информацию о состоянии одного и того же объекта (группы объектов). Например, приводятся данные об изменении психологического климата в одной и той же группе участников образовательного процесса или, скажем, средней температуре воздуха в учебных помещениях. Если же необходимо проиллюстрировать различия или сходство между двумя и более разными объектами (например, сравнить число медалистов в выпусках разных лет или активность нескольких классов в жизни школы в текущем году), то лучше воспользоваться гистограммой. С ее помощью данные можно представить как в виде вертикальных столбиков, цилиндров, конусов и пр. (столбиковая гистограмма), так и горизонтальных. Посредством гистограммы можно представлять и содержание любых графиков. Но в таком случае несколько изменяется смысл, вкладываемый в приводимые данные — непрерывный характер той или иной тенденции не утверждается, а лишь предполагается. Ниже приведена столбцовая гистограмма, построенная на тех же самых данных, что и линейная диаграмма (график) на Рис.13. Рис. 1 Общая успеваемость обучающихся в 2004-2007 годах Число обучающихся в % 100 99 98 97 96 95 94 2003/04 2004/05 2005/06 2006/07 Рис. 24. Пример гистограммы Важное замечание относительно использования гистограмм заключается в необходимости внимательного отношения к выбору масштаба изображения осей данных (вертикальных и горизонтальных). В приведенном выше примере значения вертикальной оси начинаются с 94% и заканчиваются 100%, т.е. столбцы приводятся в усеченном виде. Это означает, что различия приведенных данных визуально преувеличены – они 84 просто бросаются в глаза. Для сравнения ниже приводятся те же самые данные, но в полной размерности вертикальной оси (0 – 100%). Рис. 1 Общая успеваемость обучающихся в 2004-2007 годах Число обучающихся в % 100 80 60 40 20 0 2003/04 2004/05 2005/06 2006/07 Рис. 25. Пример гистограммы в полном масштабе вертикальной оси значений Оба варианта построения гистограммы совершенно правильны и равносильны, поэтому вопрос о том, каким именно из них следует воспользоваться, решается с учетом соответствующих запросов потребителей информации. Круговые диаграммы используются для отражения удельного веса различных составляющих объекта (целого). Поэтому основным показанием к применению их является требование, заключающееся в том, что сумма всех составляющих целого должна равняться 1 или 100%. Рис. 6 Количество социальных проектов, реализованных пятыми классами в 2007 году 5Д 16% 5А 18% 5Б 12% 5Г 32% 5В 22% Рис. 26. Пример круговой диаграммы Данные, собранные и обработанные в ходе осуществления ВМК, могут представляться посредством и других диаграмм. Выбор типа диаграммы определяется характером информационной задачи, которая стоит перед 85 исполнителями ВМК – точнее, спецификой того содержания, которое им необходимо донести до потребителя информации. Считается, что все числовые данные должны приводиться в таблицах, графиках, диаграммах и т.п., поскольку в обычном тексте цифры воспринимаются плохо. Но практический опыт показывает, что ни одна таблица или диаграмма не должны быть включены в текст отчетного документа, если по ним нельзя дать пояснения или комментарии. Эти пояснения не должны просто повторять содержание таблицы, диаграммы или графика — оно и так перед читателем (потребителем информации). Желательно, чтобы эти комментарии проясняли взаимосвязи между представленными данными, а также обусловленность этих данных теми факторами или обстоятельствами, которые остались за пределами содержания цифр и высоты столбцов, но необходимы для правильного восприятия и оценки данных. К числу названных факторов и обстоятельств, составляющих содержание комментариев, в первую очередь, следует отнести указание или предельно краткую характеристику тех факторов, которые обусловили наблюдаемый характер данных. Немаловажным может оказаться указание реальных условий педагогической и иной деятельности, возможно, изменявшихся на протяжении периода мониторингового наблюдения и, тем самым, способных прояснить действительный смысл приведенных данных. Это будет иметь важное значение особенно в тех случаях, когда наблюдаемая динамика значений показателей не позволяет однозначно квалифицировать ее как позитивную. 86 3.5. Хранение информации Хранение информации представляет собой процесс передачи информации во времени, связанный с обеспечением неизменности ее состояния (содержания). Характерной особенностью процесса хранения информации о результатах ВМК является ее систематическое пополнение, т.е. накопление в течение установленных сроков хранения. Хранение осуществляется на соответствующих носителях: бумажном и (или) электронном. Главная проблема, с которой порой сталкивается ОУ – это обеспечение упорядоченного хранения информации и доступности соответствующих данных в случае необходимости. Очень часто, затратив на сбор и обработку каких-либо данных значительные усилия и использовав эти данные по назначению в определенный момент времени, ОУ теряет их иногда, буквально, на следующий день. Когда спустя некоторое время возникает необходимость вновь задействовать ранее собранную информацию (например, о результатах опроса родителей (законных представителей) обучающихся в прошлом году), вдруг обнаруживается, что никому неизвестно, где и у кого она находится, сохранилась ли она вообще, а если и сохранилась, то в каком состоянии. Решение этой проблемы заключается в формировании информационной системы ОУ. Информационная система – это хранилище (или совокупность мест хранения) информации, снабженное процедурами ввода, поиска и размещения и выдачи информации. Наличие и предельно возможная конкретность таких процедур – главная особенность информационных систем, отличающих их от простых скоплений информационных материалов. Например, личная библиотека, в которой путается даже ее владелец, информационной системой не является. В публичных же библиотеках порядок размещения книг всегда строго определенный, благодаря которому поиск и выдача книг, а также размещение новых поступлений представляет собой стандартные, формализованные процедуры30. Документальные формы (журналы, книги и (или) карточки учета; оперативные сводки; аналитические записки; текущие, промежуточные и итоговые отчеты и иные формы на бумажном носителе), содержащие информацию ВМК, могут храниться в одном месте или в разных местах (у Кстати, идея хранения данных ВМК в фондах библиотеки ОУ – достаточно перспективная. Если при этом требуется исключить несанкционированный доступ к тем или иным данным, то это обеспечивается хранением этих данных в электронном виде: например, в папке файлов или отдельным файлом с ограниченным доступом. 30 87 определенных должностных лиц). Во втором варианте должностными инструкциями предусматривают выполнение указанными лицами функции, связанной с приемом, хранением и выдачей информации в установленном порядке. Часто выполнение данной функции возлагают на лиц, осуществляющих окончательную статистическую и аналитическую обработку данных. Аналогично решаются вопросы, связанные с организацией хранения информации в электронном виде. Основными средствами хранения информации при этом становятся текстовые файлы, которые представляют собой электронный эквивалент бумажного документа, а также электронные таблицы и базы данных. Следует особо подчеркнуть, что при наличии необходимых организационно-технических возможностей следует настаивать на обеспечении сохранности не только итоговых документов (справок, сводок, отчетов, аналитических записок и т.п.), содержащих результаты обработки данных ВМК, но и первичных данных, на основе которых эти документы были подготовлены. Разумеется, не все первичные данные могут быть сохранены. Если они относятся, например, к текущему состоянию объектов инфраструктуры образовательной деятельности ОУ (здание, системы жизнеобеспечения и т.д.), носят исключительно оперативный характер и предоставляются, преимущественно, в устной форме, вряд ли их стоит документировать и хранить. Это относится ко всем первичным данным, которые не представляется целесообразным использовать в последующем для сравнительного (сопоставительного) анализа при принятии управленческих решений. Совершенно иного подхода требуют первичные данные, относящиеся, например, к обучающимся или другим участникам образовательного процесса. Их ценность очевидна, особенно в интересах выявления и анализа индивидуальной динамики личностного и профессионального развития, оценки результативности основных и дополнительных образовательных программ ОУ, решения ряда научно-педагогических задач. Эти данные желательно хранить в течение, как минимум, всего срока обучения (фактического пребывания) данных лиц в ОУ. Учитывая ограниченные возможности ОУ в части выделения ресурсов для хранения индивидуальной информации об участниках образовательного процесса, оптимальной формой хранения соответствующих первичных данных следует считать хранение на электронном носителе (в виде электронных таблиц или баз данных). При прочих равных условиях предпочтительнее электронные таблицы, поскольку они предоставляют, на сегодняшний день, более широкие возможности для статистической и 88 аналитической обработки данных при том программном обеспечении и тех кадровых ресурсах, которыми располагает большинство образовательных учреждений. В любом случае массив хранимых электронных данных, независимо от того, к каким объектам они относятся, должен быть предельно упорядочен, т.е. являться информационной системой в ее указанном выше значении. Это достигается определением мест хранения информации, стандартизацией (унификацией) имен папок и файлов, а также требований к записям в них. Электронные папки и файлы являются основными структурными единицами хранения информации. Их размещение и наименования должны обеспечивать быстрый поиск и актуализацию требуемых данных, в том числе при отсутствии основного работника, отвечающего за их хранение. В этой связи следует считать неприемлемыми малоинформативные, но, к сожалению, часто наблюдающиеся имена папок и файлов типа: «Отчеты», «Сведения», «Проект», «Школа» и т.п. По такого рода именам невозможно понять, какая именно информация содержится в папке или файле, не открыв их и, соответственно, не потратив на это лишнее время. Современные операционные системы позволяют присваивать папкам и файлам достаточно длинные имена и, тем самым, быстро идентифицировать их содержимое. Если файл содержит сведения о результатах промежуточной аттестации обучающихся определенного класса в истекшем учебном году, то ему целесообразно присвоить имя, указывающее характер данных, объект и время (период времени), к которому они относятся, например: «Годовые отметки успеваемости 10А класса (2010 г)». Аналогично определяются требования к составу имен папок и файлов, содержащих другую информацию. Не менее важным условием, выполнение которого обеспечивает эффективную работу с данными, является соблюдение определенных требований к записям в таблицах (базах данных). Табличная форма является, пожалуй, наиболее распространенной формой фиксации и упорядочения данных; причем не только в электронных, но и «бумажных» документах. Обычный классный журнал представляет собой именно совокупность таблиц, заполняемых по установленным правилам. Но если правила заполнения (ведения) классных журналов общеизвестны и чаще все-таки соблюдаются, чем нарушаются, то в отношении электронных документов ситуация иная: соответствующие правила, в большинстве случаев, лишь предстоит установить. Под записью в любого рода таблице (как на бумажном, так и электронном носителе) понимается строка таблицы, содержащая набор измеренных значений, соответствующих полям этой таблицы. 89 Поле 1 Поле 2 Поле 3 Поле 4 … Фамилия Имя Пол Дата … Запись 1 Запись 2 … Рис. 27. Таблица, запись и поле Стандарт каждой записи включает перечень обязательных полей и совокупность подразумеваемых или явно сформулированных правил их заполнения (включая условные обозначения, если они допускаются). Указанные стандарты устанавливаются органами управления ОУ с учетом особенностей объектов мониторинга, характера собираемых данных о них и предполагаемых действий над этими данными. В общем случае стандарт записи должен предусматривать следующие обязательные поля: наименование (имя) объекта; предмет измерения (изучения) или конкретизирующий его показатель; дату измерения (в некоторых случаях – дату и время); результат измерения (измеренное значение показателя); лицо, осуществлявшее измерение (обработку данных). В случае необходимости также предусматривают поле, в котором указывают использованный метод и (или) средство измерения. Такая необходимость, как правило, возникает, когда для измерения допускается использовать разные методы и средства, дающие или позволяющие дать и, соответственно, разные результаты измерения. Например, измерение обученности обучающихся в части их общеучебной компетентности посредством разных контрольно-измерительных материалов дает иногда существенно различные результаты в отношении одного и того же обучающегося в один и тот же момент времени. Требования к записям необходимо зафиксировать в локальном правовом акте ОУ, регламентирующем порядок организации и осуществления ВМК, либо в специальных рабочих (методических) инструкциях, выступающих в качестве приложений к этому акту. 90 4. Распределение кадровых, временных и иных ресурсов Иногда руководители ОУ не уделяют должного внимания тщательной проработке вопросов распределения временных, кадровых и финансовоматериальных ресурсов. В результате в некоторых учреждениях наблюдаются попытки внедрить такие системы мониторинга, которые приводят к непомерному росту нагрузки на работников, хроническому цейтноту — и все это в условиях явной недостаточности, а порой и полного отсутствия выделения необходимых финансовых и материальных средств. В конечном итоге это ведет либо к систематическим сбоям в информационном обеспечении управления ОУ, либо к фатальному снижению качества выполнения работ, профанации самой идеи управления образовательным учреждением на основе полной, своевременной и достоверной информации. Для того, чтобы приступить к распределению ресурсов для осуществления мониторинга, необходимо определить, в первую очередь, общий объем работ. Очевидно, что этот объем обусловлен: количеством объектов, определенных для осуществления ВМК; количеством признаков (свойств) объектов, интересующих органы управления учреждением, и, соответственно, количеством показателей (индикаторов), выбранных для измерения этих свойств; предполагаемой периодичностью измерения показателей (включая сбор и обработку данных) и предоставления соответствующей информации; временными затратами на измерение каждого показателя. Что касается последнего из перечисленных выше факторов, определяющих объем работ для целей ВМК, следует заметить, что авторы различных методик, рекомендуемых для проведения сбора, обработки данных и других видов работ, не всегда указывают реальный объем времени, затрачиваемый при применении соответствующей методики. Поэтому в большинстве случаев приходится ставить вопрос о необходимости проведении хронометража для определения ориентировочных трудозатрат. Распределение кадровых ресурсов, т.е. определение конкретных исполнителей различных работ, может осуществляться разными средствами. Наиболее распространенным средством является используемая при планировании обычная таблица: 91 Вид работы Сроки (периодичность) Исполнитель Примечание (отметка о выполнении) … … .. … … … … … Несмотря на большую популярность таблицы как средства планирования, следует отметить, что она обладает одним существенным недостатком: с ее помощью довольно трудно избежать «накладок» при распределении временных и кадровых ресурсов, когда на одного работника наваливается такой объем работ, что выполнить его в установленные сроки он не в состоянии. Поэтому для оптимального распределения указанных ресурсов все чаще рекомендуют использовать диаграмму Гантта. Диаграмма Гантта (англ. Gantt chart, также ленточная диаграмма, график Гантта) – это очень популярный в последние десятилетия тип столбчатых диаграмм, которые первоначально использовались для иллюстрации хода выполнения плана, графика работ по какому-либо проекту. Идея Генри Л. Гантта, ее автора, состояла в том, что главным ресурсом является время, а основой принятия управленческих решений – сравнение запланированного и фактического состояния работ. В настоящее время диаграммы Гантта используются не только для текущего контроля хода работ, но и решения задач планирования и распределения ресурсов на их выполнение. Диаграмма Гантта представляет собой отрезки (графические плашки), размещенные на горизонтальной шкале времени. Каждый отрезок соответствует отдельной задаче или подзадаче. Задачи и подзадачи, составляющие содержание (виды) работ, размещаются по вертикали. Начало, конец и длина отрезка на шкале времени соответствуют началу, концу и длительности выполнения задачи. Вид работы Неделя учебного года 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 … Работа А Работа Б Работа В Работа Г Рис. 28. Пример распределения сроков выполнения работ с помощью диаграммы Гантта 92 Учитывая, что при планировании выполнения работ в рамках системы мониторинга в конкретном учреждении осуществляют распределение не только временных, но и кадровых ресурсов, соответствующая диаграмма Гантта может быть модифицирована. Возможны два варианта модификации. Первый заключается в том, что цвет горизонтальных отрезков, соответствующих отдельным задачам (видам работ), закрепляют за определенным исполнителем (категорией исполнителей). Вид работы Работа А Неделя учебного года 1 2 З З Работа Б У Работа В З Работа Г К 3 4 П П 5 6 7 8 9 З З З З К К К К 10 11 12 13 14 15 У У У У У У П З К 16 17 З З 18 19 К К … З К … Примечания: З– У– К– П– Заместитель директора по УВР Учителя-предметники Классные руководители Педагог-психолог Рис. 29. Пример распределения кадровых и временных ресурсов для осуществления ВМК с помощью диаграммы Гантта Более «радикальный» вариант модификации может выражаться в том, что в первой графе перечисляют не работы, а их исполнителей (категории исполнителей), а горизонтальные отрезки обозначают не только продолжительность и сроки выполнения работ, но и сами работы. Исполнитель Месяц сентябрь Исполнитель А ноябрь декабрь … Исполнитель Б Исполнитель В октябрь Исполнитель Г … Примечания: Выявление степени удовлетворенности родителей обучающихся качеством реализуемых образовательных программ Определение социально-психологического климата в педагогическом коллективе Измерение воспитанности обучающихся в классах на ступенях начального общего образования Статистическая обработка результатов опроса родителей об удовлетворенности качеством реализуемых образовательных программ Изучение полноты реализации рабочих программ учебных предметов гуманитарного цикла Рис. 30. Модифицированный вариант распределения ресурсов 93 При определении исполнителей запланированных работ следует исходить из того, что максимальная продолжительность рабочей недели не должна превышать для педагогических работников 36 ч, а для руководящих работников – 40 ч. Таким образом, объем работ, который им может быть поручен в рамках ВМК, определяют путем вычитания из указанных значений суммарного объема педагогической нагрузки и других работ, выполняемых ими по занимаемой должности. 94 5. Правовое регулирование функционирования системы внутреннего мониторинга качества образования Проработка основных компонентов системы ВМК в ОУ, проектное моделирование (реорганизация) структуры этой системы в целом, связей между ее отдельными компонентами, определение информационных потоков и массивов завершается нормативным закреплением результатов этой работы. Очевидно, что любая вновь созданная или реорганизованная система видов практической деятельности должна быть нормативно регламентирована. Можно выделить, по крайней мере, два варианта нормативной регламентации, которые, в принципе, друг друга не исключают. Первый заключается в подготовке, принятии, утверждении и введении в действие локального нормативного акта (положения, программы, регламента), устанавливающего содержание и порядок осуществления ВМК в конкретном образовательном учреждении. Второй вариант не предусматривает создание нового правового акта, но требует внесения необходимых изменений (дополнений) в уже имеющиеся акты: положения о структурных подразделениях, должностные инструкции отдельных работников, годовые и оперативные планы работы ОУ, а также планы его органов управления и структурных подразделений. Программа (технический регламент) внутреннего мониторинга качества образования представляет собой документ, определяющий исчерпывающий систематизированный перечень объектов мониторинга и характеризующих их показателей, отобранных с учетом информационных потребностей (функционала) органов управления функционированием и развитием ОУ. В отношении каждого показателя указываются используемые методы и средства сбора первичных данных, периодичность (при необходимости – конкретные календарные сроки) сбора этих данных, их статистической (аналитической) обработки и предоставления результатов указанной обработки. В целях обеспечения полной и своевременной реализации в программе должны быть определены конкретные исполнители из числа должностных лиц ОУ, непосредственно осуществляющие сбор, обработку, предоставление и хранение информации. Поскольку программа ВМК представляет собой не организационнораспорядительный, а скорее, нормативный акт (т.е. рассчитана на неоднократное применение в течение достаточно длительного времени), при определении исполнителей рекомендуется указывать не конкретные 95 персоналии (Иванов, Петров и т.д.), а должности работников или функционально-деятельностные позиции31, существующие в данном ОУ. Тогда, кто бы ни занимал в тот или иной момент времени соответствующую должность (замещал временно отсутствующего работника, занимающего эту должность), имеются определенные гарантии, что необходимые работы будут выполнены своевременно и в полном объеме. В Приложении 3 к настоящим методическим рекомендациям приводится примерный перечень должностей (функциональных позиций, не связанных с занятием отдельной должности) работников, так или иначе привлекаемых к выполнению работ в рамках ВМК. При этом важно обратить внимание на то, что в осуществлении мониторинга качества образования принимают участие не только руководители и педагогические работники ОУ, но и другие работники. Речь идет о работниках из числа учебно-вспомогательного и обслуживающего персонала, чья профессиональная деятельность непосредственно связана, например, с созданием и поддержанием необходимых материальнотехнических, санитарно-гигиенических и иных условий для осуществления образовательного процесса. Так, нет каких-либо существенных препятствий для того, чтобы сбор данных в части соблюдения теплового режима в учебных помещениях (т.е. измерение температуры воздуха) осуществляли уборщицы в ходе выполнения своих должностных обязанностей, незамедлительно предоставляя, в случае обнаружения каких-либо отклонений, соответствующую информацию заведующему хозяйством или дежурному администратору ОУ. Иными словами, при определении конкретных исполнителей работ, предусматриваемых программой ВМК, следует руководствоваться принципом обеспечения минимально достаточной компетентности исполнителя. Сбор, обработка и хранение данных должны возлагаться на должностных лиц, чья компетентность позволяет выполнять эти функции с достаточным качеством, по возможности избегая передачи последних работникам, занимающим более «высокое» должностное положение или имеющим более высокий образовательный уровень (квалификацию). В противном случае сравнительно простая работа будет выполняться высококвалифицированными исполнителями, т.е. с избыточным качеством, что означает неэффективное использование кадровых ресурсов. Не менее важным требованием — в случае правовой регламентации ВМК посредством единой программы — является дополнение должностных инструкций работников, а также положений о структурных подразделениях Здесь под функционально-деятельностной позицией понимается вид работ, выполняемых без занятия соответствующей должности (например, за дополнительное денежное вознаграждение к основному окладу). 31 96 ОУ ссылками на эту программу. Тем самым обеспечивается взаимосвязь отдельных нормативных актов ОУ и, соответственно, выполнение необходимых работ. Указанную ссылку обычно включают в текст пункта должностной инструкции, определяющего перечень документов (правовых актов), которыми данный работник руководствуется в своей деятельности. Например: « 1. Общие положения … 1.6 В своей деятельности работник руководствуется уставом ОУ и другими локальными правовыми актами, регламентирующими порядок осуществления основных видов деятельности, предусмотренных уставом ОУ, правилами внутреннего трудового распорядка, инструкциями по охране труда и пожарной безопасности, программой внутреннего мониторинга качества образования (в части, касающейся работника), приказами и распоряжениями должностных лиц, которым он подчинен, и настоящей должностной инструкцией…» Ссылка на программу ВМК может быть приведена и в другом разделе должностной инструкции — «Функции (или должностные обязанности) работника»: « 2. Функции работника 2.1. Работник: … выполняет функции, отнесенные к его компетенции в соответствии с утвержденной программой внутреннего мониторинга качества образования в ОУ…» Очевидным достоинством рассматриваемого варианта правового закрепления ВМК является возможность изменения функционала и ответственности всех работников ОУ в области мониторинга путем внесения необходимых изменений всего лишь в один правовой акт ОУ — программу ВМК. Порядок выполнения отдельных видов работ, связанных с измерением по установленным показателям, обработкой данных и т.д., в этом варианте регламентируется соответствующими рабочими (методическими) инструкциями, выступающими в качестве приложений к программе ВМК. Второй вариант, как уже указывалось, заключается в организации осуществления ВМК путем доработки (внесения изменений) отдельных нормативных актов (положений о структурных подразделениях, должностных инструкций работников и др.) В этом случае в них конкретно указывают, какие именно функции, связанные с осуществлением ВМК, выполняет то или иное структурное подразделение, либо должностное лицо. 97 Данный вариант представляется более трудоемким и требующим особого внимания в случае каких-либо изменений в распределении видов и объемов работ (функций); поэтому рекомендуется только для образовательных учреждений, характеризующихся достаточно высоким уровнем организационной культуры и делопроизводства в частности. 98 Список литературы 1. Аветисов А.А. О системологическом подходе в теории оценки и управления качеством образования //Квалиметрия человека и образования: методология и практика. Национальная система оценки качества образования в России. Пятый симпозиум. — М.: Исследовательский центр проблем качества подготовки специалистов, 1996. 2. Акулова О.В. Изменения школьного процесса обучения в условиях перехода к информационному обществу. — СПб.: Изд-во РГПУ им. А.И. Герцена, 2003. 3. Бордовский Г.А., Нестеров А.А., Трыпицын С.Ю. Управление качеством образовательного процесса. — СПб.: Изд-во РГПУ им. А.И. Герцена, 2001. 4. Боровкова Т. И., Морев И. А. Мониторинг развития системы образования. Часть 1. Теоретические аспекты: Учебное пособие. – Владивосток: Изд-во Дальневосточного университета, 2004. [Электронный ресурс]. Режим доступа: http://www.pedlib.ru/Books/1/0208/1_0208-1.shtml 5. Валеев Г.Х. Методология и методы психолого-педагогических исследований: Учебное пособие для студентов 3–5-х курсов педагогических вузов по специальности «031000 – Педагогика и психология». — Стерлитамак: Стерлитамак. гос. пед. ин-т, 2002.– [Электронный ресурс]. Режим доступа: http://www.pedlib.ru 6. Васнев С.А. Статистика (М.: МГУП, 2001) [Электронный ресурс удаленного доступа]. Режим доступа: http://www.hi-edu.ru/ebooks/xbook096/01/index.html 7. Воробьев В.В. Измерительные шкалы и их развитие [Электронный ресурс]. Режим доступа: http://trnz.narod.ru/izm_shkal.html 8. Гохберг Л.М., Ковалева Н.В., Соколов А.В. Концепция модернизации национальной системы статистики образования. — М.: ЦИСН: 2002; 9. Иванов С.А., Писарева С.А., Пискунова, Е.В. Крутова О.Э. Мониторинг и статистика в образовании: Учеб.-метод. комплект материалов для подготовки тьюторов. – М.: АПКи ППРО, 2007. [Текст] 10. Ингенкамп, Карл-Хайнц. Педагогическая диагностика: Пер. с нем. – М.: Педагогика, 1991. – (Зарубежная школа и педагогика). [Текст] 11. Инновационные модели школы: учебно-методическое пособие: В 3 кн. Кн.2 / Под общ. ред. З.Г. Найденовой и С.А. Лисицына. — СПб.: ЛОИРО, 2003. 12. Как нам реформировать статистику образования // Школьное 99 обозрение 2002, № 1 -2. 13. Ключевые индикаторы. Образовательные индикаторы и политика: практическое руководство. Европейский Фонд Образования. — Турин, 2003. 14. Майоров А.Н. Мониторинг в образовании. Книга 1. — СПб.: Издательство “Образование - Культура”, 1998. — 344 с. [Текст] 15. Майоров А.Н. Мониторинг в системе информационного обеспечения управления образованием. — СПб.: Образование-Культура, 2002. 16. Методы сбора информации в социологических исследованиях. Книга 1. / Под ред. В.Р.Андреенкова, О.М.Маслова. – М.: Наука, 1986 [Текст] 17. Мониторинг деятельности образовательного учреждения: достижение нового качества образования. Методические рекомендации к организации и проведению. — СПб.: Изд-во РГПУ им. А.И. Герцена, 2003. 18. Новый взгляд на грамотность. По результатам международного исследования PISA-2000. — М.: Логос, 2004. — 296 с. 19. О развитии статистики образования в Российской Федерации / Приказ Министра образования Российской Федерации № 1151 // Бюллетень Министерства образования Российской Федерации. №8. 2002. 20. Образование в Российской Федерации. Статистический сборник. — М.: ГУ-ВШЭ, ЦИНС, 2003. 21. Олейникова О.Н. Образование в течение всей жизни. — М.: Национальная обсерватория образования, 2002. 22. Основные результаты международного исследования образовательных достижений учащихся PISA -2000. — М.: ЦОКО ИОСО РАО, 2002. 23. Р 50.1.028 – 2001. Рекомендации по стандартизации: Информационные технологии поддержки жизненного цикла продукции: Методология функционального моделирования (Приняты и введены в действие постановлением Госстандарта России от 01 июля 2001 г. № 256-ст). [Текст] — М.: Госстандарт России, 2001. 24. Свиридов А.Н., Колпакова Н.В. Социальная компетентность учащихся и ее диагностика: Практическое пособие. — Барнаул: Изд-во АКИПКРО, 2007. – 200 с. [Текст] 25. Сериков В.В. Образование и личность. Теория и практика проектирования педагогических систем. — М.: Издательская корпорация «Логос», 1999. — 272 (http://www.pedlib.ru) 26. Сидоренко Е. В. Математические методы в психологии [Текст]. — СПб.: ООО «Речь», 2004. — 350 с. 27. Спицнадель В. Н. Теория и практика принятия оптимального мышления [Текст]. Учебное пособие. — СПб.: Издательский дом «Бизнеспресса», 2002. — 402с. 100 28. Степанов П.В. Диагностика и мониторинг процесса воспитания в школе / П.В. Степанов, Д.В. Григорьев, И.В. Кулешова. – М.: Академия: АПКиПРО, 2003. [Электронный ресурс]. Режим доступа: http://www.pedlib.ru/Books/1/0259/1_0259-1.shtml 29. Стратегический менеджмент в образовании [Текст]: Учебнометодический комплект материалов для подготовки тьюторов. — М.: АПКиППРО, 2007. — 76 с. 30. Тубельский А. Н., Державин В. Б., Мойсенко А. В., Бирюкова Г. А., Курашов В. М. Детско-взрослая экспертиза уклада школьной жизни [Текст]: Методическое пособие для координаторов создания демократического, толерантного уклада жизни школы. Серия «Библиотека Федеральной программы развития образования». / Под ред. А. Н. Тубельского. — М.: Изд. дом «Новый учебник», 2003. — 128 с. 31. Управление качеством образования: Практико-ориентированная монография и методическое пособие / Под ред. М.М. Поташника. — М.: Педагогическое общество России, 2000. 32. Халперн, Дайана Психология критического мышления [Текст]. — СПб.: Изд-во «Питер», 2000. — 512 с. 33. Черепанов В. С. Экспертные оценки в педагогических исследованиях [Текст]. — М.: Педагогика, 1989. — 152 с. 34. Щедровицкий Г. П., Розин В. М., Алексеев Н. Г. и др. Педагогика и логика [Текст]. — М.: Касталь, 1993. — 416 с. 35. Ясвин В. А. Экспертиза школьной образовательной среды [Текст]. / Отв. ред. Ушакова М.А. — М.: Сентябрь, 2000. — 128 с. 101 Приложение 1. Информация об образовательном учреждении, доводимая до всеобщего сведения 32 «Статья 32. Компетенция и ответственность образовательного учреждения … 4. Образовательное учреждение обеспечивает открытость и доступность следующей информации: 1) сведения: о дате создания образовательного учреждения; о структуре образовательного учреждения; о реализуемых основных и дополнительных образовательных программах с указанием численности лиц, обучающихся за счет средств соответствующего бюджета бюджетной системы Российской Федерации, по договорам с физическими и (или) юридическими лицами с оплатой ими стоимости обучения; об образовательных стандартах и о требованиях, самостоятельно установленных федеральными государственными образовательными учреждениями высшего профессионального образования в соответствии с пунктом 2 статьи 7 настоящего Закона (при их наличии); о персональном составе педагогических работников с указанием уровня образования и квалификации; о материально-техническом обеспечении и об оснащенности образовательного процесса (в том числе о наличии библиотеки, общежитий, спортивных сооружений, об условиях питания, медицинского обслуживания, о доступе к информационным системам и информационнотелекоммуникационным сетям); об электронных образовательных ресурсах, доступ к которым обеспечивается обучающимся; о направлениях научно-исследовательской деятельности и базе для ее осуществления (для образовательных учреждений высшего профессионального образования); Источник: Закон Российской Федерации от 10 июля 1992 года N 3266-I «Об образовании» (с изменениями от 24 декабря 1993 г., 13 января 1996 г., 16 ноября 1997 г., 20 июля, 7 августа, 27 декабря 2000 г., 30 декабря 2001 г., 13 февраля, 21 марта, 25 июня, 25 июля, 24 декабря 2002 г., 10 января, 7 июля, 8, 23 декабря 2003 г., 5 марта, 30 июня, 20 июля, 22 августа, 29 декабря 2004 г., 9 мая, 18, 21 июля, 31 декабря 2005 г., 16 марта, 6 июля, 3 ноября, 5, 28, 29 декабря 2006 г., 6 января, 5, 9 февраля, 20 апреля, 26, 30 июня, 21 июля, 18, 24 октября, 1 декабря 2007 г., 28 февраля, 24 апреля, 23 июля, 27 октября, 25 декабря 2008 г., 10, 13 февраля, 3 июня, 17 июля, 10 ноября, 17, 21, 27 декабря 2009 г., 8 мая, 17 июня, 27 июля, 28 сентября, 8 ноября 2010 г.) 32 102 о результатах приема по каждому направлению подготовки (специальности) среднего профессионального образования или высшего профессионального образования, по различным условиям приема (прием на обучение, финансируемое за счет средств соответствующего бюджета бюджетной системы Российской Федерации, по договорам с физическими и (или) юридическими лицами с оплатой ими стоимости обучения) с указанием средней суммы набранных баллов по всем вступительным испытаниям (только для образовательных учреждений, реализующих основные профессиональные образовательные программы среднего профессионального образования и (или) высшего профессионального образования); о наличии стипендий и иных видов материальной поддержки, об условиях предоставления их обучающимся; о поступлении и расходовании финансовых и материальных средств по итогам финансового года; 2) копии: документа, подтверждающего наличие лицензии на осуществление образовательной деятельности (с приложениями); свидетельства о государственной аккредитации (с приложениями); утвержденных в установленном порядке плана финансовохозяйственной деятельности или бюджетной сметы образовательного учреждения; 3) отчет о результатах самообследования; 4) порядок оказания платных образовательных услуг, в том числе образец договора об оказании платных образовательных услуг, с указанием стоимости платных образовательных услуг; 5) сведения, указанные в пункте 3.2 статьи 32 Федерального закона от 12 января 1996 года N 7-ФЗ «О некоммерческих организациях». 5. Информация, указанная в пункте 4 настоящей статьи, подлежит размещению на официальном сайте образовательного учреждения в сети Интернет и обновлению в течение тридцати дней со дня внесения соответствующих изменений. Порядок размещения в сети Интернет и обновления информации об образовательном учреждении, в том числе содержание и форма ее представления, устанавливается Правительством Российской Федерации». 103 Приложение 2. Примерный перечень показателей для осуществления внутреннего мониторинга качества образования Объект мониторинга Основные образовательные программы ОУ Показатель (в скобках – тип измерительной шкалы) Метод измерения Соответствие структуры и содержания основной образовательной программы требованиям федеральных государственных образовательных стандартов (шкала порядка33) Метод экспертных оценок Соответствие направленности и содержания основной образовательной программы установленному учредителем типу и виду ОУ (шкала порядка) Метод экспертных оценок Соответствие планируемых способов, форм и порядка реализации основной образовательной программы (учебного плана, рабочих программ учебных предметов и т.д.) гигиеническим требованиям к организации образовательного процесса в образовательных учреждениях соответствующего типа и вида (шкала порядка) Соответствие перечня УМК, принятых к использованию в рамках реализации образовательной программы, утвержденному федеральному перечню учебников (учебных пособий) (шкала наименований) Метод экспертных оценок Метод экспертных оценок Периодичность (сроки) измерения предоставления данных По завершении разработки; далее – после внесения любых изменений (дополнений), но не реже одного раза в год По завершении разработки; далее – после внесения любых изменений (дополнений) По завершении разработки; далее – после внесения любых изменений (дополнений) По завершении разработки; далее – после внесения любых изменений (дополнений) Здесь и далее указана наиболее мощная из измерительных шкал, которые могут быть использованы для измерения этого показателя. Соответственно, если в данном перечне указана абсолютная шкала (шкала отношений), то это означает, что для измерения показателя может быть использована любая из известных измерительных шкал; если интервальная шкала (шкала расстояний) – то и менее мощные шкалы (шкала порядка или шкала наименований) и т.д. 33 104 Объект мониторинга Основные образовательные программы ОУ Дополнительные образовательные программы ОУ Работники ОУ 34 Показатель (в скобках – тип измерительной шкалы) Метод измерения Удовлетворенность родителей (законных представителей) обучающихся структурой и содержанием основной образовательной программы (шкала порядка) Ожидания родителей (законных представителей) обучающихся в отношении структуры, содержания и порядка реализации основной образовательной программы (шкала наименований) Опрос (при необходимости выборочный) Опрос (при необходимости выборочный) Число (доля) обучающихся по основным образовательным программам (шкала отношений) Доля обучающихся IX класса, продолжающих обучение в ОУ по основным образовательным программам среднего (полного) общего образования (шкала отношений)34 Направленности дополнительных образовательных программ ОУ (шкала наименований) Число обучающихся по конкретным дополнительным образовательным программам (шкала отношений) Ожидания родителей (законных представителей) обучающихся в отношении направленности, структуры и содержания дополнительных образовательных программ (шкала наименований) Удовлетворенность родителей (законных представителей) обучающихся структурой и содержанием дополнительной образовательной программы (шкала порядка) Численность административно-управленческого, педагогического, учебно-вспомогательного и обслуживающего персонала ОУ, в том числе работающих по совместительству или на условиях почасовой оплаты (шкала отношений) Периодичность (сроки) измерения предоставления данных Ежегодно Ежегодно Один раз в два (три) года После завершения опроса Наблюдение Ежегодно Ежегодно Наблюдение Ежегодно Ежегодно Метод экспертной оценки Наблюдение Ежегодно Ежегодно Ежемесячно Ежегодно Опрос (при необходимости выборочный) Ежегодно Ежегодно Опрос (при необходимости выборочный) Наблюдение По мере завершения реализации Ежегодно Ежегодно Данный показатель рекомендуется в отношении основных образовательных программ среднего (полного) общего образования. Ежегодно 105 Объект мониторинга Работники ОУ Показатель (в скобках – тип измерительной шкалы) Число учителей (преподавателей и мастеров производственного обучения), в том числе работающих по совместительству или на условиях почасовой оплаты (шкала отношений) Работники, принятые на работу в ОУ или уволенные из ОУ в течение года (шкала наименований) Наблюдение Периодичность (сроки) измерения предоставления данных Ежегодно Ежегодно Наблюдение Ежегодно Ежегодно Возраст работников, в том числе по категориям персонала ОУ (шкала расстояний) Образовательный уровень работников, в том числе по категориям персонала ОУ (шкала порядка) Наблюдение Ежегодно Ежегодно Наблюдение Ежегодно Стаж педагогической работы работников (шкала отношений) Квалификация (уровень квалификации) работников, в том числе педагогических работников, участвующих в реализации образовательных программ профильного обучения и предпрофильной подготовки (шкала порядка) Профессиональная компетентность работников (шкала порядка) Наблюдение При приеме на работу; далее – ежегодно Ежегодно При приеме на работу; далее – ежегодно Ежегодно Ежегодно Ежегодно По запросу Ежегодно Ежегодно Освоение руководителем ОУ основной или дополнительной профессиональной образовательной программы по специальности «менеджер», подтвержденное соответствующим документом об образовании государственного образца (шкала наименований) Работники, подлежащие аттестации для подтверждения соответствия занимаемой должности (шкала наименований) Метод измерения Наблюдение Наблюдение, метод экспертных оценок Наблюдение Метод экспертных оценок По запросу Ежегодно 106 Объект мониторинга Работники ОУ Обучающиеся ОУ Показатель (в скобках – тип измерительной шкалы) Работники, которых необходимо направить на обучение, повышение квалификации, профессиональную переподготовку (шкала наименований)35 Работники, принявшие участие в профессиональных конкурсах (шкала наименований) Общая численность обучающихся, в том числе по ступеням образования, отдельным основным образовательным программам, параллелям классов (шкала отношений) Наполняемость классов (учебных групп) (шкала отношений) Обучающиеся с ограниченными возможностями здоровья, в том числе имеющие хронические заболевания (шкала наименований) Обучающиеся, отнесенные к определенной группе здоровья (шкала наименований) Обучающиеся, отнесенные к определенной физкультурной группе (шкала наименований) Обучающиеся по определенной форме обучения (по индивидуальным учебным планам, в том числе на дому) (шкала наименований) Обучающиеся, находящиеся в социально опасном положении (шкала наименований) Метод измерения Метод экспертных оценок Наблюдение Периодичность (сроки) измерения предоставления данных Ежегодно Ежегодно Ежегодно По запросу Наблюдение Ежегодно Ежегодно Наблюдение Ежегодно Ежегодно Наблюдение Ежегодно Ежегодно Наблюдение Ежегодно Ежегодно Наблюдение Ежегодно Ежегодно Наблюдение Ежегодно Ежегодно Наблюдение, метод экспертных оценок Ежемесячно По мере необходимости Имеются в виду не только педагогические, но и другие работники ОУ вплоть до обслуживающего персонала – например, рабочий по комплексному обслуживанию зданий и ремонту зданий, фактически привлекаемый к выполнению электротехнических работ, но не прошедший специального обучения и не имеющий допуска, требует направления на соответствующее обучение (повышение квалификации и т.п.) в неменьшей степени, чем любой иной работник ОУ. 35 107 Объект мониторинга Показатель (в скобках – тип измерительной шкалы) Обучающиеся из семей, находящихся в социально опасном положении (шкала наименований) Готовность обучающихся к обучению (школьная зрелость), в том числе в разрезе когнитивной (интеллектуальной), личностной и психофизиологической готовности (шкала расстояний) Обучающиеся ОУ Обучаемость обучающихся36 (шкала расстояний) Текущая успеваемость обучающихся (качество выполнения обязательных видов работ, предусмотренных рабочими программами учебных предметов) (шкала расстояний) Обученность (индивидуальная результативность обучения), включая сведения об освоении (или не-освоении) конкретных знаний, умений, компетентностей, предусмотренных соответствующими федеральными государственными образовательными стандартами, по данным промежуточной аттестации37 (шкала порядка) 36 Метод измерения Наблюдение, метод экспертных оценок Наблюдение, тестирование, метод экспертных оценок Тестирование, метод экспертных оценок Тестирование, метод экспертных оценок Тестирование, метод экспертных оценок Периодичность (сроки) измерения предоставления данных Ежемесячно По мере необходимости При приеме Ежегодно (зачислении) на обучение При приеме Ежегодно (зачислении) на обучение Согласно календарнотематическим планам Согласно порядку промежуточной аттестации в ОУ Один раз в четверть (триместр, полугодие Ежегодно Обучаемость – способность к овладению нового, в том числе учебного, материала (новых знаний, действий, новых форм деятельности), проявляющаяся, главным образом, в скорости (темпе) овладения новыми знаниями, умениями и т.д. Обучаемость обусловлена индивидуальными особенностями сенсорных и перцептивных процессов, памяти, внимания, мышления и речи обучающегося и имеет важное значение при прогнозировании успешности его обучения (например, возможности освоить основную образовательную программу в установленные сроки). 37 В случаях, когда в соответствии с установленным в ОУ порядком промежуточной аттестации обучающихся указанная аттестация осуществляется, например, путем проведения специальных (дополнительных) испытаний для обучающихся: зачетов, экзаменов, итоговых (срезовых) контрольных работ и т.п., а не посредством агрегирования (обобщения) данных о текущей успеваемости. 108 Объект мониторинга Обучающиеся ОУ Показатель (в скобках – тип измерительной шкалы) Воспитанность обучающихся (шкала порядка) Внеучебные достижения обучающихся (шкала порядка) Образовательный процесс как совокупность процессов реализации основных и дополнительных образовательных программ Количество уроков, пропущенных обучающимися по состоянию здоровья и иным причинам (шкала отношений) Полнота реализации учебных планов (отношение количества фактически проведенных часов по учебным предметам к количеству часов, отведенных на изучение соответствующих учебных предметов согласно учебному плану) (шкала отношений) Полнота реализации рабочих программ учебных предметов в содержательном аспекте (предъявление обучающимся учебного содержания, предусмотренного соответствующими рабочими программами, в полном объеме) (шкала порядка) Полнота реализации рабочих программ учебных предметов в процессуально-деятельностном аспекте (выполнение обучающимися всех обязательных видов работ (в том числе: лабораторных, практических и др.), предусмотренных соответствующими рабочими программами) (шкала порядка) Метод измерения Наблюдение, опрос третьих лиц, тестирование, метод экспертных оценок Наблюдение, опрос третьих лиц, метод экспертных оценок Наблюдение Периодичность (сроки) измерения предоставления данных При приеме Ежегодно на обучение; далее – по завершении каждой ступени образования Два раза в Ежегодно год Ежедневно Ежемесячно Наблюдение Ежемесячно Ежегодно Наблюдение, метод экспертных оценок ежекварталь но Ежегодно Наблюдение, метод экспертных оценок Ежегодно Ежегодно 109 Объект мониторинга Образовательный процесс Показатель (в скобках – тип измерительной шкалы) Метод измерения Периодичность (сроки) измерения предоставления данных Ежедневно По мере выявления нарушений Ежегодно Ежегодно Соблюдение утвержденных в установленном порядке годовых календарных учебных графиков и расписаний занятий (шкала порядка) Образовательные технологии, используемые педагогическими работниками в образовательном процессе (шкала наименований) Наблюдение Соблюдение прав и интересов обучающихся, предусмотренных законодательством РФ в области образования, уставом и локальными правовыми актами ОУ (шкала порядка) Наблюдение (при большой численности обучающихся – выборочное) Наблюдение (при большой численности – выборочное) Еженедельно По мере выявления нарушений Два раза в год По мере выявления нарушений Наблюдение, метод экспертных оценок Наблюдение (при большой численности обучающихся – выборочное) Два раза в год По мере выявления нарушений Ежедневно По мере выявления нарушений Соблюдение прав и интересов родителей (законных представителей) обучающихся, предусмотренных законодательством РФ в области образования, уставом и локальными правовыми актами ОУ (шкала порядка) Соблюдение прав и интересов педагогических работников, предусмотренных законодательством РФ в области образования, уставом и локальными правовыми актами ОУ (шкала порядка) Соблюдение гигиенических требований при осуществлении образовательного процесса; обеспечение условий, гарантирующих охрану и укрепление здоровья участников образовательного процесса, в том числе в части: теплового (температурного) режима в учебных помещениях; освещенности учебных помещений; режима проветривания учебных помещений, коридоров и рекреаций; количества уроков в день (в неделю); продолжительности Наблюдение 110 Объект мониторинга Образовательный процесс Показатель (в скобках – тип измерительной шкалы) уроков; плотности учебной работы на уроках; периодичности и продолжительности непрерывного применения технических средств обучения; продолжительности перемен (перерывов для отдыха и питания); организации двигательной активности обучающихся для удовлетворения их биологической потребности в движении; объема домашних заданий обучающимся. (шкала порядка) Наличие постоянно действующих площадок для свободного самовыражения обучающихся (театр, газета (журнал), сайт ОУ, телевидение и т.д.) (шкала наименований) Предоставление обучающимся возможности осуществлять сканирование и распознавание учебных текстов, копирование и распечатку учебных и иных материалов для образовательных целей на соответствующем оборудовании библиотеки (медиатеки) ОУ (шкала порядка) Удовлетворенность родителей (законных представителей) обучающихся на ступенях начального общего и основного общего образования содержанием и ходом образовательного процесса (шкала порядка) Удовлетворенность обучающихся на ступенях среднего (полного) общего образования содержанием и ходом образовательного процесса (шкала порядка) Количество жалоб (обращений) участников образовательного процесса по вопросам, связанным с организацией и осуществлением образовательного процесса и (или) действиями других участников образовательного процесса и администрации ОУ (шкала отношений) Метод измерения Периодичность (сроки) измерения предоставления данных Наблюдение Ежемесячно Ежегодно Наблюдение, опрос Ежегодно Ежегодно Опрос (при необходимости выборочный) Ежегодно Ежегодно Опрос Ежегодно Ежегодно Наблюдение По мере поступления Ежегодно 111 Объект мониторинга Учебноматериальная база (помещения, сооружения и оборудование, используемые в образовательных целях) Показатель (в скобках – тип измерительной шкалы) Метод измерения Число обучающихся, с которыми произошли несчастные случаи, связанные с образовательным процессом Наблюдение Материально-техническая обеспеченность образовательного процесса (соответствие перечня (номенклатуры) и количества учебных помещений, сооружений и оборудования потребностям ОУ в связи с реализуемыми им образовательными программами), в том числе наличие в ОУ38: собственного (или на условиях договора пользования) спортивного зала не менее 9 м в ширину, 18 м в длину и 6 м в высоту с оборудованными раздевалками, действующими душевыми комнатами и туалетами; оборудованной территории для реализации раздела «Лёгкая атлетика» рабочей программы по физической культуре (размеченные дорожки для бега со специальным покрытием, оборудованный сектор для метания и прыжков в длину); кабинета физики с подводкой низковольтного электропитания к столам обучающихся и лаборантской (для ОУ, имеющих классы старше седьмого); кабинета химии с вытяжкой и подводкой воды к столам обучающихся и лаборантской (для ОУ, имеющих классы старше седьмого); комплекта лицензионного или свободно распространяемого общесистемного и прикладного программного обеспечения (операционная система, офисные программы (редакторы текстов, таблиц), СУБД, навигаторы) для каждого Наблюдение, метод экспертных оценок Периодичность (сроки) измерения предоставления данных При Ежегодно наступлении несчастного случая Ежегодно Ежегодно Для целей ВМК предполагается, что если тот или иной объект учебно-материальной базы существует, но не пригоден для использования (не отвечает установленным требованиям), то его в наличии нет. 38 112 Объект мониторинга Показатель (в скобках – тип измерительной шкалы) установленного компьютера; выхода в Интернет со скоростью канала не ниже 128 кб/с; лабораторных комплектов по каждому из разделов физики (электродинамика, термодинамика, механика, оптика, ядерная физика) в соответствии с общим количеством лабораторных работ согласно рабочей программе по физике в VII-IX классах) в количестве более половины проектной наполняемости классов-комплектов; лабораторных комплектов оборудования и препаратов по каждому из разделов химии (неорганическая химия, органическая химия) в соответствии с общим количеством лабораторных работ согласно рабочей программе по химии в VIII-IX классах в количестве более половины проектной наполняемости классов-комплектов; лабораторных комплектов по каждому из разделов биологии (природоведение (окружающий мир), ботаника, зоология, анатомия, общая биология) в соответствии с общим количеством лабораторных работ согласно рабочей программе по биологии в VI-IX классах в количестве более половины проектной наполняемости классов-комплектов; всех карт в соответствии с рабочими программами по географии или наличие лицензионного демонстрационного компьютерного программного обеспечения по каждому из разделов географии; всех карт в соответствии с рабочими программами по истории или лицензионного демонстрационного компьютерного программного обеспечения по каждому из курсов истории. (шкала порядка) Метод измерения Периодичность (сроки) измерения предоставления данных 113 Объект мониторинга Учебноматериальная база Показатель (в скобках – тип измерительной шкалы) Количество рабочих мест для участников образовательного процесса в библиотеке ОУ, в том числе оборудованных компьютерами с необходимым периферийным оборудованием (сканер, принтер) и выходом в Интернет (шкала отношений) Техническое и санитарное состояние учебных помещений и сооружений (шкала порядка) Техническое состояние учебного оборудования (шкала порядка) Объекты общей и социальной инфраструктуры деятельности ОУ Метод измерения Наблюдение, тестирование Наблюдение, метод экспертных оценок Тестирование, метод экспертных оценок Продолжительность простоя (дисфункционального состояния), т.е. величина промежутка времени от момента выявления несоответствия объекта установленным требованиям до момента устранения несоответствия (неисправности) (шкала отношений) Наблюдение Общее состояние здания Наблюдение, тестирование, метод экспертных оценок Наблюдение, тестирование, метод экспертной оценки Техническое состояние системы отопления (теплоснабжения) Периодичность (сроки) измерения предоставления данных Ежегодно Ежегодно Перед началом учебных занятий Перед непосредственным использованием После устранения несоответствия (неисправности) Ежегодно По мере выявления неисправностей По мере выявления неисправностей Ежедневно При выявлении неисправностей Ежегодно Ежегодно 114 Объект мониторинга Объекты общей и социальной инфраструктуры деятельности ОУ Показатель (в скобках – тип измерительной шкалы) Техническое состояние системы холодного и горячего водоснабжения (шкала порядка) Техническое состояние системы канализации, а также техническое и санитарное состояние туалетов (шкала порядка) Метод измерения Наблюдение, тестирование, метод экспертной оценки Наблюдение, тестирование, метод экспертной оценки Периодичность (сроки) измерения предоставления данных Ежедневно При выявлении неисправностей Ежедневно Техническое состояние аварийных выходов, подъездных путей к зданию (шкала порядка) Наблюдение Ежедневно Техническое состояние средств пожаротушения (шкала порядка) Наблюдение, тестирование, метод экспертной оценки Два раза в год Соответствие электропроводки в здании ОУ современным требованиям безопасности (шкала порядка) Наблюдение, тестирование, метод экспертной оценки Ежегодно При выявлении неисправностей (несоответствий) При выявлении неисправностей (несоответствий) При выявлении неисправностей (несоответствий) При выявлении неисправностей 115 Объект мониторинга Объекты общей и социальной инфраструктуры деятельности ОУ Показатель (в скобках – тип измерительной шкалы) Метод измерения Периодичность (сроки) измерения предоставления данных Ежедневно При выявлении неисправностей (несоответствий) Ежедневно При (в рабочие выявлении дни) несоответствия Ежемесячно Ежемесячно Техническое и санитарное состояние столовой (зала для приёма пищи) (шкала порядка) Наблюдение, метод экспертной оценки Качество приготовления пищи (шкала порядка) Метод экспертной оценки Отношение числа обучающихся, получающих горячее питание, к числу обучающихся, нуждающихся в нем (шкала отношений) Исправность пожарной сигнализации и автоматической системы оповещения людей при пожаре (шкала наименований) Наблюдение Тестирование Четыре раза в год Наличие действующей охраны (кнопка экстренного вызова милиции, охранники или сторожа) (шкала наименований) Наблюдение, тестирование технических средств Благоустроенность территории ОУ (озеленение территории, наличие оборудованных мест для отдыха) в соответствии с установленными санитарными правилами и нормами (шкала порядка) Наблюдение, метод экспертной оценки Ежедневно (тестирование технических средств – два раза в год) Ежегодно При выявлении неисправностей При выявлении неисправностей (несоответствий) Ежегодно 116 Объект мониторинга Объекты общей и социальной инфраструктуры деятельности ОУ Показатель (в скобках – тип измерительной шкалы) Техническая оснащенность и санитарное состояние медицинского кабинета (шкала наименований) Метод измерения Наблюдение Периодичность (сроки) измерения предоставления данных Ежегодно При (санитарное выявлении состояние – несоответежедневно) ствий Показатели, отражающие финансово-материальные затраты на обеспечение образовательной деятельности ОУ Размер среднемесячной номинальной начисленной заработной платы учителей ОУ (шкала отношений) Размер среднемесячной номинальной начисленной заработной платы прочих работающих в ОУ (административноуправленческого, учебно-вспомогательного, младшего обслуживающего персонала, а также педагогических работников, не осуществляющих учебный процесс) (шкала отношений) Общий объем неэффективных расходов на управление кадровыми ресурсами в ОУ39 (шкала отношений) Объем неэффективных расходов на оплату труда работников ОУ в связи с низкой наполняемостью классов (шкала отношений) Объем потребленной тепловой энергии (шкала отношений) Объем потребленной электроэнергии (шкала отношений) Объем потребленной горячей и холодной воды (шкала отношений) Наблюдение Ежегодно Ежегодно Наблюдение Ежегодно Ежегодно Наблюдение Ежегодно Ежегодно Наблюдение Ежегодно Ежегодно Наблюдение Ежемесячно Ежегодно Наблюдение Ежемесячно Ежегодно Наблюдение Ежемесячно Ежегодно Определение значений показателей «Общий объем неэффективных расходов на управление кадровыми ресурсами» и «Объем неэффективных расходов в связи с низкой наполняемостью классов» осуществляется по методике, приведенной в распоряжении Правительства Российской Федерации от 11 сентября 2008 года № 1313-р. 39 117 Объект мониторинга Показатель (в скобках – тип измерительной шкалы) Метод измерения Объем исходящего и входящего Интернет-трафика Наблюдение (шкала отношений) Объем учебных расходов на обеспечение образовательного Наблюдение процесса, в том числе направленных: на создание и обновление библиотечного фонда учебников (учебных пособий); на оплату Интернет-трафика; на приобретение письменных, канцелярских принадлежностей, а также расходных материалов для оргтехники, используемой в образовательном процессе; на приобретение мелкого физкультурно-спортивного инвентаря; на проведение учебных экскурсий и иных учебных занятий за пределами места нахождения ОУ. (шкала отношений) Периодичность (сроки) измерения предоставления данных Ежемесячно Ежегодно Ежегодно Ежегодно 118 Приложение 3. Примерный перечень должностей (функциональных позиций) работников, привлекаемых к выполнению работ в рамках ВМК 1. Руководители: 1.1. Руководитель (директор, заведующий и т.д.) ОУ. 1.2. Заместитель руководителя ОУ (по учебно-воспитательной работе; по внеклассной воспитательной работе; по научно-методической работе; по административно-хозяйственной части и т.д.) 1.3. Главный бухгалтер. 1.4. Руководитель структурного подразделения (филиала, представительства, отделения, учебно-консультационного пункта, отдела, секции, лаборатории, кабинета, учебной или учебно-производственной мастерской, интерната, общежития, учебного хозяйства, производственной практики, библиотеки и т.д.) 1.5. Старший мастер. 2. 2.1. 2.2. 2.3. 2.4. 2.5. 2.6. 2.7. 2.8. 2.9. 2.10. 2.11. 2.12. 2.13. 2.14. 2.15. 2.16. 2.17. 2.18. 2.19. Педагогические работники: Учитель (преподаватель). Педагог-организатор. Социальный педагог. Учитель-дефектолог (учитель-логопед). Педагог-психолог. Воспитатель (старший воспитатель). Тьютор. Старший вожатый. Педагог дополнительного образования. Музыкальный руководитель. Концертмейстер. Руководитель физического воспитания. Инструктор по физической культуре. Методист (старший методист). Инструктор-методист (старший инструктор-методист). Инструктор по труду. Преподаватель-организатор ОБЖ. Тренер-преподаватель (старший тренер-преподаватель). Мастер производственного обучения. 119 3. 3.1. 3.2. 3.3. 3.4. 3.5. 3.6. Учебно-вспомогательный персонал: Дежурный по режиму (старший дежурный по режиму). Вожатый. Помощник воспитателя. Младший воспитатель. Секретарь учебной части. Диспетчер ОУ. 4. 4.1. 4.2. 4.3. 4.4. 4.5. 4.6. 4.7. 4.8. 4.9. 4.10. 4.11. 4.12. 4.13. 4.14. 4.15. 4.16. 4.17. 4.18. 4.19. 4.20. 4.21. 4.22. 4.23. Обслуживающий и прочий персонал: Заведующий хозяйством. Бухгалтер (бухгалтер-кассир). Специалист по кадровой работе. Секретарь-делопроизводитель. Библиотекарь. Лаборант. Инженер по информационным технологиям. Инженер по охране труда. Рабочий по комплексному обслуживанию и ремонту зданий. Гардеробщик. Уборщик. Сторож. Вахтер. Дворник. Водитель. Оператор (машинист) котельной. Медицинская сестра. Шеф-повар. Бухгалтер-калькулятор. Повар. Кухонный рабочий. Мойщица посуды. Кладовщик. 5. Функциональные позиции, не связанные отдельной должности: 5.1. Классный руководитель. 5.2. Руководитель кружка (секции, студии и т.п.) с занятием 120 5.3. Руководитель группы продленного дня.40 5.4. Руководитель научного общества (секции научного общества) обучающихся. 5.5. Заведующий учебным кабинетом. 5.6. Заведующий учебно-опытным участком. 5.7. Руководитель внеклассной работы по физическому воспитанию. 5.8. Руководитель методического объединения учителей (предметной или цикловой комиссии). 5.9. Секретарь педагогического совета. 5.10. Дежурный администратор (дежурный учитель). 5.11. Другие виды работ (при отсутствии в штате ОУ должностей работников, в чьи обязанности входит выполнение этих работ). 40 За исключением лиц, занимающих соответствующую должность воспитателя. 121 Приложение 4. Основные факторы, оказывающие негативное влияние на качество информации41 1. Качество инструментария. Общеметодологическими требованиями к инструменту остаются валидность, надежность, удобство пользования, соответствие целям обследования, корректность статистических процедур, стандартизированность, апробированность и другие. Если говорить о реальной практике проведения обследований, то можно назвать три основные причины, которые приводят к неудовлетворительному качеству инструментария: низкая квалификация разработчиков, особенно социологического инструментария; среди практиков-педагогов и управленцев сложился устойчивый стереотип, что составление анкеты – дело достаточно простое и доступное любому. Очень часто именно эта уверенность приводит к печальным результатам; использование инструментария для иных целей, чем те, для которых он разрабатывался. Особенно это характерно для использования психологического инструментария в образовании. Как нормальная практика рассматривается использование психологических тестов, которые создавались для выявления структуры интеллекта, отдельных психических процессов для отбора детей в образовательные учреждения. Печальные последствия таких измерений достаточно широко известны работникам управления образованием, руководителям учреждений образования повышенного уровня. Если говорить о физических измерениях, то никому не придет в голову использовать микрометр для измерения расстояния до соседнего города или амперметр для измерения объема. Для сегодняшней системы образования такие подмены, опыты – это скорее прискорбная норма; «усовершенствование» инструментария. Существует достаточно большое количество качественного инструментария, стандартизованного и нормированного. Однако его использование часто бывает слишком вольным – апофеозом можно назвать рекомендацию «педагогических диагностов» использовать тест Люшера как групповой тест для измерения общего настроения класса. 41 Источник: Майоров А.Н. Мониторинг в образовании. — СПб.: Издательство “Образование - Культура”, 1998. — 344 с.. 122 2. Профессионализм и подготовленность людей. Порой возникает ситуация, когда хороший инструментарий попадает в руки неподготовленному человеку. При проведении широких обследований, к которым может быть отнесен мониторинг, эта ситуация вполне вероятна. Выход их такой ситуации известен. Чем меньший профессионализм предполагается у пользователя, тем более жесткими должны быть инструкции по проведению и контроль за соблюдением процедуры. 3. Изменение людей в процессе измерения. При неоднократном использовании метода экспертных оценок в процессе работы происходит изменение тех людей, которые непосредственно участвуют в измерении. Причина этих изменений – научение, появление опыта, согласование позиций – ситуация, когда мнение более авторитетного эксперта начинает смещать оценки других экспертов. 4. Статистическая регрессия. Представим себе, что мы провели тестирование группы обучающихся. Часть из них выполнила тест лучше, другая часть хуже. На результативность выполнения теста отдельным учеником оказывает влияние целый ряд факторов. Среди них: собственно знание материала (уровень овладения), настроение, самочувствие, усталость, умение выполнять операции, связанные с заполнением теста, угадывание верных ответов, везение и некоторые другие. Из перечисленных нами факторов только один не может измениться к следующему тестированию – это первый из перечисленных выше. Если мы возьмем группу учащихся, лучше других справившихся с первым тестированием, и проведем повторное тестирование, то окажется, что они получили результаты ниже, чем в первом тестировании. Причина этого кроется в том, что перечисленные нами факторы в изменившихся условиях оказывают уже не то (для лучшей группы – позитивное) влияние. Протестировав повторно две группы – лучших и худших – можно прийти к выводу, что за прошедшее с предыдущего тестирования время «умные» поглупели, а «глупые» поумнели, хотя это всего лишь влияние регрессии для крайних групп. Несмотря на кажущуюся гипотетичность этого случая применительно к образованию, он все-таки достаточно вероятен. Представим себе, что мы организуем специальное обучение для отстающих. Для того, чтобы отобрать таких детей, проводится тестирование, по его результатам формируется группа, с которой проводятся занятия. Повторное тестирование показывает повышение результатов, что, естественно, служит доказательством эффективности реализованной программы по обучению отстающих. Данный вывод может оказаться ошибочным, поскольку при повторном тестировании не был учтен эффект 123 регрессии для крайней группы, следовательно эффективность программы таким образом доказана быть не может. Это явление может иметь место и при оценке эффективности управленческого воздействия. «Когда управленческое решение принимается в ответ на какую-то острую проблему (резкое изменение зафиксировано каким-то социальным показателем), оно носит пожарный характер и позитивный эффект оценивания может быть смешан с регрессионным артефактом, поскольку в нестабильном ряду точки, следующие за экстремальным отклонением, располагаются ближе к линии общей тенденции». 5. Цикличность. В образовательном учреждении существуют и реально проявляются годичный и четвертные циклы. В основе этой цикличности – вполне понятные процессы. Например, к концу четверти или года накапливается усталость и повышается раздражительность. Поэтому, изучая, скажем, отношения в педагогическом коллективе, необходимо учитывать, что измерения в конце и начале четверти будут иметь заметные отличия при прочих равных условиях. К сожалению, цикличность в социальных системах изучена далеко недостаточно. Зафиксированы, например, достоверные факты цикличности, связанные с солнечной активностью, однако они в настоящее время могут быть отнесены только к неконтролируемым факторам. 6. Отбор испытуемых Иногда возникает ситуация влияния скрытых факторов при обследовании групп, официально находящихся в равных условиях. В качестве примера приведем изучение результатов работы группы педагогов начальной школы одного учреждения в одной параллели, где все классы сформированы по микрорайонному принципу. Результаты, показанные учащимися одного из классов, оказались гораздо выше остальных. Это можно было бы отнести на счет большей эффективности работы их учителя, тем более, что и стаж этого педагога значительно отличался от стажа ее коллег. Однако при более подробном рассмотрении оказалось, что этот педагог, обладая большим стажем и авторитетом, принимал непосредственное участие в распределении учеников. Таким образом, учитель произвел несанкционированный, скрытый отбор в свой класс. Вполне естественно, что дети этого класса показывали более высокие результаты… 124 7. Значимость индикатора и его смещение. В том случае, когда существует значимый для испытуемых индикатор и он им известен, то этот индикатор начинает смещаться под влиянием неосознанного или осознаваемого воздействия с их стороны. Наглядным примером этого является средний балл аттестата, который в 70-80-х годах принимался как одна из оценок при поступлении в вуз. Смещение достигло такой величины, что от самой оценки пришлось отказаться. Такая же участь угрожает достаточно информативным индикаторам и показателям, если они известны испытуемым и используются сравнительно долго при получении значимых оценок. 8. Нарушения в информационных потоках. Проводя измерения в социальных системах, мы априорно предполагаем, что объект измерения обладает какой-либо значимой информацией, хотя специальное знакомство с ней не предполагалось. Но может оказаться, что часть этой информации отсутствует или искажена, или владение ею недостаточно. Например, при оценке эффективности различных аспектов процедуры аттестации педагогов были получены негативные показатели по ряду позиций опроса руководителей образования. Можно было бы сделать вывод, что предлагаемые и апробируемые процедуры неэффективны. Однако оказалось, что эти оценки спровоцированы низкой информированностью руководителей, то есть сбоями информационных потоков существующей системы управления. 9. Различная мотивация участников в естественных условиях. При изучении социальных систем достаточно привлекательной выглядит возможность получения информации в естественных условиях. Однако зачастую оказывается, что одни и те же действия, выполняемые в рамках управления, реализуются с различными целями. Проводить опрос учителей можно с целью аттестации руководителя, а также затем, чтобы получить информацию для нужд администрации образовательного учреждения. Проведение того и другого опроса проходит с использованием одного и того же инструмента, однако результаты, в зависимости от важности этого опроса для респондентов, могут быть подвергнуты существенным искажениям. 10. Эффект повторного измерения. Выполненные предварительно задания всегда оказывают влияние на повторное выполнение. Вопрос состоит только в том, при каких условиях мы можем считать эти влияния достаточно малыми с точки зрения их воздействия на конечный результат измерения. Причины этого явления достаточно ясны: запоминание части вопросов, научение способу работы или решению группы задач, эффект привыкания- 125 смещения ответа при повторном многократном опросе, когда респондент отвечает так же, как и в предыдущий раз несмотря на то, что обстоятельства или [его собственные] оценки изменились. 11. Изменения группы под влиянием отношений окружающих, вызванных экспериментальным воздействием. Попадая в те или иные экспериментальные условия, люди начинают оценивать свое положение относительно тех, кто в такие условия не попал. Если эти оценки активно поддерживаются окружением и референтными окружающими, то у представителей обследуемой группы вырабатывается иная система оценивания. Педагогам достаточно широко известны эффекты «мании величия» и «казанской сироты», которые вырабатываются в классах одной параллели, когда для одного класса создают особые условия обучения. При этом не представляется существенным даже основание, по которому проводился отбор. 12. Групповая фальсификация результатов В методологии … рассматривается случай, когда респонденты договариваются о том, какие оценки они будут давать. Это достаточно редкая ситуация, возникающая тогда, когда нет непосредственного личного взаимодействия между проводящим измерение и объектом измерения. Для образования такая ситуация весьма возможна в том случае, если обследование проводится внутри образовательного учреждения. Есть еще один аспект данной проблемы. Он связан с целями проведения обследования. Например, если обследование проводится в рамках какой-либо аттестационной процедуры, эффект групповой фальсификации будет иметь место. Он часто носит неосознанный характер и проявляется при отсутствии предварительного сговора. 13. Изменение группы в процессе проведения эксперимента. Эти изменения носят как случайный, так и систематический характер, они могут быть естественными и спровоцированными. Естественный характер носит выбывание участников групп по объективным причинам. Они бывают как случайными (например, болезнь), так и систематическими (отчисление и зачисление новых членов группы). Спровоцированные изменения часто связаны с желанием выглядеть лучше. Особенно часто это проявляется при проведении аттестационных процедур, когда под любым предлогом их обследования исключаются те, кто может дать негативные оценки. Очень наглядный пример выбывания дает Кэмпбелл в описании гипотетического эксперимента по изучению «количества красоты» выпускниц колледжа. Оказывается, выпускницы колледжа менее красивы, 126 чем те, кто в него поступает. Это факт, не вызывающий сомнений. При рассмотрении данных, подтверждающих его, можно, вероятно, сделать вывод, что обучение в колледже негативно влияет на красоту девушек. Однако это утверждение неверно: просто более красивые девушки быстрее выходят замуж и выбывают из колледжа, что и приводит к снижению количества красавиц в конце обучения. 14. Естественное развитие. В процессе эксперимента происходит естественное развитие как отдельных членов группы, так и всей группы в целом. Этот фактор наиболее важен для работы с образовательными системами, где динамика развития очень велика. Причем, чем меньше дети, тем больше динамика их развития. Все педагоги соглашаются с тем, что результаты, полученные при тестировании учащихся в начале учебного года и в его середине, не могут быть признаны сравнимыми. К сожалению, точного ответа на вопрос о том, какой промежуток времени можно считать приемлемым для сравнения, пока нет. Можно лишь сформулировать общее требование: этот промежуток должен быть таким, чтобы оказывать минимальное искажающее воздействие на результат. 15. Социально-территориальные особенности групп. Выбирая в качестве единицы измерения класс в каком-то образовательном учреждении, необходимо учитывать его социальнодемографические характеристики. Это необходимо для того, чтобы не получить смещенных оценок, а также чтобы иметь возможность корректного сравнения. Отечественная практика в данном случае отличается от западной, где территориальная стратификация районов застройки определяет и качество жизни, и качество образовательных систем. Поэтому западные специалисты в качестве единицы измерения охотно используют образовательное учреждение, считая, что внутри него социальные различия достаточно гомогенизированы. Именно поэтому они постоянно отмечают некорректность сравнения образовательных учреждений, расположенных в разных районах. У нас стратификации проходит иначе – не по районам застройки, а по отдельным образовательным учреждениям и классам. Здесь в качестве фактора, смещающего результаты измерения, могут выступать как территориальные, так и социально-демографические особенности отдельных классов. Причем это смещение может быть вызвано не только официально сложившейся системой отбора в образовательные учреждения, но и скрытым отбором. 127 16. Разные события для разных групп. Экспериментальные или сравниваемые группы, отобранные для измерения, проживают собственную жизнь, наполненную событиями, определяющими процесс групповой динамики, протекающую вне временной и территориальной зоны эксперимента. Кроме того, каждый член группы испытывает влияние событий частного порядка, вне группы и вне эксперимента [например, внезапная смерть отца или матери отдельного обучающегося]. Значит, всегда существует опасность того, что различные воздействия в межэкспериментальный период вызовут различные смещения оценок. 17. Различная внутренняя жизнь групп. Кроме внешних событий, которые могут оказать существенное влияние на результаты, существуют и объективные закономерности жизни группы, связанные с ее морфологией, определяющие качественные изменения, различные в каждом конкретном случае. Этот фактор может существенно сказаться на выводах, сделанных по результатам эксперимента. Приведем факт повышения конфликтности и нестабильности коллектива с началом реформирования или введением новшеств. Нестабильность коллектива характерна для всех ОУ, в которых в той или иной форме проходит реформирование. В одних коллективах противоречия реформ разрешаются эволюционно, но длятся достаточно долго, в других революционно, эмоционально, но быстро. Конечно, измерения, связанные с определением качества отношений и удовлетворенности в этих коллективах, не могут дать сравнимых результатов. 18. Различная скорость протекания внутригрупповых процессов. Экспериментальное или управленческое воздействие на ту или иную группу может давать одинаковый эффект. Однако в одних группах этот эффект проявляется достаточно быстро и, соответственно, его можно зафиксировать. Другие групп преодолевают довольно длительный период адаптации, прежде чем появится тот эффект, на который рассчитывали инициаторы воздействия. Таким образом, существует реальная опасность зафиксировать отсутствие эффекта, хотя он просто еще не проявился. 19. Условия, вызывающие реакцию на эксперимент Реальные изменения, наблюдаемые в экспериментальных условиях и возникающие вне эксперимента, могут оказаться неэквивалентными. Этот разрыв во многом объясняет тот факт, что разработанные новые учебные программы, успешно апробированные в режиме эксперимента, не приносят должного эффекта в реальной практике. Спектр причин, приводящих к подобному «сбою», может быть достаточно широким: от неэквивалентности 128 кадров до сокращения, в целях экономии, необходимых при внедрении технологических процессов. При всем многообразии обозначенного ряда причин этот факто очень важен для оценки и прогнозирования. 20. Интерференция событий. Возникает в том случае, когда один и тот же испытуемый подвергается различным воздействия, разнесенным по времени. Эффект от предыдущего воздействия не исчезает совсем, а иногда может оказаться достаточно существенным. В этом случае происходит наложение (интерференция) воздействий. Часто не удается разделить эффекты различных воздействий, что, конечно, угрожает результатам измерения. 21. Синергизм. В случае совместного проявления некоторых воздействий, одно из которых носит естественный, а другое – экспериментальный (отслеживаемый) характер, эффект может превзойти предполагаемые и вероятные эффекты каждого из воздействий. Тогда появляется опасность восприятия эксперимента как неудавшегося, поиск ошибок или третьего воздействия. 22. Компенсаторность. Один эффект может компенсировать другой: два или несколько воздействий, проявляясь одновременно, могут компенсировать эффект, вызываемый иными событиями. Этот фактор достаточно хорошо изучен, однако в практике измерений встречается не часто. Примером такого воздействия может служить повышение субъективных оценок удовлетворенности зарплатой в случае расширения возможностей для творчества. 129
