Рябинина Л. А., Свиридова О. И., Тимкова Т.В. Мониторинг

Оценка качества образования
№ 1, 2009 г,
Л. А. Рябинина, О. И. Свиридова, Т.В. Тимкова
Мониторинг индивидуального прогресса – новый подход к диагностике
достижений учащихся
В 2003-2006 гг. группа специалистов из Института психологии и педагогики развития
(г. Красноярск) и Психологического института РАО (г. Москва) по заказу Национального
фонда подготовки кадров разработала инструментарий для исследования индивидуального
прогресса учащихся общеобразовательных учреждений. Апробация инструментария
проходила на 10 экспериментальных площадках России, различных по статусу (лицей/
школа), по месту расположения (село/город), по использованию технологий (инновационных/традиционных) и
пр., так как важно было посмотреть, насколько инструмент доступен для использования в
школах разного типа, насколько чувствителен к различиям в образовательных технологиях.
В настоящее время разработанный инструментарий, получивший название «Дельта», уже
используется в гимназии «Универс» № 1 и лицее № 1 (г. Красноярск), в гимназии № 5 (г.
Чебоксары), в «Центре развивающего образования «Умка» (г. Новосибирск), в центре
образования «Измайлово» (г. Москва).
В чём особенность нового диагностического инструментария?
На сегодняшний день практика оценки эффективности деятельности образовательных
учреждений апеллирует в основном к учебным результатам и/или к образовательным
условиям. Редко анализируется перенос умений учащихся, появившихся в результате
обучения, в области, не связанные с данным учебным предметом.
Современные источники
в изобилии
содержат
материалы об
исследованиях
эффективности образовательных систем и технологий, но практически нет материалов,
связанных с оценкой индивидуальной образовательной динамики учащихся (см. обзор
российских
и
зарубежных
источников
по
данной
тематике
на
сайте
http://www.ippd.univers.krasu.ru/bibl/ind_progress/analiz_m.html). Здесь имеется в виду не
столько динамика усвоения сведений и навыков оперирования учебным материалом по
образцу, а те достижения, которые отвечают высоким притязаниям и учащихся, и педагогов
и выходят за границы собственно традиционной школьной успешности (в последнее время
эти достижения называют компетентностью). Вместе с тем представляется, что именно
характеристики индивидуального прогресса и есть то, на что ориентировано как раз
образование в отличие от обучения.
Поэтому при разработке диагностического инструментария исходной стала идея о том,
что можно измерять динамику освоения предметных способов действия. Для этого важно
было получить такой инструмент, при помощи которого можно проверять качество
образования ребенка, причем не на финише, а в процессе обучения, и вносить в этот
процесс необходимые коррективы.
Что
является
предметом
оценки
при
использовании
диагностического
инструментария для мониторинга индивидуального прогресса учащихся?
Большинство существующих средств диагностики школьных достижений позволяют
определять меру успешности учащегося по качеству конечных результатов усвоения
знаний-умений-навыков, которые, по сути, оцениваются по шкале «плохой - хороший» или
«слабый - сильный». В отличие от традиционных средств педагогической диагностики,
инструментарий
для
измерения
индивидуального
прогресса
учащихся
«Дельта»
ориентирован на образовательный процесс: раз в год в течение нескольких лет ученик
выполняет задачи одного и того же типа (особым образом устроенные), и каждый его
новый результат сравнивается с его же предыдущим результатом, чтобы определить, на
каком уровне освоения того или иного учебного содержания он (ребёнок) находится. Таким
образом, в фокусе внимания «Дельты» не объем информации и темп освоения программ, а
ресурсные (качественные) изменения компетенций учащегося.
Подход, реализованный в диагностических материалах, основан на культурноисторической концепции Л.С. Выготского. В ней учебное содержание рассматривается как
система культурных орудий, присвоение которых и составляет стержень образовательного
процесса.
Соответственно,
диагностика
индивидуального
прогресса
школьников
ориентирована на программное учебное содержание, рассматриваемое как система средств
и соответствующих образцов действия. Специфическим предметом диагностики является
мера освоенности этих средств учащимися. Показателем того, в какой мере освоено то или
иное средство, является способ действия ребёнка с предметным материалом при
выполнении тестового задания.
В психологии существует представление о трёх закономерных этапах становления
способов действия:
1) освоение общего смысла и формы способа действия;
2) раскрытие существенного основания способа действия;
3) функционализация способа действия (его включение в систему личностных
ресурсов).
Выделенные этапы/уровни были конкретизированы применительно к отобранным для
диагностики учебным дисциплинам на основе общих тестовых критериев:
Первый уровень (освоение общего смысла и формы способа действия) – выполнение
тестового задания по образцу (шаблону). Этот уровень достигается посредством обучения
через демонстрацию и внешне обусловленное мотивирование и оценку. За счет упражнений
и специальных внешних «поддержек» достигается эффект усвоения. Для того, кто учит,
важно, чтобы учащийся усвоил как можно больше сведений (единиц и норм); а для того,
кто учится, важно получить оценку извне и укрепить свой статус.
Пример задачи I уровня (математика – начальная школа).
Прочитайте задачу. Расставьте числа из задачи на чертеже. Решать задачу не надо.
Велосипедист и пешеход начали движение из пунктов А и Б навстречу друг другу.
Когда велосипедист проехал 30 километров, а пешеход прошел 5 километров, они
встретились. Каково расстояние между пунктами А и Б?
А
Б
Комментарий. В предложенном задании первого уровня необходимо соотнести текст и
чертеж, т.е. выделить математическое отношение «целое и части» в тексте и на чертеже и
перенести данные (30, 5 и вопросительный знак) на чертеж. По сути, ученик показывает
умение выполнять замещение.
Пример задачи I уровня (русский язык – начальная школа)
Выделите корни в предложенных словах. Выпишите номера слов, в которых есть два корня.
1) вода,
2) водяной,
3) подводник,
4) водолаз,
5) водный,
6) водопад,
7)
водонос.
_______________________________________________________________________________
Комментарий. Задание первого уровня предполагает опознание морфемы по ее
формальным признакам. Для этого ученик должен владеть элементарными навыками
разбора слова по составу.
Второй уровень (освоение существенного основания способа действия) – выполнение
задания, предполагающего выделение существенного отношения предметной ситуации.
Другими словами, ученик выделяет существенные характеристики материала из фона при
наличии «помех». Это означает, что ученик
не просто усвоил предметную норму и
единицы описания соответствующего учебного предмета, но и понимает, как этот материал
организован. Для успешного осуществления действий на этом уровне явно недостаточно
демонстрации образца и внешней обусловленности оценкой. Здесь важно уже собственное
отношение, стремление и готовность к преобразующему–аналитическому действию.
Условием успеха в данном случае является персональный интерес к обнаружению
скрытого.
Пример задачи II уровня (математика – начальная школа)
Прочитайте задачу. Найдите чертеж, который к ней подходит. Отметьте этот чертеж.
Решать задачу не надо.
Велосипедист и пешеход начали движение из пунктов А и Б навстречу друг другу,
встретились, продолжили движение и остановились, когда между ними было расстояние
10 км. Каково расстояние между А и Б, если известно, что велосипедист проехал 60 км, а
пешеход прошел 15 км?
15
Комментарий. В предложенной текстовой задаче дано то же математическое отношение,
что и в задании первого уровня. Но в отличие от предыдущего задания отношение «целое и
части» «зашумлено» пересечением частей. Ученик, выбирая верный чертеж, показывает
способность к моделированию.
Пример задачи II уровня (русский язык – начальная школа)
Прочитайте текст.
Валентин Берестов в своих воспоминаниях о С.Я. Маршаке пишет, что Самуил Яковлевич
любил придумывать разные игры. Одна из них – игра в Мухолатку. «Мухолатка – некая
воображаемая страна. Здесь выходят не замуж, а замух (1). Государственный гимн –
французская песенка «Птит муш» («Мушка»(2)). Вероисповедание мухомеданское (3) (не
путать с магометанским). Любимые растения – черемуха (4) и мушмула (5). «Мухацокотуха» – это их «Илиада». Академия наук занята превращением мухоморов (6) в такие
же красивые, но совсем не ядовитые грибы – мухамуры. Самое ласковое слово
«замухрышка» (7). Армия вооружена мушкетами (8) и мушкетонами» (9).
• На линеечку выпишите номера слов, которые являются однокоренными слову муха.
__________________
Комментарий. Предложенный в задании второго уровня текст обнаруживает следующее
противоречие: корни нескольких слов схожи по звучанию и написанию, но часть слов,
содержащих
эти
корни,
не
являются
однокоренными.
Это
заставляет
ученика
предположить, что для того, чтобы слова были однокоренными, необходимо не только
сходство внешнего вида корня, но и тождество его значения. Таким образом, ученик
обнаруживает существенное системное
отношение, на основе которого происходит отождествление морфемы в составе разных
слов.
Третий уровень (функционализация способа действия). Включение обобщенного
способа действия в состав личных ресурсов, который можно принимать и отвергать,
корректировать и преобразовывать. То есть способность «увидеть» и осуществить
действие, в котором способ, «взятый» в известном предмете, востребован (уместен) и
выступает как преобразующий материал другого предмета. Это требует умственных
действий рефлексии, синтеза и обобщения высокого уровня и, фактически, умения занять
надпредметную позицию. Сам по себе выход за рамки предмета как бы отменяет в данном
уровне натуральную позицию учителя. Тот, кто был учеником, овладел способом
предметного действия и в обучении собственно этому уже не нуждается.
Пример задачи III уровня (математика – начальная школа)
Рассмотрите чертеж и прочитайте начало задачи. Допишите вопрос к задаче так, чтобы
все числа, которые есть на чертеже, использовались при решении задачи.
Велосипедист и пешеход начали движение из пунктов А и Б навстречу друг другу,
встретились, продолжили движение и остановились, когда велосипедист проехал 60 км, а
пешеход прошел 15 км. Какое расстояние ____________, если известно, что
__________________?
Комментарий. Выполнение задания третьего уровня требует от ученика способности
мысленно перестроить чертеж и на его основе сконструировать часть текста задачи. Ученик
показывает способность «свободно» моделировать.
Пример задачи III уровня (русский язык – начальная школа)
1. По какому принципу подобраны выделенные слова в задании 2, не однокоренные слову
муха? Свой ответ запишите на линеечках.
_______________________________________________________________________________
____
2. Прочитайте предложение.
Понимаете, ребята, водяной может заниматься только тем ремеслом, в котором есть
что-нибудь от воды.
А) Выпишите на линеечку номера слов (смотрите ниже), которые называют ремесло,
подходящее для водяного, если он решил выбрать что-то связанное с водой:
________________________________
Б) Выпишите на линеечку номера слов, которые называют ремесло, подходящее для
водяного, если он решил выбрать его по тому же принципу, по которому строится игра
«Мухолатка»: __________________________________
_______________________________________________________________________________
_____
1) подводник, 2) проводник, 3) заводила, 4) водитель, 5) паркетчик, 6) водонос, 7)
бизнесмен,
8) руководитель, 9) хозяин завода.
Комментарий. Задание третьего уровня предполагает, что действие различения формы и
значения языковой единицы освоено и может быть применено в новой ситуации.
Приведём один пример возможной интерпретации полученных результатов:

невысокие показатели при решении задач первого уровня означают, что
материал недостаточно освоен даже в его формальном варианте, то есть в самом
первом приближении;

трудности решения задач второго уровня указывают на дефициты понимания и
предполагают
необходимость
развертывания
действий
(например,
моделирования) на соответствующем учебном содержании;

трудности при решении задач третьего уровня означают ограниченность
действий рамками учебного предмета без его прикладных функций, и,
следовательно, могут потребовать от учителя инициирования или усиления
проектных, исследовательских форм деятельности.
Средство, прошедшее все стадии (уровни) освоения, открывает перед учащимся
соответствующий горизонт действия, который на педагогическом языке обозначается
термином
«компетенция».
Диагностика
освоения
способа
действия
на
основе
предложенной уровневой модели позволяет определить, на каком этапе становления у
конкретного ученика некая компетенция находится, то есть оценить достижение ребёнка в
данный момент и ближайшую перспективу, а это значит осмысленно поставить новую
педагогическую задачу.
При систематическом использовании теста появляется возможность следить за
индивидуальным прогрессом учеников в овладении средствами действия. При этом
прогресс может быть линейным и уровневым. Ключевой характеристикой линейного
прогресса является количественное изменение: приращение количества правильно
выполненных заданий одного и того же уровня. Уровневый прогресс означает переход
школьника с одной ступени (уровня) владения предметным средством на другую, более
высокую.
Предлагаемый диагностический инструмент рассчитан на диагностику у школьников
компетенций, связанных с освоением системы средств и образцов действия таких учебных
дисциплин, как математика, русский язык и физика. Структура диагностического пакета,
фиксируя ключевые содержательные позиции соответствующих учебных дисциплин,
позволяет увидеть за каждой из них систему средств мышления и понимания. А уровневая
организация систем заданий объективирует внутреннюю логику присвоения этих средств.
Кому адресован диагностический комплект?
Диагностический
комплект
адресован
учителям,
школьным
администраторам,
родителям, руководителям органов управления образованием. Каждый из адресатов может
решать с помощью предложенного инструмента свои задачи.
Педагогам тест позволяет объективно оценить, насколько осваиваемое школьниками
учебное содержание способствует становлению соответствующих форм мышления и
понимания. Квалифицированному учителю это дает точку опоры для перестройки
собственной образовательной практики в сторону усиления ее развивающего эффекта1.
Родители могут за счет теста получить объективную и независимую оценку развития
своих детей, выяснить, насколько их ребенок подготовлен к следующему этапу обучения.
Школьные администраторы могут получить данные для оценки используемых в школе
образовательных технологий (с точки зрения их вклада в развитие мышления и понимания
ребёнка), что позволит делать осознанный выбор образовательных программ.
Руководители органов управления образованием получают инструмент для оценки
соответствия декларируемых школами образовательных результатов «действительному
положению дел».
Диагностический комплект включает в себя:

тестовые материалы по русскому языку, математике для учащихся начальной школы;

тестовые материалы по русскому языку, математике, физике для учащихся основной
школы;

пробные тесты и инструкции для испытуемых,

описание методов и процедур проведения мониторинга;

ключи к тестам и подробное описание механизмов обработки и интерпретации данных.
Результаты апробации диагностического инструментария.
Разработка первого варианта диагностического инструментария по мониторингу
индивидуального прогресса учащихся проводилась в течение трех лет психологами и
педагогами г. Красноярска и г. Москвы. В апробации диагностического комплекта
участвовало 10 школ из Самарской области, Республики Чувашия, г. Томска, г. Москвы, г.
Красноярска. При апробации диагностического инструментария получены данные,
связанные с особенностями разных педагогических подходов. Например, тестовые задания
Авторы диагностики в целом согласны с замечанием эксперта проекта А.Б. Воронцова относительно
наибольшей эффективности применения данной методики в школах, реализующих уже в настоящее время в
своих программах деятельностный подход. Однако, учитывая общую тенденцию изменений в отечественной
системе образования, полагаем, что применение разработанного инструмента и в остальных школах может
способствовать их более быстрой ориентации на деятельностный подход.
1
оказались чувствительными к технологиям развивающего обучения и достаточно отчетливо
дифференцируют технологию развивающего обучения от других подходов.
Школы, в которых проводились пробные тестирования, были выбраны так, чтобы в них
реализовывались
разные
образовательные
технологии.
Данные
о
выполнении
разноуровневых задач в классах развивающего обучения (РО) и традиционного обучения
(ТО) можно представить в следующей таблице.
Уровни
РО
ТО
III
23%
9%
II
30%
23%
I
44%
60%
0
4%
8%
Выход учащихся начальной школы на I, II, III уровни в РО и в традиционном обучении (процентное
распределение) (данные по школам г. Москвы, г. Красноярска и г. Шумерля).
Как видно из представленных в таблице данных, I уровень (действие по образцу,
узнавание) оказывается более доступным для учащихся в системе традиционного обучения.
Это обусловлено тем, что отработка действия по образцу является ключевым принципом
традиционного обучения. Задачи же III уровня (конструирование, интерпретация,
управление) решает большее количество учащихся в системе развивающего обучения.
Такие различия свидетельствуют о том, что от технологии обучения и педагогических
действий зависит динамика достижений учащихся.
Итак, оценивание в контексте работы с инструментом по диагностике индивидуального
прогресса учащихся – это ответ на вопрос, есть ли у данного школьника индивидуальное
движение в области мышления и понимания и какой вклад в это движение вносит
определённая предметная область. Важно подчеркнуть, что здесь измеряется не
статическое состояние, а изменение (динамика). Оценивается не фиксированное
достижение, а положительное (прогресс) или отрицательное (регресс) или устойчивое
состояние /изменение. Это означает, что в данной диагностике оценка не может быть
поставлена раз и навсегда, она обозначает характеристику движения. То есть фактическое
состояние, полученное при тестировании, нельзя назвать ни низким, ни высоким. Все дело
в том, как тестовые данные конкретного среза соотносятся с предыдущим состоянием
школьника и в каком отношении они находятся с учительским прогнозом относительно
достижений этого ученика и его класса. Таким образом, данные конкретного
диагностического среза – это всегда показатель не только достижения, но и перспективы.
Такая диагностика может сопровождать образовательный процесс, а не только служить
средством подведения его итогов.
Литература
1. Беспалько В.П. Образование и обучение с участием компьютеров (педагогика третьего
тысячелетия). М.-Воронеж, 2002.
2. Бугрименко Е.А., Микулина Г.Г., Савельева О.В., Цукерман Г.А. Руководство по оценке
качества математических и лингвистических знаний школьников. М., 1989.
3. Выготский Л.С. Собр. соч.: В 6 т. Т. 2. М., 1982.
4. Гальперин П.Я. Психология как объективная наука. М., 1998.
5. Давыдов В.В. Теория развивающего обучения. М., 1996.
6. Ковалева Г.С., Красновский Э.А., Краснокутская Л.П. и Краснянская К.А. Основные
результаты международного исследования образовательных достижений учащихся
PISA-2000 (краткий отчет). М.,2002.
7. Леонтьев А.Н. Избранные психологические произведения. Т.1. М., 1983.
8. Майоров А.Н. Теория и практика создания тестов для системы образования (Как
выбирать, создавать и использовать тесты для целей образования). М., 2000.
9. Мониторинг индивидуального прогресса учебных действий школьников / Под ред.
П,Г.Нежнова, Б.И. Хасана, Б.Д. Эльконина. – Красноярск: Печатный центр КПД, 2006
10. Пиаже Ж. Избранные психологические труды. М., 1994.
11. Поливанова К.Н. Психология возрастных кризисов. М., 2000.
12. Симонов В.П. Диагностика степени обученности учащихся: Учебно-справочное
пособие. М., 1999.
13. Симонов В.П. Директору школы об управлении учебно-воспитательным процессом. М.,
1987.
14. Теоретические основы содержания общего среднего образования// Под ред. Краевского
и Лернера. М., 1983.
15. Эльконин Б.Д. Введение в психологию развития. М., 1994.
16. Эльконин Б.Д. Педагогика развития: проба как конструкт образовательной системы // В
кн.: Педагогика развития: ключевые компетентности и их становление. Красноярск,
2003.
17. Эльконин Д.Б. Избранные психологические труды. М., 1989.
18. Bloom B.S. Th. Hastings, G.F.Madaus. Handbook on Formative and Summative Evaluation of
Students Learning // N.Y.McGrow-Hill, 1971.
19. Bredecamp Sue, Copple Carol (Ed.) Developmentally Appropriate Practice in Early
Childhood Programs. NAEYC. Washington. 1997.
20. http://www.ippd.univers.krasu.ru/bibl/ind_progress/analiz_m.html - Обзор российских и
зарубежных источников по тематике мониторинга индивидуального прогресса.