Бакиров А.Н. Опыт НЦТ Киргизской Республики

Национальный центр тестирования МО и Н КР
Проектирование национальных и
территориальных систем оценки качества образования:
Организационные, технологические и содержательные аспекты
Учебный курс
1
Национальный центр тестирования МО и Н КР
Опыт Национального центра тестирования и
перспективы в области оценивания качества
Бакиров А.Н.
2
ПРОЦЕДУРЫ ОЦЕНКИ ОБРАЗОВАТЕЛЬНЫХ ДОСТИЖЕНИЙ УЧЕНИКОВ
И ДЕЯТЕЛЬНОСТИ ШКОЛ ПРОВОДИМЫЕ НЦТ

Общереспубликанское добровольное тестирование (пробное,
основное) учащихся 9, 10, 11 классов общеобразовательных школ
всех видов и форм собственности – ежегодно с 1993 г;
Прошло процедуру
учащихся
2008-2009
2009-2010
51222
47840
3
ПРОЦЕДУРЫ ОЦЕНКИ ОБРАЗОВАТЕЛЬНЫХ ДОСТИЖЕНИЙ УЧЕНИКОВ
И ДЕЯТЕЛЬНОСТИ ШКОЛ ПРОВОДИМЫЕ НЦТ

Промежуточная (годовая) аттестация экстернов тестирование учащихся 9, 11 классов экстерната в
общеобразовательных организациях КР с 1999 года;
Прошло
процедуру
2008-2009
2009-2010
учащихся
86
116
4
ПРОЦЕДУРЫ ОЦЕНКИ ОБРАЗОВАТЕЛЬНЫХ ДОСТИЖЕНИЙ
УЧЕНИКОВ И ДЕЯТЕЛЬНОСТИ ШКОЛ ПРОВОДИМЫЕ НЦТ



Мониторинг качества обучения учащихся школ,
студентов ВУЗов и СПУЗов КР – с 2003 года;
Апробация новой формы итоговой государственной
аттестации выпускников 11 классов
общеобразовательных школ в форме тестирования –
пилот в 2-х районах (61 школа) – участие в
обработке результатов тестирования;
Апробация новой формы итоговой государственной
аттестации выпускников 9 классов
общеобразовательных школ в форме тестирования –
пилот в одном районе (34 школы) ;
5
ПРОЦЕДУРЫ ОЦЕНКИ ОБРАЗОВАТЕЛЬНЫХ ДОСТИЖЕНИЙ
УЧЕНИКОВ И ДЕЯТЕЛЬНОСТИ ШКОЛ ПРОВОДИМЫЕ НЦТ


Тестирование выпускников 11 класса,
претендентов на аттестат с отличием –
с 1993 года по 2002 г, 2011 г.
Данные за 2011 г.
Количество подтвердивших
участников претендентов
3006
95
%
3.15
6
Тестирование на аттестат с отличием 2011 год
7
ПРОЦЕДУРЫ ОЦЕНКИ ОБРАЗОВАТЕЛЬНЫХ ДОСТИЖЕНИЙ
УЧЕНИКОВ И ДЕЯТЕЛЬНОСТИ ШКОЛ ПРОВОДИМЫЕ НЦТ
Отличники по типам
школ
КТЛ "Себат"
Частные школы
Общеобразовательные
учреждения
Профессиональные
лицеи
Колледжи при ВУЗах
Количеств
о
26
6
63
0
0
8
НАЗНАЧЕНИЕ КАЖДОЙ ИЗ ПРОЦЕДУР





- осуществление независимой оценки образовательных
достижений учащихся;
- внедрения форм и методов тестирования в республике;
- проведение исследований по проблемам оценки знаний,
апробация измерителей;
- определение уровня обученности учащихся по базовым и
профильным образовательным программам;
- разработка дальнейшей стратегии внедрения новой модели
итоговой государственной аттестации в систему образования
по результатам пилотных испытаний;
9
ЦЕЛИ ИСПОЛЬЗОВАНИЯ ДАННЫХ ЭТИХ ПРОЦЕДУР
УПРАВЛЕНИЕ ШКОЛ МО и Н, РАЙОО,
ДИРЕКТОРА ШКОЛ, ДЛЯ:
 получения достоверной информации о
состоянии образования в
общеобразовательных учреждениях,
принятия управленческих решений;
 анализа данных итоговой государственной
аттестации в форме тестирования,
разработки новой модели экзаменов,
основанной на принципах бесконтактности,
обоснованности, объективности;
 для коррекции обнаруженных пробелов в
знаниях в последующем.
10
ЦЕЛИ ИСПОЛЬЗОВАНИЯ ДАННЫХ ЭТИХ ПРОЦЕДУР
УЧИТЕЛЬ, ДЛЯ:







определения исходного уровня знаний и умений по
дисциплине;
оценки динамики усвоения знаний на каждом этапе;
определения рейтинга класса, оценки
образовательных достижений учащегося;
изучения, выявления, контроля состояния обучения
учащихся;
стимулирования у учащихся стремления к
самостоятельной систематической работе над
выполнением классных и домашних заданий,
повышения интереса к учению и чувства
ответственности за его результаты.
для оперативной коррекции хода усвоения учебного
материала
использования результатов тестирования в качестве
результатов экзаменов.
11
УЧАЩИЙСЯ, ДЛЯ:







освобождения от экзаменов - использования результатов
тестирования в качестве результатов экзаменов – количество
участников (добровольцев) из года в год растёт;
ознакомления с формами контроля знаний, приобретение
навыков;
подготовки к экзаменам;
определения своего рейтинга
Педагогическим советам общеобразовательных организаций
рекомендуется, по заявлению учащихся, засчитывать
результаты:
пробного тестирования как текущие отметки по
соответствующим предметам;
результаты основного (апрель-май) тестирования как
переводные (10 класс) и выпускные (9 и 11 классы)
экзаменационные отметки (устных экзаменов) по
соответствующим предметам.
12
ПРОБЛЕМЫ И НЕДОСТАТКИ СУЩЕСТВУЮЩИЕ ПРИ ПРОВЕДЕНИИ ДАННЫХ ПРОЦЕДУР


Положение тестирования в стране осложняется отсутствием
тестологической культуры в педагогической среде, а также
единых подходов к оцениванию подготовленности учащихся,
неразработанностью методов анализа и интерпретации
статистических результатов тестового контроля, крайне
настороженным отношением педагогов к тестовому контролю,
недооценкой его как средства снижения педагогических и
психологических нагрузок и др.
Создание системы оценки общеобразовательной подготовки
обучающихся требует использования современной технологии
тестирования, разработки и использования контрольных
измерительных материалов, надежной стандартизированной
системы проведения контроля, обработки, шкалирования и
анализа результатов. Все эти элементы и отрабатываются в
рамках эксперимента итоговой государственной аттестации.
13
Задачи:

выработка единых критериев оценки достижений учащихся;

анализ сравнимых результатов тестирования учащихся;

обеспечение требований тестовой технологии к организации процедуры
тестирования:
а) надежность методов, используемых при разработке инструментария и
анализе результатов;
б) применение стандартизированных процедур проверки заданий и
обработки данных.

повышение:
а) качества тестовых заданий, тестов;
б) качества дистракторов.
14
ЗАДАЧИ НА 2012 ГОД:



упорядочение всех нормативных, инструктивно-методических и
других документов;
повышение качества проведения тестирования и тестовых
материалов;
повышение доверия к результатам оценки учебных достижений;
15
Анализ результатов проведения тестирования для аттестации
учащихся 9-х классов (ИГА) 17-18 мая 2011-05-20

Что проверяет тест ИГА-9?
ИГА-9 проводится с целью:

внедрения нового подхода к проведению итоговой государственной аттестации
выпускников основной школы;

проведение государственной оценки уровня образования выпускников на основе
государственных образовательных стандартов;

совершенствования системности и непрерывности образования в КР.
Задача ИГА-9 – проверить следующие знания учащихся:

грамотность родного языка;

математическую компетентность;

знание истории своей страны;

владение государственным языком.
16

Тест ИГА-9 проходил 17 и 18 мая 2011 года. Всего в тестировании приняли
участие 1356 учащихся.
Тестирование проводилось на двух языках:



на кыргызском языке тест сдавали 434 человек;
на русском языке - 922 человек.
Тестирование проводилось в течении двух дней:
В первый день проходил базовый тест по четырем предметам: математике,
родному языку, истории и государственному языку. На второй день для лицеев,
гимназий и школ с углубленным изучением предметов кроме базового теста
проводились профильные тесты: алгебра, русский язык, химия, биология,
география, родная литература.
17
Время поведения тестирования по предметам
Предмет
Математика
Родной язык
История Кыргызстана
Всего
Количество
вопросов
20
20
24
64
Время
80 мин.
45 мин.
45 мин
170 мин.
18

Создавая тест, мы советовались с учителями
средних школ, преподавателями техникумов
и Академии образования, так как проводимые
педагогические измерения должны быть
особо точными, валидными и надежными. Мы
стремились получить тест представляющий
собой продуманную, законченную систему,
каждый элемент которой находится в строго
определенном месте, имеет неповторимые в
данном тесте параметры и задачи и работал
бы в совокупности всех элементов. Качество
теста сводится к определению меры
надежности
вопросов
и
валидности
результатов.
19



У теста должна быть только одна цель. Цель ИГА-9 –
проверить усвоение программы за курc основного
образования.
В связи с тем, что все экзаменуемые должны быть в
равных условиях при сдаче теста, недопустимо
создавать варианты разной сложности, так как
выпускники оказываются в неравных условиях.
Поэтому проводится большая работа по уравниванию
вариантов тестов по сложности и равноценности.
Нарушение этого правила ведет к тому, что тест не
работает, т.е. тест не достигает поставленной цели.
20
Результаты тестирования выведены в 120 бальной системе с учетом
стандартного отклонения. Стандартное отклонение — это статистический
термин, который является хорошим индикатором изменчивости.
Он измеряет насколько широко значения рассеяны от среднего значения.
Ниже приведена таблица результатов по предметам по
пятибалльной системе.
Подробная статистика по школам в приложении №1
Предметы
Кол.
учащихся
Стандартн
ое отклонение
Алгебра
1356
10.54
История
1356
11.06
Кыргызский язык
434
8.26
Русский язык
922
12.86
21










По таблице можно увидеть разницу в процентном соотношении
правильных ответов тестируемых по предметам. Можно расположить
по уровням достижения. Например по математике, из 1356
протестированных:
Уровень продвинутый – составляет 3,68%;
Уровень профессиональный – 12,01%;
Уровень менее компетентный – 69,86%;
Низкий уровень – 14,37%.
120 бальная система переведена в пятибалльную:
- от 90 до 120 баллов - оценка «5»
- от 68 до 89 баллов - оценка «4»
- от 45 до 67 баллов - оценка «3»
По данным статистики уровень качества образования в Московском
районе составляет 6,49% учащихся, а это есть 88 из 1356 тестируемых.
Уровень успеваемости составляет 62,4%, это есть 846 тестируемых.
22

Так как в тестировании участвовали
учащиеся с кыргызским и русским языком
обучения, можно сравнить качество и
успеваемость тестируемых в зависимости от
языка обучения. Например по истории с
кыргызским
языком
обучения
уровень
продвинутых составляет 3%, а с русским
языком обучения – 3,58%. Можно сделать
вывод, что уровень подготовки по истории с
русским языком обучения немного выше чем
уровень подготовки с кыргызским языком
обучения.
23
С кыргызским языком обучения
Школы
История
Кыргызский язык
Алгебра
Всего
433
434
433
(приложения №2)
"2"
%
"3"
%
"4"
%
"5"
%
66 15,24% 262 60,51% 92 21,25% 13 3,00%
55 12,67% 297 68,43% 72 16,59% 10 2,30%
57 13,16% 323 74,60% 45 10,39%
8 1,85%
С русским языком обучения (приложения №3)
Школы
Всего "2"
%
"3"
%
"4"
%
"5"
История
923 198 21,45% 528 57,20% 164 17,77% 33
Русский язык 922 211 22,89% 457 49,57% 182 19,74% 69
Алгебра
433
57 13,16% 323 74,60% 45 10,39% 8
%
3,58%
7,48%
1,85%
Средние значения тестовых баллов по предметам.
Всег
Школа
История
о
средне
е значение
1356
57,23
Кыргызский язык
434
58,30
Русский язык
917
58,54
24

Например: по истории из 120 баллов получили среднее значение 57,23. Также можно
рассмотреть средние значения по школам. Это прилагается в приложении №4, №5.


Гистограмма, приведенная ниже, показывает распределение учащихся 9-х классов в
зависимости от суммы набранных баллов по алгебре. Самое большое количество учащихся
– 526 человек набрали от 50 до 60 баллов, а самое малое количество 5 учащихся получили
от 110 до 120 баллов. Основная масса имеет среднее значение 56,57 баллов. Также
предложены гистограммы по остальным предметам (приложения №7)
600
526
500
400
326
300
248
200
88
69
100
41
8
22
22
5
90_100
100_110
110_120
0
0_10
30_40
40_50
50_60
60_70
70_80
80_90



Алгебра 1356 участников.
Шкалирование результатов проводилось Z- шкалой.
25
Подробно рассмотрим анализ результатов тестирования по математике.
Всего в тестировании по математике участвовало 1357 учащихся. Варианты по
математике составлены равноценные, в каждом варианте по 20 заданий. В
тесте соблюдается содержательная валидность. Рассмотрим вариант № 234,
он состоит из следующих проверяемых умений:

Умение вычислять (зад. № 1, 3,4, 8, 19)

Умение сокращать дроби (№ 4, 6, 13)

Умение решать уравнение, системы уравнений, решать задачи с помощью
системы уравнений(2, 9, 14, 18)

Умение определять последовательность чисел и находить в ней прогрессию
(№ 11)

Умение читать, строить график линейной функций и график уравнения
окружности на координатной плоскости (№ 7, 16, 20)

Умение определять область определения данной функции (№ 5, 12, 17)

Умение находить значение тригонометрических функций (№ 10, 15)
26
По Московскому району 335 человек решали вариант № 234. По каждому тестовому
заданию выведено количество правильных ответов. Тестовые задания связаны
между собой по сложности:
Задание № 1 из курса 6-го класса, задание № 8 из курса 8го класса и задание №19 из
курса 9-го класса, эти три задания объективно оценивают умение проводить
арифметические вычисления.
Задание № 4 из курса 6-го класса проверяет умение складывать и сокращать
обыкновенные дроби, № 6 из курса 7-го класса проверяет умение выносить общий
множитель, № 13 из курса 8-го класса проверяет умение сокращать дроби. Надо
отметить, что задание № 13 невозможно решить без выполнения заданий № 4 и
№ 6, следовательно, процент выполнения задания № 13 будет меньше. Это
подтверждается статистическим анализом тестовых заданий. По таблице видно,
что на задание № 4 и № 6 правильно ответили 31,64% и 27,46% тестируемых, а
на задание № 13 правильно ответили 23,88%. Можно сделать вывод: по данному
тесту соблюдается последовательность тестовых заданий от простого к сложному.
Анализ результатов решения по открытым тестовым заданиям. Задание № 19 на
нахождение значения выражения, решая по действиям. Здесь требовалось
подробное решение. За каждое правильное действие учащийся зарабатывает 1
балл. Ниже расписаны критерии оценивания задания № 19.
27
Критерии оценивания задания № 19.




1. Если данный учащийся написал что-то непонятное, то
он получает 1 балл, так как он его рассматривал.
2. Если данный учащийся только правильно
расписывает решение по действиям, а остальное
неправильно, то он получает 2 балла.
3. Если данный учащийся только правильно
расписывает решение по действиям, умеет правильно
переводить отрицательную степень в положительную,
то он получает 3 балла.
4. Если данный учащийся только правильно
расписывает решение по действиям, умеет правильно
переводить отрицательную степень в положительную,
правильно возводит число в степень, то он получает 5
баллов.
28



5. Если данный учащийся правильно расписывает решение по
действиям, умеет правильно переводить отрицательную степень в
положительную, правильно возводит число в степень, выполняет
умножение, но допущены ошибки при вычислениях, то он получает 6
баллов.
6. Если данный учащийся правильно расписывает решение по
действиям, умеет правильно переводить отрицательную степень в
положительную, правильно возводит число в степень, выполняет
умножение, выполняет деление, но ответ неправильный, то он
получает 7 баллов.
7. Если данный учащийся правильно расписывает решение по
действиям, умеет правильно переводить отрицательную степень в
положительную, правильно возводит число в степень, выполняет
умножение, выполняет деление, выполняет правильно сложение
чисел, но допускает ошибки, то он получает 8 баллов.
29
Вариант № 234
180
10 баллов
9 баллов
8 баллов
7 баллов
6 баллов
5 баллов
4 балла
3 балла
2 балла
1 балл
160
140
120
100
80
60
40
20
0
Кол-во уч-ся по
Вопросу №19
Кол-во уч-ся по
Вопросу №20
- умение вычислять на 54 %;
- умение решать уравнение на 33%
- умение строить график функции на 4 %
30
Кол-во баллов,
полученные уч-ся
10 баллов
9 баллов
8 баллов
7 баллов
6 баллов
5 баллов
4 балла
3 балла
2 балла
1 балл
Кол-во уч-ся по
Вопросу №19
1
1
3
2
3
3
4
7
9
166
Кол-во уч-ся по
Вопросу №20
1
2
1
3
1
6
6
160
31
Понимание и знание тригонометрических функций, умение вычислять
значение тригонометрических функций, умение упрощать
тригонометрические выражения, используя основные тригонометрические
формулы достаточно хорошо не были проверены по следующим причинам:
Учащиеся 9-х классов не успевают усваивать раздел «Тригонометрия» в виду
своей сложности (это видно по результатам тестирования)
Разработке содержания базы тестов по математике отводилось недостаточно
времени.
Недостатки, выявленные нами при анализе статистических данных:
Недостаточное количество вопросов в тесте для выявления цели
тестирования. Например по алгебре: Умение определять
последовательность чисел и находить в ней прогрессию (№ 11). Чтобы
реализовать эту цель необходимо минимум 3 тестовых задания, чтобы
определить данное умение.
Результаты претеста не были использованы для корректировки теста, так как в
претесте были использованы только 2 варианта вместо четырех.
На стадии развития находится шкалирование закрытых и открытых тестовых
заданий, изучается вопрос: как сложить результаты тестирования открытых
тестовых заданий и открытых.
32
Заключение:




Национальным центром тестирования было выведено
качество образования в Московском районе:
88 учащихся учатся на «4» и «5» -это качество;
846 учащихся успевают по программе средней школы;
510 учащихся не успевают.
Причины неуспеваемости нам предстоит еще выяснить.
33
• СПАСИБО ЗА ВНИМАНИЕ!
34