Международная перспектива кыргызстанского

Валидность, надежность и применения
ОРТ: 2002-2009 г. Международный взгляд
на Общереспубликанский Тест
Кыргызской Республики
Проф. Дэн Дэвидсон
Президент, Американских советов (США)
ЦЕНТРАЛЬНОАЗИАТСКИЙ ФОРУМ “ПРИЕМ В ВЫСШИЕ
УЧЕБНЫЕ ЗАВЕДЕНИЯ И РАЗВИТИЕ ТЕСТИРОВАНИЯ”
5 ноября 2009 г.
Бишкек, Кыргызская Республика
Валидация результатов экзаменов





Содержательная валидность
Конструктная валидность
Прогностическая валидность
Очевидная валидность
Валидность преподавания
Теория ECD
«Разработка
тестирования, основанного на
доказательствах»
Студенческая
модель
Модель
доказательств
Модель
задачи
Студенческая модель

Какие требования мы хотим предъявить
учащимся, участвовавшим в данном
тестировании?
•
•
•
Кто эти учащиеся?
Описание каждой категории навыков в терминах
характеристики учащегося (не характеристики
тестового задания)
Подумать о Национальных стандартах и Критериях
для определения уровня компетенции
Модель доказательств

Какое доказательство необходимо
получить, чтобы предъявить данные
требования?
•
•
Какие типы доказательств нам необходимы, чтобы
провести измерения?
Что конкретно мы должны определить и измерить,
чтобы обосновать эти требования?
•
•
Некоторые требования могут быть обоснованы не
одним, а несколькими доказательствами
Некоторые доказательства могут обосновывать
несколько требований
Модель задачи (тестового задания)

Какую задачу (задачи) можем мы
разработать для установления данного
доказательства? Каковы особенности этих
задач? Какие характеристики должны быть
‘зафиксированы’? Какие характеристики
могут варьироваться? Как мы будем
оценивать данное доказательство?
•
•
Теория и доказательство, которые связывают
тестовые вопросы и характеристики вопросов с
навыками и умениями
Результаты дискуссии - в ясно сформулированной
«канве» тестовых заданий
Mean National Exam Math Score by College Major Field
(The nat ional mean based on 35,246 t est t akers was 50.)
Mean National Exam Math Score
(120 was the highest score achieved.)
12 0
10 0
80
77
77
71
69
66
65
59
58
57
56
P e da gogy
60
40
20
0
M a t he ma t i c s &
S oc i a l
Fi na nc e ,
Huma ni t i e s &
For e i gn
St at e &
Na t ur a l
Ky r gy z
Engi ne e r i ng &
Comput e r
S c i e nc e
Busi ne ss, &
t he Ar t s
La ngua ge
M uni c i pa l
S c i e nc e
La ngua ge
I ndust r y
S c i e nc e
M a na ge me nt
Gov e r nme nt
College Major Field
Gender Differences in Mean Scaled Scores
2003 Kyrgyz National Exam (N=35,246)
American Councils for International Education: ACTR/ACCELS
140
Mean Scaled Score
120
Male
Female
112.1 115.1
100
80
60
50.9
49.5
47.2
51.7
49.7
50.2
49
50.6
40
20
0
Total Score
Math
Grammar
Analytical
Reading
Gender Differences in Mean Scaled Subject Test Scores
2003 Kyrgyz National Exam
American Councils for International Education: ACTR/ACCELS
90
80.9
Male
Female
80
Mean Scaled Score
70
60
52
49.3
50
78.5
73.8
53.1
75.5
48.7
40
30
20
10
0
Biology
Chemistry
English
German
Mean Scaled Total Score by Oblast
2003 Kyrgyz National Exam (N=35,246)
American Councils for International Education: ACTR/ACCELS
160
Mean Scaled Total Score
140
135.8
116.4
120
112.6
111.2
109.3
108.6
108.6
107
Issyk-Kul
Jalal-Abad
Naryn
Batken
Talas
Osh
100
80
60
40
20
0
Bishkek
Chui
Mean Scaled Total Score by Average Monthly 2002 Oblast Income ($)
2003 Kyrgyz National Exam (N=35,246)
American Councils for International Education: ACTR/ACCELS
160
Mean Scaled Total Score
140
135.8
116.4
120
112.6
107
108.6
111.2
108.6
109.3
$14.29
$13.72
$12.90
$11.60
$10.93
100
80
60
40
20
0
$25.83
$22.52
$15.28
Effect of Type of 2ndary School Attended on Mean Scaled Scores
2003 Kyrgyz National Exam (N=35,246)
American Councils for International Education: ACTR/ACCELS
160
140
Bishkek
136.2
Oblast Center
119.9
Mean Scaled Score
120
117.7
Small City
108.4
Village
100
80
63
53.1
60
52.3
40
20
0
Total Score
Math Score
46.8
Effect of Type of 2ndary School Attended on Mean Scaled Scores
2003 Kyrgyz National Exam (N=35,246)
American Councils for International Education: ACTR/ACCELS
70
64
58.5
60
53.4
53.4
50.3
50
Scaled Score
Bishkek
Oblast Center
Small City
Village
48.9
51.8
53.2
52
50.7
46.6
40
30
20
10
0
Grammar
Analytical
Reading
48
Количество участников в ОРТ: 2002-2009 года
Год
Количество
Зачисленные
зачисленных*
(в %)
Количество
абитуриентов на
абитуриенты
участников ОРТ
грантовые места вузов из сельских
Кыргызстана
школ
Участники Зачисленные
ОРТ.
абитуриенты.
Среднее
Среднее
значение
значение
тестовых
тестовых
баллов
баллов
2002
13807
5000
66.0
100.2
---**
2003
35247
4626
63.9
114.2
146.4
2004
39284***
5204
61.5
122.4
152.6
2005
33372
5368
61.9
112.7
145.0
2006
33400
4962
65.6
113.9
143.5
2007
34225
4787
70.8
114.6
143.7
2008
33431
4988
69.7
114.9
140.6
2009
33579
4929
69.4
114.0
139.9
Всего:
217061
39864
* - данные по зачислению предоставлены вузами Кыргызской Республики
** - детализированные данные по зачислению не предоставлялись
*** - в 2004 году МОиН КР обязало принимать на контрактные отделения вузов по результатам
OРТ. Обладателями "Золотых" сертификатов за 2003-2009 гг. стали 522 участника ОРТ
Участие в Общереспубликанском Тестировании
язык тестирования
количество
участников
тестирования
средн. знач.
тестовых баллов
стандартноe
коэффициент
отклонение
надежности Альфа
тестовых баллов
Кронбаха
Результаты 2009 года
Кыргызский
Русский
21,030
11,367
104.4
133.2
25.1
37.1
0.88
0.95
Узбекский
1,182
100.6
22.1
0.85
В целом:
33,579
114.0
32.6
0.93
Результаты 2008 года
Кыргызский
Русский
Узбекский
21,198
11,031
1,202
107.0
131.3
102.7
24.4
36.2
21.3
0.87
0.94
0.83
В целом:
33,431
114.9
31.0
0.92
Зачисление на грантовые места
государственных ВУЗов КР по результатм ОРТ
ОРТ 2008 г.
язык тестирования
Кыргызский
Русский
Узбекский
В целом:
количество
зачисленных
абитуриентов
3,322
1,483
183
4,988
ОРТ 2009 г.
средн. знач.
тестовых баллов
количество
зачисленных
абитуриентов
средн. знач.
тестовых баллов
133.3
158.1
129.7
140.6
3,272
1,511
146
4,929
130.8
159.9
128.8
139.6
Рейтинг ВУЗов Кыргызской Республики, 2009 г.
число
зачисленных на
грантовые
места
среднее
значение
тестовых
баллов
К-ТУ Манас
105
185.0
КРСУ им. Б. Н. Ельцина
150
184.6
КГМА им. И. К. Ахунбаева
199
176.2
85
172.2
КГТУ им. И. Раззакова
526
158.5
КНУ им. Ж. Баласагына
474
143.9
ОшГУ
473
143.1
БГУ им. К. Карасаева
200
141.8
КГУСТА
281
138.8
ИГУ им. К. Тыныстанова
196
131.3
ОшТУ им М. М. Адышева
285
130.3
КГУ им. И. Арабаева
406
129.4
К-УУ
245
127.8
КАУ им. К. И. Скрябина
186
126.6
ЖАГУ
344
126.4
БатГУ
165
122.6
Академия МВД им. Э. А. Алиева
230
121.7
ТалГУ
84
121.2
НарГУ
145
117.0
БВВУ ВС КР
Всего:
150
4929
104.1
139.6
название вуза
КЭУ
Рейтинг ВУЗов Кыргызской Республики, 2008 г.
Название ВУЗа
КРСУ им. Б.Н.Ельцина
К-ТУ Манас
МУК
КГМА
КЭУ
КГТУ им.И.Раззакова
ОшГУ
КНУ им.Ж.Баласагына
БГУ им.К.Карасаева
КГУСТА
ИГУ им.Тыныстанова
КГУ им. И.Арабаева
ОшТУ им. М.Адышева
ЖАГУ
КАУ им.К.И.Скрябина
К-УУ
ТалГУ
БатГУ
Акад.МВД им.Э.Алиева
НГУ
БВВУ им.К.Усенбекова
Всего:
Число
зачисленных
на грантовые
места
149
111
30
170
125
638
460
498
176
317
205
374
264
316
202
288
80
140
199
140
106
4988
Среднее
Максимальное
Минимальное
значение
значение
значение
тестовых
тестового балла тестового балла
баллов
187.2
239
110
177.8
232
114
175.0
220
122
171.3
216
112
163.8
208
115
150.1
220
110
144.5
215
110
144.0
211
110
143.4
218
113
139.0
214
75
135.1
193
110
133.0
192
75
131.9
200
110
129.9
198
110
128.8
201
110
127.8
171
110
125.7
175
110
124.8
175
110
121.0
211
94
119.0
178
90
104.7
164
80
Распределение числа участников ОРТ 2008 г.
и зачисленных абитуриентов
выпускники сельских школ
выпускники школ
высокогорной зоны
выпускники школ
областных центров и
малых городов
16632
к-во зачисленных на
грантовые места
ВУЗов КР
2561
4899
901
5239
763
выпускники школ г. Бишкек
6340
730
к-во участников
тестирования
другие категории*
321
33
всего по Кыргызской
33431
4988
Республике
* - выпускники школ РФ, РК, РТ. Выпускники, которые
неправильно указали код своей школы.
Распределение (в %) числа участников ОРТ 2008 г.
и зачисленных абитуриентов
выпускники школ
высокогорной зоны
выпускники школ
высокогорной зоны
выпускники школ
областных центров и
малых городов
выпускники
сельских школ
выпускники школ
областных центров и
малых городов
выпускники
сельских школ
выпускники
школ г. Бишкек
выпускники
школ г. Бишкек
http://www.americancouncils.org
[email protected]