качество оценки знаний - Нижегородский государственный

Вестник ННГУ. Выпуск 1(6). 2005
Серия Инновации в образовании
КАЧЕСТВО ОЦЕНКИ ЗНАНИЙ
М.Ю. Щербань
Нижегородский госуниверситет
В дискуссиях, ведущихся сейчас в печати о качестве российского образования,
не последнее место занимает обсуждение проблемы качественной оценки знаний.
Настоящая статья посвящена именно этой проблеме. Изложенный материал является дискуссионным. Он нацелен на преодоление разнобоя в понимании критериев и процедур оценки качества освоения знаний.
Критерии оценок
Сплошные линии, приведенные на рис. 1, показывают процент выставления
(ось абсцисс) оценок (ось ординат) на химическом факультете (рис. 1а)10 и на факультете социальных наук (рис. 1б)11.
Первое, что бросается в глаза — характер распределения оценок различен.
Химики не любят «очень хорошо» и тяготеют к «удовлетворительно», социологи
«очень хорошо» всего лишь недолюбливают, а тяготеют к оценке «хорошо». Ясно, что либо преподаватели по разному понимают критерии оценок, либо студенты на одном факультете более способные, либо и то и другое.
Вспомним критерии оценок старой пятибалльной шкалы12. Преподаватели
должны были ставить «пять» студенту, продемонстрировавшему полное и прочное
знание материала в установленном объеме (определение «прочное знание» не
раскрывается). Оценку «четыре» заслуживал студент, продемонстрировавший
прочное знание предмета при малозначительных неточностях. «Тройку» получал
тот, кто продемонстрировал знание предмета с заметными пробелами, не препятствующими последующему обучению. Ну а «двойка» выставлялась за незнание
предмета и большое количество ошибок.
Эти критерии не идеальны, но понятны, к ним привыкли, они укоренились в
нашем сознании. Критерии оценок новой семибалльной шкалы13 кроме того, что
тоже не идеальны, они в добавок ко всему и малопонятны. «Превосходно» — превосходная подготовка с очень незначительными погрешностями. «Отлично» —
подготовка, уровень которой существенно выше среднего с некоторыми ошибками. «Очень хорошо» — в целом хорошая подготовка с рядом заметных ошибок.
«Хорошо» — хорошая подготовка, но со значительными ошибками. «Удовлетворительно» — подготовка, удовлетворяющая минимальным требованиям. «Не
удовлетворительно» — необходима дополнительная подготовка для успешного
прохождения испытания. «Плохо» — подготовка совершенно недостаточна.
10
Черноруков Н.Г. «Об опыте применения семибальной системы оценки знаний на химическом факультете ННГУ» // Вестник ННГУ, серия Инновации в образовании, вып. 1(4),
2003.
11
Блонин В.А. «Новая система экзаменационных оценок: первые результаты и выводы» // Вестник ННГУ, серия Инновации в образовании, вып. 1(4), 2003.
12
Инструктивное письмо МВ и ССО СССР от 26 октября 1981 г. № 31 «О контроле
учебной работы и оценке знаний студентов на экзаменах».
13
Приказ Ректора ННГУ от 10.10.02 № 229-ОД.
126
а) химический факультет
20
10
10
б) факультет социальных наук
Плохо
20
Неудовлетворительно
30
Удовлетворительно
30
Хорошо
40
Очень хорошо
50
Отлично
40
Превосходно
%
Плохо
Неудовлетворительно
Удовлетворительно
Хорошо
Очень хорошо
Отлично
Превосходно
50
%
Рис. 1. Процент выставления оценок на различных факультетах
121
Только умудренный опытом филолог сможет объяснить тонкую грань различия между выражениями «незначительными погрешностями», «некоторыми
ошибками» и «заметными ошибками», а так же разницу между «подготовкой,
уровень который существенно выше среднего» и «в целом хорошей подготовкой». Кого из преподавателей не спрашивали: «Почему тройка? Я на четверку
рассказал». Как правило, преподаватель вовсе не злой и не вредный, просто у него
представления о том, что подразумевают критерии оценок, отличаются от представлений студента. Несовпадение представлений о критериях оценок преподавателя и студента — явление обычное и нормальное, гораздо хуже, когда среди
преподавателей нет единства по этому вопросу.
Анализ процента проявления оценок14 показывает, что преподаватели по разному понимают «вес» оценок новой шкалы. Некоторые отождествляют одноименные оценки по новой и старой шкалам, другие оценку «превосходно» приравнивают к старой «пятерке», выставляя между старыми «четверкой» и «пятеркой» две новые оценки: «очень хорошо» и «отлично», тем самым, нарушая линейность шкалы. Налицо явная путаница. В связи с этим стали появляются разговоры как о необходимости перехода на восьмибалльную шкалу (добавления еще
одного балла = 3,5), так и о возврате к пятибалльной.
По-видимому, причина непонимания кроется в том, что со школьной скамьи
мы так привыкли к пятибалльной шкале, что любую другую мысленно отождествляем с ней. Мы отказываемся замечать ее вопиющие недостатки. Вспомните,
сколько оговорок и поправок приходится делать на практике при применении
этой, казалось бы, универсальной и абсолютно понятной шкалы. Все прекрасно
знают, что «пятерка пятерке рознь», если речь идет о выпускном экзамене в школе, о поступлении в вуз, в котором конкурс очень высок. То есть, пятибалльной
шкале явно недостает разрешающей способности для того, чтобы отразить разные
требования к учащимся во всех этих ситуациях. Еще в 1967 г. на X совещании
министров образования социалистических стран было принято решение о переходе к 10-балльной системе оценок во всех странах социалистического содружества.
Поскольку этого так и не произошло, многие вузы стали использовать собственные более дробные шкалы. Но наши преподаватели, выставляя баллы по новым
шкалам, все равно пытаются найти, где на новой шкале старые «пятерка», «четверка» или «тройка». От этого никуда не денешься и это надо учитывать.
Старая шкала — линейная. Оценки на ней распределены более или менее равномерно. Поэтому новая шкала должна быть тоже линейной. Сопоставим эти
шкалы. Для этого новые «удовлетворительно» и «отлично» приравняем к старым
«тройке» и «пятерке». Между «удовлетворительно» и «отлично» вставим «хорошо» = 3⅔ и «очень хорошо» = 4⅓. Оценку «превосходно» договоримся выставлять за 99 и более процентов освоения программного материала, оценку «неудовлетворительно» - в случае, если преподаватель считает, что после дополнительной
подготовки студент сможет подняться на «удовлетворительный» уровень, оценку
«плохо» - если студент не продемонстрировал знания, позволяющие ему продолжать обучение, списывал или не явился на экзамен без документально подтвержденной уважительной причины. Желательно, что бы студент, получивший «плохо», пересдавал экзамен непосредственно комиссии и только один раз.
Графическое сравнение старой и новой шкал приведено на рис. 2.
14
См., например, в настоящем сборнике О.А. Морозов, Е.А. Солдатов, Е.В. Чупрунов.
О применении семибалльной оценки уровня знаний студентов на физическом факультете.
128
1
Плохо
2
Не удовлетворительно
Удовлетворительно
3
Хорошо
4
Очень хорошо
Отлично
Превосходно
5
Рис. 2. Сопоставление пятибалльной и семибалльной шкал
Согласно официальной педагогической доктрине оценка должна выражать
степень (процент) усвоения предмета. На самом же деле она служит лишь сравнительной мерой уровня подготовки разных студентов. Какой отличник может похвастаться, что он освоил материал курса хотя бы на 90 процентов, не говоря про
все 100. Когда нам говорят, что Вася получил «пятерку», а Коля — «четверку», то
реально мы при этом узнаем только то, что Вася, с точки зрения экзаменаторов,
подготовлен лучше, чем Коля. И больше ничего! Поэтому процент отличников в
учебных заведениях, обеспечивающих совершенно разный уровень подготовки,
оказывается примерно одинаковым (10–15%).
В угоду педагогической доктрине, попытаемся связать новую шкалу со степенью освоения предмета, но прежде сделаем небольшое отступление и поясним
смысл и значение в нашей жизни многими не признаваемого, но вполне реального, коэффициента интеллекта.
Коэффициент интеллекта15
Сто лет назад, когда исследования интеллекта только начинались, психологи
открыли замечательное явление. Если испытуемым предлагали набор тестов разного характера - логических, словесных, числовых, графических и т.д., - то каждый отдельный испытуемый, как правило, справлялся с разными тестами либо
одинаково хорошо, либо одинаково плохо. Так родилась гипотеза о том, что сила
интеллекта каждого человека характеризуется одним показателем, одним общим
фактором, или g-фактором (от general factor), величина которого проявляется в
конкретных тестах как IQ (коэффициент интеллекта) лишь с небольшими искажениями, обусловленными некоторыми частными умениями или склонностями испытуемого. В течение XX века эта гипотеза превратилась в теорию иерархической
15
Этот параграф представляет собой краткий пересказ аналогичного параграфа книги
Хернстайна и Мюррея «Колоколообразная кривая». В книге речь идет о кривой нормального статистического распределения величины IQ, измеренной у достаточно большой
группы людей. В случайной выборке из всей популяции (например, населения США) среднее значение (медиана, или вершина колокола) принимается за сто, а на крайние 5% с обеих сторон приходятся нижние значения IQ (50–75% — умственно отсталые) и верхние
(120–150% — высокоодаренные).
129
структуры умственных способностей человека: на вершине иерархии располагается g-фактор, определяющий общую силу интеллекта; находящийся под ним
слой объединяет так называемые групповые факторы (измеряемые отдельными
тестами IQ), современная психология умеет выделять g-фактор в почти чистом
виде из множества IQ, определенных посредством дюжины специально подобранных тестов, хотя отдельные IQ всегда «загрязнены» специфическими знаниями и умениями данного человека. Но даже один IQ, измеренный посредством
только одного хорошего теста, соответствует g-фактору с такой точностью, какая
вполне достаточна для большинства практических применений. Это часто позволяет нам говорить «IQ», подразумевая «g-фактор»16.
%
25
20
25
%
25
%
15
14,5%
14,5%
7%
7%
10
Группа А
20%
населения
5
Группа В
20%
населения
0,5%
0,5%
3%
3%
60
70
80
90
100
110
120
130
IQ
140
150
160
Рис. 3. Распределение IQ среди населения США
Влияет ли IQ на работу, учебу и вообще на то, что зовется жизненным успехом? На рис. 3 приведена гистограмма распределения IQ среди населения США.
Это симметричное распределение, хорошо описывается функцией Гаусса (толстая линия). Обозначим буквой A жителей США с IQ от 72,5 до 90 (таких ровно
20% населения), а B — с IQ от 110 до 127,5 (таких тоже 20%). Жители США, отнесенные к группеA, в 88 раз чаще отчисляются из высшей школы, в 5,3 раза чаще живут в бедности и в 1,5 раза чаще разводятся, чем B. Женщины A в 8,5 раза
чаще получают пособия на детей и в 4,3 раза чаще становятся матерямиодиночками, чем женщины B. Мужчины A в 7 раз чаще попадают в тюрьму и в
1,4 раза чаще становятся безработными, чем мужчины B.
16
111 с.
130
См. например, Айзенк Г.Ю. Интеллект: новый взгляд // Вопр. психологии, 1995, № 1,
Скорость мыслительных процессов
Почему так отличаются жизненные успехи группы А от группы В? Оказывается, что мозг с высоким IQ тратит на решение проблемы гораздо меньше времени,
чем мозг с низким IQ. Скорость и согласованность «мозговых волн», вызываемых
простым раздражителем типа звукового щелчка, хорошо коррелирует с величиной
IQ. Это было подтверждено элементарным опытом: по световому сигналу человек
должен снять палец с одной кнопки и нажать на другую. Скажите, как время, затрачиваемое на перемещение пальца, связано с IQ? Никак? Однако люди с высоким IQ показывают «неизменно превосходный результат». Исследования, проведенные в армии США 30 лет назад, показали, что новобранцам с IQ ниже 90 требуется в 2-6 раз больше тренировок для прохождения «курса молодого бойца»,
чем среднему новобранцу с более высоким IQ. Впервые американские военные
хлебнули горя с низким IQ некоторых призывников во время 2-й мировой войны.
Тогда Конгресс запретил призывать в армию лиц с IQ ниже 80. (Теперь эта планка
поднята до 85.) Собственно, военные не «открыли Америку»: опытные школьные
учителя давно знали, что скорости обучения «быстрых» и «медленных» учеников
в среднем классе относятся как 5:1 и что «быстрые» получают хорошие оценки
значительно чаще17.
Время необходимое на приобретение одинаковых умений и навыков лицам, с
различными IQ приведены в таблице 118.
Таблица 1
IQ
Время
140149
0,8
130139
0,82
120129
0,85
110119
0,9
100109
1
9099
1,1
8089
1,3
7079
1,8
6069
2,7
Примечание: За единицу принято время, которое затрачивают на освоение умений и навыков лица, имеющие IQ от 100 до 110.
Какой компьютер быстрее решает задачу, с низкой или высокой тактовой частотой? Вообще это зависит не столько от тактовой частоты, сколько от качества программы. Решение задачи с помощью хорошо отлаженной программы на 66 МГц
процессоре может занять меньше времени, чем решение той же задачи с помощью
другой, но менее совершенной программы на 3 ГГц процессоре. Так и учащийся, с
низким IQ, но хорошо организовавший процесс обучения, или затрачивающий на
учебу больше времени, может учиться лучше своего коллеги с более высоким IQ.
Однако вероятность приобретения одинаковых умений и навыков за одинаковое
время учениками с IQ = 60 и 140 будет отличаться почти в 5 раз.
Если предположить, что процент освоения умений и навыков (предмета, темы)
за фиксированное время (семестр, учебный год) пропорционален «скорости мыс-
17
По данным Дружинина В.Н. [Психология общих способностей. 2-е издание. Питер,
2002.] коэффициент корреляции школьной успеваемости с коэффициентом IQ равен 0,49.
18
По результатам выборки [Freeman F.S. Theory and practice of psychological testing.
Calcutta, 1965]
131
лительных процессов», т.е. обратно пропорционален времени, то связь процента
освоения темы с IQ можно представить в виде кривой (рис. 4).
%
99
Диапазон отличного освоения
умений и навыков
91
83
75
Диапазон удовлетворительного освоения умений и навыков
66
58
Отличники 15 %
13%
2%
40
IQ
6
8
9
100
110
126
142
Рис. 4. Степень освоения умений и навыков за фиксированное время
в зависимости от IQ испытуемых.
Распределение значений IQ среди студентов
Многочисленные социологические исследования показывают, что Гауссовское
распределение IQ справедливо для всех слоев населения. Даже в том случае, если
же выборка специально подобрана, например ее составляют студенты престижного университета или бездомные, то весь «колокол» сдвигается вправо или влево.
Например, для тех, кто по тем или иным причинам не смог окончить школу, среднее значение IQ не 100, а 85, а для физиков-теоретиков вершина кривой приходится на 130.
Величину такого смещения и вид функции распределения в отфильтрованной
группе легко рассчитать математически, если знать какой процент населения и с
какими IQ не участвует в обследовании. Для этого нужно удалить (вырезать) из
«колокола» соответствующий процент населения с присущими этому проценту
населения IQ и отыскать центр тяжести оставшейся части. Координата центра
тяжести будет совпадать с вершиной «колокола» отфильтрованной группы.
Например, согласно опросам в 2005 году 80% школьников Нижнего Новгорода
будут пытаться поступить в вузы. Предположим, что это дети с более высоким IQ.
Тогда, вершина абитуриентского «колокола» (центр тяжести) окажется в районе
106. Каждый третий абитуриент нашего университета успешно проходит вступительное испытание и зачисляется на бюджетные места очной формы обучения.
(Средний конкурс на очную форму обучения = 3 чел на место). В этом случае
вершина «колокола» студентов 1 курса очной формы обучения будет находиться
вблизи 112 (рис. 5).
132
%
25
Студенты
1 курса
20
5
2%
Очень хорошие
знания 40 %
Уд. 12 %
10
Хорошие знания 25 %
Абитуриенты
Отличные
знания 13 %
15
IQ
60
70
80
90
100
110
120
130
140
150
160
Рис. 5. Распределение IQ среди абитуриентов и студентов первого курса
очной формы обучения.
Степень освоения предмета
Как показывает многолетняя статистика 15% студентов очной формы обучения получают на экзаменах отличные оценки. Скорее всего, эти 15% принадлежат
к группе «быстрых» студентов. Им требуется меньше времени для освоения курса
и потому наиболее вероятно, что они разберутся в нем глубже, чем «медленные».
Пусть 15%19 из «быстрых» (это около 2 % от общего числа студентов) «самые
быстрые». Они способны освоить тему на 99–100%, то есть на «превосходно».
Из рис. 5 видно, что это студенты с IQ более 142. У студентов, получающих «отлично», IQ должно быть в районе от 126 до 142. Используя рис. 4, можно найти
степень освоения темы, достойную оценки «отлично». Это 91–98%. Если, как
предлагалось выше, оценивать знания студентов по линейной шкале с одинаковым «весом» всех оценок, то диапазон освоения темы (ступеньку в 8%), полученный для «отличных» знаний, следует применить ко всей шкале. В этом случае не
составит труда найти диапазоны IQ соответствующие наибольшей вероятности
получения студентами той или иной оценки, и рассчитать теоретический (ожидаемый) процент появления оценок.
Качество оцени знаний
Ожидаемый процент проявления оценок был вычислен для химического факультета и факультета социальных наук (см. пунктирную линию на рис. 1).
19
Цифра взята произвольно.
133
Таблица 2
Теоретическое распределение процента проявления оценок
Оценка
Превосходно
Отлично
Очень хорошо
Хорошо
Удовлетворительно
Неудовлетворительно
Плохо
134
Степень освоения программного
материала
(в %)
> 99
91–98
83–90
75–82
67–74
Ожидаемый % проявления среди
студентов
очной формы обучения
Бюджетные
Внебюджетные
2
13
40
25
12
1
5
15
35
30
59–66
4
13
< 58
1
1
Примечание
Программный материал освоен на 100%
Глубокое освоение программного материала
Хороший уровень освоения программного материала
Средний уровень освоения программного материала
Программный материал освоен в объеме, минимально
необходимом для дальнейшей учебы или для начала
самостоятельной работы
Для дальнейшего продолжения учебы или начала самостоятельной работы требуется небольшая дополнительная подготовка
Для дальнейшего продолжения учебы требуется
большая дополнительная подготовка. Последующая
пересдача возможна только комиссии. К самостоятельной работе не готов
Поскольку понимание критериев оценок преподавателями университета отличается от изложенных в настоящей статье, ожидать совпадения теоретических и
практических распределений было бы нелогичным.
Ожидаемый процент проявления оценок в среднем по университету был вычислен также для студентов, обучающихся по очной форме на бюджетных (конкурс 3 чел. на место) и внебюджетных (1,1 чел на место) местах. Результаты приведены в табл. 2.
Заключение
Нравится такой подход кому-то или нет, следует признать, что различия в понимании «веса» оценок новой семибалльной шкалы необходимо преодолеть как
можно быстрее.
135