INO 07-05 v.qxd 03.02.2009 23:40 Page 32 ЗАРУБЕЖНЫЙ ОПЫТ ЯЗЫКОВОГО ТЕСТИРОВАНИЯ И ОЦЕНКИ КАЧЕСТВА ОБУЧЕНИЯ ИНОСТРАННЫМ ЯЗЫКАМ данной статье рассматривается зару бежный опыт оценки качества обуче ния языку в школе (quality evaluation) на материале языкового тестирования. Оценка качества обучения языку с поиском резервов эффективности учебновоспита тельного процесса рассматривается в трех основных аспектах: • Оценка индивидуальных особенностей учащихся (learner differences) • Оценка сложности тестового задания (task difficulty) • Оценка условий обучения и проведе ния языкового тестирования (testing envi ronment) Проблема оценки качества обучения языку с помощью тестов всегда рассматри валась как «важная» и, одновременно, «опасная» [17]. «Опасность» языкового те стирования заключается в том, что любая необоснованность, неосторожность или по спешность в выводах может привести к случайным заключениям, поспешным ре комендациям, непредвиденным результа там и сомнительным педагогическим по следствиям. Один из источников «педагогической опасности» заключается в том, что тест с неизбежностью становится инструментом не только оценки качества обучения языку, но и эффективным средством влияния на содержание обучения, источником сужде ний об ученике и учителе. При этом тест да леко не всегда используется для поиска скрытых резервов. Не исключаются оши бочные основания для принятия педагоги ческих и административных решений. При В ТЕОРИЯ 32 Методика INO 07-05 v.qxd 03.02.2009 23:40 Page 33 чина заключается в том, что в условиях языкового тестирования один объект изме рения нередко подменяется другим, а при оценке результатов тестирования не учиты ваются индивидуальные особенности уча щихся. Например, по результатам теста в фор мате «заполнение пропусков» можно нео боснованно сделать вывод об уровне язы ковых способностей ученика и о беспер спективности его дальнейшего обучения по данной программе. Игнорируются оп ределенные положительные тенденции конкретных учащихся в учебном процессе, так как большинство тестов попросту не могут зафиксировать подобные позитив ные тенденции и не созданы для этого (те сты, как правило, игнорируют усилия уча щихся для выполнения задания). Нако нец, стремление обеспечить максималь ную объективность через полную стандар тизацию процедуры тестирования приво дит к частичному или полному игнориро ванию индивидуальных особенностей тес тируемых школьников. Чаще всего фор мулируется заключение о том, что «ваш ученик плох для нашего теста», в то время как в действительности «ваш тест плох для нашего ученика». Сказанное означает, что языковое тестирование в большинстве случаев пока еще используется для изме рения успешности выполнения самого те ста, содержание которого приравнивается к требуемому объему знаний. Оценка ка чества обучения языку с поиском скрытых резервов успеха осуществляется далеко не всегда. Данная проблема была обнаружена уже на ранней стадии развития языкового тес тирования как формы педагогического из мерения [18]. Оценка индивидуальных особенностей учащихся ценка индивидуальных особенностей О учащихся позволяет выявлять позна вательные затруднения, предупреждать учащихся и учителей о возможных источ никах затруднений в овладении иностран ным языком, своевременно предпринимая необходимые действия по их устранению. Исследования в данном направлении поз волили сделать вывод о существовании Методика особой «диагностической компетенции учителя иностранных языков» [5]. Диа гностическая компетенция учителя вклю чает готовность проверять понимание ма териала учащимися, использовать специ ально разработанные схемы наблюдений за групповой и индивидуальной работой школьников, применять стандартизован ные тесты и интерпретировать результаты, стимулировать речемыслительную дея тельность учащихся, проверять самостоя тельную работу, отслеживать систематиче ски допускаемые ошибки, совершать дру гие диагностические действия для внесе ния корректив в обучающую деятельность и создания новых познавательных воз можностей для языкового развития, ин теллектуального и личностного роста уча щихся. Важным аспектом исследований в облас ти диагностики языкового развития уча щихся стало использование полученных результатов для отслеживания процесса языкового развития учащихся. Считалось, что подобный мониторинг в иноязычном образовании важен не только для получе ния более объективного вывода об успехах учащихся, но и необходим для разработки обоснованного педагогического прогноза, построенного на истории обучения каждо го конкретного школьника. Мониторинг индивидуальных достиже ний каждого ученика в образовании стано вится государственной политикой в неко торых странах. Например, в США в 2002 году принят закон об обязательном отсле живании результатов каждого ученика с це лью своевременного оказания педагогичес кой помощи и повышения уровня знаний – No Child Left Behind Act [1]. В соответствии с принятым законом, осуществляется мо ниторинг по каждому из школьных предме тов, включая иностранные языки. При этом общий балл по всем предметам не подсчи тывается, так как такая тактика маскирует недостаточные достижения по одним пред метам за счет других. Закон делает необходимым разработку соответствующих критериев оценивания качества образования и выявление учащих ся с недостаточным уровнем развития род ного языка. Также поставлена задача разра ботать соответствующие контрольноизме рительные инструменты (тесты), проверив 33 INO 07-05 v.qxd 03.02.2009 23:40 Page 34 их валидность и надежность. Исследования показывают, что учащиеся с недостаточ ным уровнем развития родного языка нуж даются в особых тестах, специально разра ботанных для них, так как обычные тесты для хорошо успевающих учащихся не все гда способны выявить происходящие в учебном процессе положительные сдвиги. Данная проблема тесно связана с индиви дуальными различиями учащихся в овладе нии иностранным языком. Исследования по казывают, что успешность изучения иност ранного языка во многом определяется тем, насколько успешно учащиеся усваивают фо нетические, синтаксические и семантичес кие средства языкового кодирования [16]. Усвоение фонетических средств необходимо не только для адекватной артикуляции, но также для распознавания речи на слух, пра вильного чтения и орфографии. Синтаксиче ские средства важны для смыслового струк турирования речевого потока. Семантичес кие средства позволяют формировать и фор мулировать речевой замысел лексическими средствами. Фонетика и синтаксис являются базовыми условиями овладения иностран ным языком. Это означает, что тестирование фонетики и синтаксиса особенно важно на начальном этапе обучения, когда необходи мо определить общую готовность учащихся к овладению иностранным языком и успеш ность этого процесса. Овладение лексическими средствами позволяет судить об уровне языкового раз вития учащихся, так как запас слов (mental lexicon), обусловленный вербальной (се мантической) памятью, характеризует про двинутость школьников как в родном, так и в иностранном языке. Это подтверждается тем, что факторы и признаки успешного ов ладения родным языком в полной мере проявляются при попытках овладеть ино странным языком. Поэтому тестирование не только иностранного, но и родного язы ка становится необходимым для оценки ка чества обучения иностранному языку в школе. Одним из ключевых аспектов оценки ка чества обучения языку являются познава тельные затруднения учащихся. Сами по знавательные затруднения и, особенно, их источники не являются предметом языко вого тестирования, однако они всегда нахо дятся в поле зрения профессионалов. 34 Источники познавательных затруднений крайне важны для оценки качества обуче ния языку, поскольку они служат причиной негативного отношения к предмету, сниже ния познавательной мотивации. Одним из источников познавательных затруднений учащихся являются затрудне ния лингвистического характера, то есть снижение способности учащихся к «языко вому кодированию» (linguistic coding differ ences) на интонационнофонологическом, морфологосинтаксическом и лексикосе мантическом уровне. Данные учащиеся не достаточно успешно имитируют интона цию и слабо различают дифференцирую щие признаки фонем. Они с трудом усваи вают грамматические формы слова и син таксический порядок. Их запас слов и вы ражаемые коммуникативные значения ог раничены. Характерно, что данные затруд нения свойственны учащимся как в род ном, так и изучаемом иностранном языке. Более того, затруднения в овладении не только лексикограмматической стороной, но также чтением, письмом и говорением на родном языке являются наилучшим ос нованием для обоснованного прогноза трудностей в овладении иностранным язы ком. Это означает также, что резервы эф фективного овладения иностранным язы ком кроются в создании благоприятных ус ловий для языкового развития учащихся в целом, включая не только иностранный, но и родной язык. Языковое тестирование, вы являя познавательные затруднения уча щихся, связанные с языковым кодирова нием, позволяет наметить пути преодоле ния данных трудностей. Другим источником познавательных за труднений учащихся в овладении иност ранным языком являются затруднения ин теллектуального характера (information processing), неразрывно связанные с инди видуальными познавательными стилями и стратегиями учащихся [13]. В наиболее об щем виде учащихся можно условно разде лить на тех, кто предпочитает запоминать (memorizers), и тех, кто предпочитает ана лизировать (analyzers). Данные различия обусловлены доминированием правого (об разного) и левого (логического) полуша рий головного мозга в обеспечении высшей нервной деятельности индивида. Такое до минирование неизбежно влияет на ход и Методика INO 07-05 v.qxd 03.02.2009 23:40 Page 35 результаты языкового тестирования. Одни учащиеся предпочитают припоминать ра нее усвоенный материал и при этом могут пропускать содержащиеся в материале под сказки, важные для правильного ответа. Они чаще всего пытаются понять, «на какое правило разработано данное задание», и стараются найти однозначное соответствие тестового задания ранее выученному мате риалу. Другие школьники со склонностью к анализу размышляют над тестовым мате риалом «здесь и теперь», внимательно ана лизируют содержание задания, рассуждают логически, но при этом могут продемонст рировать незнание программного материа ла. Языковое тестирование может выявить особенности интеллектуальной деятельно сти учащихся и отнести их к тому или ино му типу: Высокий уровень анализа Анализирующие Сбалансированные Низкий уровень памяти Высокий уровень памяти Проблемные Запоминающие Низкий уровень анализа Как видно из рисунка, языковое тестиро вание может обнаружить учащихся анали зирующих или запоминающих учебный ма териал, использующих в равной мере стра тегии анализа и запоминания, а также «проблемных учащихся» с познавательны ми затруднениями при использовании ре зервов как памяти, так и мышления. Интересно, что хранящиеся в памяти знания (crystallized intelligence) и речемыс лительные процессы (fluid intelligence) представляют собой относительно незави симые компоненты интеллекта. Так, напри мер, низкие результаты в тесте, измеряю щем знания, могут сочетаться с более высо кими показателями при выполнении тестов, требующих сообразительности, догадки, ло гики и т.п. [15]. Другая, не менее важная, связь существует между вербальным и не вербальным интеллектом учащихся. Тесто вые задания с использованием невербаль ного материала (картинок, схем, графиков) и «чисто вербальные» тестовые задания мо гут выполняться с разным уровнем успеха. Задания с невербальным материалом в Методика меньшей степени дифференцируют уча щихся по уровню успешности и затрудне ний в овладении иностранным языком и как бы «маскируют» существующие проблемы. Вместе с тем, успех выполнения как вер бальных, так и невербальных заданий ока зывается «социально зависимым», то есть во многом определяется характером обуче ния, воспитания и социального опыта уча щихся. При этом существует корреляция как вербальных так и невербальных зада ний в тестах с общей успешностью учащих ся в овладении иностранным языком [4; 7]. Интеллектуальный характер затрудне ний при выполнении тестовых заданий мо жет быть обусловлен особенностями не только вербального, но и невербального ин теллекта [11]. В соответствии с «общей тео рией знака» (general sign theory) существу ет тесная и взаимообусловленная связь между обработкой как вербальной, так и невербальной информации для успешного выполнения тестовых заданий. Широко распространенное задание устного тестиро вания «комментарий картинки» (eliciting from picture) требует от учащихся не только владения языковым материалом, но и спо собности обрабатывать визуальную инфор мацию в «истинной коммуникативной ре презентации» (true narrative representa tion). Даже способность назвать цвета на карточках существенным образом зависит от невербального различения цвета. Анало гичным образом обработка визуальной ин формации представлена в тестовых задани ях типа «перенос информации из вербаль ной формы в графическую» (information transfer). Во всех случаях скорость мысли тельных процессов, обусловленная типоло гическими свойствами центральной нерв ной системы, проявляется при выполнении как вербальных, так и невербальных или смешанных заданий при тестировании. Наконец, важным источником познава тельных затруднений учащихся в ситуации языкового тестирования является «лично стный», то есть обусловленный типологи ческими признаками личности. Одним из наиболее распространенных подходов к описанию индивидуальных осо бенностей является использование четырех типов личности учащихся: экстраверты – интроверты (extraverts – introverts), сен сорные – интуитивные (sensing – intuitive), 35 INO 07-05 v.qxd 03.02.2009 23:40 Page 36 думающие – чувствующие (thinking – feel ing), организованные или спонтанные (judging – perceiving) [9]. Учащиеся «экс траверты» в большей степени ориентирова ны на успех в условиях устных интерактив ных заданий. Школьники «интроверты» предпочитают индивидуальные задания, возможность сосредоточиться и работать самостоятельно. «Сенсорным» учащимся для выполнения задания нужны конкрет ные знания того, что верно или неверно. «Интуитивные» школьники в большей сте пени рассчитывают на озарение в ситуации экзамена. «Думающие» ученики ищут пра вильный ответ путем логических рассужде ний. «Чувствующие» школьники во мно гом зависят от эмоционального состояния и могут болезненно реагировать на экзаме национную ситуацию. «Организованные» учащиеся нуждаются в предварительном времени на подготовку, поскольку органи зация собственных познавательных дейст вий является решающим фактором успеха. «Спонтанные» школьники действуют по обстоятельствам и могут быстро перестраи вать свою стратегию и тактику. В целом, индивидуальные типы учащих ся в ситуации тестирования и их предпо чтения показаны в таблице: Тип Предпочтения в ситуации тестирования Экстраверты – Фиксация внимания на взаимодействии с другими Интроверты – Углубление во внутренний ресурс. Сенсорные – Расчет на конкретные знания Интуитивные – Надежда на догадку и «озарение» Думающие – Логические рассуждения Чувствующие – «Эмоциональный подъем» Организованные– Действие в привычном порядке Спонтанные – Гибкое реагирование на обстоятельства Индивидуальные различия учащихся в ситуации тестирования проявляются в том, что если условия экзамена соответствуют предпочитаемому способу деятельности, шансы школьников на успех повышаются. Интересными являются исследования гендерных различий в языковом тестиро 36 вании. В опубликованных исследованиях гендерные различия рассматриваются не на биологическом, а прежде всего, на соци альном уровне, как характеризующие при надлежность тестируемого к соответству ющей социальной группе и отношения между этими группами [6]. Например, вы ясняется, что у девочек школьного возрас та результаты тестирования более надеж но коррелируют с последующей успешно стью в овладении языком, чем у мальчи ков. Последующие учебные достижения мальчиков оказываются менее предсказуе мыми и скрывают в себе больше неожи данностей, несмотря на успешно выпол ненный тест. Иноязычная речь девочек оказывается более правильно построенной и граммати чески оформленной со стремлением к «чи стоте» грамматики (accuracy). Этим, веро ятно, объясняются более высокие средние результаты языкового тестирования у дево чек. Девочки быстрее усваивают новые структуры, но реже используют их в рече вой деятельности, которая отличается ха рактерной стабильностью. Мальчики ус пешнее выполняют задания, требующие на блюдений за языком, в то время как девоч ки более охотно и успешнее запоминают языковой материал и выполняют задания на «слушание». «Схватывание» новых речевых образ цов для эпизодического употребления и их быстрое забывание больше характерно для мальчиков, в то время как системность и повторяемость лексикограмматических структур больше типична для девочек. Ха рактерно, что пассивный запас слов оказы вается выше у мальчиков и они успешнее узнают в тексте нечасто употребляемые слова. Преимуществом девочек оказывает ся более широкий запас активно и ста бильно употребляемых слов. Девочки об наруживают повышенную способность к припоминанию знаний, в то время как мальчики проявляют более высокую го товность действовать в неожиданной ситу ации. Стабильность в овладении языком у де вочек проявляется также и в том, что они во многих случаях продолжают изучение языка, несмотря на невысокие результаты тестирования. Для мальчиков низкие по казатели нередко служат основанием для Методика INO 07-05 v.qxd 03.02.2009 23:40 Page 37 прекращения попыток овладеть иностран ным языком. Выполнение тестовых зада ний в период подготовки к экзамену так же выявляет определенные гендерные различия. Если девочки в ходе выполне ния задания стараются, прежде всего, за помнить полезную информацию, мальчи ки вступают в дискуссию, высказывают свое мнение и оспаривают предлагаемые ключи к ответам. Девочки в целом чаще, чем мальчики, оказываются более воспри имчивы к учебной информации с установ кой на ее усвоение. При выполнении тестовых заданий де вочки чаще мальчиков используют черно вик, и это помогает добиваться большей чи стоты работы, что повышает результат язы кового тестирования. Определенные гендерные различия об наруживаются в поведении экзаменаторов – мужчин и женщин. Различия заключают ся в тенденции поддерживать или не под держивать экзаменующихся, использовать или не использовать неформальный стиль общения с ними, считать или не считать ус тановление хорошего межличностного кон такта с учащимися на экзамене признаком профессионального поведения, скрупулез но выполнять или в определенной мере иг норировать формальные требования к про цедуре экзамена. Обнаруживаемые различия во многом определяются коммуникативным стилем, типичным для мужчин и женщин. «Жен ский» стиль общения на экзамене отлича ется тенденцией к сотрудничеству, сбалан сированностью реакций, выраженной под держкой учащихся. Для «мужского» стиля больше характерна эмоциональная сдер жанность, беспристрастность и отстранен ность, лаконичность и даже категорич ность оценочных суждений. Характерно, что ожидания экзаменующихся – мальчи ков и девочек – определенного стиля пове дения экзаменаторов также определяются гендерными различиями. Девочки в боль шей степени, чем мальчики, настраиваются на диалог, понимание и поддержку экзаме натора, на наводящие вопросы и т.д. Вмес те с тем, у них более выражена установка ответить «с начала и до конца», а попытки экзаменатора предложить диалоговый ре жим ответа могут восприниматься как по мехи. Мальчики в большей степени готовы Методика к диалогу и более устойчивы к различным стилям поведения экзаменаторов – муж чин и женщин. В связи с этим возникает проблема оправданности процедуры экза мена, в которой экзаменатор мужчина оце нивает знания экзаменующихся девочек. Вместе с тем, исследования показывают, что влияние гендерных различий на эф фективность процедуры устного экзамена не является столь значительным, чтобы кардинально изменить результаты уча щихся [12]. Тем не менее проблема гендер ных различий в организации экзамена и, особенно, устного тестирования остается попрежнему актуальной. Оценка сложности тестового задания ажнейшим направлением поиска резер В вов в оценке качества языкового тести рования является изучение зависимости результатов от сложности тестового зада ния (task difficulty). Исследования показы вают, что сложность задания в большинст ве случаев зависит от сложности языкового материала (language code), интеллектуаль ной нагрузки (cognitive demand), а также трудности достижения коммуникативной цели (communicative goal achievement) [10]. В свою очередь, сложность языкового кода зависит от степени разрыва между лингви стическим материалом теста и языковыми знаниями учащихся. Например, учащиеся могут не знать лексический или граммати ческий материал, который включен в тесто вые задания. Интеллектуальная нагрузка обусловливается разрывом между условия ми успешного выполнения задания и име ющимися у учащихся знаниями, свойства ми психических функций, а также опытом выполнения требуемых интеллектуальных операций. Например, тест на слушание мо жет требовать от учащихся большого объе ма оперативной памяти, который может быть недостаточным у отдельных учащих ся. Другим примером может быть письмен ное задание написать фантастическую ис торию, для чего учащимся важно иметь со ответствующий уровень воображения. Трудность достижения коммуникативной цели определяется комплексным характе ром искомого результата деятельности и существующими препятствиями на пути к цели. Например, в ходе устного взаимодей 37 INO 07-05 v.qxd 03.02.2009 23:40 Page 38 ствия с экзаменатором последний может задавать экзаменующемуся ученику уточ няющие вопросы, предлагая более подроб но ответить на поставленный вопрос и ос ложнять тем самым условия речевой дея тельности. Еще одним примером может быть ролевая игра, в который экзаменую щийся ученик «заказывает пиццу», но в «пиццерии» нет нужного названия, разме ра, ингредиентов и т.п. В задании всегда выделяется цель, задача и способ ее выполнения [14]. Цель выполне ния задания может быть коммуникативная (заказать номер в отеле по телефону), линг вистическая (заполнить пропуски в предло жениях с помощью правильных словоформ) и смешанная (внимательно прочитать текст с пропусками и, поняв содержание, вставить подходящие по смыслу слова). Задача, соответственно цели, также может быть коммуникативной, лингвистической или смешанной и предъявляться учащимся в виде устной или письменной инструкции («Сейчас вы услышите три интервью с пред ставителями трех различных профессий. Ва ша задача заключается в том, чтобы …») Способ выполнения задания заключает ся в том, чтобы заполнить пропуски в пред ложении (gap filling), выбрать правильный ответ из предлагаемых вариантов (multiple choice), соединить элементы из двух или более групп (matching), заполнить пропус ки в целостном осмысленном тексте (cloze), получить недостающую информацию у партнера (information gap) и т.д. Важным аспектом любого языкового за дания является уровень его сложности, ко торый обычно определяется с учетом ин теллектуальных операций, языкового ма териала, дефицитом времени, специальных знаний, а также устойчивостью тестируе мого к нагрузкам. Например, интеллекту альные операции для выполнения задания на сравнение двух объектов будут более сложные, чем в тесте на описание одного объекта. Вместе с тем, описание одного объекта может потребовать от учащихся точного называния всех деталей, что повы шает сложность языковой задачи. Отме тим, что интеллектуальные операции ста новятся менее трудными, если учащимся предлагаются разные виды зрительных опор, включая изображения, опорные сло ва и проч. 38 Дефицит времени всегда значительно повышает сложность тестового задания, так как создает стресс для учащихся, лишая их времени для подготовки, обдумывания и исправления ошибок. Специальные знания также являются фактором сложности, поскольку заранее невозможно предугадать, какие именно специальные знания (даты, имена, сведе ния и т.п.) могут быть включены в тестовые задания. Поэтому необходимо проводить возможно более широкую информацион ную подготовку учащихся к тесту (напри мер, в области страноведения). Устойчивость к нагрузкам, обусловлен ная индивидуальнопсихологическими особенностями школьников, вызывает трудности тестирования индивидуального характера. Тест на слушание с пониманием занимает мало времени, однако по своей интенсивности он требует от учащихся не малых усилий. Письменные тестовые зада ния выполняются в течение относительно длительного периода, однако именно необ ходимость длительно и сосредоточенно ра ботать может стать главной причиной труд ности задания. Объектом исследований стали тестовые задания как источники трудностей для уча щихся. Рассмотрим некоторые из них. Определенную трудность для учащихся представляют устные тестовые задания [8]. Исследования показывают, что особеннос ти устного тестового задания, включая тип задания (например, описание деталей), его формат (интерактивный, интеллектуаль ный и формализованный), необходимые интеллектуальные операции (например, догадки и обобщение), требуемый языко вой материал (например, специальный или общий лексикон), создаваемый дефицит времени (например, преднамеренное огра ничение времени), наличие необходимого кругозора (например, фоновые знания), а также требования устойчивости к нагруз кам (например, необходимость длительной сосредоточенности) могут влиять на такие характеристики устного ответа учащихся, как беглость речи, сложность речевых кон струкций, грамотность высказываний, ини циативность и избежание риска. Зависи мость устного ответа от типа устного зада ния нередко заключается в том, что более сложные задания побуждают учащихся Методика INO 07-05 v.qxd 03.02.2009 23:40 Page 39 пользоваться более сложными конструкци ями, снижая при этом грамотность и бег лость речи. Трудности тестовых заданий на слуша ние с пониманием имеют свои отличитель ные особенности [3]. Уровень трудности та ких заданий зависит от темпа речи, продол жительности текста, синтаксической слож ности и лексического состава, организации дискурса, наличия помех и «шума», речево го акцента или диалекта, «плотности» идей, количества избыточной информации (redundancy) и т.д. Трудность выполнения задания зависит также от наличия ситуа тивного контекста, который облегчает по нимание текста на слух, от четкости инст рукции, от характера ожидаемого ответа (например, назвать упоминаемые в тексте события значительно легче, чем выбрать из списка те события, которые не упоминались в тексте), привычности предлагаемых зада ний, источника звука (экзаменатор или маг нитофон) и др. Важным фактором является формат задания. Например, задания с мно жественным выбором выполняются более успешно, чем заполнение пропущенных слов в тексте или задания со свободно кон струируемым ответом (inferring from text). Задания на заполнение таблицы в ходе слу шания (information transfer) повышают шансы экзаменующихся на успех, в то вре мя как завершение предложений может снизить прогнозируемый результат на экза мене. Операции «узнавания» выполняются легче, чем извлечение из памяти и продуци рование ответа. На успешность выполнения задания существенно влияет оперативная память учащихся, интерес к содержанию текста, наличие фоновых знаний и проч. То есть трудность тестовых заданий на слуша ние с пониманием определяется характером текста, типом задания и индивидуальными особенностями экзаменующихся, что поз воляет с достаточной степенью вероятности прогнозировать и даже «программировать» успех или неудачу на экзамене. Основанием для этого является предсказуемое взаимо действие особенностей тестового задания и индивидуальных познавательных возмож ностей учащихся [2]. При этом измеряется не только уровень учебных достижений, но и характер взаимодействия учащихся с тес товым заданием, уровень интеллекта, язы ковых способностей, общего кругозора и др. Методика Это значительно усложняет структуру предмета тестирования, то есть тестовый конструкт, поскольку результат тестирова ния находится в сильной зависимости не только от учебных достижений, но и от ха рактера тестового задания. Постоянно воз никает закономерный вопрос: а не мог ли результат языкового тестирования быть другим, если бы в языковых тестах исполь зовались другие задания. Оценка условий обучения и проведения языкового тестирования Важным аспектом оценки качества обу чения языку с помощью языкового тести рования является оценка условий, в кото рых проводится обучение языку, подготов ка к тестированию и сам экзамен. Данные условия во многом определяют самооценку учащихся (selfassessment) как часть более сложного процесса самоопределения лич ности (selfidentity). Дело в том, что как ус ловия обучения и подготовки к тестирова нию, так и сама ситуация экзамена влияют на то, к какой группе учащихся относят се бя школьники – успевающим или отстаю щим. Данный процесс начинается задолго до итогового тестирования, а сама ситуация экзамена прочно закрепляет сложившуюся самооценку. Условия познавательной деятельности в ходе тестирования могут мало учитываться в предшествующем учебном процессе или даже игнорироваться. Весьма тревожным является традиционное игнорирование письменной речи на уроках иностранного языка, в то время как современная концеп ция языкового тестирования с необходимо стью включает письменные задания полу творческого и творческого характера в со держание экзамена. На уроках до сих пор недостаточное внимание уделяется форми рованию языковых компетенций. Облас тью отставания попрежнему можно на звать употребление фразовых глаголов, а также типичных коллокаций, то есть харак терных для аутентичной речи словосочета ний (e.g. make a mistake, make a statement, make an observation – do an exercise, do harm, do favor etc). Другой формой игнорирования содержа ния экзамена является недостаточный учет тестовых форматов в обучении. Например, 39 INO 07-05 v.qxd 03.02.2009 23:40 Page 40 современные учебники в достаточной мере готовят школьников к выполнению тесто вых заданий типа «заполнение пропусков» как в отдельных предложениях, так и в це лостных текстах. Одновременно задания на «перенос информации» из текста в графи ческую форму и наоборот (information transfer and contextualisation) отрабатыва ются в меньшей степени. В других случаях задания тестового формата подменяют со бой все методическое многообразие обуче ния иностранным языкам, что приводит к снижению качества обучения и результатов тестирования. Подготовка к языковому те стированию исключительно по тестовым заданиям есть наихудший вариант эффекта обратного влияния языкового тестирова ния на учебный процесс (washback effect). Условия познавательной деятельности в ходе тестирования могут не совпадать с ус ловиями познавательной деятельности, предшествовавшей экзамену. Это означает, что формулируемые в учебном процессе по знавательные стратегии (learner strategies) оказываются бесполезными на экзамене. Например, типичной установкой в обуче нии чтению на уроке является «полное по нимание» и готовность перевести каждое слово на родной язык. Подобная стратегия может помешать успешному тестированию «чтения с пониманием», где нередко требу ется тонкая дифференциация содержания абзацев, точная идентификация содержа ния всего текста, чтение «между строк», где дословный перевод оказывается излишним. Заучивание наизусть устных тем не только бесполезно для выполнения заданий устно го тестирования, но может существенно препятствовать решению задачи неподго товленного логического рассуждения. Данное положение можно сравнить с во ображаемой ситуацией, где учащиеся обу чаются письменной речи на компьютере, а на экзамене к ним неожиданно предъявля ется требование пользоваться пером и чер нильницей. Исчезает автоматическая про верка орфографии (spell checker), оказыва ются бесполезными навыки работы с кла виатурой и проч. Одновременно возникают непредвиденные трудности в письме пером, появляются неожиданные и давно забытые кляксы и др. Подобная ситуация оказыва ется не столь нереальной в современных ус ловиях с той разницей, что учащимся без 40 достаточного опыта работы на компьютере предлагаются электронные варианты экза мена. Для стандартизации процедуры язы кового тестирования нужна стандартиза ция требований не только к самому экзаме ну в форме теста, но и к условиям обучения языку и подготовки к интеллектуальному испытанию. Не менее важным аспектом является под готовка учащихся к ситуации объективной оценки их знаний на экзамене. Наблюдения показывают, что для многих учащихся стано вится шоком то, что межличностное взаимо действие, поощряемое на уроках иностран ного языка, жестко пресекается на экзамене и квалифицируется как «обман» (cheating) с последующей дисквалификацией. Обстановка объективного и бескомпро миссного контроля знаний на экзамене мо жет вызвать настоящий «культурный шок» у школьников, привыкших к тому, что учи тель обычно переживает за результаты сво их учеников, пытается поддержать их и да же, в отдельных случаях, подсказывает пра вильный ответ. Наконец, оценка условий языкового тес тирования может выявить ситуации, когда самоопределение ученика как «языковой личности» (selfidentity of one’s language ego) вступает в противоречие с ученичес кой рефлексией, то есть осознанием себя по результатам языкового тестирования. По добная ситуация возможна в тех случаях, когда итоговый языковой тест становится для учащихся первым опытом объективной оценки их знаний в отличие от привычной учительской отметки, а также если условия экзамена отличаются от привычных уча щимся условий языкового тестирования. В этих случаях самоопределение ученика как «успевающего» может вступить в противо речие с низкими результатами языкового тестирования, нарушить чувство уверенно сти в себе, снизить самооценку, разрушить учебную мотивацию и т.п. Заключение ценка качества обучения языку может О быть направлена на поиск резервов эф фективности этого процесса с учетом инди видуальных различий учащихся, сложнос ти тестового задания и условий языкового тестирования. Методика INO 07-05 v.qxd 03.02.2009 23:40 Page 41 Оценка индивидуальных различий уча щихся во многом зависит от диагностичес кой компетенции учителя, мониторинга языкового развития учащихся и достигну того уровня в овладении не только иност ранным, но и родным языком. Индивидуальные различия школьни ков обнаруживаются в характере познава тельных затруднений, которые проявля ются в способности к языковому кодиро ванию, в интеллектуальной обработке ин формации и познавательных стилях, типо логических свойствах личности и гендер ных различиях. Областью оценки является сложность тестового задания, обусловленная сложно стью языкового материала, интеллектуаль ной нагрузкой задания, а также трудностью достижения коммуникативной цели, то есть формулирования, передачи, приема и осмысления информации. Условия обучения языку и проведения языкового тестирования также являются важным предметом оценки, включая про цесс самооценки и учебного самоопределе ния личности. Сказанное позволяет сделать вывод о том, что оценка качества обучения иност ранным языкам на материале тестирования остается серьезной проблемой и актуаль ность ее решения особенно возрастает в связи с переходом школы к универсальным тестовым испытаниям в форме единого на ционального экзамена по иностранным языкам. Литература 1. Abedi J. The No Child Left Behind Act and English language learners: assessment and accountability issues. // Educational Researcher. – 2003. – Vol. 33 (1). – P. 4–14. 2. Bachman L. Some reflections on taskbased language performance assessment. // Language Testing. – 2002. – Vol. 19 (4). – P. 453–476. 3. Brindley G., Slatyer H. Exploring task diffi culty in ESL listening assessment. // Language Testing. –2002. – Vol. 19 (4). – P. 369–394. 4. Carroll J. Human Cognitive Abilities. New York: Cambridge University Press, 1993. 5. Edelenbos P., Kubanek German A. Teacher assessment: the concept of “diagnostic compe tence”. // Language Testing.– 2004. – Vol. 21 (3). – P. 259–283. Методика 6. Ellis R. The Study of Second Language Acquisition. Oxford: Oxford University Press, 1994. – P. 202–204. 7. Gardner H. Multiple Intelligence. New York: Basic Books, 1993. 8. Iwashita N., McNamara T., Elder C. Can we predict task difficulty in an oral proficiency test? // Language Learning. – 2001. – Vol. 51 (3). – P. 401–436. 9. Myers I. B. Introduction to Type. Palo Alto: Consulting Psychologists Press, 1993. – P. 3, 30. 10. Norris J., James D., Hudson B., Bonk W. Examinee abilities and task difficulty in task based second language performance assessment. // Language Testing. – 2002. – Vol. 19 (4). – P. 395–418. 11. Oller J., Kim K. Applying general sign theo ry to testing language (verbal) and nonverbal abil ities. // Language Testing. – 2000. – Vol. 17 (4). – P. 377–396. 12. O’Loughlin K. The impact of gender in oral proficiency testing. // Language Testing. – 2002. – Vol. 19 (2). – P. 169–192. 13. Oxford R. Language Learning Strategies: What Every Foreign Language Teacher Should Know. New York: Newbury House, 1990. 14. Rubdy R. Task. Key concepts in ELT. // ELT Journal. – 1998. – Vol. 52 (3). – P. 264266. 15. Silva J., White L. Relation of cognitive apti tudes to success in foreign language training. // Military Psychology. – 2002. – Vol. 5 (2). – P. 79–91. 16. Sparks R., Ganschow L. Foreign language learning differences: affective or native language aptitude differences? // The Modern Language Journal. – 1991. –Vol. 75 (1). – P. 3–13. 17. Spolsky B. Measured words: The develop ment of objective language testing. Oxford: Oxford University Press, 1995. 18. Spolsky B. Language testing in The Modern Language Journal. // The Modern Language Journal. – 2000. – P. 538–552. Р. П. Мильруд, доктор пед. наук, профессор ТГУ им Г.Р Державина, г. Тамбов А.В. Матиенко, канд. филолог. наук, доцент ИГЛУ, г. Иркутск И.Р. Максимова, канд. пед. наук, доцент Московского университета МВД России, г. Тамбов 41