Авдеева С.М. Инструментарий оценки.

Семинар
«Оценка информационно-коммуникационной компетентности выпускников основной
школы: инструментарий, организация тестирования и использование результатов»
28-29 ноября 2013 года, г. Москва
Характеристика инструментария: объекты измерения,
рамка и спецификация теста, метод наблюдаемых
доказательств, примеры тестовых заданий
Тестирование компетентности в области использования информационно-коммуникационных (ИКТ)
технологий с помощью тестовых заданий, основанных на реальных жизненных ситуациях
С.М.Авдеева
Разработка инструмента осуществляется при поддержке Минфина России и при
участии Всемирного Банка
Тест, построенный на системе доказательств
Концептуальные подходы к разработке
инструмента оценки ИК-компетентности
2
ТЕСТ, ПОСТРОЕННЫЙ НА СИСТЕМЕ
ДОКАЗАТЕЛЬСТВ
• Метод разработки теста:
в центре – доказательства компетентности
(evidence centered design – Mislevy, Levy, 2006)
• ИК-компетентность – это то, что мы хотим измерить
• Измеряемое доказательство – как обнаружить и
интерпретировать то, что позволяет измерить впрямую
не измеряемые навыки/как получить измеряемое
доказательство впрямую не измеряемых
компетентностей
3
ТЕСТ, ПОСТРОЕННЫЙ НА СИСТЕМЕ
ДОКАЗАТЕЛЬСТВ
•
Концептуальные подходы к
разработке инструмента
оценки ИК-компетентности
•
•
Что мы измеряем?
– Уровень ИК- компетентности (7
составляющих ИК- компетенции)
Как мы можем оценить уровень ИКкомпетентности? Как мы можем
обнаружить/судить об…
– Через систему измеряемых
доказательств
Как мы измеряем уровень ИКкомпетентности?
– Через систему тестовых заданий
Процедуры разработки теста в двух
разных подходах
Классическая разработка теста
Спецификация содержания
Тест, построенный на системе
свидетельств
Модель компетенций
Рамка теста
Модель сбора свидетельств
Создание опросов/задач
Анализ данных
«Проходной
балл»
Модель задания
Задание
5
ТЕСТ, ПОСТРОЕННЫЙ НА СИСТЕМЕ
ДОКАЗАТЕЛЬСТВ
Тест, построенный на системе доказательств– это
набор взаимосвязанных процедур, призванных
прояснить два вопроса:
1. Какие доказательства ИК-компетентности
учащегося мы можем непосредственно наблюдать?
2. Как структурировать ситуацию, чтобы увидеть
эти доказательства?
6
Пример разработки тестового задания: «Работа с почтовым ящиком/электронной почтой»
1. Предмет оценки:


компетенция: Управление (определение: применение существующей
организационной или классификационной схемы)
операционализация: предпринять элементарную организацию
имеющейся информации для дальнейшего использования
2. Общие параметры/общая рамка тестового задания:




Продолжительность выполнения: 4 минуты
Содержание: Практические дела
Контекст: Личный
Основные инструменты: Электронная почта
7
Тестовое задание «Работа с почтовым ящиком»:
автоматическая обработка результатов тестирования
•
•
Измеряемая составляющая ИК-компетентности: УПРАВЛЕНИЕ
Наблюдаемые признаки/Измеряемые переменные, по которым можно судить о
наличии данной компетенции (Observables):
–
–
–
•
Точность в управлении информацией
Сохранение информации для того, чтобы ее не потерять
Сохранение информации для того, чтобы в дальнейшем ее легко и быстро можно было найти.
Как измерить 1-й наблюдаемый признак/ переменную №1:
–
–
–
Если участник тестирования сохранил все нужные письма и удалил все остальные (ненужные),
то он достигает уровня «ВЫСОКИЙ» по 1-ому наблюдаемому признаку;
Если задание выполнено на 80-99%, то участник тестирования достигает уровня «СРЕДНИЙ» по
данному признаку.
Если менее 80% писем рассортированы/обработаны правильно, то уровень «НИЗКИЙ».
8
9
Some interface elements are not translated YET.
We are here for that.
10
11
12
13
Наблюдаемые признаки/Измеряемые переменные
Наблюдаемые признаки/
Измеряемые переменные
(Observables)
Точность в управлении информацией
Сохранение информации для того, чтобы
ее не потерять
Сохранение информации для того, чтобы
в дальнейшем ее можно было легко и
быстро найти
Уровень
Высокий: удалено 10 ненужных писем (4 письма с пометкой «СПАМ» и 1 письмо
с пометкой Nelson, 5 больших по объему писем) и не удалены (оставлены) 3
нужных письма.
Средний: Работа выполнена на 80%/Обработано 80% писем
Низкий: Работа выполнена менее чем на 80%
Высокий: сохранены все электронные письма, которые необходимо сохранить.
Средний: сохранено 80% электронных писем, которые необходимо сохранить.
Низкий: сохранено менее 80% электронных писем, которые необходимо
сохранить.
Высокий: сохранены 5 файлов в соответствующие папки
Средний: сохранены 4 файла в соответствующие папки
Низкий: сохранено менее 4 файлов в соответствующие папки
14
Метод разработки теста:
в центре – свидетельства компетентности
(evidence centered design – Mislevy, Levy, 2006)
1. Определения компетенций
Что мы измеряем?
Определение ИК-компетентности и ее составляющих.
2. Модель сбора свидетельств
Как мы можем это измерить?
Поиск наблюдаемых свидетельств наличия составляющих ИКкомпетентности
3. Модель тестового задания
Где измерять?
Поиск конкретных индикаторов – результатов выполнения какойлибо задачи.
15
Пример
Модель компетенций: что измеряем и зачем?
• Модель сбора свидетельств: что мы можем узнать о
компетенции управления, наблюдая за деятельностью
учащегося?
ИКкомпетентност
ь
Досту
п
Интег
рация
Перед
ача
Оценк
а
Опред
елени
е
Точность в управлении информацией
Сохранение информации для того, чтобы ее не
потерять
Сохранение информации для того, чтобы в
дальнейшем ее можно было легко и быстро найти
16
Управ
ление
Созда
ние
Пример
• Модель тестового задания: как мы можем
структурировать ситуацию, чтобы увидеть
свидетельства компетентности?
Весь спам
помечен как
«Спам»
Ситуация, в
которой нужно
сохранить
скачанный файл
Точность в управлении информацией
Сохранение информации для того,
чтобы ее не потерять
Ситуация, в
которой файл
нужно
сохранить в
определенную
папку
Сохранение информации для того,
чтобы в дальнейшем ее можно было
легко и быстро найти
17
Пример
• Модель тестового задания: как мы можем структурировать
ситуацию, чтобы увидеть свидетельства компетентности?
Тестовое задание
+контекст
+контент
Весь спам
помечен как
«Спам»
Ситуация, в
которой нужно
сохранить
скачанный файл
Точность в управлении информацией
Ситуация, в
которой файл
нужно
сохранить в
определенную
папку
Сохранение информации для того,
чтобы ее не потерять
18
Сохранение информации для того,
чтобы в дальнейшем ее можно было
легко и быстро найти
•
Одно из важнейших преимуществ теста, построенного на системе
свидетельств –конструктная валидность теста.
•
Пример: в ситуации необходимости сортировки спама, в которой учащийся
может проявить свою компетентность таким образом, чтобы мы ее
смогли зафиксировать, учащийся отсортировал спам, что является одним
из свидетельств его компетентности в части управления информацией, и,
следовательно, одним из проявлений общей ИК-компетенции.
19
Разработка тестового задания: основные этапы
Этап 1
•
•
выбор одной или нескольких компетенций
операционализация определения данной
компетенции/данных компетенций
Этап 2
В соответствии со спецификацией теста выбираем:
•
•
•
•
продолжительность выполнения тестового задания
содержание
контекст
основные инструменты.
Этап 3. Выделение измеряемых переменных
Этап 4. Написание сценария тестового задания
20
20
Данное задание измеряет/определяет уровень владения четырьмя компетенциями: «Доступ к
информации», «Оценка информации», «Создание информации», «Коммуникация» с помощью
следующей ситуации: поиск данных для создания графика и ответа на поставленной
учительницей вопрос исследования
ПРИМЕР Т ПРИМЕР ТЕСТОВОГО ЗАДАНИЯ:
«ЯЗЫКПРИМЕР ТЕСТОВОГО ЗАДАНИЯ
«ЯЗЫКИ МИРА»МИРА» ЕСТОВОГО ЗАДАНИЯ:
«ЯЗЫКИ МИРА»
21
Пример разработки тестового задания: «Языки мира»
•
•
Предмет оценки:
– компетенция: Доступ (определение: способность искать и находить информацию из различных источников в разных
средах)
– компетенция: Оценка (определение: способность составить мнение о качестве, авторитетности, релевантности,
полезности или эффективности информации и ее источников)
– компетенция: Создание (определение: способность создавать или адаптировать информацию с учетом конкретной
задачи, выражать главную мысль и приводить аргументы и свидетельства)
– компетенция: Коммуникация (определение: способность адаптировать информацию к конкретной аудитории)
Операционализация:
– найти необходимую информацию и ответить на поставленный вопрос на базе полученной информации, подкрепив ответ
аргументами
Общие параметры/общая рамка тестового задания:
– Продолжительность выполнения: 30 минут
– Содержание: Общественные науки
– Контекст: Учебный
Основные инструменты: База данных, Электронная почта, Конструктор схем, Презентация
22
22
Пример разработки тестового задания: «Языки мира»
 Выделение измеряемых переменных:
• Качество выбора источников
• Качество создания поискового запроса
• Соответствии информации в выбранном ресурсе указанным требованиям
• Качество построенного графика (с какой попытки был построен правильный график)
• Соответствие отправленного графика указанным требованиям
• Точность информации, представленной на слайде презентации
• Степень полноты информации в отправляемом сообщении
• Насколько подходящим по содержанию является отправляемое сообщение?
• Соблюдение правил цитирования информации
• Качество организации информации на отправляемом слайде
• Покрытие коммуникационных задач
 Написание сценария задания:
• описание ситуации: вам нужно ответить на вопрос в рамках исследования, основываясь на полученной в
процессе поиска информации и проиллюстрировав свой ответ построенным графиком.
• постановка задачи: найдите бесплатную базу данную, постройте график на основе полученных данных,
создайте слайд, включив в него график и ответ на поставленный вопрос, отправьте слайд по
электронной почте учительнице.
23
23
Тестовое задание «Языки мира»:
автоматическая обработка результатов тестирования
•
•
Измеряемые компетенции: ДОСТУП, ОЦЕНКА, СОЗДАНИЕ, КОММУНИКАЦИЯ
Доказательства, по которым можно судить о наличии данных компетенций (Observables):
–
–
–
–
–
–
–
–
–
–
–
•
•
•
•
Качество выбора источников
Качество создания поискового запроса
Соответствии информации в выбранном ресурсе указанным требованиям
Качество построенного графика (с какой попытки был построен правильный график)
Соответствие отправленного графика указанным требованиям
Точность информации, представленной на слайде презентации
Степень полноты информации в отправляемом сообщении
Насколько подходящим по содержанию является отправляемое сообщение?
Соблюдение правил цитирования информации
Качество организации информации на отправляемом слайде
Покрытие коммуникационных задач
Как измерить 1-й наблюдаемый признак/ переменную №1:
Если участник выбирает в качестве типа базы данных Статистика и/или Графики, то он
достигает уровня «ВЫСОКИЙ» по 1-ому наблюдаемому признаку;
Если помимо Статистика и/или График выбрано Картинки или Тексты, то участник
тестирования достигает уровня «СРЕДНИЙ» по данному признаку.
Если Статистика и/или Графики не выбрано, то уровень «НИЗКИЙ».
24
Система измеряемых доказательств
•
•
Поведение и поступки, которые отличают людей с разным уровнем ИКТ - компетентности
Пример: компетенция – Коммуникация, т.е. способность адаптировать информацию к конкретной аудитории
Наблюдаемый признак/
Измеряемая переменная
(Observable)
Уровень
Высокий: Все поля в сообщении заполнены И график также
приложен
Степень полноты информации
в отправляемом сообщении
Средний: График приложен к сообщению И поле Заголовок
или поле Источник не заполнены, но 5 языков выбраны ИЛИ
поле Заголовок или поле Источник заполнены, хотя бы 1 язык
не выбран
Низкий: все другие случаи
25
Экран с заданием
26
Инструкция и интерфейс
27
30
31
32
Отправка информации корреспонденту
33
Что думают школьники о тестировании
ИК- компетентности
Мнения
Согласны с
мнением (%)
Я никогда прежде не участвовал в такого рода тестировании.
90%
Данный тест оказался мне по силам
85%
Чтобы успешно выполнить этот тест, нужно хорошо поработать головой.
96%
Мне понравился этот тест. Мне было интересно отвечать на вопросы.
92%
Тестовые задания имеют самое прямое отношение к тому, чем я занимаюсь в
школе или дома.
87%
34
Семинар
«Оценка информационно-коммуникационной компетентности выпускников основной
школы: инструментарий, организация тестирования и использование результатов»
28-29 ноября 2013 года, г. Москва
Спасибо за внимание!