«О результатах исследований в сфере образования «О проекте «

Оценка информационно-коммуникационной
компетентности выпускников основной
школы
Тестирование компетентности в области использования информационнокоммуникационных (ИКТ) технологий с помощью тестовых заданий,
основанных на реальных жизненных ситуациях
Авдеева С.
avdeeva@ntf.ru
www.ictlit.com
1
Какие навыки и способности приобретут большую
значимость в ближайшие годы? Навыки 21 века!
 Способность учиться на протяжении всей
жизни
 Способность самостоятельно мыслить и
действовать
 Коммуникабельность,
умение работать в
Почему образовательные результаты XXI
века?
команде
 Способность осуществлять выбор и
нести за него ответственность
 Способность решать нетрадиционные
задачи, используя приобретенные
предметные, интеллектуальные и общие
умения и навыки
Образовательные результаты ФГОС и ИК- компетентность
Мировые тенденции
Инновационная
практика обучения
…предполагает:
•
•
•
•
•
личностно-ориентированное
•
обучение
•
реализацию активного
деятельностного подхода
расширение границ учебного •
процесса
интеграцию ИКТ и
•
электронных
образовательных ресурсов
•
в преподавание и учение
Россия
Требования
ФГОС, 2010
Навыки 21го века
…включают:
…включают:
Приобретение знаний
Сотрудничество
Решение проблем и
инновационность
Использование ИКТ
для обучения
Развернутая
коммуникация
Самостоятельное
планирование своей
работы учащимися,
мониторинг индивидуального прогресса в
учении
•
•
•
•
•
•
•
•
•
Приобретение и
интеграция знаний
Освоение систематических знаний
Сотрудничество
Решение творческих и
поисковых проблем
Использование ИКТ
для обучения
Коммуникация
Самоорганизация и
саморегуляция
Личностный смысл
учения и рефлексия
Ценностные установки
Цели тестирования ИК - компетентности
 Цель: обеспечить реалистичную и разностороннюю оценку ИКкомпетентности с помощью тестовых заданий, основанных на
реальных ситуациях
 Тестирование призвано:



стать важным инструментом для обсуждения и выработки
образовательной политики в области формирования ИКкомпетентности.
обеспечить объективную оценку готовности выпускников школы
жить и работать в информационном обществе.
оценить, в какой мере существующее направление развития
образования в стране обеспечивает внедрение ИКТ в учебный
процесс образовательного учреждения.
 Целевая аудитория: учащиеся при переходе из основной
школы в старшую (9-классники)
4
Преимущества данной системы тестирования
 Интерактивность, автоматизированный характер
процесса тестирования и оценки его результатов
 Использование ситуаций из реальной жизни при
разработке сценария для тестовых заданий
 Акцент на оценке
 НЕ уровня сформированных технологических навыков
и навыков владения учащимися определенным
программным продуктом или техническими
возможностями компьютера,
 но СПОСОБНОСТИ оперировать информацией, решать
практические задачи, используя ИКТ, мыслить и
работать в «цифровом» мире
 Обязательно условие соблюдение этических и
правовых норм при использовании цифровых
технологий и средств коммуникации.
 Это важно для формирования социальноответственной личности.
 Автоматическая обработка результатов
тестирования, основанная на использовании
сетей Байеса.
5
Что такое ИК-компетентность
ИК - компетентность – это способность
использовать цифровые технологии,
инструменты коммуникации и сети для
получения доступа, управления, интеграции,
оценивания, создания и передачи
информации с соблюдением этических и
правовых норм для того, чтобы успешно
жить и трудиться в условиях
информационного общества .
6
Спецификация теста
Тест состоит из 16 заданий, основанных на решении
РЕАЛЬНЫХ ЖИЗНЕННЫХ СИТУАЦИЙ (учебных, социокультурных и др.), с которыми учащийся сталкивается
в течение своей жизни, с помощью 7 составляющих ИКкомпетенций:
Определение
Доступ
ИКкомпетентность
Управление
Интеграция
Оценка
Создание
Передача
7
Составляющие ИК -компетентности
 Определение: умение сформулировать запрос таким образом, чтобы он
способствовал поиску информации
 Доступ: умение/способность найти и собрать (retrieve – восстанавливать,
исправлять) информацию из различных источников
 Управление: умение применить существующую организационную или
классификационную схемы (для структурирования, размещения/сохранения
информации и быстрого ее поиска в дальнейшем)
 Интеграция: умение интерпретировать и представлять/осмыслять
(representing) информацию - вычленять самое главное, сравнивать или
противопоставлять информацию, полученную из нескольких источников
 Оценка: умение составить мнение о качестве, нужности/релевантности,
полезности или эффективности информации
 Создание: умение создавать или адаптировать информацию с учетом
конкретной потребности/задачи, выражать главную мысль и приводить
информацию, подтверждающую ее
 Передача: умение адаптировать информацию для конкретной аудитории.
8
Тест включает задания разные по степени
СЛОЖНОСТИ и ПРОДОЛОЖИТЕЛЬНОСТИ выполнения
Уровень
сложности
задания
Количество
заданий
Ожидаемое
время
выполнения
задания
Тест включает в себя:

3 тренировочных задания;

16
тестовых
заданий
различной сложности;
Простое
(оценка 1-й
компетентности)
Средней
сложности
(оценка 2-3
компетентностей)
Сложное
(оценка 4-5
Компетентностей)
9
13
3-4
2
10 -15
1
20 - 30

социальную
анкету
для
учащегося.
Общая
продолжительность
тестирования - не более 2-х
академических часов
При выполнении теста используются различные
ИНСТРУМЕНТЫ
Определение
Доступ
Управление
Интеграция
Текстовый
редактор
Задание
2
Электронные
таблицы
Базы данных
Другие
Создание
Задание
3
Электронная
почта и другие
сервисы
интернет
Социальные
сети
Оценка
Задание
1
Передача
Тест, построенный на системе свидетельств
Концептуальные подходы к разработке
инструмента оценки ИК-компетентности
11
Тест, построенный на системе свидетельств
– это набор взаимосвязанных процедур,
призванных прояснить два вопроса:
1.Какие свидетельства компетентности (или
знаний) учащегося мы можем
непосредственно наблюдать?
2.Как структурировать ситуацию, чтобы
увидеть эти свидетельства?
12
Метод разработки теста:
в центре – свидетельства компетентности
(evidence centered design – Mislevy, Levy, 2006)
1. Определения компетенций
Что мы измеряем?
Определение ИК-компетентности и ее
составляющих.
2. Модель сбора свидетельств
Как мы можем это измерить?
Поиск наблюдаемых свидетельств наличия
компетентности
3. Модель тестового задания
Где измерять?
Поиск конкретных индикаторов – результатов
выполнения какой-либо задачи.
ОЦЕНКА
ИНТЕГРАЦИЯ
ОПРЕДЕЛЕНИЕ
СОЗДАНИЕ
ПЕРЕДАЧА
ДОСТУП
УПРАВЛЕНИЕ
Профили, необходимые для классификации
компетенций
ПРОДВИНУТЫЙ
В
В
В
В
В
В
В
ВЫШЕ БАЗОВОГО
В
В
В
В
В
С
С
БАЗОВЫЙ
С
С
С
С
С
С
С
НИЖЕ БАЗОВОГО
С
С
С
С
С
Н
Н
РАЗВИВАЮЩИЙСЯ
Н
Н
Н
Н
Н
Н
Н
14
Варианты прохождения тестирования
1. Онлайн RDP тестирование - подходит в том случае, если выделенный интернетканал имеет пропускную способность не менее 512 Кб/с на одного тестируемого.
2. Локальное RDP тестирование
- подходит при недостаточной пропускной
способности интернет-канала или при отсутствии доступа в интернет, но при наличии
локальной
сети,
которая
объединяет
мобильный
сервер
тестирования
и компьютеры тестируемых. Тестирование проводится силами специалистов НФПК.
3. Локальная WINDOWS сборка - подходит при наличии стабильного интернет
канала, который может иметь не самую высокую пропускную способность (для 20
тестируемых достаточно канала в 256 КБ/с). Тестирование проводится силами
представителей заказчика, а также может проводится силами НФПК.
Сразу после прохождения IC Literacy Test учащийся сможет увидеть свои
результаты и получить рекомендации для улучшения своей ИК-компетентности.
Результаты всех тестируемых собираются на центральном сервере и могут
использоваться для дальнейших исследований и анализа.
15
Результаты тестирования школьников


Твой уровень информационно-коммуникационной
компетентности такой же как у большинства твоих
сверстников
Тебе стоит обратить внимание на развитие навыков
 Анализ информации, оценку ее релевантности;
 представления информации в приемлемом для других людей
виде;
 определения нехватки информации и формулирования
исследовательских вопросов.
Спасибо за участие в тестировании
т Твой уровень информационно-коммуникационной
компетентности ниже, чем у большинства твоих
сверстников
 Тебе стоит обратить внимание на развитие навыков
 поиска, сбора и сохранения информации;
 представления информации в приемлемом для других людей
виде;
 самостоятельного создания информационных продуктов на
основе заданных требований;
 навыков оценки надежности и качества различных источников
информации.
Спасибо за участие в тестировании
16
Психометрические исследования
 Проверка валидности (конвергентной,
дивергентной)
Корреляционный анализ
Факторный анализ
Анализ внутренней согласованности
 Анализ параметров заданий
 Анализ DIF (различного функционирования
заданий)
 Анализ функционирования сети Байеса
(model criticism)
17
Взятые за основу стандарты
Российской Федерации
 ФЕДЕРАЛЬНЫЙ ГОСУДАРСТВЕННЫЙ
ОБРАЗОВАТЕЛЬНЫЙ СТАНДАРТ ОСНОВНОГО
ОБЩЕГО ОБРАЗОВАНИЯ (от 17.12.2010 г.)
 Примерная основная образовательная
программа образовательного учреждения
Основная школа (Программа подготовлена
Институтом стратегических исследований в
образовании РАО. Научные руководители — членкорреспондент РАО А. М. Кондаков, академик РАО
Л. П. Кезина)
Процедура исследования
соответствия российским стандартам
 Специальная процедура связывания тестируемых
компетентностей и образовательных ожиданий (Webb, 1999).
 Необходима для встраивания тестирования в национальные
системы образования
 Соответствие общего измеряемого понятия (structure of knowledge
comparability)
19
Результаты процедуры рассмотрения соответствия
российским стандартам
 Соответствие общего измеряемого понятия
(structure of knowledge comparability) ПРИЕМЛЕМО
В рамках ПООП ОУ, раскрывающей механизм реализации стандарта, рассматривается
понятие ИКТ-компетентности, которое включает в себя не только умение учащегося
работать с информацией, но и технический аспект, который относится к навыкам работы
с определенным оборудованием, программным обеспечением и пр. В связи с тем, что в
рамке теста заложено понятие ИК-компетентности и IC Literacy test не направлен на
измерение технических навыков учащихся.
 Соответствие измеряемых категорий (categorical
concurrence) ПРИЕМЛЕМО
ФГОС общего образования (Метапредметные результаты освоения основной
образовательной программы основного общего образования, стр.6-7) – 58,3%
(IC Literacy test проверяет 7 из 12 тем);
ПООП ОУ (метапредметные результаты освоения основной образовательной
программы основного общего образования) – 90% (9 из 10). Учащиеся, чьи знания
являются удовлетворительными по результатам оценки, должны продемонстрировать
знания практически по всем темам, фигурирующим в стандарте. Исключение
составляет тема «Обращение с устройствами ИКТ», в рамках которой учащиеся
должны изучить технические аспекты ИК-компетентности. В связи с тем, что IC Literacy
test не направлен на измерение технических навыков учащихся, данная тема не
представлена.
Результаты процедуры рассмотрения соответствия
российским стандартам
 Соответствие знаниевого диапазона (range of knowledge)
ПРИЕМЛЕМО
Различные варианты теста покрывают от 43% до 48% тем, представленных в ПООП ОУ
и ФГОС.
Баланс в подаче информации (balance of representation)
ПОЛНОЕ
В связи с тем, что в стандарте не расставлены акценты или указания на преимущества,
которые одни компоненты должны получать перед другими, все компоненты одинаково
важны и должны быть представлены в контрольно-измерительных материалах в равной
степени.
В каждом из вариантов теста охват компетенций, содержания, контекстов и сложности
задач представлен равномерно, как и в стандартах.
Согласованность по критерию отношения учащихся к
предмету (dispositional consonance) ПОЛНОЕ
В тест эксплицитно введены наблюдаемые переменные, оценивающие этические
аспекты использования информации, тест сопровождается анкетой, включающей
вопросы об интересе учащихся к ИКТ и их оценке важности изучения ИКТ.
Основные задачи проведения тестирования
 Оценить уровень ИК-компетентности
выпускников основной школы
 Выявить факторы, которые влияют
на формирование ИК-компетентности
 Выработать рекомендации по результатам
тестирования
 Проверить влияние рекомендаций на повышение
уровня ИК-компетентности
Изменение уровня ИК-компетентности
репрезентативной выборки учащихся 9-го класса
%
100
90
80
70
60
50
40
30
20
10
0
13
4
19
3
8
4
Продвинутый
44
53
65
Средний
31
14
16
учащиеся-2010
2010
11
3
учащиеся-2012
2012
Татарстан
Выше среднего
13
ICT_LITERACY_LEVEL
2012
Армения
(пилот)
Ниже среднего
Развивающийся
Влияние вида работы учащихся над домашним заданием на
уровень ИК-компетентности
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
20%
6%
21%
9%
20%
5%
22%
14%
Продвинутый
Выше среднего
62%
да
нет
70%
Средний
Ниже среднего
Развивающийся
22%
9%
60%
63%
62%
64%
75%
73%
10%
13%
11%
14%
13%
9%
да
нет
да
нет
да
нет
самостоятельный использование
создание
совместного с
поиск
компьютера
презентаций одноклассниками
информации
поиска решения
Учителя дают домашнюю работу, требующую…
На основе ответов на вопрос: «Задают ли ваши учителя ДОМАШНИЕ задания,
требующие от Вас:» – «самостоятельного поиска информации (книги, статьи,
сайты)», «использования компьютера», «создания презентаций», «совместного
поиска решения с Вашими одноклассниками.
Влияние различных видов деятельности на ИКТкомпетентность
5%
59%
Каждую
неделю
31%
14%
7%
Каждый Каждую Никогда
месяц четверть
и реже
Каждый
день
14%
69%
14%
67%
13%
14%
9%
58%
53%
8%
11%
7%
12%
Каждую четверть
60%
Каждый месяц
69%
Каждый день
69%
11%
Никогда
20%
дискуссии
Средний
Каждую
неделю
10%
6%
19%
Развивающийся
Каждый Каждую Никогда
месяц четверть
и реже
работа в малых группах
Раз в год и реже
18%
Каждую неделю
28%
Каждый день
25%
Выше среднего
Ниже среднего
23%
самостоятельная работа
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
67%
49%
21%
10%
67%
70%
21%
22%
14%
55%
62%
3%
73%
61%
Продвинутый
68%
Выше среднего
20%
11%
5%
18%
34%
Средний
Ниже среднего
практические работы
Никогда
Каждый
день
76%
8%
Продвинутый
61%
Раз в год и реже
10%
62%
15%
21%
30%
67%
61%
5%
Каждую четверть
13%
24%
Каждый месяц
19%
Каждую неделю
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
Развивающийся
25
Спасибо за внимание!
Avdeeva@ntf.ru
www.ictlit.com