Создание и распространение информационных продуктов

Создание и распространение информационных продуктов по
результатам проведения программ оценки учебных достижений
школьников
Подготовлено И.А. Вальдманом на основе Murray, T.S. (2004) Achieving Maximum Impact:
A Guide for Managers of National assessment Systems, Statistics Canada, Ottawa.
Аннотация
Данный раздел посвящён вопросам представления итоговых результатов
программ оценки учебных достижений, а также доведения их до представителей
различных заинтересованных групп.
В теме «Группы пользователей и основные способы использования информации»
обсуждаются следующие факторы, влияющие на успех использования информационных
продуктов
и
услуг:
информационные
основные
потребности
потребители
и
информационных
техническая
продуктов;
компетентность;
их
направления
использования данных по итогам программ оценки качества образования.
Глава
«Информационные
продукты
и
услуги»
знакомит
с
основными
информационными активами (ресурсами), формируемыми при проведении программы
оценки, а также с продуктами и услугами, которые могут быть подготовлены с
использованием этих активов. Приводятся конкретные примеры представления данных из
опыта международных исследований оценки качества образования.
Глава «Разработка стратегии диссеминации» представляет диссеминационную
стратегию, которая позволяет обеспечить максимальное проникновение продуктов и услуг
в ключевые целевые аудитории. Здесь рассматриваются первичные и вспомогательные
способы
распространения
информационных
продуктов
и
процесс
разработки
коммуникационной стратегии.
Введение
Системы оценки результатов образования (или программы оценки учебных
достижений)
по
определению
дороги,
технически
зависимы
и
политически
чувствительны.
Дороги, так как требуют значительных затрат на разработку, организацию и
проведение программы оценки. Технически зависимы, так как используют сложный
1
инструментарий и нуждаются в различных и высоко квалифицированных специалистах.
Политически чувствительны, так как зависят от конкретного расклада политических сил в
сфере образования и способны оказывать влияние на изменение расстановки сил внутри
системы образования.
Хорошо спланированная и осуществлённая, программа оценки может быть
причиной и движущей силой постоянного и устойчивого улучшения
в качестве
преподавания и обучения.
Плохо спланированная и осуществлённая программа оценки может быть
причиной ненужной траты значительных государственных средств и разрушения карьер.
Это создаёт риски как для организаций, которые реализуют программы оценки, так и для
отдельных людей, которые участвуют в них.
Более того, плохо спланированная и осуществлённая программа assessment может
усиливать степень недоверия и подозрительности среди партнёров в образовании, что
привод к тому, что программы assessment отменяются и остаются нереализованными,
оставляя запятнанными институциональные и индивидуальные репутации. Даже если гдето
программы
assessment
выживают
и
продолжают
существовать,
то
плохо
спланированные и осуществлённые они могут вызывать неправильные отклики, которые
подрывают истинные цели, которые планировалось достигнуть, то есть повышение
качества и справедливости образовательных результатов.
Одна из характеристик хорошо разработанного и умело проведённого assessment
состоит в том, что он включает в себя осознанные усилия, направленные на увеличение
того влияния, которое assessment имеет на систему образования. Это обычно достигается
через активный маркетинг и деятельность по диссеминации.
На институциональном уровне общая цель маркетинга и деятельности по
распространению результатов assessment – гарантировать, что программы assessment
будут иметь долгосрочное финансирование, будут выглядеть как дающие результат
представителям
заинтересованных
сторон
(stakeholders)
и
будут
способствовать
повышению репутации образовательной корпорации. Это относится к следующим
ключевым группам.
Во-первых, к широкой общественности, которая ожидает получения выгод от
инвестиций общественных и частных средств.
Во-вторых, к политикам и должностным лицам, которые приняли решение
направить государственные средства на программу assessment, вместо финансирования
других образовательных приоритетов.
2
В-третьих, в равной степени ко всем основным участникам образовательного
процесса - школьным администраторам, учителям, учащимся и их родителям. Как
показывает
опыт,
assessment
имеет
потенциал
повышать
результативность
и
эффективность обучения, привлекать дополнительные ресурсы для оценки причин
сокращение количества времени, которое может быть затрачено на преподавание. Этот
факт сокращения времени на преподавание часто вызывает справедливое негодование со
стороны школьных администраторов, учителей и студентов.
И, наконец, к тем, кто профессионально связан с разработкой и реализацией таких
проектов, кто вкладывает очень много личного времени и усилий в то, чтобы система
оценки качества образования эффективно и надёжно работала.
Хотя нельзя однозначно определить достаточные условия успеха программы
assessment, тем не менее, увеличение её влияния на образовательную политику
критически зависит от получения максимально возможной информации о возврате
инвестиций, вложенных в эту программу. Иными словами, необходимо понимать,
способны ли полученные в ходе программы оценки данные обеспечить реализацию
решений, эффект от которых - не только экономический, но и социальный – гораздо выше
тех средств, которые были затрачены на проведение этой программы.
Добиться такого большого успеха программы assessment возможно только в том
случае, если результаты исследования широко известны, признаны (им доверяют) и
использованы на практике.
Признание результатов хотя и не исключительно, но значительно зависит от
научных достоинств assessment, среди которых научно обоснованная методология
исследования, гарантирующая способность
оценивать
желаемые образовательные
результаты.
Признание также зависит от открытости и прозрачности процесса проведения
исследования, от высоких стандартов документов, правил и процедур, регламентирующих
реализацию программы оценки.
Кроме того, это включает в себя нахождение путей признания и обеспечения
интересов stakeholders, которые требовательно и критически относятся к проведению
assessment. Управление интересами stakeholders представляет сложные проблемы для
менеджеров национальных исследований. Нельзя не признать, что assessments – это
довольно «сильный» инструмент, который создаёт и победителей, и проигравших всегда
есть и будут те, кто находится в вершине списка и кто его замыкает. Это могло бы и не
быть такой уж большой проблемой, но фактически учителя и школьные администраторы
3
всегда находят себя в списке самых слабых среди результатов assessment. Этот факт
создаёт им стимулы предпринимать такие практические действия1, которые подрывают
фундаментальные цели и объективность assessment.
Признание также зависит от такого, насколько внимательности и осторожно
проводилась интерпретация результатов исследований. Как и любое измерение,
технология системы assessment имеет свойственные ей ограничения. Дело в том, что
система assessment не является точным и безошибочным инструментом. В лучшем случае
она даёт приближение ключевых характеристик и взаимосвязей - фактически могут быть
установлены статистическая ошибка и смещения, связанные с неоднородностью и
неполнотой теории, лежащей в основе assessment, а также с тем, как спроектирована
оценка, как она проведена и как проанализированы полученные данные. В худшем случае,
эти ошибки и смещения имеют различное влияние на разные типы предположений,
некоторые из которых трудно представить для технически не подготовленных
пользователей. Поэтому довольно сложной задачей для менеджеров национального
исследования является формулирование нейтральных, сбалансированных заключений,
которые отражают ограничения, присущие используемым методам.
Использование результатов assessment зависит и от полезности ряда продуктов и
услуг,
которые
разработаны
командой
специалистов
для
удовлетворения
информационных потребностей широкого спектра пользователей. Создание широкого
диапазона продуктов и услуг сильно зависит от широкого спектра их применений на
практике и от различных позиций пользователей, что определяет ряд проблем для
менеджеров исследований по оценке образовательных результатов.
И ещё одна важная причина использования результатов заключается в том, что
результаты исследования нуждаются в преобразовании из их начальной, технической
формы (понятной только группе узких специалистов) в формат, доступный для широкого
круга технически не подготовленных пользователей.
Тема 1.
Группы пользователей и основные способы использования
информации.
Перечень основных вопросов по теме
1.
1
Условия использования результатов программ оценки качества образования.
Это может быть отказ от участия в конкретной программе оценки, фальсификация данных и т.п.
4
2.
Ключевые группы пользователей и их информационные потребности.
3.
Технические компетентности представителей ключевых групп пользователей.
4.
Использование данных в административных и неадминистративных целях.
Успех использования информационных продуктов и услуг зависит от двух
факторов:

кто является основными потребителями (пользователями) информационных
продуктов, каковы их потребности, и какова их техническая компетентность;

каким образом эти данные предполагаются использоваться.
1.1
Пользователи и их техническая компетентность
Потенциальные пользователи данных assessment многочисленны и необычайно
разнообразны в их способности делать выводы на основе сложных статистических
данных. Во многих случаях один и тот же пользователь нуждается в наборе продуктов и
услуг, удовлетворяющих самым разнообразным вариантам использования с различным
техническим содержанием.
Пользователи могут быть классифицированы по следующим пяти категориям:

продвинутые технические пользователи, которые способны проводить начальный
многоуровневый и многовариативный анализ;

обычные технические пользователи, которые способны проводить начальный
дистрибутивный и описательный анализ;

технические пользователи, которые используют данные из опубликованных
отчётов для создания новых информационных продуктов;

не технические пользователи, которые используют выводы и заключения,
извлечённые из опубликованных источников;

не технические пользователи, которые используют только стилизованные факты,
извлечённые из опубликованных источников.
Все эти категории необходимо учитывать, понимая, что информационные
продукты и услуги, созданные национальной исследовательской командой, должны
напрямую поддерживать каждую из этих категорий пользователей.
5
Ключевые группы пользователей и их потребности:
Индивидуальные обучаемые нуждаются в информации, отражающий их личный
прогресс и учебные потребности. Они, как правило, имеют очень ограниченную
подготовку в области статистики, но имеют высокие стимулы понимать и разбираться в
этой информации.
Учителя нуждаются в информации, чтобы судить о прогрессе конкретных
учащихся
и
чтобы
регулировать
процесс
обучения.
В
условиях
отсутствия
специализированной подготовки, учителя, как правило, не имеют хороших навыков в
использовании статистической информации. Многие из них не имеют высоких стимулов
для систематического поиска и применения статистической информации.
Родители нуждаются в информации, чтобы следить за прогрессом собственных
детей, решать, необходимо ли вмешиваться в деятельность школы или в процесс учения
своего ребёнка. Большинство родителей имеют очень ограниченные статистические
навыки, но высокие стимулы понимать и разбираться в этой информации.
Граждане
нуждаются
в
информации,
чтобы
судить,
обеспечивает
ли
образовательная система достижение значимых для них социальных, образовательных,
здоровьесберегающих и экономических целей и делает ли она это результативно и
эффективно. Большинство граждан имеют очень ограниченные статистические навыки,
незначительный интерес к деталям и нюансам – они хотят и нуждаются в наборе
стилизованных фактов о достижениях системы образования.
Администраторы образования на различных уровнях нуждаются в информации
для различных целей:
Руководители департаментов и директора школ нуждаются в информации о
достижениях учителей в конкретных образовательных областях и о достижениях
специфических групп учащихся (этнические меньшинства, мигранты, дети с
ограниченными
возможностями
и
т.п.)
для
регулирования
приоритетов
преподавания, формирования учебного плана, для формулирования целей
подготовки учителей, разработки компенсаторных программ, демонстрации
достижений
родителям,
необходимость
вышестоящему
выделения
начальству
дополнительных
и
аргументирования
ресурсов.
Руководители
департаментов и директора школ, как правило, признают достаточно удобным
6
использование
статистических
данных,
но
имеют
мало
времени
для
самостоятельного проведения начального анализа.
Руководители и специалисты школьных общественных органов управления
(советы) нуждаются в информации по тем же причинам, что указано выше, но
также для отражения связи школьных достижений и предпринятых ими действий
по улучшению работы школы. Как группа, они имеют смешанные статистические
навыки – конкретные специалисты, как правило, имеют высокие аналитические
навыки и интерес и способны использовать статистическую информацию.
Администраторы
образования
муниципального,
регионального
и
национального уровней, включая специалистов по оценке в специфических
областях и тех, кто ответственен за подотчётность при проведении измерений и
подготовки отчётов, нуждаются в подобной информации по тем же причинам.
Как группа они имеют доступ к статистическим знаниям и необходимым
ресурсам, но нуждаются в стилизованных фактах о достижениях именно в той
области образовательной системы, за которую они отвечают. Их главные клиенты
– политики, включая министров, ответственных за образование и обучение,
учительские союзы и граждане.
Профессиональные союзы, представляющие коллективные интересы учителей,
директоров и школьных советов, нуждаются в информации для защиты интересов своих
членов. Они могут быть агентами влияния как за, так и против изменений. Они имеют
доступ к знаниям и экспертному потенциалу в области статистики, а также высокие
стимулы использовать информацию для поддержки своих позиций.
Общественные лидеры, включая местных политиков, нуждаются в информации,
чтобы оценить производит ли школьная система то, что нужно обществу для достижения
его социальных, культурных и экономических целей. Большинство общественных
лидеров имеет очень ограниченные навыки количественного анализа, но обычно могут
получить доступ к тому, что им необходимо.
Преподаватели образовательных учебных заведений, ответственные за
подготовку новых учителей, нуждаются в информации о результатах использования
современных подходов подготовки учителей, учебного плана и преподавания. Как
правило, эти люди имеют доступ к статистическим знаниям, необходимым для
использования данных assessment.
Неправительственные
организации,
исследовательские
институты
и
социальные защитники нуждаются в информации для отслеживания тенденций в
7
образовательных результатах и для доказательства необходимости структурных и
политических изменений. Как группа эти организации имеют разнородные способности
работать со статистическими данными.
Государственные
деятели
и
политики
в
различных
национальных
министерствах нуждаются в информации для нескольких целей:
Все министерства и министры нуждаются в информации, чтобы понимать
способность своих клиентов использовать различные печатные издания и
оказывать влияние на их коммуникационные стратегии и каналы получения
информации.
Министры труда и их политики нуждаются в информации, чтобы понимать
качество и количество навыков, производимых системой образования, и на этой
основе делать оценку дефицитных навыков.
Министры культуры и их политики нуждаются в информации, чтобы понимать
позиции
языковых
и
культурных
меньшинств
при
использовании
как
официального языка, так и языка меньшинств.
Министры здравоохранения и их политики нуждаются в информации, чтобы
понимать взаимосвязь получаемых навыков и здоровья населения.
Министры социального развития и их политики нуждаются в информации
чтобы понимать тенденции в уровнях навыков и роль, которую играют навыки в
формировании социальной неравенстве в экономических, образовательных,
социальных и других результатах.
Министры сельского хозяйства и их политики нуждаются в информации,
чтобы понимать связь между различными навыками и изменениями в
сельскохозяйственной практике.
Министры индустрии и их политики нуждаются в информации, чтобы
отслеживать наличие высоко квалифицированных рабочих, которые может предоставить
система после школьного образования.
Как правило, министры и их политики не имеют ни высоких навыков
количественного анализа, ни интереса делать такой анализ самим. Обычно они хотят
иметь стилизованные факты, подготовленные их собственными специалистами.
8
Средства массовой информации – печатные и телевидение, прежде всего –
играют центральную роль в распространении результатов любых национальных
систем оценки, поскольку они являются средством, при помощи которых
первостепенная
информация
(main
messages
first)
достигает
многих
пользователей. Неспособность представить средствам массовой информации
объективный отчёт о результатах проведенной оценки, который поощряет
пользователей искать больше информации, может обрекать на безвестность даже
лучшие системы оценки. Подобным образом, и в случае, когда СМИ критически
настроены к программе assessment или формируют сенсационные сообщения,
которые не отражают реальных данных, национальные программы оценки будут
также находится под угрозой. В этом случае национальные исследовательские
команды вынуждены будут проводить много времени «борясь с огнём». Поэтому
следует
очень
скрупулезно
и
внимательно
прорабатывать
стратегии
взаимодействия со СМИ и использования их потенциала.
Как отмечалось выше, системы оценки имеют потенциал порождать победителей
и проигравших. В итоге различные группы пользователей будут предрасположены
поддерживать assessment (или поступать ровно наоборот), в зависимости от того, как они
воспринимают свои коллективные риски.
С
точки
зрения
передачи
информации
и
установления
коммуникации
национальная исследовательская команда должна преследовать следующую цель:

сохранять
поддержку
тех
пользователей,
кто
изначально
поддерживает
проведение программы оценки;

завоёвывать поддержку дополнительных пользователей, кто может занимать
нейтральную позицию или быть в умеренной оппозиции;

обращаться к интересам явных оппонентов, используя сбалансированные и
нейтральные способы во всех публикациях и связанных с оценкой анализах.
Пользователи могут также быть распределены в одну из пяти категорий,
основываясь на их общей предрасположенности по отношению к данным assessment. Это
те, кто

твёрдо уверены в пользе данных assessment;

верят в полезность данных assessment;
9

занимают нейтральную позицию относительно пользы данных assessment;

Сомневающиеся относительно пользы данных assessment;

Враждебно настроенные относительно пользы данных assessment.
Очень важно помнить, что «сомневающиеся» пользователи могут иметь самые
разные основания для своих сомнений. Они вполне оправданно могут чувствовать, что
проведение assessment отвлекает зачастую скудные ресурсы от преподавания или других,
более важных образовательных задач. Или они могут видеть, что результаты assessment
неправильно используются и, как следствие, заявленные цели и результаты
не
достигаются. С другой стороны они могут иметь собственные интересы, которые
подвергаются риску со стороны результатов
assessment. В этом случае они просто
пытаются защищать эти интересы.
1.2
Направления использования данных
Способы употребления данных assessment многочисленны и разнообразны. Они
могут быть разделены на две категории – использование в административных целях и не в
административных целях.
«Административные» способы использования - это те, которые используют
данные для принятия решений, имеющих прямое влияние на человека – будь он студент,
учитель или администратор.
«Административные» способы использования также могут быть разделены на две
категории:

использование для непосредственного образовательного употребления – данные
используются для определения проблем в обучении и мер по их преодолению для
отдельных студентов;

использование для выявления уровня достигнутой квалификации студентов
(школьников) или сертификации, которая имеет некоторую образовательную,
социальную или трудовую рыночную стоимость.
«Не административные» способы использования - это те, которые не имеют
непосредственного отношения к решениям относительно конкретного человека, но скорее
имеют влияние на решения относительно групп людей.
Направления использований в административных целях
В то время как различия между административными способами использования
10
данных могут казаться незначительными с точки зрения последствий для реальной жизни,
использования
в
административных
целях
имеют
тенденцию
налагать
больше
обязательных условий для создания и использования статистической системы.
В противоположность этому не административные использования имеют
незначительное прямое использование результатов отдельных людей в короткой
перспективе, но могут иметь сильное влияние на результаты в долгосрочной перспективе
из-за их воздействия на политику, финансирование или практику.
Примеры административных использований данных включают использование
результатов оценки для определения программ поддержки отдельных студентов или для
определения дополнительных ресурсов для отдельных школ.
Направления использований в не административных целях
Не административные использования данных могут быть классифицированы в
рамках модели, которая включает следующие категории использования:

для информирования политики и разработки программ, т.е. для установления
сущности и масштаба обнаруженных проблем, соответствующих приоритетов и
действий,
стоимости
бездействия
и
ключевых
элементов
вмешательств,
способных улучшить ситуацию;

для наблюдения за индикаторами ключевых результатов и определением какихлибо
непредвиденных
отклонений
от
установленных
тенденций
или
взаимосвязей;

для оценки влияний определённой политики и/или программ предпринятых
действий.
Национальная исследовательская команда должна имеет ясное представление,
какой тип использования она пытается обслуживать, делая определённый тип анализа или
производя определённые продукты или услуги, так как направления использования будут
влиять на выбор техник анализа и представления результатов. Соотношение между
административными и не административными использованиями будет также оказывать
влияние на модель (схему) assessment. Например, assessment, основанный на выборке, не
поддерживает непосредственно административное использование данных программы
оценки.
Контрольные вопросы по теме
11
1.
Какова общая цель маркетинга и деятельности по распространению результатов
программы оценки?
2.
От чего зависит признание результатов программы оценки?
3.
Укажите основные категории пользователей данных программ оценки.
4.
Перечислите ключевые группы пользователей продуктов и услуг программ
оценки.
5.
Опишите информационные потребности ключевых групп пользователей.
6.
Дайте характеристику технической компетентности ключевых пользователей.
7.
Охарактеризуйте административные способы использования данных программы
оценки.
8.
Охарактеризуйте
неадминистративные
способы
использования
данных
программы оценки.
Тема 2.
Информационные продукты и услуги
Перечень основных вопросов по теме
1.
Виды информационных активов (ресурсов), возникающих в рамках программы
оценки.
2.
Продукты и услуги, создаваемые на основе основных информационных активов.
3.
Примеры представления данных для разных пользователей.
2.1
Информационные активы
После обсуждения вариантов использования данных, а также различных групп
пользователей данных assessment и их технической компетентности обратимся к перечню
информационные активы (информационных ресурсов), которые возникают в рамках
программы оценки. Именно они определяют основной набор продуктов и услуг,
обеспечивающий использование результатов assessment.
Менеджеры национального исследования часто недооценивают диапазон этих
активов, что не позволяет реализовать полный потенциал программы. Достижение
максимального воздействия будет зависеть от использования каждого из этих активов.
На самом высоком уровне система национальной оценки предлагает следующую
12
информацию:

структура
(framework)
assessment,
которая
должна
быть
создана
для
регулирования дизайном программы оценки;

банк заданий, которые используются, чтобы оценить умения и помочь в
интерпретации значений результатов;

результаты оценки умений школьников, обычно представляемые как средний бал
или доля учащихся, достигших различных уровней умений и навыков;

характеристика популяции исследования (участников), подготовленная на основе
вопросников, содержащих фоновую информацию и собранных при проведении
assessment или отдельно от неё;

данные о взаимосвязи умений школьников и фоновых характеристик;

образцы (примеры) ошибок для отдельных заданий, используемых при оценке;

стандарт, по отношению к которому будут выноситься суждения об оценённых
умениях;

набор фактических данных оценки.
Каждый из указанных активов может использоваться различными способами.
Ниже дадим примеры того, как эти активы могут быть преобразованы в информационные
продукты и услуги.
2.2
Assessment framework
Framework представляет собой научное основание, на котором здание assessment
будет стоять либо падать. Хороший framework определяет область интересов, выявляют
факторы, определяющие трудность заданий, и устанавливают ключевые аспекты дизайна
теста включая: цели теста; факторы, определяющие сложность теста; диапазон трудности,
который будет охвачен тестом; продолжительность теста; сочетание типов заданий,
который будут включены в тест; описание апробации, которая была проведена с целью
подтверждения валидности, надёжности и сравнимости теста как на уровне заданий, так и
в целом.
Соответствующие продукты и услуги
Framework как правило трансформируется в опубликованный отчёт, который
делается публично доступным до выпуска результатов оценки. Ранняя публикация
направлена на предотвращение критики, связанной с прозрачностью процесса разработки
и научной полноты assessment.
13
Менеджеры национального исследования должны направить framework внешним
экспертам для рецензии на ранней стадии. Это поможет предотвратить критику заранее и
даст национальным командам некоторое заблаговременное предупреждение о природе
любой возможной критики.
Подготовка рецензии должна использоваться для определения уважаемых
внешних мнений, которые могут использоваться, чтобы прокомментировать результаты
оценки, когда последние будут обнародованы. Эти мнения могут помочь противостоять
любой отрицательной реакции на данные, что является ключевым аспектом упреждающей
коммуникационной стратегии.
Как уже отмечалось, assessment framework должен быть заранее опубликован и
широко распространён среди стэйкхолдеров. Везде, где только это возможно, должны
быть сделаны презентации для ключевых стэйкхолдеров, таких как учительские союзы, с
целью демонстрации открытости в подготовке программы оценки.
2.3
Банк заданий
По своей природе assessment framework является слишком техническим и
закрытым. В сравнении с этим реальные задания теста вполне материальны и понятны.
Банк заданий может играть роль максимизации влияния программы оценки или, как
минимум, поможет сократить риск критики. Где только это возможно, национальные
команды должны использовать группы учителей для разработки заданий теста. В
результате
среди
стэйкхолдеров
появятся
группы
хорошо
осведомлённых
и
поддерживающих оценку людей, которые через их действия сможет сделать программу
оценки успешной (или наоборот).
Соответствующие продукты и услуги
Образцы заданий должны быть отобраны и сделаны доступными вместе с
framework не техническим пользователям, чтобы они поняли истинную суть задач оценки.
Задания, которые не имеют прямой связи с замыслом assessment, должны быть
предоставлены исследователям для изучения или для использования в их собственных
научно-исследовательских работах при условии, что они готовы держать эти задачи в
секрете. Такие меры будут направлены против критики секретности и увеличат число
исследователей, которые примут участие оценке и которые, скорее всего, смогут
публично поддержать программу.
2.4
Результаты оценки умений
14
Результаты оценки умений являются часто самыми очевидными и видимыми
результатами программы оценки. Независимо от методов, используемых для определения
достигаемых школьниками умений, эти результаты представляются ограниченным числом
способов:
1.
представление среднего значения достигнутых результатов для различных
подгрупп учащихся;
2.
представление доли достигнутых результатов по уровням умений и навыков.
Примеры для способа 1.
Пример 1. UNESCO OREALC оценка чтения и математики. Представлены средние
результаты по каждой группе школ.
Рис. 2. Средние результаты по группам школ
Этот тип диаграммы показывает изменчивость школьных результатов в
некоторых пределах, но не передает никакой информации об ошибках измерения,
связанных с оценками. Нетехнические читатели неизменно предположат, что все
показанные различия статистически значимы.
Пример 2. International Adult Literacy Survey (IALS). Представляет информацию в
сравнительном виде.
15
Рис. 3. Распределение баллов грамотности
Этот тип графика показывает два важных измерения различий: различия в
среднем значении достигнутых результатов и различия в распределении средних значений
в 5-ых, 25-ых, 75-ых и 95-ых процентилях. В этой диаграмме каждый получает некоторую
идею об ошибках измерения, связанных со средним, через величину тёмной полосы, но
никакой информации о точности оценок в процентилях.
Пример 3. OECD’s PISA.
Рис. 4. Сравнение результатов провинций Канады со странами-участницами в грамотности чтения
Здесь сокращено количество информации, передающей различия в средних
значениях результата, и представлены достижения провинций Канады в сравнении со
странами-участницами. В этом случае представленное среднее значение фактически
покрывает диапазон, который передаёт ошибку измерения, связанную оценкой.
16
Неизменно
авторы
текста
отчёта
должны
дополнять
эти
диаграммам
разъяснительным текстом, потому что немногие читателей имеют навык, чтобы
самостоятельно расшифровать диаграмму.
Пример для способа 2. IALS.
Рис. 5. Сравнительное распределение стран по уровням грамотности
Этот пример из исследования IALS показывает долю участников на каждом
уровне
достижений.
Такое
представление
значительно
уменьшает
количество
предложенной информации, делая эту информацию намного более удобной для усвоения
нетехническими читателями. Интересная особенность этой диаграммы состоит в том, что
она содержит разделительную линию между уровнями 2 и 3, которая определяется OECD
как уровень, достижение которого даёт возможность полного и равноправного участия в
системе после среднего образования и в экономике. Поэтому, можно легко определить,
как много людей конкретной страны находится в зоне «риска».
Все
предшествующие
диаграммы
дают
представление
относительного
ранжирования или рейтинга результатов. Такое представление данных мало полезно для
серьёзного анализа, но способно привлечь внимание к результатам. В итоге,
представленные таким образом данные играют критическую роль в коммуникации
результатов оценки, особенно для нетехническим читателей. Многие эксперты сторонятся
подготовки подобного рода представления данных. Но для национальных команд
исследования гораздо лучше подготовить правильно подобные диаграммы и сопроводить
их интерпретирующим текстом, чем оставить эту задачу инициативным журналистам или
другим «комментаторам», которые часто преувеличивают важность этих данных.
Соответствующие продукты и услуги
17
В качестве продуктов в этом случае выступаю различные диаграммы и
соответствующие комментарии к ним, которые вставляются в тексты отчётов.
2.5
Характеристика популяции исследования
Данный тип информации формирует центральную часть любого сравнительного
отчёта, потому что это анализ, который придаёт социальное и образовательное смысл
результатам. Здесь имеют место фактически два разных типа информации:

данные, полученные из фоновых вопросников, которые представляют только
свою собственную информацию;

данные, полученные из фоновых вопросников, которые представляются в
комбинации результатами оценки.
В последнем случае возможно представление данных двумя способами:

описание соответствующих результатов различных типов студентов;

определение влияния различных факторов на результаты.
Следующий пример, взятый из исследования UNESCO OREALC, показывает
результаты учащихся из различных по величине населённых пунктов.
Рис. 6. Распределение результатов школ по типам населённых пунктов
Ответ на вопрос – Что собой представляю барьеры, которые должны быть
преодолены для достижения лучших результатов? – часто требует применения сложных
18
статистических методов. Желание использовать простые двумерные распределения или
зависимости опасно, потому что поощряет неискушённых пользователей делать слишком
простые выводы из данных.
Следующая схема даёт возможность предположить, какие факторы могут влиять
на достижения учащихся.
Рис. 7. Схема факторов, влияющих на результаты обучения
Цель первичного анализа состоит в том, чтобы установить относительное влияние
каждого из этих факторов. Это поможет сфокусировать реформу образования на тех
областях, которые смогут дать наибольшую отдачу от вложенных инвестиций.
Соответствующие продукты и услуги
Указанные типы анализа включаются в отчёты и представляют собой
комбинацию графиков, диаграмм и статистических таблиц.
2.6
Взаимосвязь умений школьников и фоновых характеристик
Обеспечение законных ответов на вопросы относительно связи достижений
учащихся и фоновых факторов требует применения многомерных и многоуровневых
методов анализа. Потребность в этих инструментах может быть непосредственно связана
с природой образовательных систем. В основном, системы образования сложны и
динамичны - это многоуровневые системы, в которых переменные взаимодействуют на
различных уровнях. Многомерные и многоуровневые статистические методы имеют
большие возможности в объяснение причин полученных результатов.
Эта диаграмма, взятая из PISA, представляет данные для анализа разницы в
умениях как в пределах школ, так и между школами. Это даёт точку отсчёта для того,
19
чтобы думать, какие возможности для вмешательства можно предусмотреть.
Рис. 8. Распределение результатов учащихся по чтению в пределах школ и между школами
Приведённые ниже данные UNESCO OREALC Laboratorio показывают как
навыки связаны с образованием родителей – это способ понять проблемы справедливости.
Международные оценки показали, что образовательные системы, которые уменьшают
отклонение в учебных результатах в зависимости от принадлежности к конкретному
социальному классу, также достигают более высокого среднего балла в рамках программ
оценки.
Figure 2a
Sociocultural Gradients for Language Scores,
by Country
360
Cuba
340
Language Score
320
Chile
300
Argentina
Brasil
280
Columbia
Paraguay
Venezuela
260
Ho
240
Bolivia
Mexico
ras
ndu
Dominican
Republic
220
200
0
1
2
3
4
5
6
7
8
9
10 11 12 13 14 15 16
Parents' Education (Years of Schooling)
Рис. 9. Связь результатов теста с уровнем образования родителей
Соответствующие продукты и услуги
20
Эти типы анализа обычно имеют форму отчётов, что по сути своей является
трудным для понимания многих пользователей. Эта проблема может быть частично
решена за счёт подготовки нетехнического резюме, в котором приводятся основные
полученные данные.
2.7
Тематические отчёты
Предшествующие примеры имели дело с представлением данных о результатах
обучения для всей совокупности учащихся, вовлечённой в программу оценки.
Национальные исследовательские команды могут
достигнуть
намного большего
воздействия, если они планируют производство аналитических продуктов, которые
сосредотачиваются на специфических темах или подгруппах, ориентированы на
определенную аудиторию или связаны с конкретными политическими интересами.
Например, национальные программы оценки в развитых экономических системах OECD
часто производят тематические доклады, которые смотрят на основные языковые
меньшинства, студентов со специальными потребностями или сельских студентов.
2.8
Примеры ошибок
Большая
часть
статистического
анализа
данных
национальных
оценки
сосредотачивается на положительных аспектах учебных достижений и на том, какие
факторы объясняют наблюдаемую разницу в учебных достижениях. Этот анализ
позволяет определять, какие шаги различные акторы в системе образования могут
предпринять, какова отдача возможна для различных действий и какие группы получат
эффект от этих действий. Но для системы национальной оценке очень трудно, однако,
собрать достаточное количество информации относительно поведения учителей, особенно
относительно того, что и как они преподают. Это значит, что трудно использовать
результаты assessment для вовлечения преподавателей в процесс систематических реформ,
потому что анализ не указывает им каких-либо способов для изучения и изменения их
собственной учительской практики.
Почти
забытый,
но
потенциально
мощный
источник
информации
для
преподавания может быть получен через исследование типовых ошибок при выполнении
заданий assessment. Такого рода анализ может служить для определения, какая часть
учебного плана должна быть изменена или где преподавание нуждается в усилении.
Соответствующие продукты и услуги
Эти типы анализа обычно имеют форму отчётов, которые анализируют
подмножество заданий, которые фокусируются на специфических аспектах учебного
21
плана. Такой анализ требует комбинации статистического анализа и глубокого понимания
учебного плана и учебной практики.
2.9
Стандарты
Большинство систем оценки, явно или неявно, определяют стандарты выполнения
(достижения) одного вида или другого. Важно, что менеджеры национального
исследования принимают во внимание стандарты достижений, которые воплощены в их
оценивании. Эти стандарты обычно принимают две формы.
Первый тип стандарта – это неявный стандарт, представленный response
proficiency (правильными ответами), отобранными для установки уровней достижений.
Response proficiencies (RP) имеют большое значение для интерпретации того, что значит
достигать конкретного уровня умений. Используя статистический язык PR 50 показывает
(не раскрывая, что значит трудность в терминах умений), что учащимся достаточно
решить правильно только половину из всех предложенных заданий, чтобы достичь
соответствующего уровня умений. Например, PISA использует значение PR 62,5%, а IALS
– 80% (то есть учащиеся должны дать не менее 62,5% или не менее 80% правильных
ответов для достижения конкретного уровня в рамках этих исследований).
Второй тип стандарта, как правило, более явный. Для школ этот стандарт обычно
устанавливается в терминах ожидаемых достижений, группируя уровни достижений в
такие категории как «не достиг ожидаемых результатов», «достиг ожидаемых
результатов», «превзошёл ожидаемые результаты». Такие стандарты опасны для
менеджеров национального исследования. Менеджеров поощряют устанавливать таких
стандарты ещё до того, как получены данные исследования, и иметь их одобренными
политиками и чиновниками.
Соответствующие продукты и услуги
Рекомендуется публиковать описание этих стандартов, а также характеристику
критериев и процесса, которые использовались для получения стандартов.
Процесс формирования стандартов должен, по возможности, реализовываться не
командой программы assessment. Группа, разрабатывающая стандарты достижений,
должна включать представителей всех ключевых групп – родителей, учителей, местного
сообщества. Такие действия позволяют заинтересовать представителей ключевых групп,
делая их думающими о результатах assessment, и позволяют достичь согласия
относительно проведения необходимых действий.
22
2.10 Продукты для родителей, учителей, директоров, руководителей
образования
В зависимости от используемого подхода для построения выборки исследования
система assessment может содействовать в получении продуктов, предназначенных для
удовлетворения потребностей родителей, учителей и директоров. Эти продукты могут
быть четырёх видов.

Статистические отчёты, предоставляющие данные относительно фактических
достижений учащихся.

Статистические отчёты, предоставляющие данные относительно достижений
учащихся,
школ,
школьных
округов,
которые
обладают
общими
характеристиками.

Резюмирующие отчёты, определяющие задачи и действия, которые могут быть
выполнены различными акторами с целью улучшения ситуации.

Учебные сессии для подготовки или повышения квалификации, в рамках которых
используется статистический анализ для определения слабостей в преподавании и
стратегий, которые могут помочь улучшить достижения всех учащихся или
какой-либо особенной подгруппы. Сессии (совещания), которые фокусируются на
преподающих учителях, будут иметь, как правило, немедленное влияние, тогда
как влияние обучение в рамках подготовки учителей будет значительно
отложенным до тех пор, пока произойдёт накопление.
2.11 Фактические данные
Фактические данные оценки – это актив, которым зачастую пренебрегают. В
своей «сырой» форме они доступны немногим потенциальным пользователям. Барьеры,
которые препятствуют широкому использованию, в значительной мере носят технический
характер,
но
также
включают
проблемы,
связанные
с
секретностью
и
конфиденциальностью результатов. Однако менеджеры национального исследования
могут предпринять шаги для преодоления этих барьеров, инвестируя незначительные
средства в создание инструментов работы с данными и доступа к ним.
Соответствующие продукты и услуги
Традиционный способ удовлетворения нужд вторичных пользователей состоит в
подготовке и публикации огромных томов статистических таблиц. Такие публикации
затруднительны в использовании и зачастую не ориентированы на специфические
потребностей пользователей. Коммерческие продукты типа IVISION делают доступными
23
без особого труда большие объёмы различных таблиц. Другие продукты, такие как
интерактивный инструмент работы с данными Educational Testing Service (Служба
образовательного тестирования), предоставляют пользователям на основе web решений
формировать любые таблицы без особых трудностей, практически за счёт использования
щелчка компьютерной мышкой.
Многие программы оценки предпочитают выпускать для общественного
использования файлы с микро данными и соответствующей технической документацией
для тех пользователей, которые хотят иметь возможность защиты данных конкретных
студентов, учителей и школ. Там, где пользователям требуется доступ к запрещённым
переменным, национальная команда может настраивать удалённый доступ, когда внешние
пользователи за счёт использования секретного кода могут получать доступ к таким
данным.
2.12 Подготовка национального отчёта
Национальный отчёт является наиболее явным и наиболее полезным из всех
продуктов,
которые
могут
быть
подготовлены
на
основе
данных
программы
национальной оценки. И всякая подобная программа нуждается в наличии такого
продукта.
Хорошо разработанный национальный отчёт имеет несколько целей. Среди
основных целей можно указать следующие:

описание целей, которые были достигнуты за счёт программы оценки, а также
того, что было измерено;

предоставление читателям понимания того, как инструментраий оценки был
разработан;

обоснование, почему важно то, что было измерено;

пояснение как и когда были собраны данные;

объяснение, как результаты достижений учащихся были подытожены;

описание источников ошибок, которые имеют место, и того, как эти ошибки
влияют на интерпретацию результатов и их использование;

представление полного распределения результатов достижений учащихся и того,
как достижения варьируются среди различных групп учащихся;

рассмотрение факторов, которые оказывают влияние на результаты достижений
учащихся;
24

определение, где это возможно, тенденций и закономерностей в результатах
достижений учащихся;

формулирование сбалансированных выводов о возможных последствий для
образовательной политики;

предоставление подробных статистических таблиц для проведения вторичного
анализа.
На основании отчёта следует проводить анализ, который будет проливать свет на
реализуемые реформы и изменения в образовании. Можно определить несколько видов
политических интервенций (действий), каждый из которых нуждается в собственном типе
анализа и управлении представлением данных.
Универсальные вмешательства, которые предназначены для улучшения
результатов обучения всех учащихся независимо от их персональных характеристик. Как
пример можно указать улучшение методов преподавания, повышение зарплаты всем
учителям, усовершенствование учебного плана.
Целевые вмешательства принимают несколько различных форм, зависящих от
критериев, используемых для определения целей:
Вмешательства, направленные на учебные достижения. Они определяют
детей со специальными образовательными потребностями основываясь на
некоторой оценке и предоставляют этим детям специальные услуги. Это могут
быть программы ранней профилактики, программы коррекции и восстановления,
стандарты окончания этапов обучения или повторного обучения.
Вмешательства, связанные с социально-экономическим статусом (СЭС)
учащихся. Эти вмешательства напрямую предназначены для влияния на
когнитивные результаты учащихся с низким СЭС. Это может включать
программы, которые уменьшают сегрегацию (изоляцию) детей с низким СЭС.
Компенсирующие или уравнивающие вмешательства. Эти вмешательства
предполагают непрямое влияние на когнитивные результаты учащихся. Среди
них программы школьного питания, программы перечисления средств родителям.
Вовлекающие вмешательства. Эти вмешательства предполагают родителям
возможность выбора школы. Это могут быть, например, именные ваучеры.
Эти виды вмешательств, в свою очередь, отражают политические предпочтения в
стране и те вещи, которые система оценивает как результаты, например, справедливость,
достижения элит и т.д.
25
Данные оценки могут использоваться, чтобы проливать свет на эти предпочтения,
но при этом нужно быть уверенным, что были детально описаны различные
демографические группы учащихся и что проведённый анализ включает исследование
распределения учебных результатов среди всех этих различных групп.
Контрольные вопросы по теме
1.
Перечислите основные информационные активы, возникающие при проведении
программы оценки?
2.
Дайте характеристику каждого из информационных активов?
3.
Опишите продукты и услуги, которые могут быть подготовлены на базе каждого
информационного актива.
4.
Укажите
виды
продуктов,
которые
предназначены
для
удовлетворения
потребностей родителей, учителей и директоров.
5.
Каково назначение национального отчёта по итогам проведения национальной
оценки?
6.
Опишите типы политических действий, которые могут осуществляться с
использованием данных, представленных в национальном отчёте.
Тема 3.
Разработка стратегии диссеминации
Перечень основных вопросов по теме
1.
Способы распространения продуктов и услуг и их характеристика.
2.
Методы вторичного распространения продуктов и услуг.
3.
Разработка коммуникационной стратегии.
Создание продуктов и услуг (в области assessment) – это только часть процесса,
гарантирующего, что аналитические результаты достигнут желаемой аудитории. Вторым
шагом является разработка диссеминационной стратегии – которая в большей степени
имеет дело не с тем, что должно быть произведено, а с тем, как эти продукты могут быть
получены целевой аудиторией. Диссеминационные стратегии помогают обеспечить
максимальное проникновение продуктов и услуг в ключевые целевые аудитории.
26
Разработка диссеминационной стратегии включает:

определений первичных и вторичных способов распространения (доставки),
которые будут использованы для каждого продукта и услуги;

установление ценовой политики;

определение шагов, которые будут предприняты и будут гарантировать, что
ключевые пользователи и адресаты узнают об имеющихся продуктах и услугах.
3.1
Первичные способы распространения продуктов и услуг
Информационные продукты и услуги могут быть доставлены до потенциального
потребителя через несколько каналов, включая

печатные отчёты

электронные отчёты, которые могут быть расположены в Интернет или хранится
на CD, дискетах и картах памяти;

радио;

телевидение;

мультимедийные продукты.
Различные методы имеют различные характеристики и совокупности параметров.
Остановимся на некоторых из них.
Печатные отчёты
Продукты, напечатанные на бумаге дороги за счёт стоимости бумаги и самой
печати. Они также дороги за счёт хранения и перевозки, так эти расходы занимают
ощутимую долю в их стоимости. Очевидно, что цена только мешает распределению
достаточного числа копий среди всех потенциальных пользователей – невозможно
напечатать доклад по результатам исследования для всех желающих.
У печатных продуктов существуют свои достоинства – они вещественны и
осязаемы; не требуют специальных технических устройств для использования (например,
для электронных продуктов нужен компьютер); традиционно более привычны; обычно
привлекательны, если тщательно выполнены.
При этом печатные продукты «дружественны» только по отношению к своим
владельцам. Если кому-то другому нужно будет познакомиться с данными отчёта, то
потребуется, чтобы эти пользователи переписывали необходимые им сведения вручную.
Конечно, иногда есть возможность воспользоваться сканером или копировальным
аппаратом, но это зачастую требует дополнительных расходов времени и/или средств.
27
Электронные отчёты
Электронные продукты недороги для воспроизводства при наличии мастер копии,
но предъявляют к пользователям несколько требований. Во-первых, они должны иметь
необходимые технологические возможности доступа к продуктам – Интернет канал с
достаточной пропускной способностью, внутренние или внешние устройства в случае
использовании CD, дискет или карт памяти. Также необходимо иметь специальное
программное обеспечение для просмотра файлов – например, Acrobat Reader для PDF
файлов, - и оборудование и расходные материалы, если необходимо напечатать копии –
например, принтеры с соответствующим набором шрифтов, цветом и разрешением, а
также качественную бумагу.
Радио
Радио имеет более ограниченную пропускную способность по отношению к
передаваемым объёмам информации, чем продукты на печатной основе. Но радио может
достичь гораздо большее количество представителей некоторых групп пользователей, по
сравнению с печатными или электронными продуктами. Например, для него более
доступно население с низкими навыками грамотности. Радио относительно недорого для
производства и трансляция, радио передача может быть неоднократно повторена, что
будет способствовать максимальному охвату целевой аудитории. Кроме того, радио
передача
может
быть
записана
на
электронные
носители
и
потом
повторно
использоваться.
Телевидение
Телевидение, несомненно, способно охватывать большое число конечных
пользователей, Телевидение из всех СМИ имеет самый большой охват и самое сильное
влияние на массовую аудиторию. Оно является уникальным каналом информации, так как
воздействие на зрителя осуществляется сразу по двум важнейшим каналам восприятия движущиеся образы плюс звук.
Но используемые при телевизионном вещании информационные сообщения, как
правило, гораздо короче, чем в продуктах на печатной основе. Информация может быть
наглядно запечатлена в телевизионных продуктах, но большинство сообщений должны
быть тщательно сокращены до небольшого размера. Множество важных нюансов
зачастую оказываются потерянными при этом процессе. Повторная трансляция и
распространение видео кассет может гарантировать, что TV продукция достигнет
большей аудиенции. Распространение TV продукции зависит от того, имеют ли
пользователи доступ к телевидению и/или использованию видеомагнитофона.
28
Мультимедийные продукты
Мультимедиа продукты обладают большинством характеристик электронных
образцов, но могут делать ключевую информацию доступной для пользователей с более
широким набором технических навыков. Как правило, они представляют собой набор
упорядоченной информации с использованием динамических изображений, звука,
различных графических объектов и текстов. Они
требуют специализированного
оборудования для производства, но не намного более дорогого, чем электронные
продукты на печатной основе.
Следует отметить, что национальные стратегии по распространению результатов
программ assessment могут использовать многочисленные каналы для одних и тех же
продуктов с целью увеличения их проникновения на рынок.
3.2
Каналы вторичного распространения и маркетинговые мероприятия
В этом вопросе необходимо сосредоточиться на определении основного набора
продуктов и услуг для достижения планируемой целевой аудиенции, а также для
поддержки их намерений по использования данных assessment. Как уже было замечено
ранее, большинство этих пользователей не имеют ни потребностей, ни интереса к
получению детальных результатов исследований. Скорее они нуждаются в получении
весьма общей информации. Но даже те пользователи, которые нуждаются или хотят
получить детальные результаты исследования, должны сначала узнать, что результаты
исследования существуют и они достойны внимания.
Эти рассуждения показывают необходимость наличия группы дополнительных
продуктов, которые представляют в обобщённом виде информацию, полученную из
подробных первичных информационных продуктов (таких, как, например, полные отчёты
о результатах исследований). Эти дополнительные продукты анонсируют наличие и
полезность
первичных
продуктов
для
соответствующей
аудитории.
Хорошо
подготовленные, эти продукты могут иметь неоценимое влияние на успех программы
assessment.
Эти продукты включают:
Реклама
Эффективная стратегия диссеминационная стратегия состоит в отправке
полезных и важных информационных сообщений всему списку ключевых пользователей.
В самом простом виде они могут принимать форму сообщений электронной почты или
29
обычных писем. Более сложные сообщения могут включать резюме из полученных
ключевых данных, вплоть до включения копии полного отчёта в любую версию
сообщений – электронную или бумажную.
Хотя и по сути понятные, такие виды деятельности забирают значительную часть
работы исследовательской команды, так как

необходимо тщательно подготовить и проверить текст сообщения;

списки адресатов должны быть сформированы и проверены на
полноту и
отсутствие дублирования;

любые вставки и вкладыши должны быть подготовлены и разложены, а сами
материалы должны быть отправлены по почте.
В конечном счете, обязательное условие эффективного использования рекламных
материалов будет состоять в том, чтобы иметь дело с любыми информационными
запросами, которые возникают у ключевых пользователей. Неспособность предвидеть и
выявлять такие запросы может привести к потере реальных и потенциальных сторонников
программ оценки.
Брифинги для ключевых внутренних стэйкхолдеров
Команда образовательного оценочного исследования должна уделять часть своего
времени для подготовки брифингов для ключевых внутренних стэкхолдеров, в
особенности для высокопоставленных чиновников и политиков. Эти группы редко имеют
интерес к чтению реальных отчётов, скорее они должны знать, какие самые важные
результаты получены и каким коммуникационным проблемам (в общении с прессой,
представителями широкой общественности) они должны быть готовы противостоять
после публикации результатов.
Такие брифинги необходимо проводить даже в том случае, если новости плохие,
так как политики очень часто могут находить пути, чтобы придать негативным
результатам позитивную интерпретацию и использовать их для своей выгоды. Можно
вызвать крайние негодование политиков, если они будут пойманы врасплох из-за
отсутствия у них соответствующей информации. Исследовательская команда может
заплатить высокую цену, если она по неосторожности введёт эти группы в заблуждение.
Но
также
следует
знать
и
помнить,
что
и
хорошие
новости
могут
приветствоваться политиками далеко не всегда, так как такого рода новости не являются
аргументом для привлечения дополнительных ресурсов. Если и так всё хорошо, то зачем
тратить лишние средства на улучшение ситуации.
30
В большинстве случаев чиновники и политики нуждаются только в самых общих
технических деталях по поводу того, как данные были собраны и проанализированы.
Иные тесно связанные с предыдущим продукты и услуги
Эти продукты и услуги, как правило, принимают две формы:

письма или короткие записки для Министра и высокопоставленных чиновников;

PowerPoint презентации с наглядными примечаниями и комментариями.
Брифинги для ключевых внешних стэйкхолдеров
Эти продукты похожи на продукты, подготовленные для ключевых внутренних
стэйкхолдеров, но, как правило, отличаются от них по трём важным отношениям:

они исключают любые обсуждения коммуникационных проблем, возникающих
на основе полученных данных;

они включают больше информации относительно того, как данные были собраны;

они представляют более широкий диапазон фактических результатов.
Эти продукты обычно имеют форму PowerPoint презентаций, которые доступны в
электронной и бумажной формах.
Эти продукты могут также иметь форму речей и выступлений, произнесённых
политиками и высокими государственными
чиновниками. Эти брифинги часто
привлекают внимание СМИ, но рискованны, потому что:

трудно уберечь выступающих от отклонений от предварительно согласованных
заявлений и сообщений;

журналисты и заинтересованные группы часто имеют
интерес к созданию
сенсаций и искажению ключевых фактов.
Эти пользователи хотят иметь эти продукты в электронной форме, потому что в
таком случае они получают возможность заново использовать весь материал или его часть
в коммуникациях со своими собственными клиентами и группами.
Пресс-релизы, пресс-конференции и материалы для прессы
Как будет отмечено далее, настоятельно рекомендуется, чтобы национальные
исследовательские команды готовили пресс-релиз в связи с выпуском каждого продукта.
Команда образовательного оценочного исследования имеет альтернативу –
провести реальную пресс-конференцию, на которую приглашаются журналисты и другие,
или просто выпустить релиз.
В любом из этих вариантов рекомендуется готовить набор материалов для прессы
31
с целью поддержки выпуска текста продукта. Материалы для прессы часто содержат ту же
информацию,
что
и
материалы,
подготовленные
стэйкхолдерами, но также включают
для
брифинга
с
внешними
серию вопросов и ответов по наиболее часто
задаваемым вопросам, например, таким, как «сколько стоит программа оценки?».
Материалы для прессы обычно распространяются в день выпуска релиза
совместно с проведением презентации, сопровождаемой сессией вопросов и ответов.
Такие действия значительно повышают вероятность того, что СМИ будут отражать
ситуацию правдоподобно и критиковать ключевые сообщения без их искажения.
Интервью с журналистами: телевидение, радио и печать
Открытые пресс-конференции рискованны. Мене рискованный способ заручиться
поддержкой журналистов различных СМИ – это провести с ними интервью. Нужно
внимательно подходить к приглашению журналистов к проведению интервью, чтобы
избежать обвинений в фаворитизме или сильной подконтрольности.
Публицистические статьи
Действенный
способ
привлечь
внимание
к
результатам
assessment
и
контролировать при этом выход в СМИ нужных сообщений – это опубликовать
необходимый текст на тех страницах печатных СМИ, на которых обычно печатаются
статьи публицистического характера, выражающие точку зрения их автора. Такие
небольшие тексты пишутся, чтобы донести ключевую информацию до широкой публики
(а не до узких специалистов)
и могут включать интерпретации результатов и
рекомендации для выработки политики. При этом надо тщательно и осторожно подходить
к выбору автора статьи. Желательно, чтобы это был не член исследовательской команды
или
представитель
министерства
образования
(основной
заказчик
проведения
исследования), а авторитетный уважаемый, который широко известен широкой публике и
занимает нейтральные позиции.
Статьи (дополнения) в бюллетени
Простой и эффективный способ достичь ключевой целевой группы это вставить
материал в существующие newsletters (бюллетени). Например, можно обратиться к
учителям и школьным руководителям через их союзы или профессиональные ассоциации.
Такой материал (статьи или краткая информация) могут принимать форму простого
рекламного объявления или краткого описания полученных в ходе исследования данных.
Конференции и симпозиумы
Конференции и симпозиумы представляют собой механизм информирования о
32
доступных результатах исследования и основных обнаруженных фактах ключевых
стэйкхолдеров наиболее полным и детальным способом. Они также могут служить
средством достижения консенсуса по поводу того, что значат обнаруженные результаты и
какие шаги следует предпринять для исправления любых проблем, определённых в
данном исследовании. Они также представляют наглядные данные политикам и
чиновникам, но это может стать и палкой о двух концах, если результаты исследования
плохи или оспорены.
Национальные
исследовательские
команды
могут
организовывать
свои
собственные конференции. Такие действия позволяют обеспечивать наилучший контроль
над содержанием и обменом информацией, но требуют больших организационных и
финансовых усилий.
Альтернативой является участие в уже существующих событиях, таких как
ежегодный съезд учителей. Организаторы таких событий обычно рады заполнить место в
программе конференции и предложить место на выставочной экспозиции, что позволяет
продвигать результаты исследования.
3.3
Разработка стратегии обмена информацией (коммуникационная
стратегия)
Заключительный шаг, обеспечивающий максимальное влияние результатов
assessment включает разработку коммуникационной стратегии.
Всякая коммуникационная стратегии включает несколько шагов:

достижение соглашения по количеству и содержанию ключевых сообщений,
которые будут последовательно и единообразно озвучиваться официальными
спикерами (при выступлении чиновников);

предвидение вопросов, которые будут задаваться представителями СМИ и
заинтересованных сторон, и подготовка стандартных ответов для них;

предвидение того, как журналисты и интересующиеся группы будут пытаться
искажать ключевые сообщения и продумывание стратегий для борьбы с такими
попытками;

разработка механизмов наблюдения за подготовкой отчётов о результатах
исследования для широкой публики и конкретных лиц (например, для министра
образования), регулирования процесса обмена сообщениями, где это необходимо,
и реагирования на случаи неправильного использования данных в реальном
33
времени.
В соответствии с дизайном любые системы образовательного оценивания
производят огромное количество индивидуальных данных (по каждому учащемуся,
принявшему
участие
в
исследовании).
Поэтому
первый
шаг
при
разработке
коммуникационной стратегии состоит в «переваривании» всех таких данных в несколько
ключевых сообщений (выводов), которые могут быть последовательно и единообразно
выражены всеми ключевыми спикерами (людьми, которые будут доносить через свои
выступления, эти выводы) и которые будут отражены во всех итоговых документах типа
пресс-релизов.
Должным образом задуманная и осуществлённая стратегия диссеминации будет
обеспечивать принятие
ключевыми пользователями созданных продуктов и услуг,
побудит их узнавать ещё больше об этих продуктах. Цель коммуникационной стратегии
состоит в тщательном управлении первым впечатлением пользователей относительно
того, что особенного конкретный продукт может им предложить.
Если этот процесс обмена спроектирован и управляется неумело, то тем самым вы
предоставляете пользователям свободу выносить свои собственные суждения по поводу
качества и полезности для них продуктов и услуг. А это крах вашей стратегии. Нужно
научиться формировать позитивное отношение потребителя к вашим услугам.
Предположим, что вы сумели заинтересовать потребителей. Следующий шаг –
это гарантировать, что они получат ясные и не узко технические (сугубо специальные)
ответы на любые вопросы, которые у них могут возникнуть относительно того, что значат
основные полученные данные, а также на стандартные вопросы журналистов: кто, что,
когда, где, почему, как и сколько. Эти ответы должны быть подготовлены заранее,
проверены на техническую правильность и точность, проверены нетехническими
специалистами, (чтобы понять, ясны ли ответы широкой аудитории) и отрепетированы
всеми официальными выступающими до выпуска релизов этих продуктов.
Команде
образовательного
оценочного
исследования
также
необходимо
предвидеть как журналисты и интересующиеся группы будут пытаться исказить или
представить ключевые сообщения с целью достижения своих собственных интересов.
В случае с журналистами это обычно принимает форму создания ключевых
сообщений в более сенсационном формате и менее обоснованно. Они обычно делают это,
пытаясь заставить ключевых спикеров делать необоснованные выводы или суждения
относительно ценности полученных данных. Журналисты очень опытны и умеют
получать такого типа информацию даже у хорошо подготовленных людей. Настоятельно
34
рекомендуется, чтобы
официальные выступающие проходили медиа-тренинги и
участвовали в «ложных» интервью со своими коллегами, выступающими в роли
«враждебных» журналистов.
В случае с представителями заинтересованных групп это часто принимает форму
утверждений относительно полученных данных, которые (утверждения) не могут быть
обоснованы полученными данными. Думая об этом заблаговременно, ключевые
сообщения могут быть обработаны таким способом, который делает их гораздо более
трудным для этого типа неправильного употребления, имеющего большее воздействие.
Исследовательские
команды
будут
часто
просить
(и
где-то
провоцировать)
комментировать утверждения третьих лиц, пытаясь тем самым создать конфликт. В таких
ситуациях самое безопасное воздержаться от комментариев высказываний третьих лиц,
интерпретирующих полученные данные. Лучше, вместо этого,
использовать шанс
повернуть ситуацию в свою сторону, чтобы повторить ваши собственные ключевые
сообщения.
Но есть одно исключение – это когда третьи лица, будь они журналисты или
заинтересованные группы, делают ошибки в фактах. В этих случаях представители
национальной исследовательской команды должны реагировать настолько быстро, как
только это возможно.
Реагирование в режиме реального времени предполагает наличие механизма, при
помощи которого можно отследить реакции на исследование. Исследовательские команды
фактически должны иметь две параллельных системы – одна для наблюдения за реакцией
на представленные данные и продукты со стороны широкой публики, а другая – за
реакцией отдельных конкретных лиц.
Мониторинг общественного мнения может быть осуществлён несколькими
путями. Во многих странах возможно приобрести услуги по изучению ключевых СМИ и
упоминаний в них соответствующей информации, которые носят название медиамониторинг. В результате вы сможете получить детальный отчёт, подготовленный
профессиональной компанией, специализирующейся в этой области. Гораздо более
дешёвый способ – это иметь в команде сотрудника, который будет самостоятельно
отслеживать всю эту информацию.
Мониторинг индивидуальных мнений и реакций - это более сложная задача, но
зачастую гораздо более важная. Этот мониторинг лучше всего выполнять через личную
коммуникацию с несколькими ключевыми пользователями – по телефону или лично,
чтобы была возможность проводить искренний обмен мнения. У вас могут быть большие
35
неприятности, если ваш Министр недоволен из-за отсутствия данных (и продуктов) или
из-за того, что они ему кажутся неадекватными. Тоже самое можно сказать и в отношении
руководителя
учительского
союза
и
ключевых
старших
чиновников
в
вашем
министерстве. Составьте список этих ключевых фигур и удостоверьтесь, что вы знаете,
довольны ли они, и, если нет, то чем они обеспокоены.
Информация из обоих источников должна рассматриваться и обсуждаться
систематически и с регулярными интервалами – очень часто в период, немедленно
следующий сразу за выпуском ключевых продуктов и менее часто после этого. Цель
работы по рассмотрению такой информации состоит в том, чтобы видеть, как ключевые
сообщения воспринимаются потребителями, как они могут быть приспособлены под
нужды конкретных сторон и насколько быстро можно предотвращать возникающие
ошибки в фактах.
Руководители исследовательской команды должны определить конкретного
специалиста, который будет управлять всей этой деятельностью.
Контрольные вопросы по теме
1.
Каковы основные составляющие элементы диссеминационной стратегии?
2.
Укажите основные
первичные каналы распространения информационных
продуктов и услуг.
3.
Дайте характеристику каждого из первичных каналов распространения продуктов
и услуг.
4.
Каковы возможности и ограничения каждого информационного канала?
5.
Дополнительные информационные продукты и их предназначение.
6.
Укажите основные виды дополнительных продуктов и дайте их характеристику.
7.
Опишите назначение коммуникационной стратегии и её основные элементы.
8.
Сформулируйте список вопросов, связанных с программой оценки и которые
больше всего интересуют СМИ.
9.
Как осуществляется мониторинг реакции представителей ключевых групп на
опубликованные результаты оценки.
36