History

Monitoring of the adequacy
and effectiveness
of the educational process
perceived by students
Контроль адекватности и
эффективности образовательного
процесса восприниманныx студентами
Experience
Опыт
Assoc. Prof. Ing. Peter Makýš, PhD.
Vice –Dean for Education
Заместитель декана по учебной работе
History
The time before 1989
(Период до 1989 года)
• from 1948 to 1989 - totalitarian system
(c 1948 по 1989 год - тоталитарная система)
•
•
•
•
poor discussion
(плохая дискуссия)
prescriptive control (строгий контроль)
strict hierarchy
(строгая иерархия)
only some teachers collected students´ opinions
(только некоторые учителя
собрали мнения студентов)
2
History
After year 1989
(После 1989 года)
• first try to collect students´ opinions
(первая попытка собрать мнения студентов)
• question arose „How to use responses?“
(Возник вопрос "Как использовать ответов?„)
• report for management and heads of departments
(Отчет для управления и руководителей департаментов)
• the most of students´ suggestions lost
(большинство предложений студентов потерялocь)
• participation was falling down (Участие падалo)
3
History
Year 2006 - establishing of AIS (academic information system)
2006 год - создание АИС (академическая
информационная система
AIS provides information for university staff, students and
general public:
(АИС предоставляет информацию для сотрудников
университета, студентов и широкой общественности:)
•
•
•
•
study programs
subjects
marks
...
(Учебные программы)
(предметы)
(оценка)
4
History
Number of
operations in AIS
Use of AIS Использование АИС
Количество
операций в АИС
90 000 000
80 000 000
70 000 000
60 000 000
50 000 000
40 000 000
30 000 000
20 000 000
10 000 000
0
2006
2007
2008
2009
2010
2011
2012
year
5
History
Year 2008 - establishing voluntary anonymous
assessment by students in AIS
2008 год - создание добровольной анонимной оценки студентов в
АИС Количество участников
800
Number of participants
700
600
500
672
400
457
300
200
306
283
12%
8%
7%
2009/10
- WS
2009/10
- SS
2010/11
- WS
100
18%
0
2008/09
- SS
6
Process of assessment needed a change
(Процесс оценки требовал изменения)
Tasks:
(Задачи:)
• To prepare marketing for students:
(Для подготовки маркетингу для студентов:)
– explain importance to students
(объяснение значения для студентов)
(e-mails, posters, help from students' Association)
– motivation
(мотивация)
• points into waiting list for accommodation in college
(пункты в очереди на жилье в студенческом
общежитии)
• AIS provides results of students evaluation of all
subjects
7
Process of assessment needed a change
– Motivation
• points into waiting list for accommodation in college
• AIS provides results of students evaluation of all subjects
• prizes from sponsors (drawing winners)
USB keys, notebooks
(USB-ключи, блокноты)
Excursion in wine cellar
(Экскурсия в винный погреб)
8
Process of assessment needed a change
Tasks:
• to prepare marketing for students:
• to prepare system for using of students´ responses
(подготовить системы для использования ответов студентов)
– two groups of students´ responses:
( две группы ответов студентов:)
• responses about subjects
(ответы о предметах)
• general responses about faculty (общие ответы)
9
Process of assessment needed a change
Who solves student comments?
(Кто оценивает комментaрии студентoв?)
• for subject: - guarantees of subjects
(по предмету: - гарант предметa)
- guarantees of study programs
- heads of departments
(гарант учебной программы и начальник департ.)
• general comments - heads of faculty
(общие замечания - руководители факультета)
10
Process of assessment needed a change
Tasks:
• to prepare marketing for students:
• to prepare system for using of students´ responses
• to prepare feedback
E-mail, magazine „Spectrum“, website
(подготовить ответную реакцию: Электронная почта,
журнал «Спектр», веб-сайт)
11
Development of students´ participation after
establishing of changes
(Развитие участия студентов после установления изменений)
1400
3600 students FCE
Number of participants
(Количество участников)
1200
1238
1000
1044
939
800
600
4x
672
400
457
200
306
283
18%
12%
8%
7%
25%
28%
35%
2008/09
- SS
2009/10
- WS
2009/10
- SS
2010/11
- WS
2010/11
- SS
2011/12
- ZW
2011/12
- SS
0
Establishing of changes
Установление изменений
12
Process of assessment after changes
(Процесс оценки после изменения)
10000
9000
8000
7000
Number of filled questionnaires /
number of filled questionnairies for subject
(Количество заполненных анкет /
Число заполненных анкет по предмету)
6536
6000
6238
5000
6x
4000
3000
3684
2463
2000
1654
7.94
5.12
3.17
1420
2.31
2008/09
- SS
2009/10
- WS
2009/10
- SS
2010/11
- WS
1000
0
8547
11x
11.57
2010/11
- SS
14.92
2011/12
- ZW
25.58
2011/12
- SS
13
Process of assessment after changes
800
700
600
500
400
Number of subjects on AIS / number of evaluated
subjects
(Количество предметов на AIS / количество оцениваемых
предметов)
614
539
521
481
464
438
396
300
200
252
281
256
276
377
348
339
54%
58%
49%
44%
69%
79%
85%
100
0
2008/09 2009/10 2009/10 2010/11 2010/11 2011/12 2011/12
- SS
- WS
- SS
- WS
- SS
- ZW
- SS
14
Questionnaire (Анкета)
Question for subjects:
for lectures and for exercises
Lectures (лекции)
The speaker was prepared for each lecture:
спикер был подготовлен к каждой лекции
(1) excellent, all lectures attracted attention,
отлично, все лекции привлекли внимание
(2) well, most of the lectures were interesting,
хорошо, большую часть лекции были интересными
(3) on average, there were also good lectures,
в среднем, были и хорошие лекции
(4) substandard, lectures were informative, but boring,
ниже среднего, лекции были информативными, но
скучно
(5) poor, uncertain in his topic.
плохо, не зная в своей теме
15
Questionnaire
Lectures
(лекции)
Lecturer explained the topic clearly and transparently:
преподаватель четко и прозрачно объяснил тему
(1) excellent
- oтлично
(2) well done
(3) on average
(4) enough
(5) failed
- очень хорошо
- b среднем
- хватит
- плохо
16
Questionnaire
Lectures
• The amount of the teaching contents at the lecture
was appropriate to the schedule.
сумма содержания преподавания на лекции
было уместно в запланированное время
• The overall rating of lectures
общий рейтинг лекций
• My participation in the lecture
мое участие в лекции
• Own comments, thoughts and opinions
собственные комментарии, мысли и мнения
17
Questionnaire
Exercises
(упражнения)
• Instructor provided materials to allow independent work
инструктор предоставленные материалы, чтобы позволить
самостоятельную работу.
• Instructor consulted issues in assigned task willingly and clearly.
инструктор понятной и консультации по вопросам,
поставленным задачам.
• Instructor attended the exercises well prepared,
инструктор принял участие в учениях подготовлены.
• How much time you spend on average by preparing per week?
сколько времени вы тратите в неделю в среднем подготовке
заданий.
• Overall assessment exercises Общая оценка учений
18
Questionnaire
Exercises
• Own comments, thoughts and opinions to excersices.
собственные комментарии, мысли и мнения k упражненияm.
Final evaluation of the subject.
окончательная оценка предмета.
Would you recommend this subject to your younger
colleagues?
будете вы рекомендовать предмет вашим молодым
коллегам?
19
Questionnaire
General questions
(Общие вопросы)
• What are the reasons of choice this faculty?
Каковы причины выбора этого факультета?
• How satisfied are you with choice of faculty?
Насколько вы удовлетворены с выбором факультета?
• How satisfied are you with choice of study program?
Насколько вы удовлетворены с выбором программы обучения?
• Can you express your opinion on the quality of teaching process
at the faculty?
Вы можете высказать свое мнение о качестве учебного
процесса на факультете?
20
Questionnaire
General questions
• How satisfied are you with services of study department of your
faculty?
Насколько вы удовлетворены услугами исследования отдела
ваш факультет?
• How satisfied are you with general information at the faculty?
Насколько вы удовлетворены с общей информацией на
факультете?
• Suggestions for improvement.
Предложения по улучшению.
21
Example of evaluation of students´ responses
(Пример оценки ответа студента)
Substandard lecture
(13%)
Very poor lecture (6%)
Очень плохaя лекция
Ниже среднего лекции
Very good lecture (13%)
Oчень хорошая лекция
Average lecture (50%)
Средняя лекции
Excellent lecture (16%)
Отличная лекция
The overall rating of lectures
Общий рейтинг лекций
22
Examples of responses
(Примеры ответов)
Responses for questions about subjects (Ответы о предметах)
– contents
– presentation
– people
(содержание)
(презентация)
(люди)
(общиe ответы)
study department (willingness ...) (kaфeдрa (готовность ...)
environment
(окружающая среда)
information
(информация)
library
(библиотека)
computers, Wi-Fi and didactic equipment
Responses for general questions
–
–
–
–
–
(компьютеры, Wi-Fi и дидактические
оборудование)
23
Examples of responses
Lectures
(Лекции)
• Usually not interesting lecture. Reading boring facts, figures ...
Too many vague terms. Boring reading topic from paper.
Обычно не интереснaя лекция. Чтение скучныx фактoв,
цифр ... Слишком много расплывчатых понятий. Скучная
тема чтение из бумаги.
• Lecture on the great level. He showed many examples from
practice in lectures, everybody who attended lectures, said, they
were excellent! But their time (about 7:00 am) don´t suit me.
Лекция на высоком уровне. Он показал много примеров
из практики в лекциях, все, кто посещал лекции, сказал,
что они были превосходны! Но их время (около 7:00
утра), не устраивает.
• I didn´t participate in lectures because of noise there.
Я не принимал участия в лекциях, потому что шум там.
24
Examples of responses
Exercises
• Exercises didn´t give me anything useful – misery.
Упражнения не дали мне ничего полезного - страдание.
• I assess Ing. xxx positively, funny exercises, everybody looked
forward to them.
Я оцениваю ххх положительно, смешные упражнения,
каждый надеется на них.
• Our exercises were good, but Mr. Xxx is arrogant and he thinks,
he is the most clever. He returns tasks and he can´t explain what
he doesn´t like and what is wrong.
Наши учения были хороши, но г-н Xxx высокомерно, и он
думает, что он самый умный. Он возвращает задачи, и
он не может объяснить, что ему не нравится, а что нет.
25
Examples of responses
Exercises
• The best exercise for this semester, very well explained, and we
even visited the construction site what I see like great plus. I
recommend it for other exercises.
Лучшее упражнение этого семестра, очень хорошо
объяснил, и мы даже посетили строительную площадку,
что я вижу, как большой плюс. Я рекомендую его для
других упражнений.
• Not very responsible, often late for exercises.
Не очень ответственная, часто опаздывает на занятия.
26
Examples of responses
Suggestions for general questions
предложения по общим вопросам
• stop using the overhead projectors – quality of presentations
is poor, I recommend to use only dataprojectors
прекратить использование проекторов - качество
презентаций плохо, я рекомендую использовать только
дaтaпроектор
• some teachers don´t read e-mails
некоторые учителя не читают электронную почту
• more sockets for notebooks
• more bins for waste separation
дополнить контейнеры для сортировки отходов
27
Examples of responses
Suggestions for general questions
• place automatic drink machine near library
разместить автомат напитка возле библиотеки
• prohibit smoking near entrance the faculty
Запретить курение у входа факультета
• improve behavior of the staff on the ..................
улучшение поведения сотрудников на ..................
• monitoring of punctuality of teachers
мониторинг точности учителей
• improvement of information on website
совершенствование информации на вебсайтe
28
Examples of solutions
примеры решений
Solutions of students´ suggestions for subjects:
pешения предложения студентов для предметов:
• start using the dataprojectors only instead of the overhead
projectors
использовать Датапроэктор вместо проектора
• discussion with teachers about their behavior to students or
about going in time
обсуждение с учителем о его поведении к студентaм и о
его точности
• organization more excursions
oрганизация больше экскурсий
• ...
29
Examples of solutions
Solutions of students’ suggestions for general questions:
pешения предложения студентов по общим вопросам:
• to prepare more places where students can use sockets for
their notebooks
больше мест, где студенты могут использовать сокеты
для своих ноутбуков
• to ensure more literature on website (authors from university)
больше литературы на веб-сайте (авторы из
университета)
• to start checking teachers’ punctuality by visitations
проверка точности учителей
30
Visitations
Посещения
Visitations are one of the important source of information:
посещения являются одним из важных источников
информации:
• about situation in educational process,
o ситуации в учебном процессе,
• if the students´ evaluation is correct.
если оценки студентов являются правильными.
31
Visitations
History:
• In the past – spontaneous
в прошлом – спонтанные
• Now – controled and targeted way. We set a form and a
number of visitations:
теперь - целенаправленные. Мы поставили перед собой
формy и количество посещений:
– heads of departments – 5 per semester – a choice from
subjects from their department
начальники отделов - 5 за семестр - выбор из предметов
из их отдела
– guarantee of study program - 5 per semester in each year
of study program
Гарант учебной программы - 5 за семестр за каждый год
учебной программы
32
Visitations
What was found:
что было найдено:
• at first: teachers were afraid check each other
teachers didn´t want to write about problems
сначала: учители боятся проверять друг друга
Учители не хотят писать о проблемах
• now, when they found that some problems were
repeated, they started to write about problems truly
теперь, когда они обнаружили, что некоторые проблемы
повторяются, они решили писать о проблемах понастоящему
33
Visitations
We can check:
мы можем проверить:
• if the assessment by students is right,
если оценка студентами права,
• if teachers implemented changes
если учитель реализовал изменения
34
Visitations
• Teachers send filled forms to the heads of faculty
after visitations (330 filled forms in year 2011/12).
учители отправляют заполненные формы для руководителей
факультета после посещения (330 заполненных форм - 2011/12).
• They specify in this form: B этой форме oни определяют:
• What problem was in this subject in the past?
Какая проблема была в этой теме в прошлом?
• What solution was suggested?
Какое решение было предложено?
• Does the problem repeat again? Если проблема повторяeтся?
• Procedures from standard ISO 9001.
Процедура стандартa ISO 9001.
35
Future of educational process
assessment by students
Будущее оценки образовательного процесса студентов
• to change issues in a questionnaire
изменить вопросы в анкете
• to modify AIS – to create more statistics
изменить AIS - для создания более статистик
• increase participation of student on educational
process assessment
расширение участия студентов в процессe
оценки образования
36
Conclusion (Заключение)
• Students are our partners in educational process
improvement.
Студенты являются нашими партнерами в процессе
улучшения образования.
• Students opinions help to find strengths and weaknesses of
educational process.
Мнения cтудентoв помогaют найти сильные и слабые
стороны учебного процесса.
• We must teach students to express their opinion
Мы должны научить студентов выражать свое мнение
• We must teach teachers to listen to students opinions and to
work with them.
Мы должны учить учителей, чтобы слушать мнения
студентов и работать с ними.
37
Thank you for your attention
Спасибо за ваше внимание
Assoc. Prof. Ing. Peter Makýš, PhD.
Vice –Dean for Education
Заместитель декана по образованию