Уровни Совершенства EFQM «Стремление к Совершенству» Заключительный отчет валидатора Заявитель Место НОУ ВПО «Московский институт юриспруденции» 105203, г. Москва, ул. 14-я Парковая д.6 Дата Контактное лицо 23.12.13 Проректор по качеству Батенев А.Н. Номер телефона (495) 965 63 90 Валидатор Сафонов Анатолий Александрович АНО «ЦЭП ВОК» Часть I – Заключительный отчет. Краткий обзор по критериям валидации, представленных заявителем ( проходило ли внедрение инициатив по улучшению в соответствии с минимальными требованиями оценочного профиля по логики RADAR). Схема «Стремление к Совершенству» была внедрена в МИЮ с целью совершенствования подходов к самообследованию и внедрения в практику работы современных инструментов проектного менеджмента и улучшений.. Для организации проведения самообследования институт использовал модель EFQM и логику оценки РАДАР в соответствии с рекомендациями для этого уровня. Рекомендации по самооценке методом анкетирования EFQM были взяты за основу. Вопросник по критериям был адаптирован с целью добиться более ясного понимания содержания вопросов при проведении самооценки. Получены свидетельства, что во время самооценки были выявлены обоснованные области для улучшения деятельности. Самооценка проводится организацией впервые. В результате самооценки было выявлено ряд областей для улучшения, важнейшими из которых были определены следующие: 1) «Разработка и внедрение оценки удовлетворенности потребителей»; 2) «Разработка методики оценки удовлетворенности персонала»; 3) «Разработка и внедрение системы менеджмента качества НОУ ВПО "Московский институт юриспруденции"» Во время валидации эти действия по улучшению были продемонстрированы валидатору и были предъявлены свидетельства оценки их эффективности и результативности. Эти действия разрабатывались в порядке совершенствования действующей в образовательной организации системы управления качеством образования. Обзор любой из тем, возникших в процессе валидации ( системность подхода к внедрению действия по улучшению, установлена ли по результатам собеседования практическая польза от внедрения улучшений. Инициатива по улучшению 1 – Реализация проекта направлена на повышение степени удовлетворенности потребителей образовательных услуг. Ставится задача - приблизить степень соответствия оказываемых образовательных услуг к ожиданиям потребителей. Показатели удовлетворенности потребителей являются важнейшими и постановка этой метрики в качестве первоочередного действия по улучшению является обоснованной и важной. При постановке исследований Институт использовал рекомендуемую EFQM методику, переработав анкеты и адаптировав ихс целью лучшего понимания опрашиваемых. Такой подход оправдан и логичен. Любые ключевые сильные стороны, идентифицированные в процессе валидации (информация, вовлечение, планирование) - Вопросы, представленные в анкете позволяют сформировать сбалансированную структуру показателей восприятия потребителей и содействуют получению эффективной обратной связи от них с целью мониторинга качества образовательных услуг. - Выбор второго проекта по формированию обратной связи от профессорскопреподавательского состава является тоже обоснованным и способствует формированию эффективной системы менеджмента качества образования в институте. - В процессе проведения самооценки и определения приоритетов по улучшению были выявлены области для улучшения критически важные для дальнейшего совершенствования своей деятельности и направленные на совершенствование обратной связи с обучаемыми и сотрудниками. 2 Обратный отчет Стремление к Совершенству-2013 Заявитель: НОУ ВПО МИЮ НПО EFQM в России «Всероссийская организация качества» Области деятельности для улучшения, на которых организация могла бы больше сфокусироваться для получения максимального эффекта Инициатива по улучшению 1. - По анкетированию обучаемых следует обратить в дальнейшем особое внимание на обеспечение репрезентативности выборок. Нуждаются в дальнейшем совершенствовании и вопросники, в частности, при формулировке вопросов представляется целесообразным доработать вопросы, устранив двусмысленности и неясности толкования ответов. Группировка вопросов по степени важности факторов для обучаемых позволит дать представление о приоритетах прямых потребителей образовательных услуг. Инициатива по улучшению 2. - Реализация проекта направлена на выстраивание эффективной обратной связи с сотрудниками института с целью обеспечения оценки результативности принятия управленческих решений в отношении персонала. Инициатива по улучшению 3 Реализация инициативы по самооценке позволила внедрить программу по самооценке методом экспертной оценки. Выбранная методика улучшений на основе схемы «Стремление к Совершенству» позволит настроить проектный менеджмент для поэтапного совершенствования системы менеджмента. Рекомендации для заявителей, получит ли пользу организация, если будет заявляться еще раз на уровень – Стремление к совершенству для того, чтобы лучше развить , закрепить ее знания, опыт или же система менеджмента организации успешно функционирует и готова заявляться на уровень – Признанное совершенство Во время визита организация продемонстрировала обоснованность и степень развертывания действий по улучшению. Их цели и результаты деятельности сформулированы в представленных локальных нормативных документах и записях. Получены свидетельства внедрения в практику вуза процедуры самооценки и формирование показателей восприятия для потребителей и персонала. После анализа организацией областей деятельности для улучшения, на которых можно больше сфокусироваться для получения максимального эффекта рекомендуется подать заявку на следующий уровень - «Стремление к Совершенству» 2*, на котором проводится комплексный анализ ключевых процессов системы менеджмента уже по всем критериям модели (а не только трех проектов по улучшению через процесс валидации как в данном случае) . Признание не Признание достигнуто достигнуто 3 Обратный отчет Стремление к Совершенству-2013 Заявитель: НОУ ВПО МИЮ НПО EFQM в России «Всероссийская организация качества» Часть 2 – Заключение по Действиям по улучшению. Действие по улучшению 1: Разработка и внедрение метода оценки степени удовлетворенности потребителя Комментарии ПОДХОД Заключение по подходу. Первый проект был определен в качестве приоритетного в процессе самооценки. Повышение удовлетворенности основных потребителей образовательных услуг – студентов в наибольшей степени влияет на ключевые показатели деятельности института. Реализация данного проекта способствует достижению целей на всех уровнях деятельности, Представлены свидетельства согласования данной инициативы с другими подходами, в частности с внедрением самооценки как диагностического инструмента для идентификации потребностей в улучшениях. Рекомендации и области для улучшения. В качестве возможных путей совершенствования подхода можно предложить следующие. - Сократить количество вопросов, выдерживая время проведения анкетирования в пределах 10 – 15 минут. - Учесть необходимость проведения дополнительного исследования с целью определения степени важности факторов удовлетворенности. - Возможно, имеет смысл провести дополнительные собеседования с фокус группой студентов для более четкого уяснения важности вопросов анкеты для них и возможной их коррекции. - Целесообразно подобрать источники для сравнения (другие вузовские организации, имеющие аналогичную или похожую структуру критериев удовлетворенности и иные факторы для сравнения). Вуз может обратиться, в частности, по этому вопросу в нашу партнерскую организацию за содействием в установлении прямых контактов по бенчмаркингу. - Не установлены цели по показателям. РАЗВЕРТЫВА- Заключение по развертыванию. Во время визита получены свидетельства, что деятельность по улучшеНИЕ нию реализована в полном объеме и в установленные сроки. Представлены результаты апробации методики, которые подтверждают выполнение определенного в рамках данной работы лана развертывания методики. Рекомендации и области для улучшения. В качестве возможных областей для улучшения можно отметить следующие. Не продемонстрировано действий администрации по результатам анкетирования. С целью закрепления методики целесообразно разработать и внедрить соответствующую документированную процедуру. ОЦЕНКА И ПЕ- Заключение по оценке и пересмотру. Данные по подходу были изучены и проведена предварительная оценка подРЕСМОТР хода по результатам предварительного тестирования методики. В процессе внедрения анкеты дважды пересматривались, что привело к снятию двусмысленностей и сокращению числа вопросов. При пересмотре анкет учитывались требования, предъявляемых при аккредитации и независимой экспертизе. Рекомендации и области для улучшения. Результаты анкетирования и сама методика в недостаточной степени обсуждалась между коллегами. Публичные обсуждения представляются целесообразными для достижения целей по результативности методики. 4 Обратный отчет Стремление к Совершенству-2013 Заявитель: НОУ ВПО МИЮ НПО EFQM в России «Всероссийская организация качества» РЕЗУЛЬТАТЫ ОБЩИЕ КОММЕНТАРИИ Минимальный уровень достигнут 5 Обратный отчет Заключение по результатам. Цель деятельности по улучшению установлена и представлены свидетельства выполнения поставленной цели в установленные сроки. Полученные результаты улучшения подтверждают выполнение запланированных объемов работы в сроки, установленные в плане действий по улучшению. Цель деятельности по улучшению установлена и представлены свидетельства выполнения поставленной цели в установленные сроки. Представлены основные направления улучшений, выявленные по результатам оценки удовлетворенности студентов. Рекомендации и области для улучшения. Представлены свидетельства по оценке и пересмотру подхода, в том числе были скорректированы вопросы по результатам предварительного тестирования методики. В основе актуализации подхода лежит оценка уровня удовлетворенности студентом. В качестве области для улучшения можно рекомендовать установление ясных критериев эффективности методики (число участников анкетирования, трудозатраты на анкетирование и т.п.). Дополнительно, следует обратить внимание на распространение в Институте результатов исследования и их практическое использование. В результате выполнения данного проекта по улучшению был разработан и внедрен оценки удовлетворенности потребителей. Эта процедура выявлена в качестве важнейшей по результатам самообследования по модели EFQM. Внедрение этой методики споосбствует повышению эффективности обратной связи от обучаемых. Минимальный уро42 из 65 вень не достигнут (min 32) Стремление к Совершенству-2013 Заявитель: НОУ ВПО МИЮ НПО EFQM в России «Всероссийская организация качества» Действие по улучшению 2: Разработка методики оценки удовлетворенности персонала Комментарии ПОДХОД Заключение по подходу. С точки зрения влияния на ключевые факторы успеха повышение удовлетворенности профессорскопреподавательского состава своей научной и учебной деятельностью является важнейшим фактором, влияющим на деятельность университета. Инициатива выявлена в процессе самообследования и рассматривается как способствующая дальнейшему развитию и обеспечению конкурентоспособности института. Рекомендации и области для улучшения. Во время визита вуз представил свидетельства того, что подход к оценке удовлетворенности ППС развернут в соответствии с установленной программой. Процедура анкетирования включает в себя оценку важности факторов удовлетворенности, что позволяет выстраивать приоритеты по улучшению. Данных по сравнению результатов анкетирования с другими вузами не представлено. Поскольку анкетирование проводилось впервые, то и вопрос о целевых значениях показателей пока еще не актуален. РАЗВЕРТЫВАНИЕ Заключение по развертыванию. Есть свидетельства о том, что деятельность по улучшению реализована в полном объеме, в том числе было проведено анкетирование ППС, по проеденному анализу данных анкетирования были выявлены несоответствия и выполнены корректирующие действия. Рекомендации и области для улучшения. - провести ранжирование факторов удовлетворенности по важности; - провести выборочно собеседования с участниками опросов с целью уточнения значимости вопросов анкеты и корректировки формулировок.. ОЦЕНКА И ПЕРЕЗаключение по оценке и пересмотру. Для мониторинга анкетирования СМОТР были установлены такие показатели как область охвата персонала анкетированием, отклонения от среднего, согласование факторов удовлетворенности с целями в программе развития. Рекомендации и области для улучшения. - В анкете в недостаточной степени отражены факторы лояльности персонала и вовлеченности в улучшения. - Пока еще не проработаны вопросы использования результатаов анкетирования при принятии важнейших управленческих решений и вопросы распространения результатов анкетирования. - В формулировках отдельных вопросов содержится двусмысленность трактовок. РЕЗУЛЬТАТЫ Данное действие полно и четко документировано, в соответствии с требованиями методики EFQM. Цель деятельности по улучшению установлена и представлены свидетельства выполнения поставленной цели в установленные сроки. Для процесса установлены и измеряются показатели эффективности и результативности, которые представлены в Плане действий. Рекомендации и области для улучшения. К сожалению из поля внимания при анализе результатов анкетирования выпали вопросы, связанные с контролем распределения ответов респондентов. Это очень важный фактор на стадии отработки социологических исследований, по которому можно судить о достоверности измерений. 6 Обратный отчет Стремление к Совершенству-2013 Заявитель: НОУ ВПО МИЮ НПО EFQM в России «Всероссийская организация качества» Данная инициатива адекватна потребностям организации и способствует достижению ключевых целей организации по повышению качества образовательного процесса. Действие в полной мере и четко документировано. Данная инициатива выявлена в качестве одной из приоритетных, адекватна потребностям института и должна способствовать дальнейшему его развитию. В качестве рекомендаций по совершенствованию процессов можно отметить необходимость поиска эталонных организаций для бенчмаркингового сравнения. В результате данного действия по улучшению был проведен комплекс мероприятий по совершенствованию и выстраиванию механизмов обратной связи с персоналом. Минимальный Минимальный уровень 44 из 65 уровень не дос(min 32) достигнут тигнут ОБЩИЕ КОММЕНТАРИИ 7 Обратный отчет Стремление к Совершенству-2013 Заявитель: НОУ ВПО МИЮ НПО EFQM в России «Всероссийская организация качества» Действие по улучшению 3 : Разработка и внедрение системы менеджмента качества НОУ ВПО "Московский институт юриспруденции". Комментарии ПОДХОД Заключение по подходу. Подход по внедрению современной методики проведения самообследования был выбран в качестве приоритетного по результатам внедрения процесса «Стремление к Совершенству». В Плане действий представлено обоснование выбора подхода для проведения самооценки как более гибкого и позволяющего выстроить непрерывное совершенствование системы менеджмента качества образования наиболее простым и эффективным способом. Определена концепция подхода, установлены показатели результативности и оценки эффективности деятельности в этой области. Представлены свидетельства, что данная инициатива адекватна потребностям института и способствует достижению важнейших по повышению качества образовательного процесса. Рекомендации и области для улучшения. Вопросы анкеты по самообследованию и выводы по ее результатам не всегда соответствуют, что связано с недостаточной адаптацией процедуры. Представляется целесообразным до проведения самообследования проводить внутреннее обучение, направленное на разъяснение вопросов анкеты и выработки единой трактовки вопросов. Это могло бы повысить эффективность и снизить трудозатраты на проведение сессий по самооценке. РАЗВЕРТЫВА- Заключение по развертыванию. Получены свидетельства, что деятельНИЕ ность по улучшению реализована в полном объеме и в установленные сроки. Инициатива документирована и по результатам проведенной самооцнки разработана документированная процедура. Рекомендации и области для улучшения. Совершенствование анкет может быть выполнено в направлении: - необходимо провести оценку репрезентативности выборок при опросе; - возможно, целесообразно ввести регистрацию портфеля проектов, из числа проектов, получивших более низкие рейтинги.. ОЦЕНКА И ПЕ- Заключение по оценке и пересмотру. В процедуре определены критеРЕСМОТР рии функционирования процесса, что позволяет проводить оценку и пересмотр процедуры. Прослеживается связь подхода с совершенствованием системы обеспечения качества образования в институте. В описании процесса определены инструменты для контроля исполнения процесса и внесения корректировок. Рекомендации и области для улучшения. Можно выделить следующие области для совершенствования подхода: - Для более глубокой интеграции самооценки в деятельность института необходимо проведение обучения персонала. -Подобрать подходящие бенчмарки с другими вузами для сравнения подходов к оценке. 8 Обратный отчет Стремление к Совершенству-2013 Заявитель: НОУ ВПО МИЮ НПО EFQM в России «Всероссийская организация качества» Заключение по результатам. Цель деятельности по улучшению установлена и представлены свидетельства выполнения поставленной цели в установленные сроки: осуществлено пилотное анкетирование персонала по установленным факторам, методика внедрена и поддерживается. Установлены обоснованные показатели результативности и эффективности процесса самооценки. Рекомендации и области для улучшения. Представляется целесообразным организаовать на регулярной основе мониторинг реализации проектов по улучшению деятельности. ОБЩИЕ КОМ- В результате данного действия по улучшению была разработана и внеМЕНТАРИИ дрена методика оценки, направленная на поддержание эффективной обратной связи с персоналом. Методика была разработана, внедрена, доработана с учетом проведенного тестирования. Минималь38 из 65 Минимальный ный уровень уровень достиг- (min 32) не достигнут нут РЕЗУЛЬТАТЫ 9 Обратный отчет Стремление к Совершенству-2013 Заявитель: НОУ ВПО МИЮ НПО EFQM в России «Всероссийская организация качества»