Виктор Иванович Звонников. Контроль качества обучения при аттестации: компетентностный подход

 
   Общие требования, предъявляемые к изложению и оформлению документации СМК образования:
        • системность – документация должна быть структурированной с указанием четких взаимосвязей между документами (обязательность ссылок на сопутствующие документы);
        • функциональная полнота – документация должна отражать все аспекты деятельности в СМК и содержать исчерпывающую информацию обо всех процессах и процедурах;
        • адекватность – соответствие требованиям ISO серии 9000: 2000;
        • идентифицируемость – каждый лист документации должен быть однозначно отнесен к определенному документу, а документ – к определенной части системы;
        • адресность – каждый документ должен быть адресован конкретным исполнителям;
        • простота – текст документа должен быть краток и точен, однозначен и понятен для исполнителя.
   Перечень основной документации, нуждающейся в первоочередной разработке при создании СМК, приведен в табл. 1.1.
 
   Таблица 1.1 Основные документы СМК

 
   Процессный подход хорошо согласуется с организацией работы вуза, различные виды деятельности в котором (учебная, научно-исследовательская, издательская, производственно-коммерческая, финансовая и др.) должны представлять собой взаимосвязанные процессы. Однако когда дело доходит до построения СМК, то связать воедино все эти хотя и взаимодействующие, но разнородные процессы, считая выход одного процесса входом другого, оказывается достаточно сложно и не вполне корректно.
   Подобного рода трудности встречаются не только в образовательных учреждениях, поэтому даже у профессионалов в области качества нет единого мнения относительно оптимальности процессного подхода при управлении качеством.
   В настоящее время во многих зарубежных странах широкое распространение приобрела динамическая модель совершенствования качества образования, построенная в рамках Европейской системы совершенствования качества (EQUIS – European Quality Improvement System) и ориентированная на подготовку студентов в сфере управления [10]. В этой модели качество трактуется как позитивные изменения в процессах и результатах образования, обусловленные совершенствованием образовательной системы и отражающие новые требования общества. Для реализации динамической модели необходимо накапливать данные о познавательной творческой активности и других учебных достижениях студентов на протяжении всего периода обучения и анализировать их прирост с помощью дескриптивной статистики. Таким образом, в динамическом подходе оценка качества учебных достижений строится на выявлении тех изменений в подготовке обучаемых, которые идентифицируются как улучшение знаний и умений или формирование компетенций (рис. 1.11).
 

   Рис. 1.11. Динамическая модель анализа качества образования
 
   Основные направления анализа, определяющие оценивание динамики изменения качества высшего образования, следующие:
        • уровень инновационности процесса образования и его связи с наукой;
        • степень соответствия содержания образования требованиям профессионального сообщества и интересам личности обучающегося;
        • уровень реализации вузом задач высшего образования.
   Динамическая модель включает в себя основные качественные критерии, применяемые различными европейскими ассоциациями для национальной аккредитации учебных заведений. В модели используются одиннадцать областей для анализа изменений показателей качества образования. В Европе она развивается национальными ассоциациями в рамках программ совершенствования качества образования в бизнес-школах. Эти программы используют как инструмент самооценки учебных заведений, и они служат основанием для проведения внешнего аудита, ведущего к аккредитации в рамках EQUIS.
   Вне зависимости от выбранного подхода к созданию СМК для функционирования в вузе необходимо решение целого ряда задач, среди которых приоритетными являются следующие:
        • постоянное изучение требований работодателей и рынка труда для повышения конкурентоспособности выпускников, разработка профессиограмм для выпускников вуза по реализуемым направлениям подготовки;
        • систематический анализ тенденций развития в областях знаний, соответствующих компетенции вуза;
        • постоянное изучение конъюнктуры мирового рынка в области образования и науки;
        • систематическая актуализация миссии, целей и политики вуза в соответствии с конъюнктурой отечественного и мирового рынков;
        • тесное взаимодействие с системой среднего образования (школами, гимназиями, лицеями, колледжами);
        • использование образовательных программ, гармонизированных с мировыми нормами и требованиями.
   Первые шаги по построению СМК в вузе должны быть направлены на утверждение списков уполномоченных по качеству в подразделениях вуза и Положения о ключевых должностях в области качества. На основании такого положения руководители подразделений могут организовать работу по созданию своих положений о подразделениях и должностных инструкциях сотрудников в соответствии с методической инструкцией системы качества, общими требованиями к построению СМК, положениями о структурном подразделении и т.д.
   Важной частью подготовительной работы по созданию СМК является обучение уполномоченных по качеству (менеджеров по качеству) и профессорско-преподавательский состав (ППС) вуза специальной дисциплине, которая обычно называется «Системы менеджмента качества в вузах. Разработка и совершенствование». В рабочую программу такой дисциплины необходимо включить общие представления о СМК образования и процессах, протекающих в деятельности вуза. Она также должна содержать методики документирования процессов, измерения их результативности и эффективности. Необходимы сведения по системе мониторинга качества образования, подходах к оцениванию удовлетворенности качеством результатов образования потребителей образовательных услуг и работодателей. В тематику обучения следует включить вопросы разработки инструментария для оценивания качества результатов образования и подготовки подразделений к сертификации систем качества.
   Для функционирования СМК необходимы системы внутреннего и внешнего аудита. Внутренний аудит – это регламентированная внутренними документами организации деятельность по контролю звеньев управления и различных аспектов функционирования организации, осуществляемая представителями специального контрольного органа (аудиторами) в рамках помощи органам управления организации. Главная задача внутренних аудиторов в вузе – обеспечение потребностей администрации учебного заведения в информации по различным аспектам функционирования СМК и совершенствования качества образования. Помимо аудита, для создания и развития СМК в высших учебных заведениях целесообразно создавать системы мониторинга качества образования [8, 12].
   Система мониторинга качества образования в вузе должна охватывать все аспекты характеристик качества процесса и результатов образования. Она предназначена не только для накопления данных о качестве образования, но и для проведения различных видов анализа оценок по показателям качества, обеспечивая внутренние потребности учебного заведения и поддерживая оперативный обмен информацией с внешней средой (с работодателями, органами управления образованием, общественностью, родителями студентов и т.д.).
   Вузовская система мониторинга качества образования предполагает формирование единых требований к системе доступа, ввода, хранения и представления результатов контроля подготовленности студентов, создание общевузовского банка оценочных средств и специализированной системы управления банком, обеспечение возможности интерактивного обмена информацией с пользователями (администрацией университета, преподавателями и студентами) в рамках полномочий, определяемых персональными уровнями доступа. Интегрированная в единое информационное пространство вуза, система мониторинга качества образования позволит всем участникам образовательного процесса повысить эффективность своей деятельности и обеспечит непрерывность процессов совершенствования качества образования.
   Основные функциональные задачи, решаемые с помощью системы мониторинга качества образования, следующие:
        • развитие системы менеджмента качества вузовского образования;
        • информационное обеспечение контроля и аттестации студентов;
        • информационное обеспечение системы принятия управленческих решений на различных уровнях;
        • сбор и хранение педагогических тестовых материалов для подготовки и проведения текущего, рубежного контроля и аттестации;
        • выдача информации пользователям;
        • построение шкал результатов оценивания;
        • авторизация доступа к информации пользователей на базе многоуровневой системы информационной безопасности;
        • анализ тенденций и прогнозирование динамики изменения качества вузовского образования;
        • обеспечение данных о запросах работодателей, формирование базы данных отзывов о выпускниках;
        • обработка и представление обобщенных результатов пользователям, в соответствии с их сценарием доступа.
   Для обеспечения доступа пользователей к данным мониторинга в вузе необходимо создать распределенную информационную систему на основе технологии клиент-сервер, которая будет функционировать в рамках локальной информационной сети учебного заведения. В этой системе каждому пользователю отводится свой сценарий доступа, который определяет круг объектов и характеристик, доступ для чтения и модификации информации в соответствии со следующей классификацией:
        • пользователи, имеющие минимум прав доступа для просмотра открытых информационно-справочных ресурсов, таких как публичные годовые отчеты и справочные материалы по работе с информационной системой;
        • студенты (слушатели), имеющие возможность просмотра собственных результатов, в том числе и за предыдущие годы обучения, а также совокупных (средних) результатов по своей группе, курсу, институту и университету; получения примерных вариантов тестов по изучаемым дисциплинам для самоподготовки;
        • преподаватели, имеющие возможность контроля учебных достижений студентов в своих группах, доступа к банку тестовых заданий, ввода результатов контроля;
        • работники учебно-методических отделов (деканатов) институтов (факультетов), имеющие возможность контроля результатов оценивания учебных достижений студентов;
        • работники учебно-методического управления, контролирующие деятельность вузовских подразделений и преподавателей, а также имеющие доступ для ввода и коррекции информации об организационной структуре подразделений;
        • системные администраторы, осуществляющие контроль и анализ размещаемых фактических данных, назначение полномочий (сценариев доступа) пользователям, выполнение регламента представления информации, преобразования данных для последующего использования вне системы мониторинга качества университетского образования;
        • группы специалистов, имеющие права разработки и доступа к информационным базам системы мониторинга для анализа и передачи результатов обработки данных с последующим использованием в решении задач управления вузом;
        • другие зарегистрированные пользователи, обладающие правами работы с собственными (рабочими) и иными открытыми для них массивами документов и разделами банка тестовых заданий с целью их профессионального использования или размещения фактической информации, определяемой индивидуальным сценарием доступа и профессиональными обязанностями.
   Пример модели мониторинга качества вузовского образования в условиях, когда в структуру университета входят различные институты, приводится на рис. 1.12.
 

   Рис. 1.12. Пример общей структуры взаимодействия системы мониторинга института с внешними объектами (исходящая стрелка – просмотр информации, двусторонняя – просмотр, ввод и редактирование информации)
 
   Обеспечение информационно-аналитической поддержки управления качеством образования в системе мониторинга реализуется введением модуля статистической обработки совокупной информации и предоставления результатов анализа в соответствии с запросами пользователей. Этот модуль позволяет анализировать фактическую информацию для последующего размещения в информационной среде и подготовки с целью дальнейшего использования в решении задач управления вузом, электронных таблицах, таблицах баз данных и информационных материалах отчетного характера. Собираемые фактические данные, представляющие собой результаты тестирований, оценок успеваемости, учебные планы и прочие материалы, допускают визуализацию для просмотра отдельными категориями пользователей, а также могут передаваться для последующей обработки вне информационной системы мониторинга.
   Обновление хранимой информации в системе мониторинга обеспечивается путем доступа с клиентских рабочих мест к информационной базе системы для модификации документов и записей в соответствии с индивидуальным сценарием доступа каждого пользователя. При этом система обеспечивает целостность информационной базы благодаря интегрированным внутренним алгоритмам и обязательной регистрации вносимых изменений для предоставления возможности отмены некорректных действий. Контроль целостности информационной базы обеспечивают специальные индикаторы (контролирующие подпрограммы), которыми управляют системные администраторы. Направления обмена данными и информацией между различными объектами показаны в табл. 1.2.
 
   Таблица 1.2 Объекты и направления обмена данными и информацией

 
   Несмотря на явные достоинства СМК образования, далеко не все руководители вузов и преподаватели поддерживают идею создания такой системы и использования ее результатов. Возможные причины подобного неприятия могут носить субъективный характер и быть связанными с особенностями личностного восприятия информации, которая иногда кажется противникам мониторинга избыточной и излишне формализованной либо противоречащей собственным благоприятным оценкам результатов учебного процесса.
   Помимо субъективных есть ряд объективных причин, способствующих негативной оценке мониторинга отдельными участниками образовательного процесса. Встречаются случаи неправильной или упрощенной интерпретации данных мониторинга и проведения обследований без учета дополнительных факторов, например социально-экономических, значимо влияющих на результаты образовательной деятельности. Эти случаи способствуют формированию недоверия к возможностям мониторинга и скептицизма, особенно у тех руководителей и преподавателей, чья деятельность незаслуженно получает негативные оценки. Наблюдаемые, по данным мониторинга, отставания в итоговых результатах студентов могут быть следствием неучтенной слабой материально-технической оснащенности учебного процесса, низкой квалификации преподавательского состава, высокого уровня безработицы среди родителей студентов, ошибок при формировании выборочной совокупности студентов для проведения мониторинговых обследований и др. Вместе с тем возможны искусственно завышенные результаты, получаемые путем намеренного исключения из обследования слабых студентов, сговором экспертов и т.д.
   Все эти причины в совокупности значимо снижают достоверность информации мониторинга и приводят к тому, что многие исследователи просто предлагают отказаться от проведения любых сравнений качества образования. К тому же они полагают, что мониторинг может отвлекать педагогов от учебного процесса и отнимать время на усвоение нового материала у студентов. К противникам мониторинга относятся сотни преподавателей и управленцев во всех странах, которые чувствуют, что проведение мониторинга нередко выдвигает нереалистичные требования к их времени и возможностям, а в конечном счете, уменьшает их власть и использует ими же собранную информацию против них.
   Помимо временных потерь, проведение мониторинга требует больших денежных затрат. В финансировании нуждается работа по формированию выборочных совокупностей студентов, созданию инструментария (тестов, анкет, опросных листов, программного обеспечения и т.д.), сбору данных, кодированию и анализу данных, их обработке, интерпретации и подготовке информационных бюллетеней. Мировой опыт проведения мониторинга говорит о том, что затраты могут перевесить выгоды, если не приложить усилия по соблюдению всех методических требований к проведению мониторинга, не обеспечить достоверность информации и не создать условия для ее использования в управлении качеством образования.
   Специалисты по мониторингу выделяют ряд условий его эффективности:
        • системный подход, обеспечивающий слаженную работу механизма по сбору, обработке, анализу и интерпретации информации;
        • сочетание количественных и качественных методов измерений в мониторинге;
        • преимущественная ориентация системы показателей, по которым проводится мониторинг, на практику и методы обучения, поддающиеся воздействиям со стороны преподавателей и руководства вуза;
        • достаточная полнота совокупности показателей, учет различных факторов, в том числе и косвенно влияющих на результаты обучения;
        • корректная интерпретация данных мониторинга с учетом различных влияний и связей между показателями;
        • репрезентативность выборочных совокупностей студентов, принимающих участие в мониторинге;
        • широкое привлечение к проведению мониторинга квалифицированных специалистов и преподавателей вуза;
        • использование качественного инструментария и современного программного обеспечения для обработки и анализа данных мониторинга;
        • наличие необходимой материально-технической базы (статистических пакетов для обработки данных, техники и т.д.);
        • методическая и финансовая помощь со стороны администрации вуза.
   Таким образом, даже если отвлечься от негативных последствий мониторинга и принять идею его проведения, придется решать много сложных проблем. Необходимо беспокоиться о проектировании системы мониторинга и выборе его модели, компетентности организаторов и участников, финансовых затратах, определении показателей, по которым будут собраны данные, методиках анализа данных, определении круга пользователей и структурирования данных по различным уровням доступа, выборе вида представления данных, методах их интерпретации и т.д. Нужно также договориться о направлениях использования данных мониторинга, поскольку его результаты можно применять как для поощрений, так и для санкций против отдельных преподавателей или кафедр в вузе. Для успешной работы по проведению мониторинга все эти соображения следует принять во внимание.
   В целом можно утверждать следующее.
        • Системы мониторинга могут вносить значительный позитивный вклад в работу как преподавателей, так и управленцев. Мониторинг выполняет множество функций, релевантных повышению качества обучения и уменьшению несправедливости, вызванной субъективизмом преподавателей и управленцев в образовании.
        • Системы мониторинга могут стимулировать развитие многочисленных позитивных тенденций, они позволяют оценить эффективность различных инноваций в образовании.
        • Данные мониторинга не заменяют прочую информацию, необходимую для принятия управленческих решений в образовании. Их следует использовать совместно с другими данными о системе образования, собранными в результате бесед со штатом преподавателей и студентов.
        • При проведении мониторинга следует учитывать не только его позитивные возможности, но и вероятные негативные последствия. Преодолеть негативные результаты внедрения систем мониторинга в образование можно в том случае, если управленцы и педагоги заранее осведомлены о сложностях мониторинга и ограничениях на использование его данных, а сам мониторинг проводится в соответствии с научно-обоснованными методиками и технологиями в условиях четкой определенности перечня сообщаемых результатов на каждом уровне доступа к ним.

1.7. Эвалюация в образовании

   Термин «эвалюация» (в англоязычной литературе – evaluation) не распространен в отечественной педагогической науке, хотя он широко используется в большинстве зарубежных стран, имеющих высокоразвитые системы управления качеством образования. Впервые этот термин появился в литературе на русском языке в 2001 г., когда авторы книги «Педагогическое образование в университете: контекстно-биографический подход» попытались проанализировать трактовку понятия «эвалюация» с опорой на работы немецких ученых и педагогов [6]. Современная трактовка этого термина в образовании не отождествляет его исключительно с процессом получения оценок, как можно решить по результату прямого перевода (evaluation – оценка, оценивание), а рассматривает его гораздо шире, считая эвалюацию интегративной категорией оценочно-аналитической деятельности в различных проектах по управлению качеством образования [10].
   За рубежом научный термин «эвалюация» получил распространение в конце 60-х – начале 70-х гг. XX в. и использовался сначала при анализе результативности экспериментальной деятельности на основе изучения эмпирических данных в социальных науках. За годы существования понятие «эвалюация» приобрело различные оттенки и определения. Иногда эвалюацией называли проверку эффективности осуществленной деятельности и степени ее соответствия поставленным целям. В других случаях она рассматривалась в контексте рационально-критического осмысления социально-педагогической значимости целей образовательной деятельности и сочетала контрольные функции с критическим анализом эмпирического опыта на фоне прогнозирования тенденций развития образовательного процесса, включая разработку и обоснование процедур оценивания качества и всех его компонентов. Под эвалюацией понимали также систематическое оценивание всех аспектов обучения и воспитания, включающее совокупность методов корректировочных воздействий для повышения качества образования. Иногда ее связывали с процессом развития образовательных учреждений, дискуссиями о качестве образования, разработкой программ развития школ. В этом случае эвалюация рассматривалась как инструмент самоуправления, самоорганизации, проектирования и развития школьной жизнедеятельности. В последнем контексте данные эвалюации предоставляли учителям возможность осуществлять рефлексию профессионального поведения, школьной администрации – контролировать и анализировать деятельность образовательного учреждения, родителям – выявлять индикаторы объективного и субъективного имиджа школы, органам управления образованием – принимать обоснованные управленческие решения.
   Современному пониманию этого термина наиболее адекватна трактовка, при которой в понятие «эвалюация» вкладывается весь спектр теоретико-методологических и практических работ по систематическому исследованию качества результатов и процесса образования, анализируемых на основе единой методологии, сочетания количественных и качественных методов для отслеживания характера и динамики изменений оценок по совокупности показателей качества, учета влияния факторов, в том числе находящихся вне сферы влияния системы образования.
   В предлагаемой трактовке понятие «эвалюация» охватывает множество направлений систематических исследований, проводимых в рамках различных образовательных проектов и программ, эффективность реализации которых вместе с эффективностью осуществления самих оценочных процессов также подвергается многоплановому оцениванию. Таким образом, эвалюация в образовании является интегративным понятием, которое включает все направления оценочно-аналитической деятельности. Процесс эвалюации охватывает постановку целей, определение методологического подхода (как правило, с опорой на динамические методы анализа изменений характеристик обучаемых в условиях сочетания количественных и качественных методов измерения), разработку логических и математических моделей проведения процесса эвалюации, разработку дизайна исследования, выбор методов сбора и анализа информации (как правило, с преимущественным использованием аппарата педагогических измерений и статистических методов, не исключающих широкого применения качественных экспертных оценок), разработку инструментария, сбор эмпирической информации, обработку, анализ и интерпретацию данных эвалюации для принятия управленческих решений в целях повышения качества образования. Таким образом, эвалюация понимается как спектр различных направлений анализа процесса и результатов образования, обеспечивающий по совокупности научно-обоснованные решения для управления его качеством.