Контроль качества обучения при аттестации: компетентностный подход - Виктор Звонников

В.И. Звонников, М.Б. Челышкова

Контроль качества обучения при аттестации: компетентностный подход

Список сокращений

ЕГЭ – единый государственный экзамен

ИСО 9001 – международные стандарты

КИМ – контрольно-измерительные материалы

ППС – профессорско-преподавательский состав

ПТМ – педагогические тестовые материалы

СМК – система менеджмента качества

ФГОС – федеральный государственный образовательный стандарт

АEA – American Evaluation Association (Американская ассоциация оценки)

AMA – American Management Association (Американская ассоциация менеджмента)

CES – Canadian Evaluation Society (Канадское общество оценки)

EQUIS – European Quality Improvement System (Европейская система совершенствования качества)

ETS – Educational Testing Service (Служба образовательного тестирования, США)

IRT – Item Response Theory (теория современного конструирования тестов)

ISO – International Organization for Standardization (Международная организация по стандартизации)

SOLO – Structure of the Observed Learning Outcomes (структура наблюдаемых результатов обучения)

SPSS – Statistical Package for the Social Sciences (статистический пакет для социальных наук)

ТQM – Total Quality Management (концепция всеобщего управления на основе качества)

TUNING PROJECT – Настройка образовательных структур в Европе (проект)

Примечание редактора электронного текста: Для корректрого отображения спецсимволов рекомендуется просматривать текст с использованием шрифта Lucida Sans Unicode.

Введение

В настоящем учебном пособии рассматриваются корректные подходы к оценке качества результатов образования в рамках компетентностного подхода. Оно содержит краткие теоретические и методические сведения о компетентностном подходе и измерениях в образовании, методики разработки аттестационных тестов, обзор возможностей инновационных измерителей и требования к их характеристикам, методики обработки и анализа данных тестирования.

В интересах краткости и доступности изложения в книге опущены темы, посвященные разработке междисциплинарных тестов, многомерному шкалированию, факторному анализу, современной теории тестов (Item Response Theory) и некоторые другие. Иными словами, в настоящем пособии не нашли отражения наиболее сложные методики аппарата педагогических измерений, которые используются профессионалами и необходимы для полноценной реализации компетентностного подхода к оценке качества результатов обучения. Поэтому изучение представленного в книге учебного материала можно и нужно рассматривать как важный, но лишь первый шаг в деле освоения практических умений оценивания компетенций студентов при их аттестации и внедрении компетентностного подхода в сферу высшего образования.

На содержание этой книги повлияли два обстоятельства, послужившие побудительным мотивом к ее появлению. Первое из них – это введение в высшей школе нового поколения федеральных государственных образовательных стандартов. А второе – отсутствие в нашей стране необходимого опыта педагогических измерений. И хотя статистическая теория обоснования качества тестовых оценок хорошо развита за рубежом, а в России вышло несколько учебных пособий на эту тему, создание тестов у нас по-прежнему обычно ведется интуитивно, без опоры на научные методы теории измерений.

Преподаватели посвящают немалое время разработке многочисленных контрольных заданий, имитирующих по форме тесты. Фактически же эти задания остаются обычными вопросами, поскольку их основные характеристики не опираются на доказательные количественные оценки. В первую очередь речь идет о количественных оценках валидности задания, числа оцениваемых переменных (размерности задания) и вклада ошибочного компонента по отдельным заданиям в общую ошибку измерения. Именно этим характеристикам и их оценкам на основе развернутого статического анализа данных измерений в настоящем учебном пособии уделяется большое внимание.

Разработка любого аттестационного теста требует обязательного обоснования релевантности его содержания переменной или переменным измерения, использования математико-статистических методов для проверки соответствия теста определенным критериям качества и анализа точности обеспечиваемых им оценок. Необходимость такого обоснования резко возрастает в связи с введением федеральных государственных образовательных стандартов третьего поколения, где требования к качеству результатов образования формулируются в виде набора общекультурных и профессиональных компетенций.

Весьма высокая сложность контрольно-оценочных процессов, связанная с латентной природой результатов обучения, усугубляется специфическими характеристиками компетенций. К ним относятся многомерность, междисциплинарность, связь с индивидуальными задатками обучаемых, а также объективация компетенций после окончания обучения. Таким образом, сам компетентностный подход требует актуализации методов оценивания конструктной, прогностической и содержательной валидности, надежности и размерности результатов оценочных процессов с учетом различных факторов, влияющих на качество результатов образования.

Настоящее учебное пособие предназначено для тех преподавателей вузов, которые уже используют либо предполагают использовать в дальнейшем современные средства оценивания качества результатов обучения для подготовки своих студентов к аттестации на основе федеральных государственных образовательных стандартов третьего поколения. Авторы полагают, что оно заинтересует всех, кто склонен к введению инноваций в традиционный контрольно-оценочный процесс в вузе.

Заметим, что изучение настоящего учебного пособия не требует специальной математической подготовки. Дело в том, что разработка тестов по всему кругу дисциплин высшей школы не может быть обеспечена только силами профессионалов, специалистов в области педагогических измерений. Не случайно во многих странах тесты для аттестации выпускников и студентов разрабатывают сами учебные заведения, а специалисты в области педагогических измерений и психодиагностики привлекаются только в качестве консультантов. А в США ежегодно выпускается объемный сборник, содержащий краткие аннотации к тестам, появившимся в текущем году в университетах, колледжах и других учебных заведениях с указанием информации об их авторах и основных характеристиках тестов. Если и у нас в России тестирование будет развиваться с учетом этих тенденций, то можно надеяться, что настоящее учебное пособие в той или иной мере окажется полезным каждому преподавателю вуза.

В.И. Звонников, М.Б. Челышкова

1. Качество результатов обучения и его оценка

1.1. Современные тенденции развития образования: императив качества

С начала XXI в. в России, как и во всем мире, наметились политические и социальные тенденции, которые привели к возрастанию актуальности проблем качества образования, поиску новых подходов к повышению эффективности управления образовательными системами. К числу таких тенденций в первую очередь следует отнести интенсивное реформирование, охватывающее практически все уровни образования и требующее систематического анализа тенденций в изменении качества образования.

Во-вторых, это диверсификация образования, проявляющаяся в значительном расширении объема его содержания в условиях научно-технической революции начала ХХI в., введения новых методов обучения и информатизации на всех уровнях образования. В управлении качеством образования диверсификация приводит к необходимости интенсивного развития механизмов управления и увеличения числа факторов, нуждающихся в учете при управлении и влияющих на устойчивость образовательных систем. Хотя сегодня многие специалисты дают оптимистичные оценки диверсификации, к подобным прогнозам лучше относиться осторожно, так как последствия ее развития с учетом многих не выявленных последствий предсказать пока просто невозможно.

В-третьих, к числу современных образовательных тенденций, актуализирующих разработку проблем качества образования, следует отнести индивидуализацию, имеющую развитую теоретическую базу, но трудно приживающуюся в реальном учебном процессе. Теоретические положения развивающего личностно-ориентированного обучения, разработанные отечественными дидактами, пока еще не нашли адекватной практической реализации, не изучено влияние рекомендуемых методов и приемов индивидуализации обучения на результаты учебного процесса.

В-четвертых, следует выделить интернационализацию образования, вызванную политическим и экономическим сближением стран мира и требующую обеспечения общего образовательного пространства с сохранением позитивных национальных традиций учебных заведений России. Следствием интернационализации стало присоединение России к Болонской декларации, для реализации принципов которой потребовалось реформирование отечественного образования на различных уровнях. В высшей школе процесс реформирования привел ко многим инновациям, среди которых в первую очередь следует назвать введение двухуровневой системы высшего профессионального образования и компетентностного подхода к трактовке качества результатов образования, положенного в основу разработки образовательных стандартов третьего поколения.