Тестовый контроль в образовании - Надежда Ефремова

• распределенная по региону система опорных баз проведения стандартизированных массовых контрольно–оценочных процедур не только для итоговой аттестации, но и в процессе обучения;

• материально–техническое и информационно–технологическое оснащение распределенных пунктов проведения и автоматизированной обработки результатов тестирования;

• включение в тестовый контрольно–оценочный процесс всех образовательных учреждений, использование валидного инструментария педагогических измерений и надежных контрольно–оценочных процедур, обеспечение конфиденциальности контрольно–измерительных материалов на всех этапах контрольно–оценочного процесса;

• система подготовки специалистов для обеспечения правильности проведения контрольно–оценочных процедур по новым технологиям и использования их в образовательной практике;

• банк валидного инструментария педагогических измерений и надежных контрольно–оценочных процедур, обеспечение конфиденциальности контрольно–измерительных материалов на всех этапах контрольно–оценочного процесса;

• региональный банк валидной образовательной статистики и доступ к нему различных категорий пользователей (школы, управления образованием, вузы, родители, учащиеся, учителя и т.д.);

• система обучения и переподготовки педагогических кадров технологии и технике современного тестирования, использования методов статистической обработки анализа и интерпретации результатов;

• системная подготовка большого числа специалистов для обеспечения правильности проведения контрольно–оценочных процедур по новым технологиям, разработки тестов и определения их качества;

• новые формы и методы зачисления абитуриентов в вузы и ссузы по результатам независимой аттестации выпускников.

Новые тенденции в управлении, естественно, требуют разработки новых критериев оценки качества образования, создания служб оценки учебных достижений, разработки информационных технологий статистической обработки и анализа результатов контроля качества образования на разных образовательных уровнях и ступенях для оперативного управления и самоуправления процессами обучения и развития.

Вопросы и задания

1. Перечислите виды мониторинга в образовании.

2. В чем особенность квалиметрического мониторинга качества обучения?

3. При каких условиях возможна организация многоуровневого мониторинга?

4. Что является основополагающим при организации многоуровневого квалиметрического мониторинга?

5. Какие показатели используются при анализе данных в системе ква–лиметрического мониторинга?

6. На какие критерии можно ориентироваться при квалиметрическом мониторинге качества обучения?

7. Что следует учитывать при аттестации педагогов с учетом результатов тестирования?

Глава 5

МЕТОДЫ АНАЛИЗА РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ

Статистика  –  это  математическая  теория, позволяющая  познать мир через опыт.

5.1. Формирование образовательной статистики

Последний компонент измерений – обработка результатов с целью представления их в форме, удобной для пользователей, и интерпретации согласно задачам педагогического контроля. Этап обработки результатов нередко включает преобразование первичной шкалы, построенной непосредственно по числу выполненных заданий, в другую – для повышения удобства при интерпретации результатов измерения. Всегда, когда ставится задача измерения, то имеется в виду получение истинной величины оцениваемой характеристики, которую можно определить как предел последовательности результатов ее измерения при числе измерений, стремящемся к бесконечности. Нередко истинную величину называют латентным параметром, акцентируя внимание на ее единственности для характеристики данного объекта и инвариантности относительно качества средств и методов измерения. Основываясь на изложенных выше общих сведениях, педагогическое измерение можно определить как процесс установления соответствия между оцениваемыми характеристиками обучаемых и точками эмпирической шкалы, в которой отношения между различными оценками характеристик выражены свойствами числового ряда. При педагогическом измерении обычно в качестве характеристик обучаемых выступают знания и умения, освоенные учащимися на момент выполнения теста. Роль единицы измерения играют калиброванные тестовые задания, объектом оценивания являются сами обучаемые, а результатом измерения – баллы тестируемых учеников или студентов на единой шкале оценок.

Образовательная статистика формируется как на федеральном, так и на региональном, территориальном и школьном уровнях. Как правило, данные массового тестирования являются репрезентативными и могут обеспечить наиболее достоверную картину качества обучения по различным предметным областям и образовательным системам. Они систематизируются и выдаются в одинаковом формате для объектов наблюдения всех уровней.

Для мониторинга и анализа учебных достижений используются одни и те же показатели:

• общее число участников ЕГЭ по стране, региону, районам, образовательным учреждениям;

• средние тестовые баллы ЕГЭ по регионам и территориям;

• средние тестовые баллы ЕГЭ по пунктам проведения экзамена (ППЭ) в регионе;

• плотность распределения учащихся, набравших соответствующий тестовый балл по России и региону;

• доля учащихся (в %), выполнивших тестовые задания по структуре теста;

• статистические результаты ЕГЭ по пятибалльной шкале по России и региону;

• средние тестовые баллы по предметам ЕГЭ;

• число участников ЕГЭ, не приступавших к выполнению заданий «С» по каждому предмету и каждой территории;

• процент выполнения выпускниками заданий «А», «В» и «С» генеральной выборки и отдельными группами участников;

• количество выпускников, получивших баллы в интервале от 90 до 100.

Очень важными при многоуровневом анализе являются выбор комплекса показателей качества образовательного процесса по уровню подготовленности учащихся и обеспечение объективного и целостного представления о состоянии системы образования и ее составляющих. При этом большое значение имеют используемые методы и способы педагогического анализа результатов и их интерпретации, регулярность и периодичность тестового контроля. Суждения, выводы, доводы и оценки, сделанные в результате мониторинга, должны способствовать совершенствованию объекта.

Мониторинговые исследования по результатам массового тестирования и ЕГЭ могут проводиться по следующим направлениям:

1. Сравнительный анализ средних тестовых баллов выпускников разных регионов по всем предметам со средними показателями по России, средних тестовых баллов по территориям и образовательным учреждениям со средними по России и региону, по оценкам в аттестатах и на ЕГЭ, количеству заявленных медалистов и подтвердивших результаты на ЕГЭ.

2. Содержательный анализ усвоения учебного материала по дисциплинам, включенным в ЕГЭ, по различным уровням обобщения данных и управления образованием (федеральному, региональному, территориальному, школьному).

3. Анализ качества обучения по совокупности учебных дисциплин по видам образовательных учреждений и категориям выпускников.

4. Тематический анализ учебных достижений по процентам выполненных тестовых заданий по различным дисциплинам, территориям, образовательным учреждениям.

5. Определение рейтинга выпускников общеобразовательных учреждений, отдельных территорий, регионов, вузов и специальностей по уровню подготовленности абитуриентов на основе сопоставимости результатов массового тестирования.

6. Динамический анализ качества контрольных измерительных материалов и подготовки выпускников по годам.

7. Интерпретация результатов мониторинговых исследований и выводы о достигнутом качестве подготовленности выпускников и состоянии образовательных систем.

В качестве объектов анализа могут быть выбраны любые массивы участников единого государственного экзамена: учащиеся, классы, школы, районы, города, регионы и все выпускники регионов–участников. Для каждой такой выборки используется соответствующий уровень обобщения статистических данных. Оценка качества подготовленности учащихся в той или иной предметной области средствами педагогического тестирования и мониторинга ориентирована на обеспечение постоянным потоком сопоставимой образовательной информации большого числа пользователей (учащиеся, учителя, родители, работники управления образованием и др.). Однако абсолютные данные в большинстве случаев не дают полного представления о качестве исследуемого объекта, более информативным является сопоставление показателей исследуемой выборки с нормами или объектами более высокого уровня обобщения результатов (парные или множественные сравнения).