Виктор Звонников - Контроль качества обучения при аттестации: компетентностный подход

2) дисперсию баллов по всей группе (30 испытуемых);

3 ) долю правильных ответов на задание по сильной группе ( 15 испытуемых);

4) долю правильных ответов на задание по слабой группе (15 испытуемых);

5 ) корреляцию между ответами испытуемых на задание и суммой баллов по тесту для сильной группы;

6 ) корреляцию между ответами испытуемых на задание и суммой баллов по тесту для слабой группы.

Источники повышения валидности теста:

     • подбор оптимальной трудности заданий для обеспечения нормального закона распределения баллов по тесту;

     • экспертиза качества содержания теста;

     • расчет оптимального времени выполнения теста;

     • подбор валидных заданий с высокой дискриминативностью.

Система добровольной сертификации (далее – Система) педагогических тестовых материалов (ПТМ) была создана на базе Исследовательского центра проблем качества подготовки специалистов Московского института стали и сплавов (технологического университета) приказом Министерства образования Российской Федерации от 17.04.2000 г. № 1122 «О сертификации качества педагогических тестовых материалов». Система получила регистрационный номер в реестре органов по сертификации Федерального агентства по техническому регулированию и метрологии (регистрационный № РОСС RU.B154.04TM00). Система сертификации функционирует с 2000 г.

Цель сертификации – повышение качества образования путем совершенствования ПТМ, применяемых для оценки знаний обучающихся методом тестирования в учебных заведениях Российской Федерации и других структурах системы образования. При этом решаются две задачи: первая – выявление и фиксация достигнутого уровня качества сертифицируемых ПТМ, вторая – разработка рекомендаций, определяющих методику совершенствования ПТМ.

Сертификация осуществляется специально созданным Центром сертификации качества педагогических тестовых материалов (далее – Центр сертификации), который также оказывает консультационные услуги по доведению характеристик ПТМ до уровня соответствия утвержденным требованиям к их качеству (Требования к качеству ПТМ). Требования к качеству ПТМ составляют нормативную базу Системы. Объективность и достоверность результатов сертификации обеспечивается участием в работах по сертификации ПТМ компетентных экспертов, рекомендованных учебно-методическими объединениями вузов, использованием научно обоснованных методик экспертизы качества ПТМ и профессиональных статистических пакетов для компьютерной обработки данных.

Система добровольной сертификации распространяется на все виды ПТМ, используемые для оценки знаний обучающихся во всех типах учебных заведений и других образовательных структурах Российской Федерации. Система добровольной сертификации распространяется на все виды ПТМ, используемые для оценки знаний обучающихся во всех типах учебных заведений и других образовательных структурах Российской Федерации. Согласно Правилам функционирования Системы объектами сертификации являются:

     • совокупности тестовых заданий, объединенные в варианты тестов и используемые для оценки знаний обучающихся;

     • компьютеризованные банки тестовых заданий;

     • совокупности тестовых методик, объединенные в технологии;

     • программно-инструментальные средства для генерации и предъявления традиционных и адаптивных тестов;

     • программные средства для математико-статистической обработки данных тестирования;

     • сопроводительные материалы, включающие спецификацию теста для бланковой или компьютерной формы представления, описание метода генерации варианта традиционного или адаптивного теста из банка данных, описание системы оценивания, включающее ключи правильных ответов, критерии или нормы оценивания, шкалы, описание процедур предъявления теста, проверки результатов тестирования и сообщения результатов испытуемым, а также другая продукция, относящаяся к категории педагогических тестовых материалов.

Центр сертификации вносит информацию в созданный в рамках Системы Федеральный реестр сертифицированных ПТМ с целью оказания посреднических услуг и предоставления заинтересованным лицам соответствующей информации о возможностях приобретения ПТМ у их авторов. Благодаря этому широкий круг заинтересованных учебных заведений имеет возможность приобрести сертифицированные ПТМ, обеспечивающие высокое качество результатов педагогических измерений.

Федеральный реестр сертифицированных ПТМ представляет собой специализированную базу данных, содержащую наиболее общую информацию о сертифицированных ПТМ (наименование дисциплины, специальность или направление подготовки, вид объекта сертификации, его предназначение и др.). Сведения о сертифицированных ПТМ вносятся в Федеральный реестр по желанию авторов ПТМ. Дополнительные сведения о сертифицированных ПТМ и контактная информацию об авторах ПТМ предоставляется Центром сертификации на платной основе по согласованию с авторами ПТМ. Соблюдение авторских прав является обязательным условием деятельности Центра сертификации.

Требования к качеству ПТМ прошли длительный период обсуждения, в котором приняли участие представители различных учебных заведений и управленческих структур в сфере образования. Основное назначение требований к качеству ПТМ состоит в обеспечении информации о критериях качества тестовых материалов для разработчиков и пользователей ПТМ. Разработка требований к качеству ПТМ и их систематическое обновление является обязательной составляющей деятельности Системы.

По структуре требования к качеству ПТМ состоят из набора регламентированных характеристик, правил, методики критериев, которые ориентированы на различные виды ПТМ. Часть требований к качеству ПТМ носит описательный характер, другая выражается в виде количественных характеристик – критериев качества.

Выполнение всех требований к качеству ПТМ является обязательным, если ПТМ используются при аттестации выпускников и учебных заведений. При сертификации ПТМ для текущего контроля часть требований носит необязательный характер либо не выдвигается совсем. Таким образом, в зависимости от планируемой области применения определяется класс требований, на соответствие которым проверяются разработанные ПТМ. С повышением уровня ответственности при принятии управленческих решений на основе результатов использования ПТМ повышается жесткость требований к качеству, предъявляемых к представленным материалам, а также дополняется список информации, необходимой для проведения работ по сертификации.

При сертификации ПТМ используются требования к содержанию тестов, критерии качества содержания гомогенных тестов, критерии качества содержания гетерогенных тестов, требования к формам заданий тестов, требования к статистическим характеристикам заданий и тестов, требования к характеристикам заданий компьютеризованного банка ПТМ, требования к структуре банка и технологии компьютерной генерации вариантов ПТМ, требования к сопроводительным материалам ПТМ.

1. Содержание теста должно полностью соответствовать цели создания. Выполнение требования предполагает ясную формулировку цели и подробное описание проверяемых содержательных элементов, знаний, умений и так далее в спецификации теста.

2. Отображение требований ФГОС в содержании теста должно быть по возможности полным. В содержании теста, предназначенного для целей аттестации, необходимо отобразить объем требований ФГОС, который условно можно принять за 100%.

3. Содержание теста должно обладать правильными пропорциями . Оно должно охватывать все важные аспекты предметной области в правильном соотношении, соответствующем используемым учебным программам или другим документам, определяющим структуру и пропорции содержания учебной дисциплины.

4. Содержание теста должно соответствовать спецификации. Не следует перенасыщать содержание теста теми разделами, по которым легче составить задания.

5. Содержание разделов гомогенного теста должно удовлетворять требованию однородности, что означает наличие только положительных значимых корреляций между результатами по заданиям внутри раздела. Содержание заданий каждого раздела теста должно обладать дисциплинарной общностью, которая устанавливается путем анализа корреляционной матрицы, полученной подсчетом интеркорреляций между результатами испытуемых по отдельным заданиям теста.

6. Содержание каждого задания теста должно удовлетворять требованию значимости. Необходимо включать в тест только те элементы содержания, которые являются наиболее важными, ключевыми элементами курса.