При формулировании понятийного аппарата необходимо классифицировать виды тестов, чтобы привести вводимые определения в соответствие с различными видами тестов и целями их создания. Понятийный аппарат теории педагогических измерений необходим не только специалистам, но и преподавателям для правильного выбора и использования педагогических тестов, знания существенных признаков тестов и их отличий от псевдотестов.
В настоящий момент во многих странах разрабатываются измерители, отличающиеся от традиционных оценочных средств и тестов в сфере отбора содержания (компетентностный подход, междисциплинарный подход, творческие аспекты содержания подготовки), в форме заданий (переход от заданий с выбором ответа к заданиям со свободно конструируемым ответом), форме оценки (переход к самооценке, многомерной оценке). Во многом эти измерители преодолевают недостатки существовавших ранее оценочных средств, поэтому они получили название средств аутентичного оценивания.
Практические задания и вопросы для обсуждения
1. Каковы функции входного тестирования? Есть ли смысл разрабатывать входные тесты в вузе?
2. Каковы цели разработки корректирующих тестов? Есть ли различия между корректирующими тестами и традиционными средствами текущего контроля?
3. В рамках какого подхода, по вашему мнению, следует разрабатывать компетентностные тесты?
4. Какой процесс называется стандартизацией теста?
5. Перечислите основные факторы, влияющие на устойчивость норм теста для вашего вуза.
6. Укажите отличия между нормативно-ориентированными и критериально-ориентированными тестами.
7. Какие тесты, по вашему мнению, необходимо разрабатывать в первую очередь для повышения эффективности учебного процесса в вузе? Назовите несколько ситуаций, в которых целесообразно использовать портфолио.
8. На какие инновационные средства, по вашему мнению, следует делать упор при введении компетентностного подхода в высшее профессиональное образование?
9. Составьте сравнительную характеристику инновационных измерителей на основе анализа их возможностей для оценивания творческих аспектов подготовленности студентов.
10 Какие измерители наиболее адекватны по своим характеристикам задаче отслеживания динамики изменений качества подготовленности студентов?
11. Какие измерители необходимы для системы мониторинга качества образования внутри учебного заведения?
12. Эффективно ли использовать диагностические тесты без корректирующих тестов?
4. Аттестационные тесты. Их содержание, планирование, отбор и экспертиза
4.1. Целеполагание при планировании содержания педагогического теста
Содержание теста формируется путем отображения учебного материала в системе тестовых заданий. Для обеспечения высокой конструктной и содержательной валидности результатов педагогических измерений необходимо использование определенной методики, включающей вопросы целеполагания, планирования и оценки качества содержания теста.
При создании аттестационного теста ставится задача отобразить в его содержании то главное, что должны знать студенты в результате обучения в соответствии с требованиями ФГОС. Обычно все результаты обучения проверить невозможно из-за избыточной длины теста. Чтобы не утратить самое главное в содержании теста, необходимо структурировать цели обучения и ввести определенную иерархию их взаимного расположения. При создании таксономии целей нет и не может быть готовых общих схем, так как в каждой дисциплине свои приоритеты и отдельные цели обучения заметно связаны между собой, поэтому постановка целей должна носить предметно-ориентированный характер.
В настоящее время таксономия целей Блума является наиболее известной в мировой педагогической литературе [28, 32]. Она очень технологична и вполне приемлема для целей тестирования с точки зрения большинства разработчиков педагогических тестов. В своей классификации Блум выделяет:
• знание названий, имен, фактов;
• фактуальные знания;
• знание определений и понимание их смысла;
• сравнительные, сопоставительные знания;
• классификационные знания;
• знание противоположностей, противоречий, синонимичных и антонимичных объектов;
• ассоциативные знания;
• причинные знания;
• алгоритмические, процедурные знания;
• обобщенные, системные знания;
• оценочные знания;
• процессуальные знания;
• абстрактные знания;
• структурные знания;
• методологические знания.
В 90-е гг. ХХ в. таксономия Блума подверглась критике в связи с недостаточным отражением современных достижений в области психологии обучения. К числу недостатков была отнесена излишняя упрощенность, не позволяющая использовать современные теории процесса обучения; избыточное внимание к оценке результата обучения, а не к процессу формирования результата; отсутствие зависимости между отдельными составляющими модели. Кроме этого, неоднократно отмечалось, что в ней произошло методологически недопустимое смешение конкретных результатов обучения (знание, понимание и т.д.) с операциями, представляющими необходимое условие их достижения (анализ, синтез, оценка).
В новой концептуальной модели, предложенной в 1982 г. (Бигс и Коллис) и получившей название СОЛО-таксономия (SOLO – Structure of the Observed Learning Outcomes), содержится детальная классификация категорий познавательной деятельности, позволяющая планировать различные ее уровни в концептуальной модели содержания теста. СОЛО-таксономия имеет иерархическую структуру, которую можно использовать как для разработки инструментария, так и при интерпретации результатов педагогических измерений. На сегодняшний день СОЛО-таксономия прочно вошла в практику деятельности многих тестовых центров при планировании содержания контрольно-оценочных средств. Она достаточно успешно применяется в международных исследованиях качества образования в различных странах мира, в частности, для оценки достижений учащихся по математике и естествознанию [18].
При отборе содержания теста происходит операционализация и конкретизация планируемых результатов обучения, которая заключается в придании форме представления целей обучения тех характеристик, которые позволяют однозначно отобразить их в содержании тестов [28]. Процесс операционализации строится на планировании содержания теста.
4.2. Планирование содержания теста
В процессе планирования содержания теста его автору приходится думать о том, что далеко не весь набор целей обучения можно отобразить в тесте. При прочих равных условиях можно считать, что чем полнее отображение, тем выше содержательная валидность теста, но на практике приходится думать не только о требованиях тестовой технологии, но и о реальных возможностях студентов, которые должны выполнять тест без излишнего напряжения и усталости. В этой связи набор целей обучения необходимо структурировать и выделить самые важные, которые должны обязательно попасть в тест.
Процесс планирования выполняется с помощью спецификации теста. В ней делается примерная раскладка процентного соотношения содержания разделов и определяется необходимое число заданий по каждому разделу дисциплины, исходя из его важности и числа часов, отведенных на него в программе.
Раскладку начинают с подсчета планируемого исходного числа заданий в тесте, которое затем будет неоднократно меняться в процессе работы над тестом в сторону увеличения или уменьшения. В спецификации теста фиксируется структура, содержание проверки и процентное соотношение заданий в тесте.
Иногда спецификацию делают в развернутой форме, содержащей указания на тип заданий, которые будут использоваться для оценки достижений студентов, время выполнения теста, число заданий и т.д. Спецификация очень важна при создании параллельных вариантов, необходимых в условиях массового тестирования, поскольку в ней закрепляется структура содержания всех вариантов одного теста.
Один из наиболее распространенных подходов к созданию спецификации основан на сопряжении системы знаний и умений с процентным соотношением заданий по различным разделам или по различным содержательным линиям проверяемой дисциплины в тесте. Гипотетический пример реализации подобного сопряжения без привязки к какому-либо предмету приведен в табл. 4.1. В нее включен перечень знаний и умений по четырем содержательным разделам:
А – знание понятий, определений, терминов;
В – знание законов и формул;
С – умение применять законы и формулы для решения задач;
D – умение интерпретировать результаты на графиках и схемах;
E – умение проводить оценочные суждения.
Таблица 4.1 Пример структуры спецификации
