Виктор Звонников - Контроль качества обучения при аттестации: компетентностный подход

D – умение интерпретировать результаты на графиках и схемах;

E – умение проводить оценочные суждения.

Таблица 4.1 Пример структуры спецификации

Для заполнения таблицы в качестве первоначальной длины теста было выбрано 60 заданий. Вес каждого из разделов в процентах указан в первой строке табл. 4.1. Конечно, при заполнении таблицы в распределении заданий удается лишь приближенно отобразить пропорции разделов. К тому же не во все ячейки должны быть вписаны числа (например, ячейка на пересечении второго столбца и пятой строки), поскольку некоторые умения могут оказаться несовместимыми с содержанием отдельных разделов. Однако даже в таком приближенном видении общей раскладки заданий есть огромная польза для планирования теста.

Естественно, что в процессе работы над тестом первоначальная раскладка заданий будет претерпевать различные изменения. Это объясняется тем, что не все задания окажутся удачными и уместными в той мере, как это считается на этапе планирования. Поэтому с одной частью заданий разработчику приходится расстаться после экспертизы содержания, с другой – в процессе углубленного анализа, проводимого по результатам статистической обработки эмпирических данных выполнения теста. В этой связи после коррекции теста необходима доработка спецификации для приведения ее в соответствие с окончательными пропорциями содержания теста.

Общие принципы отбора содержания теста способствуют обеспечению его высокой содержательной валидности [28].

Первый принцип – репрезентативность – регламентирует процедуру отбора содержания таким образом, чтобы обеспечить оптимальную полноту и правильность пропорций содержания теста.

Второй принцип – значимость – предписывает включать в тест наиболее значимые элементы содержания, относящиеся к опорным темам курса. Выделение опорных элементов требует структурирования содержания предмета перед его отбором в тест.

Третий принцип – системность – предполагает подбор упорядоченных содержательных элементов, связанных между собой определенной иерархией и общей структурой знаний.

Оценка качества содержания теста должна проводиться по определенной методике независимыми экспертами, не участвовавшими в разработке теста. Как правило, число экспертов составляет не менее трех человек по каждому тесту.

Методика экспертизы качества содержания теста обычно включает три раздела, которые выстраивают сообразно трем направлениям работы экспертов. Перед началом работы каждый эксперт должен ознакомиться со спецификацией рецензируемого теста, содержащей пояснения по его структуре и планируемому к проверке содержанию. Один из вариантов подобных методик для оценки качества содержания аттестационного теста приводится далее.

Работа экспертов по первому направлению заключается в анализе качества содержания отдельных заданий теста. При работе по первому направлению вначале эксперт сам выполняет весь тест, сопоставляя полученные правильные ответы с ключом ответов автора для заданий с выбором ответа и анализируя оценочные категории, представленные автором к заданиям со свободно конструируемым ответом.

В процессе выполнения заданий возможны случаи появления неоднозначности, когда на месте планируемого единственного ответа могут возникнуть дополнительные, частично правильные ответы.

Эксперту необходимо также определить уровень базовости содержания каждого задания, который в определенной степени является субъективной оценкой его трудности. Дифференциация заданий по уровням позволяет разделить их на три группы: базовые, повышенной трудности и наиболее трудные.

Эксперт оценивает уровень значимости содержания каждого задания теста и ожидаемое время его выполнения студентами со средним уровнем подготовленности, выявляет логически некорректные задания, где, помимо правильного, возникают частично правильные ответы. В процессе экспертизы особенно важно выявить случаи отсутствия четкого логического выделения одного предмета измерения. Для достижения логической четкости в каждом задании следует спросить только о чем-либо одном. Часто встречающиеся попытки проверить сразу несколько аспектов подготовленности и ввести несколько величин в ответы, как правило, отрицательно сказываются на качестве заданий и всего теста.

Необходимо также попросить эксперта охарактеризовать качество формулировок содержательной основы заданий теста, отметить в случае необходимости лексическую избыточность формулировок, охарактеризовать качество представления графической информации и других компонентов заданий. При экспертизе следует помнить о том, что тестовые задания должны быть сформулированы предельно четко, точно, лаконично и корректно с точки зрения общепринятой в учебном предмете терминологии и символики предмета.

Второе направление работы эксперта связано с анализом качества содержания всего теста. При выполнении работ по второму направлению следует оценить полноту охвата требований ФГОС в тесте, правильность пропорций содержания теста и их соответствия спецификации теста. Зачастую при разработке теста возможно смещение пропорций, так как тест легко перенасытить теми разделами содержания, по которым легче составить задания. Например, в рамках гуманитарного цикла дисциплин легко разрабатывать задания на выявление фактологических знаний, и потому они нередко преобладают в отдельных тестах.

Третье направление работы эксперта рассчитано на подготовку обобщающих выводов и рекомендаций по улучшению содержания теста. В третьем разделе рецензии эксперт приводит свое общее впечатление о содержании теста. Здесь должны быть высказаны все сомнения и пожелания эксперта, его рекомендации по улучшению содержания. Возможна оценка соотношения заданий, проверяющих знание теории предмета и его практики. Желательно выявить задания, предназначенные для проверки системы понятий, а также заданий интегрального характера, предназначенных для проверки умений учащихся обобщать знания по различным разделам предмета, заданий с межпредметными компонентами и т.д.

Научно обоснованный отбор содержания является важнейшей предпосылкой достижения высокого качества педагогического теста. Процесс научного обоснования предполагает планирование содержания теста.

Планирование начинается с этапа целеполагания, на котором результаты обучения сопрягаются с целями учебного процесса. При выборе приоритетной таксономии целей обучения желательно обращаться к тем, которые имеют операциональный характер, чтобы их было легче использовать при создании тестов. Зарубежные таксономии целей обучения обладают специфическими особенностями и требуют определенной переработки для использования при планировании содержания тестов.

Основным результатом планирования является создание спецификации теста. Содержание разрабатываемого теста должно полностью соответствовать его спецификации. Правильно составленная спецификация является необходимым, но не достаточным условием высокой содержательной валидности создаваемого теста. Для достижения высокого качества содержания педагогического теста необходима тщательная экспертиза.

1. Перечислите этапы процедуры планирования теста.

2. Что, по вашему мнению, является первичным: выбор формы заданий, определение длины теста или разработка спецификации теста?

3. Есть ли различие в подходах к планированию содержания нормативно-ориентированных и критериально-ориентированных тестов?

4. Возможны ли случаи несовпадения со спецификацией при отборе содержания теста?

5. Многие авторы полагают, что для правильного отбора содержания вполне достаточно их педагогического опыта, а разработка спецификации является излишней потерей времени при создании теста. Каково ваше мнение по этому вопросу?

6. Какой принцип ориентирует разработчика на достижение полноты и значимости содержания теста?

По наиболее часто встречающейся в отечественной и зарубежной литературе классификации предтестовых заданий выделяют [1, 28, 34, 40]:

     • задания с выбором, в которых студенты выбирают правильный ответ из данного набора ответов;

     • задания с конструируемым ответом, требующие от студента самостоятельного получения ответов;

     • задания на установление соответствия, выполнение которых связано с выявлением соответствия между элементами двух множеств;

     • задания на установление правильной последовательности, в которых от студента требуется указать порядок элементов, действий или процессов, перечисленных в условии.