Составители разных тестов не похожи друг на друга. Некоторые стремятся перемешать ответы, другие об этом даже не задумываются. Студенту, выполняющему несколько тестов, составленных одним и тем же профессором, полезно сохранить их (или найти в сети) и поискать закономерность в расположении правильных ответов, чтобы определить алгоритм действий составителя. Собранные мной данные, однако, дают основание предположить: даже не зная материала, можно делать ставку на некоторые распространенные закономерности.
Начнем с экзаменационных вопросов, предполагающих выбор ответа «да» или «нет». Преподаватель использует такого рода тесты потому, что их легче всего составлять и проверять. Составитель тестов, выбирающий тест с вопросами, требующими ответа «да» или «нет», идет кратчайшим путем, и с точки зрения стратегии это хорошо.
В данном случае выявились две закономерности. Первая: ответов «да» больше, чем ответов «нет». В среднем 56 процентов приходится на «да» и 44 процента на «нет».
Причину найти нетрудно. Ответ «да» первым приходит на ум. Мы вспоминаем какой-либо факт быстрее, чем придумываем ложь. Составители тестов следуют по пути наименьшего сопротивления, и у них получаются тесты с преобладанием ответа «да».
Другая закономерность вполне ожидаема – ответы «да» и «нет» чередуются гораздо чаще, чем при настоящей случайной последовательности. Вот, например, ключ к ответам теста из учебника для колледжа, состоящего из 20 вопросов (Plummer, McGeary, Carlson’s Physical Geology, девятое издание): НДДНДННДДНДДНДДДНДДН. Изобразим этот ключ в виде черных и белых квадратов, где белые обозначают ответ «да».
Эта последовательность только выглядит случайной. Один из способов проверки – подсчитать, сколько раз за правильным ответом («да» или «нет») следует тоже правильный. Таких случаев семь из 19 (после 20-го ответа нет следующего). Другими словами, вероятность того, что следующий ответ будет отличаться от текущего, составляет 63 процента. Это больше ожидаемых 50 процентов для случайной последовательности.
Будем надеяться, что вы не станете угадывать каждый ответ. В большинстве случаев вы заранее знаете правильные ответы на вопросы, которые предшествуют трудным и следуют за ними. Это позволяет разработать стратегию для теста с вопросами, предполагающими выбор ответа «да» или «нет»:
• Прежде чем пытаться что-то угадать, просмотрите весь тест, пометив вопросы, ответы на которые вы знаете.
• Посмотрите на известные правильные ответы, расположенные до и после тех, которые вызывают у вас затруднение. Если оба они одинаковы (например, оба «нет»), выбирайте противоположный («да»).
• Если ответы до и после разные, выбирайте «да» (поскольку такие ответы, скорее всего, преобладают).
Пример. Вам предстоит угадать ответ, окруженный ответами «да», в которых вы уверены. В этом случае предпочтительно ответить «нет».
Когда один из ответов до и после «да», а другой «нет», правило чередования дает противоречивые сигналы. Поэтому следует выбирать более распространенный вариант – «да».
Об угадывании в тесте с несколькими вариантами ответов существует богатый фольклор. Я помню, как мне советовали выбирать среднее. Судя по собранным мной данным, эта тактика бесполезна. В тестах с тремя вариантами выбора (назовем их A, Б, и В) все варианты с равной вероятностью правильные. При четырех вариантах второй ответ (Б) предпочтительнее с вероятностью 28 процентов – по сравнению с ожидаемыми 25 процентами для каждого варианта.
Когда вариантов пять, то чаще (23 процента) оказывается правильным последний ответ (Д). Наименее популярен (17 процентов) центральный вариант (В).
Похоже, что составители тестов интуитивно придерживались правильных пропорций для трех вариантов, но не смогли этого сделать для числа вариантов больше трех. Это согласуется с экспериментальными данными, свидетельствующими, что с увеличением числа вариантов выбора надежда угадать уменьшается.
Наилучшая стратегия – выбирать второй ответ (Б) в тестах с четырьмя вариантами и пятый ответ (Д) в тестах с пятью вариантами выбора.
Другой популярный совет при подготовке к тестам звучит так: «Никогда не выбирайте “никогда”». Следует избегать ответов, содержащих такие слова, как никогда, всегда, все или ничего. В нашем грешном и сложном мире эти универсалии без труда превращают истинное утверждение в ложное. Данный совет легко принять, особенно если задуматься, какой нелегкий труд – сочинять тест с несколькими вариантами ответа. На каждый верный ответ преподаватель должен придумать несколько правдоподобных неверных. Простые рецепты составления ложных утверждений должны использоваться достаточно часто.
Я обнаружил одно любопытное исключение. В исследованных мною тестах ответы «ни одно из вышеперечисленных» и «все из вышеперечисленных» в большинстве случаев оказывались верными. В одном из учебников для колледжа в тесте с четырьмя вариантами ответов такие, как «все/ничего», были правильными в 65 процентах случаев!
Ответы «ни одно из вышеперечисленных» не могут существовать отдельно; они должны быть окружены другими. Сложность задачи, по-видимому, мешает составителям включить нужное количество неверных ответов из категории «ни одно» или «все». В моей выборке ответ ни одно/все оказался верен в 52 процентах случаев. Такая близость к репрезентативности не может не вызывать удивления.
Другое любопытное эмпирическое правило гласит, что верным, скорее всего, окажется самый длинный из нескольких возможных ответов. На один из вопросов экзамена на водительские права в штате Вашингтон верным действительно оказывается самый длинный вариант (В):
Для поворота направо вы должны находиться:
А. В левом ряду.
Б. В среднем ряду.
В. В ряду, ближайшем к направлению, куда вы хотите повернуть.
Г. В любом ряду.
Составители тестов должны убедиться, что верные ответы бесспорны. Нередко это требует точных определений. В неверных ответах они могут не так стараться.
Подобно тестам, предполагающим выбор ответа «да» или «нет», тесты с несколькими вариантами ответа характеризуются избыточным чередованием. Довольно часто обнаруживались короткие тесты, в которых ни один правильный вариант не повторялся два раза подряд. Ключ к ответам напоминал поле для игры в классики.
Я подсчитал, насколько часто положение правильного ответа (A, Б, В…) повторяет положение предыдущего правильного ответа. Для тестов с тремя вариантами на выбор в моей базе данных правильные ответы в двух соседних вопросах совпадали только в 25 процентах случаев (против 33 процентов, ожидаемых для случайной последовательности). Для тестов с четырьмя вариантами выбора – совпадений 19 процентов (против 25 ожидаемых), а для тестов с пятью вариантами ответов – 18 процентов (против 20 ожидаемых).
