B. Сумма, выплачиваемая страховщиком третьим лицам (например, службе пожарной охраны) за предотвращение страхового события.
Маржа — это:
А. Синоним слова «прибыль».
Б. Стоимость товара вместе с упаковкой. В. Разница между продажной и покупной стоимостью товара.
Позиционирование товара на рынке— это:
A. Определение места и способа продажи товара.
Б. Определение потенциальных сегментов рынка с учетом качеств и свойств товара.
B. Размещение точек реализации данного товара в большом торговом комплексе.
Сегмент рынка— это:
A. Группа сходных товаров.
Б. Группа фирм, выпускающих сходную продукцию.
B. Социальная группа потребителей, сходно ведущих себя по отношению к данному товару.
И так далее.
Здесь есть несколько тонкостей, которые надо знать.
Во-первых, самое трудное — это придумывать неправильные ответы, особенно если вы сами хорошо разбираетесь в материале. На это есть следующий прием.
Один неправильный ответ делайте похожим на правильный, например, определение близкого термина или понятия (см. вопрос про маржу: первый вариант ответа близок к правильному, но неверный). Или просто поменяйте местами пару слов, чтобы смысл фразы изменился. Второй — какой угодно, для тех, кто совсем уж «не рубит».
Не думайте, что решить тест будет слишком просто: всегда найдутся те, кто даст «дурацкие» ответы (правда, в приведенном выше примере про страховую премию оба неверных ответа — именно такие).
Во-вторых, проследите за тем, чтобы не дать на какой-нибудь вопрос два правильных варианта ответов. Говорю не просто так: это случается.
В-третьих, расположение правильного варианта (А, Б, В) в разных вопросах необходимо чередовать, желательно в случайном порядке. Можно сделать это, вынимая на ощупь буквы на листочках из шапки. Можно и просто «на глаз»: А, А, В, Б, В, Б, А и так далее (только потом посчитайте, не выпадала ли одна из букв чаще остальных).
В-четвертых, скорее всего, вам придется сделать два варианта вопросника, чтобы не списывали при групповом тестировании. Для этого вовсе не обязательно делать два комплекта вопросов: это слишком трудоемко. Ограничьтесь перемешиванием; проще всего — сделайте второй вариант «задом наперед».
Сколько должно быть вопросов? Это зависит от объемности темы. Если документы (учебник) поделены на разделы, каждый из которых надо знать, достаточно по 2-3 вопроса на каждый раздел. Однако опыт показывает, что большинство людей либо знает материал, либо не знает. Поэтому проверять все вовсе не обязательно. Когда вы сдаете экзамен, вы же отвечаете только на один билет, а оценку вам ставят за весь курс!
В принципе 20-30 вопросов бывает достаточно, чтобы оценить знания даже довольно обширного материала.
Как выставлять оценки? Это зависит от ваших представлений о том, насколько проверяемые знания необходимы для работы сотрудников. Пример: на теоретических экзаменах в ГИБДД вы получите «неуд», если ошибетесь всего 2 раза на 10 задач! А можете ввести балльные оценки: за половину правильных ответов — троечка, за 2/3 — четверка, за 3/4 —«отлично». Ваше дело.
Теперь займемся тестами достижений. Здесь все будет сложнее: и составление вопросника, и расставление оценок, и, главное, валидизация. В тесте типа «контрольная работа» она не нужна, потому что мы и так знаем, что хотим проверять: насколько хорошо человек изучил конкретный материал.
Допустим, к вам приходит поток кандидатов, которых вы хотите проверить на компьютерную грамотность. Если бы вы сами их готовили, все было бы проще — достаточно составить «контрольную» на прочитанный им курс и на предложенные учебники. А в нашем случае вам придется определяться, какой базовый уровень считать достаточным для работы, а какой нет; какой материал из обширнейшей компьютерной тематики необходим, а какой не обязателен!
Например, можно ли считать «компьютерно грамотным» человека, умеющего загружать Word и печатать в нем тексты? Или требуется что-то большее?
Для начала получим предварительный набор вопросов. Берем несколько специалистов, которые, по нашему мнению, знают, что есть компьютерная грамотность. То есть хороших пользователей. Только не приглашайте профессиональных айтишников: эти считают безграмотным любого, кто не умеет программировать на Ассемблере. Собираем их вместе (можно даже с пивом: это стимулирует процесс) и просим накидать вопросы. Желательно — не меньше 50-100 (все равно потом большая часть отпадет). Когда набор вопросов будет готов, попросите их же дать варианты ответов по принципу, описанному выше: правильный, похожий на правильный и явно «дурацкий».
Здесь есть одна тонкость.
Бывают вопросы, которые напрямую вроде и не отражают квалификацию человека, но, если он грамотен, ответы на них он просто не может не знать.
Пример: объем стандартной трехдюймовой дискеты. В процессе работы на компьютере мы обычно не помним, что он составляет 1,44 Мб (только если не выясняется, что ваши файлы не помещаются на дискету). В общем-то, этого и помнить не надо. Но любой, кто как следует повозился с персональным компьютером, ответит на этот вопрос даже среди ночи.
Итак, мы сформировали набор вопросов. Они будут выглядеть примерно так:
Картинка, которая появляется на экране после полной загрузки Windows, называется:
A. Рабочей папкой.
Б. Рабочим столом.
B. Рабочим полем.
Или:
Можно ли рисовать картинки в программе MS Excel?
А. Нельзя.
Б. Можно, но для этого нужна дополнительная программа рисования.
В. Можно.
Или:
Стандартная клавиша для получения справки:
A. F1.
Б. Знак вопроса (?).
В. F10.
Или:
Браузер— это:
A. Устройство для подключения компьютера к телефонной сети.
Б. Программа для просмотра страниц Интернета.
B. Программа для поиска и уничтожения компьютерных вирусов.
И так далее, в том же духе. Обратите внимание, что я постоянно меняю место правильного ответа!
Теперь нам предстоит выбрать «правильные» вопросы. «Правильные» — это те, которые позволяют отличить грамотного от дилетанта.
Вам придется «пропустить» через составленный вопросник человек минимум 50. При этом очень здорово, если вы заведомо знаете уровень их владения компьютером (в нашем случае). Если нет — тоже не страшно. Это могут быть, например, уже работающие сотрудники вашей фирмы. Заодно оцените их реальную компьютерную грамотность.
Важна опять же репрезентативность выборки. То есть группа, на которой вы проводите эту процедуру, должна быть такой же, что и ваши кандидаты на работу (напоминаю, что мы с вами делаем тест для профотбора). Попробуйте, например, дать этот вопросник сегодняшним студентам! Засмеют. Эти-то уже все «компьютерно грамотные». Зато, скажем, на каких-нибудь бухгалтерских курсах получите совсем иную картину.
Лучший вариант: если поток кандидатов достаточно велик, на них и экспериментируйте!
Итак, набрали результаты. Кстати, анализировать их лучше всего в том же Microsoft Excel. Ваша задача — для каждого вопроса определить частоту правильных ответов.
Все вопросы «развалятся» на три группы (если изначально они были подобраны правильно):
— вопросы, на которые отвечают практически все (до 80%);
— вопросы, на которые отвечают «серединка на половинку» (40-60%);
— вопросы, на которые большинство не отвечает (правильные ответы даются в 10-20% случаев).
Какие нам нужны? Конечно, те, которые «серединка на половинку»! Именно они и имеют диагностическое значение. Потому что остальные — либо слишком простые, либо слишком сложные для нашего контингента испытуемых. Следовательно, нам они не нужны.
Оставим вопросов 20-30 из числа отобранных. Теперь нам надо определить нормативы. Кого считать «проходным»: ответившего правильно на все вопросы или только на половину?
Для этого есть два способа. Самый лучший — если у вас есть возможность делить испытуемых на «грамотных» и «неграмотных» по какому-то иному критерию. Например, после заполнения теста сажаете кандидата за компьютер, даете несколько заданий (например, «найдите мне в Интернете все упоминания о нашей фирме») и субъективно выставляете оценку.
Кстати, вспомним, для чего мы делаем тест. Именно для того, чтобы заменить этим «измерительным прибором» трудоемкую процедуру проверки на практических заданиях!
Второй способ: из уже полученной вами выборки оставьте для каждого испытуемого ответы только на отобранные вами «диагностически значимые» вопросы. Потом для каждого испытуемого подсчитайте количество правильных ответов. Почти наверняка вы получите диапазон от двух-трех до всех правильных. А теперь подсчитайте «порог» количества правильных ответов для «нижней», «средней» и «верхней» третей этого диапазона.
