Для заполнения таблицы было выбрано 60 заданий в качестве первоначальной длины теста. Вес каждого из разделов в процентах указан в первой строке табл. 4.1.1. Конечно, при заполнении таблицы в распределении заданий удается лишь приближенно отобразить пропорции разделов. К тому же не во все ячейки должны быть вписаны числа (например, ячейка на пересечении второго столбца и пятой строки), поскольку некоторые умения могут оказаться несовместимыми с содержанием отдельных разделов. Однако даже в таком приближенном видении общей раскладки заданий есть огромная польза для планирования теста.
Естественно, что в процессе работы над тестом первоначальная раскладка заданий будет претерпевать всяческие изменения. Это объясняется тем, что не все задания окажутся удачными и уместными в той мере, как это считается на этапе планирования теста. Поэтому с одной частью заданий разработчику приходится расстаться после экспертизы содержания, с другой – в процессе углубленного анализа, проводимого по результатам статистической обработки эмпирических данных выполнения теста. В этой связи после коррекции теста необходима доработка спецификации для приведения ее в соответствие с окончательными пропорциями содержания теста.
При компетентностном подходе в спецификации должна быть отражена примерная раскладка процентного соотношения субтестов по отдельным переменным измерения, структура содержания субтестов, проверяемые компетенции и необходимое число заданий по каждому субтесту (или компетенции) с указанием их формы. Фрагмент такой спецификации для 4-х субтестов, предназначенных для каждой компетенции одного кластера, показан в табл. 4.1.2.
Таблица 4.1.2
Кластер компетенций
(4 компетенции)
|
Компетентностный тест
|
Итого
|
Субтесты (содержательные разделы, модули, дисциплины)
|
1 субтест
|
2 субтест
|
3 субтест
|
4 субтест
|
20 заданий– 20%
|
30 заданий– 30%
|
40 заданий– 40%
|
10 заданий– 10%
|
 1-я компетенция
|
14 заданий
0 – с выбором ответа
10 – с краткими дополняемыми ответами
4 – с развернутыми ответами
0 – проблемные задания с наиболее правильным ответом
|
Неоценивается
|
18 заданий
10 – с выбором ответа
0 –– с краткими дополняемыми ответами
3 – с развернутыми ответами
5 – проблемные задания с наиболее правильным ответом
|
10 заданий
0 – с выбором ответа
3 – – с краткими дополняемыми ответами
5 – с развернутыми ответами
2 – проблемные задания с наиболее правильным ответом
|
42
|
2-я компетенция
|
9 заданий
5 – с выбором ответа
0 –– с краткими дополняемыми ответами
2 – с развернутыми ответами
2 – проблемные задания с наиболее правильным ответом
|
10 заданий
5 – с выбором ответа
0 –– с краткими дополняемыми ответами
3– с развернутыми ответами
2 – проблемные задания с наиболее правильным ответом
|
Неоценивается
|
10 заданий
0 – с выбором ответа
2 – с краткими дополняемыми ответами
3 – с развернутыми ответами
5 – проблемные задания с наиболее правильным ответом
|
29
|
3-я компетенция
4-я компетенция
|
………………
………………
|
………………….
………………….
|
………………..
……………….
|
………………….
………………….
|
14
8
|
 Итого
|
|
Раскладка форм заданий по субтестам приведена только для первых двух компетенций с целью сокращения показанного фрагмента спецификации. Как следует из таблицы 4.1.2, для проверки уровня сформированности 1-й компетенции предназначается 42 задания, для второй – 29 заданий и т.д.. Подобное соотношение указывает на иерархию компетенций, где большая значимость придается первой компетенции по сравнению со второй и всеми последующими компетенциями. При такой структуре таблицы спецификации необходимо строить 4 шкалы тестовых баллов для 4-х субтестов, а затем подсчитывать итоговый балл по всему тесту. В целом, при оценивании каждой компетенции отдельно число шкал должно быть равно числу оцениваемых компетенций.
Конечно, такой уровень детализации, когда создается отдельный субтест для каждой компетенции, вряд ли уместен, например, при оценивании уровня сформированности профессиональных компетенций по менеджменту, где в базовую часть структуры основной образовательной программы ФГОС включено 50 профессиональных компетенций. Поэтому, из-за многочисленности компетенций приведена рекомендация по структурированию и выделению кластеров компетенций. В результате кластеризации субтесты будут предназначаться для оценки уровня достижений студентов по совокупности компетенций, входящих в кластер и на определенном уровне обобщения расцениваемых как однородные по измеряемой переменной.
Для обозначения переменной каждому кластеру можно присвоить название, обобщающее формулировки совокупности входящих в него компетенций либо просто пронумеровать кластеры. Тогда число шкал тестовых баллов студентов будет равно числу кластеров компетенций. Суммирование баллов по отдельным шкалам с весовыми коэффициентами позволит определить общий тестовый балл студента. Сам тест будет состоять из набора субтестов, число которых равно числу кластеров, а каждый субтест предназначается для оценки достижений студентов по освоению совокупности компетенций одного кластера. Если субтесты окажутся слишком длинными, то тестирование можно проводить в несколько этапов на протяжении 3-5 дней.
4.2. Общие принципы отбора содержания аттестационных тестов
Общие принципы отбора содержания аттестационных тестов способствуют обеспечению высокой содержательной валидности их результатов. Первый принцип – репрезентативности – регламентирует процедуру отбора содержания таким образом, чтобы обеспечить оптимальную полноту и правильность пропорций содержания теста. Полнота достигается представительным отображением в содержании теста совокупностей компетенций, заложенных в ФГОС. Пропорции должны быть адекватны той иерархии кластеров, которая представлена в компетентностной модели подготовки специалиста (бакалавра или магистра) и распределении трудоемкости дисциплин и их разделов, заложенной в учебных планах и программах.
Второй принцип – значимости – предписывает включать в тест наиболее существенные элементы содержания, относящиеся к опорным темам курса. Выделение опорных элементов требует структурирования содержания предмета перед его отбором в тест. Этот же принцип, трактуемый по отношению к компетенциям, также предполагает обращение к компетентностной модели подготовки специалиста, в которой установлена иерархия компетенций.
Третий принцип – системности – предполагает подбор заданий, содержание которых связано между собой определенной иерархией и общей структурой знаний. В условиях компетентностного подхода системность означает отражение в аттестационном тесте иерархии кластеров компетентностной модели подготовки специалиста. Таким образом, становится ясным ответ на вопрос, который нередко возникает у преподавателей при разработке основной образовательной программы – к чему структурировать компетенции и связывать кластеры структурно-описательной моделью, отражающей приоритеты в подготовке бакалавра или магистра? Ответ достаточно прозрачен – компетентностная модель должна лежать в центре внимания при обучении и контроле результатов обучения.
4.3. Экспертиза качества содержания аттестационных тестов и оценочных рубрик
Оценка качества содержания теста должна проводиться по определенной методике независимыми экспертами, не участвовавшими в разработке теста. Как правило, число экспертов составляет не менее трех человек по каждому тесту. Не менее важно провести экспертизу оценочных рубрик к заданиям, которые в рамках компетентностного подхода нередко имеют форму с развернутым ответом. При экспертизе заданий и рубрик следует опираться на описания признаков проявления компетенций. Поэтому в работе по экспертизе большое значение приобретают паспорта компетенций.
Методика экспертизы качества содержания теста обычно включает три раздела, которые выстраиваются сообразно трем направлениям работы экспертов. Перед началом работы каждый эксперт должен ознакомиться со спецификацией рецензируемого теста, содержащей пояснения по его структуре и планируемым к проверке компетенциям, а также с описаниями признаков проявления компетенций в паспортах и с компетентностной моделью подготовки специалиста, в соответствии с которой создается тест. Затем каждый эксперт выполняет все задания теста, представляя себя на месте испытуемого.
Работа экспертов по первому направлению заключается в анализе качества содержания отдельных заданий теста и рубрик к ним в том случае, когда они представлены в форме, требующей развернутого ответа. При работе по первому направлению вначале эксперт сопоставляет правильные ответы, полученные им при выполнении теста, с ключом ответов для заданий с выбором ответа, предоставленных авторами, и анализирует оценочные рубрики к заданиям со свободно конструируемым ответом. В процессе выполнения заданий возможны случаи появления неоднозначности, когда на месте планируемого единственного ответа могут возникнуть дополнительные, частично правильные ответы. Особенно сложно достичь однозначности в заданиях с конструируемым ответом. Обычно ее повышению способствует уточнение инструкции к заданиям с развернутым ответом, детализация которой позволяет ввести дополнительные ограничения на выполнение задания и обеспечить получение желаемого ответа. В связи с этим, тщательной экспертизе следует подвергнуть инструкции к заданиям с конструируемым развернутым ответом.
Эксперту необходимо также определить уровень базовости содержания каждого задания, который, в определенной степени, является субъективной оценкой его трудности. Дифференциация заданий по уровням позволяет разделить их на три группы: базовые, повышенной трудности и наиболее трудные. Большая детализация при делении заданий по трудности вряд ли уместна, поскольку доля ошибки в оценках эксперта нередко доходит до 50-70%.
Эксперт оценивает уровень значимости содержания каждого задания теста и ожидаемое время его выполнения студентами со средним уровнем подготовленности, ориентируясь на свое знание контингента студентов, для которых предназначен тест. Он выявляет логически некорректные задания, где помимо правильного возникают частично правильные ответы. Особенно важно в процессе экспертизы заданий субтеста выявить случаи отсутствия четкого логического выделения одного предмета измерения. Для достижения логической четкости в каждом задании следует спросить только о чем-либо одном. Часто встречающиеся попытки проверить сразу несколько аспектов подготовленности и ввести несколько величин в ответы, как правило, отрицательно сказываются на качестве заданий и всего теста. Тенденции к многозначности характерны для компетентностных заданий, где нередко к одному заданию стараются поставить 5 и более вопросов.
Здесь трудно вводить какие-либо ограничения, поскольку, возможно, число вопросов диктуется признаками проявления компетенции, заложенными в ее паспорте. Однако даже в этих условиях автор должен стремиться к минимизации числа вопросов к каждому заданию, в противном случае будет неоправданно увеличена сложность применения и понимания оценочных рубрик к заданию на фоне снижения их обоснованности и роста субъективного компонента при проверке выполнения заданий студентом. В конечном счете, тенденция к неоправданному увеличению числа вопросов к каждому заданию приведет к резкому снижению надежности теста.
Необходимо также попросить эксперта охарактеризовать качество формулировок содержательной основы заданий теста. Отметить, в случае необходимости, лексическую избыточность формулировок, охарактеризовать качество представления графической информации и других компонентов заданий. При экспертизе следует помнить о том, что тестовые задания должны быть сформулированы предельно четко, точно, лаконично и корректно с точки зрения общепринятой в учебном предмете терминологии и символики предмета. Введение многочисленных контекстных факторов и дополнительных условий характерно для кейс-измерителей, где возможно получение нескольких решений, правильных, соперничающих не по степени истинности, а по уровню оптимальности для выбранных студентом факторов влияния и условий существования предлагаемых им решений. Подобная ситуация недопустима для заданий теста, даже в том случае, если оно носит явно выраженный компетентностный характер и требует конструирования развернутого ответа. Правильный оптимальный ответ к тестовому заданию должен быть единственным, в том числе в тех случаях, когда от студента по инструкции к заданию требуется выбрать или получить наиболее правильный ответ.
Второе направление работы эксперта связано с анализом качества содержания всего теста. При выполнении работ по второму направлению следует оценить полноту охвата требований ФГОС в тесте, правильность пропорций содержания теста и их соответствия спецификации теста. Зачастую при разработке теста возможно смещение пропорций, так как тест легко перенасытить теми разделами содержания, по которым легче составить задания. Например, в рамках гуманитарного цикла дисциплин легко разрабатывать задания на выявление фактологических знаний, и потому эти задания нередко преобладают в отдельных тестах.
Третье направление работы эксперта рассчитано на подготовку обобщающих выводов и рекомендаций по улучшению содержания теста. В третьем разделе рецензии эксперт приводит свое общее впечатление о содержании теста. Здесь должны быть высказаны все сомнения и пожелания эксперта, его рекомендации по улучшению содержания. Соображения по поводу структуры теста и расположения в нем субтестов, если они есть. Возможна оценка оптимальности стратегии расположения заданий либо соотношения заданий, проверяющих знания и умения и компетенции. Желательно выявить задания, предназначенные для проверки системы понятий, а также задания междисциплинарного характера, предназначенные для проверки надпредметных умений, поскольку эти задания всегда вызывают проблемы при оценке числа измеряемых ими переменных и нуждаются в дополнительном углубленном анализе со стороны автора теста.
Экспертиза качества содержания теста и оценочных рубрик, несомненно, довольно субъективна, несмотря на все усилия руководителей экспертиз получить независимые суждения как можно большего числа экспертов и устраивать их встречи по обсуждению своих позиций. Поэтому экспертиза является только первым шагом в работе по совершенствованию содержания аттестационного теста. Однако этот первый шаг необходим, поскольку опыт многочисленных служб тестирования в образовании говорит о том, что статистические оценка качества содержания теста, полученные в результате обработки данных его апробации, всегда показывают лучшие характеристики, если предварительно прошла экспертиза качества содержания теста.
В целом, экспертиза качества содержания аттестационного теста существенно способствует повышению его содержательной и конструктной валидности. В связи с этим, ей придают большое значение в работе служб тестирования в образовании и тратят значительные средства на обучение экспертов. Лучше всего, когда эксперты хорошо знают контингент студентов, для которых предназначается тест. Поэтому экспертов нередко выбирают из числа преподавателей, не принимавших участие в работе над тестом.
ВЫВОДЫ ПО ЧЕТВЕРТОМУ РАЗДЕЛУ
Научно обоснованный отбор содержания аттестационного теста является важнейшей предпосылкой достижения его высокого качества. Процесс научного обоснования предполагает планирование содержания теста. Планирование начинается с этапа целеполагания, на котором результаты обучения сопрягаются с компетентностной моделью подготовки специалистов.
При выборе приоритетной таксономии целей обучения желательно обращаться к тем, которые имеют операциональный характер, чтобы их было легче использовать при создании тестов. Существующие таксономии годятся для случая, когда разрабатываются тесты для проверки знаний и умений, но их нельзя использовать при разработке компетентностных аттестационных тестов, для которых роль таксономии отводится компетентностной модели подготовки специалиста.
Основным результатом планирования является создание таблицы спецификации теста. В спецификации теста фиксируется структура, содержание проверки и процентное соотношение заданий в тесте. При разработке спецификации делается примерная раскладка процентного соотношения кластеров и определяется необходимое число заданий по каждому кластеру исходя из его важности и числа дисциплин, отведенных на него в программе.
Содержание разрабатываемого теста должно полностью соответствовать спецификации теста. Правильно составленная спецификация является необходимым, но не достаточным условием высокой содержательной и конструктной валидности создаваемого теста. Для достижения высокого качества содержания педагогического теста необходима тщательная экспертиза и последующий анализ данных апробации теста на представительной выборке студентов.
5. ФОРМЫ ТЕСТОВЫХ ЗАДАНИЙ
5.1. Общие требования к заданиям и классификация форм
По наиболее часто встречающейся в отечественной и зарубежной литературе классификации тестовых заданий выделяют:
задания с выбором, в которых студенты выбирают правильный ответ из данного набора ответов;
задания с конструируемым ответом (кратким регламентированным или развернутым в произвольной форме), требующие при выполнении от студента самостоятельного получения ответов;
задания на установление соответствия, выполнение которых связано с выявлением соответствия между элементами двух множеств;
задания на установление правильной последовательности, в которых от студента требуется указать порядок элементов, действий или процессов, перечисленных в условии.
Предложенные четыре формы тестовых заданий являются традиционными, но в наши они претерпевают многочисленные изменения, связанные с сочетанием отдельных элементов основных форм. Однако детальное обсуждение инноваций в формах заданий не входит в цели написания данного пособия, поэтому все обсуждение будет вестись вокруг четырех классических форм.
Вне зависимости от формы задания в тесте должны подчиняться общим требованиям:
каждое задание имеет свой порядковый номер, который может изменяться после статистической оценки трудности задания и выбора стратегии предъявления заданий теста;
каждое задание имеет метку, которая присваивается заданию в момент его создания и остается неизменной при любой коррекции теста;
каждое задание имеет эталон правильного ответа, в том числе задания с развернутым конструируемым ответом;
в задании все элементы располагаются на четко определенных местах, фиксированных в рамках выбранной формы;
для заданий разрабатывается стандартная инструкция по выполнению, которая не меняется в рамках каждой формы и предваряет формулировку заданий в тесте;
для каждого задания разрабатывается правило выставления дихотомической или политомической оценки, общее для всех заданий одной формы и сопровождающееся инструкцией по проверке со стандартизированными процедурами подсчета сырых (первичных) баллов по тесту.
Процесс тестовых измерений предельно стандартизируется, если:
ни одному студенту не дается никаких преимуществ перед другими;
заранее разработанная система подсчета баллов применяется ко всем ответам студентов без исключения;
в тест включены задания одной формы либо разных форм с регламентированными весовыми коэффициентами, значения которых получены статистическим путем на основе регрессионного анализа;
тестирование различных групп испытуемых проводится в одинаковое время, в сходных условиях;
группа тестируемых выровнена по мотивации;
все испытуемые выполняют одни и те же задания.
Последнее условие не исключает возможности списывания, подсказки и других нарушений, поэтому обычно стараются создать 5-7 параллельных по содержанию и трудности вариантов одного теста, которые основаны на одной и той же спецификации теста. В целом выбор формы заданий и число вариантов теста зависят от содержания контролируемого содержания, целей контроля, требуемого уровня надежности теста. В частности, при аттестации стараются включить больше заданий с выбором ответа, поскольку они благодаря высокой технологичности и автоматизированным процедурам проверки позволяют увеличить охваченный в тесте объем содержания, длину теста, что способствует росту надежности и содержательной валидности результатов педагогических измерений.
В условиях перехода на новые ФГОС и введения компетентностного подхода было бы неправильно сосредоточить все усилия на разработке заданий с конструируемым ответом в развернутой форме, требующие при выполнении от студента самостоятельного получения ответов. Несмотря на инновационные приоритеты в трактовке качества образования и формулировки требований к результатам обучения в виде совокупности компетенций в новых ФГОС, знания и умения по-прежнему присутствуют в целях обучения, поскольку они являются результатами текущего учебного и закладывают фундамент для формирования компетенций. В связи с этим, при разработке измерителей есть смысл использовать все формы тестовых заданий, ориентируясь при их выборе на цели контроля, специфику содержания дисциплины, уровень ответственности, принимаемых административно-управленческих решений и т.д.
5.2. Задания с множественным выбором
В заданиях с множественным выбором можно выделить основную часть, содержащую постановку проблемы, и готовые ответы, сформулированные преподавателем. Среди ответов правильным чаще всего бывает только один, хотя не исключаются и другие варианты с выбором нескольких правильных, в том числе и в разной степени, ответов.
Неправильные, но правдоподобные ответы называются дистракторами. Если в задании два ответа, один из которых дистрактор, то вероятность случайного выбора правильного ответа путем угадывания равна 50%. Число дистракторов делают таким, чтобы задание не стало слишком громоздким и трудно читаемым, но вместе с тем, стараются не допустить слишком большой вероятности угадывания правильного ответа. Поэтому чаще всего в заданиях бывает 4 или 5 дистракторов, хотя в отдельных случаях, когда есть такая необходимость, их число может достигать шести–семи.
Задания с двумя ответами обычно используют для экспресс-диагностики, например в автоматизированных контрольно-обучающих программах для входа в обучающий модуль, при адаптивном тестировании или для самоконтроля, когда испытуемому необходимо оперативно выявить пробелы в собственных знаниях. Использование заданий с двумя и тремя ответами в итоговом контроле приводит к росту ошибки измерения из-за угадывания, поэтому их никогда не включают в аттестационные тесты, где для большей надежности стараются сделать все задания с одинаковым числом ответов.
Если дистракторы сформулированы некорректно, без малейшей привлекательности даже для самых слабых испытуемых группы, то они перестают выполнять свою функцию, и на деле получается задание не с запланированным, а с меньшим числом ответов. В самом плохом случае, когда все дистракторы в задании не работают, большинство студентов выполнит задание верно, выбрав единственный правдоподобный правильный ответ. В идеале каждый дистрактор должен в равной мере привлекать всех испытуемых, выбирающих неправильный ответ. Мера привлекательности дистракторов оценивается после первой апробации теста на репрезентативной выборке испытуемых с помощью подсчета долей студентов, выбравших каждый из дистракторов в качестве правильного ответа. Конечно, точное равенство долей является определенной идеализацией, практически недостижимой при эмпирической проверке, но, тем не менее, создавая задания, к этому равенству нужно стремиться.
Углубленный анализ частоты выбора каждого дистрактора студентами с различным уровнем подготовленности позволяет сделать вывод о валидности неправильных ответов. Если дистрактор чаще привлекает слабых студентов, выполнивших верно незначительное число заданий в тесте, то он считается валидным. В противном случае, когда дистрактор кажется привлекательным, в основном, сильным студентам, его валидностьневысока, и задание подлежит переработке. В целом можно сказать, что тестовое задание считается «хорошо работающим», если знающие студенты выполняют его правильно, а незнающие выбирают любой из дистракторов с равной вероятностью.
Если тестирование проводится с помощью бланков, то задания с выбором одного правильного ответа сопровождаются инструкцией: «ОБВЕДИТЕ НОМЕР (БУКВУ) ПРАВИЛЬНОГО ОТВЕТА».
Задания с несколькими правильными ответами обычно используются в текущем контроле для проверки классификационных и фактуальных знаний, хотя встречаются случаи, когда специфика содержания дисциплины вынуждает включать их в итоговые тесты. Они сопровождаются специальной инструкцией, подчеркивающей необходимость выбора всех правильных ответов и имеющей вид: «ОБВЕДИТЕ НОМЕРА ВСЕХ ПРАВИЛЬНЫХ ОТВЕТОВ».
Когда дистракторов слишком мало, а правильных ответов намного больше, то их легко угадать. В качестве выхода из подобной ситуации можно включить в число ответов только один неправильный, а студентов попросить выбрать один ошибочный ответ, если это не противоречит дидактическим целям контроля и допускается содержанием предмета. В этом случае инструкция имеет вид: «ОБВЕДИТЕ НОМЕР НЕПРАВИЛЬНОГО ОТВЕТА». Как правило, задания на выбор неправильного ответа не приветствуются ни преподавателями, ни тестологами, но допускается включение одного или двух таких заданий в тест.
Иногда, по замыслу автора, при разработке задания закладываются несколько правильных ответов, среди которых есть более правильный и менее предпочтительный. В этом случае задание сопровождается инструкцией: «ОБВЕДИТЕ НОМЕР НАИБОЛЕЕ ПРАВИЛЬНОГО ОТВЕТА».
При компьютерной выдаче заданий инструкция может иметь вид: «ДЛЯ ОТВЕТА НАЖМИТЕ КЛАВИШУ С НОМЕРОМ (БУКВОЙ) ПРАВИЛЬНОГО ОТВЕТА».
Обычно если все задания сформулированы в одной форме, то инструкция приводится в начале теста. В противном случае, когда в тест включены задания разных форм, инструкция меняется при каждом изменении формы. В целом, рекомендуется менять инструкцию как можно реже – ровно столько раз, сколько требует стратегия предъявления заданий теста.
Задания с выбором имеют ряд преимуществ, связанных с быстротой их выполнения, простотой подсчета итоговых баллов по тесту, возможностью автоматизации процедур проверки ответов студентов и вытекающей отсюда минимизацией субъективного фактора при оценивании результатов выполнения теста. С их помощью можно более полно охватить содержание проверяемой учебной дисциплины и, следовательно, повысить содержательную валидность теста. Несомненным достоинством формы заданий с выбором является ее универсальность, она годится практически для любого предмета.
Определенные трудности возникают при использовании заданий с выбором для проверки умений продуктивного уровня, связанных с применением знаний в незнакомой ситуации, творческими аспектами подготовки и случаями, когда требуется преобразование условий поставленной перед студентами задачи. Тогда задания с выбором готовых ответов использовать чаще всего невозможно. В условиях массового аттестационного тестирования, когда необходимо привлечь эффективные компьютеризованные технологии для подсчета баллов испытуемых и получить высокую объективность результатов педагогического измерения, достоинства заданий с выбором явно перевешивают недостатки. Поэтому эта форма нередко доминирует при разработке итоговых аттестационных тестов.
Задания с выбором ответа должны удовлетворять ряду требований, выполнение которых позволяет повысить качество теста. В случае разработки тестовых заданий с одним правильным ответом в отечественной и иностранной литературе к таким требованиям обычно относят следующие:
В тексте задания должна быть устранена всякая двусмысленность или неясность формулировок.
Основная часть задания формулируется предельно кратко, как правило, не более одного предложения из семи-восьми слов.
Задание имеет предельно простую синтаксическую конструкцию, в основной текст задания вводится не более одного придаточного предложения.
В основную часть задания следует включать как можно больше слов, оставляя для ответа не более двух-трех наиболее важных, ключевых слов для данной проблемы.
Все ответы к одному заданию должны быть приблизительно одной длины, либо правильный ответ может быть короче других, но не во всех заданиях теста.
Из текста задания необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки.
Частота выбора одного и того же номера места для правильного ответа в различных заданиях теста должна быть примерно одинакова, либо номер места для правильного ответа выбирается в случайном порядке.
Основная часть задания освобождается от всякого иррелевантного для данной проблемы материала.
Из ответов обязательно исключаются все повторяющиеся слова путем ввода их в основной текст заданий.
В ответах не рекомендуется использовать слова: "все", "ни одного", "никогда", "всегда" и т.д., т.к. в отдельных случаях они способствуют угадыванию правильного ответа.
Из числа дистракторов исключаются ответы, вытекающие один из другого. При формулировке дистракторов не рекомендуется использовать выражения: "ни один из перечисленных", "все перечисленные" и т.д.
Все дистракторы к каждому заданию должны быть равновероятно привлекательными для испытуемых, не знающих правильного ответа.
Ни один из дистракторов не должен являться частично правильным ответом, превращающимся при определенных дополнительных условиях в правильный ответ.
Ответ на одно задание не должен служить ключом к правильным ответам на другие задания теста. По сути это означает, что не следует использовать дистракторы из одного задания в качестве ответов к другим заданиям теста.
Если задание имеет среди прочих альтернативные ответы, то не следует сразу после правильного приводить альтернативный ответ, так как внимание отвечающего обычно сосредотачивается только на этих двух ответах.
Все ответы должны быть параллельными по конструкции грамматически согласованными с основной частью задания теста.
При разработке заданий необходимо обеспечить их относительную независимость, исключающую цепочную логику выполнения, когда ответ из одного задания служит условием для другого задания теста. Тесты учебных достижений не могут содержать задания – ловушки, присутствующие в психологических тестах.
Проще всего подбирать дистракторы в заданиях с двумя ответами посредством отрицания того, что является верным. Однако не рекомендуется вместо дистракторов использовать слова «да – нет», поскольку в противном случае довольно трудно сформулировать утверждения, на которые можно дать недвусмысленный ответ. В качестве примеров хороших, с точки зрения формы, а не содержания, заданий можно привести следующие:
|
