3.3. Базовые требования к тестовым заданиям:
Содержание тестового задания должно быть ориентировано на получение от тестируемого однозначного заключения.
Основные термины тестового задания должны быть явно и ясно определены.
Тестовые задания должны быть прагматически корректными и рассчитаны на оценку уровня учебных достижений учащихся.
Тестовые задания должны формулироваться в виде кратких суждений.
В содержании тестового задания определяющий признак должен быть необходимым и достаточным.
Следует избегать тестовых заданий, которые требуют от тестируемого развернутых заключений на требования тестовых заданий.
При конструировании тестовых ситуаций необходимо применять различные формы их представления, а также графические и мультимедийные компоненты с целью рационального предъявления содержания учебного материала.
Количество слов в тестовом задании не должно превышать 10-12, если при этом не искажается понятийная структура тестовой ситуации. Главным считается ясное и явное отражение содержания фрагмента предметной области.
3.4. Требования к содержательной части тестовых заданий:
Тестовое задание должно быть представлено в форме свернутого краткого суждения, сформулировано ясным, чётким языком и исключать неоднозначность заключения тестируемого на требование задания.
Содержание задания должно быть выражено предельно простой синтаксической конструкцией без повторов и двойных отрицаний.
В тексте тестового задания не должно быть непреднамеренных подсказок и сленга.
Задание должно быть составлено с учетом того, что среднее время формирования заключения испытуемого со средним уровнем обученности составляет 2-4 минуты.
В тестовом задании не должно отображаться субъективное мнение или понимание отдельного автора.
Длительность тестового испытания определяется содержанием учебного предмета, по которому проводится тестирование.
Количество тестовых заданий в одном варианте определяется содержанием учебного предмета, по которому проводится тестирование.
3.5. Тестовое задание может быть представлено в одной из следующих стандартизированных форм:
тестовое задание закрытой формы (с выбором одного или нескольких правильных ответов);
тестовое задание на установление соответствия;
тестовое задание на установление правильной последовательности;
тестовое задание открытой формы.
Используемая форма тестового задания определяется содержанием учебного материала.
3.6. Форма тестового задания должна быть узнаваемой и не требовать дополнительных пояснений по способу ввода тестируемым заключения. Элементы тестового задания могут содержать текст, формулы, графические изображения.
4. Описание форм тестовых заданий
4.1. Тестовые задания закрытой формы предполагают выбор одного или нескольких правильных ответов из предложенных вариантов ответов (задания с выбором одного правильного ответа и задания с выбором нескольких правильных ответов)
4.2. Тестовые задание закрытой формы состоит из следующих элементов: инструкция, основная часть – основной текст задания, варианты ответов.
4.3. Требования к заданиям закрытой формы:
Инструкция, основной текст задания и варианты ответов должны быть хорошо понятны испытуемыми.
Текст задания должен формулироваться четко, по возможности кратко, а также быть свободен от двусмысленности.
В основной текст задания включается максимальное количество информации, относящейся к проблеме. В вариантах ответов не используются повторяющиеся слова и выражения, они помещаются в основной текст задания.
Основной текст задания и ответы формулируются с соблюдением правил грамматики и должны сочетаться между собой грамматически.
В тексте задания исключается двойное отрицание.
Среди вариантов ответа должен существовать только один правильный или наиболее правильный ответ.
Варианты ответов должны быть краткими, иметь примерно одинаковую длину.
В ответах не рекомендуется употреблять слова «все», «ни одного», «никогда», «всегда» и выражения «все перечисленные», «ни один из перечисленных», так как они могут способствовать угадыванию правильного ответа.
Дистракторы должны быть одинаково привлекательны для испытуемых, не знающих правильного ответа. Дистракторы одного задания должны быть связаны с содержанием тестируемого раздела.
Тестовое задание составляется таким образом, чтобы ни его основной текст, ни варианты ответов не являлись ключом для других заданий.
При составлении группы заданий, относящихся к одному тексту, графику, схеме, необходимо обеспечить независимость заданий друг от друга, чтобы правильность выполнения одного задания, не зависела от правильности выполнения другого.
Не рекомендуется включать задания, выполнение которых основывается на субъективном мнении испытуемого.
4.4. Требования к дистракторам и ответам:
Одно и то же слово (или словосочетание, или однокоренное слово) не должно находиться в тексте задания и правильном ответе;
Все ответы должны быть подобными (аналогичными, похожими), это касается и их внешнего вида, и грамматической структуры.
Каждый дистрактор должен быть правдоподобным, внушающим доверие, вполне убедительным и привлекательным для испытуемого;
Правильный ответ должен быть ясен, краток, правилен и свободен от подсказок (как внутри текста задания, так и вне его);
Ответы должны быть одинаковы по длине (хотя бы приблизительно), не следует формулировать правильный ответ заметно длиннее или короче, чем дистракторы;
В дистракторах не следует использовать слова или термины, которые испытуемый не может или не должен знать;
Из дистракторов, как правило, исключаются все повторяющиеся слова путем ввода их в основной текст задания;
Все ответы должны быть грамматически согласованными с основной частью задания;
Если ответ выражен в виде числа, то, как правило, эти числа располагаются от меньшего к большему или наоборот.
4.5. Тестовые задания на установление соответствия предполагают выбор испытуемым соответствия между элементами двух множеств.
4.6. Задание на установление соответствия состоит из следующих элементов: инструкция; основная часть – основной текст задания представляется в виде двух множеств, в виде списков элементов. Слева находятся элементы задающего множества (постановка проблемы), которые кодируются с помощью цифр, справа располагаются элементы, которые надо выбрать по принципу соответствия, кодируются буквами русского алфавита; ответы на тестовое задание – ответ испытуемого вписывается в строку ответов или таблицу.
4.7. Требования к заданиям на установление соответствий
Элементы двух множеств должны быть выбраны по одному основанию для включения однородного материала в каждое задание теста.
Рекомендуется помещать в текст задания названия каждого столбца (обобщающее определение множества).
Желательно, чтобы правый список содержал несколько дистракторов, которые должны быть равновероятно правдоподобны.
Если задание не предполагает четкого соответствия, то есть одному элементу левого списка соответствует только один элемент правого списка, то в инструкции к заданию обязательно указывается о наличии дистракторов и о том, сколько раз могут использоваться элементы второго списка.
В связи с особенностью восприятия число элементов одного списка не должно превышать 10.
Все задания необходимо располагать на одной странице, не допуская переноса отдельных элементов.
4.8. Тестовые задания на установление правильной последовательности предназначены для проверки знаний последовательности определенных действий, процессов, алгоритмов выполнения, последовательности событий во времени и др. Задание предполагает, что испытуемый должен установить правильный порядок предложенных элементов: действий, событий и др., связанных определенной задачей. Порядок указывается с помощью цифр в специально отведенном месте.
4.9. Тестовое задание на установление правильной последовательности состоит из следующих элементов: инструкция, основная часть – основной текст задания представляется в виде списка предложенных элементов (действий, событий и др., связанных определенной задачей), правильный порядок которых необходимо установить.
4.10. Тестовые задания открытой формы предполагают формулировку правильного ответа самим испытуемым (слово, выражение, число, числовое выражение, формула и т.д.). Задания на дополнение предполагает краткий ответ.
4.11. Задание такой формы состоит из следующих элементов: инструкция, основная часть – основной текст задания, где формулируется проблема и делается пропуск на месте элемента, знание которого проверяется.
4.12. Требования к заданиям открытой формы:
Каждое задание должно быть нацелено на одно дополнение, место дополнения обозначается прочерком.
Дополнения лучше ставить в конце задания.
Все прочерки для дополнения в одном тексте должны быть одной длины.
После прочерка, если это необходимо, указываются единицы измерения.
В тексте задания исключаются повторы и двойное отрицание.
4.13. Требования к формату представления заданий. Заказчику предоставляются полные версии материалов тестовых заданий, на электронном носителе. Для обеспечения пригодности материалов тестовых заданий, предоставляемых на электронном носителе, к конвертации в формат программного средства компьютерного тестирования, к их форме предъявляются следующие требования:
банк тестовых заданий – предоставляется в полностью редактируемом виде в формате Microsoft Word 2003 с расширением *.doc.
материалы могут содержать вставки рисунков, диаграмм, схем, таблиц. Рисунки могут быть выполнены в форматах *.bmp, *.jpg. Все графические файлы должны быть внедрены в *.doc-файл. Для вставки графических элементов в текст рекомендуется строить страницы с применением таблиц с прозрачными границами, во избежание сдвигов текста и рисунков при сохранении материалов в формате Web-страниц. Формулы выполняются в редакторе Microsoft Equation или внедряются в виде рисунков с учетом вышеизложенных требований. В случае использования в тексте отсканированных рисунков, сканирование должно быть выполнено с разрешением не ниже 300 dpi в режиме «оттенки серого». Рисунок должен быть отсканирован ровно, с достаточной яркостью и контрастностью.
Приложение №3
к приказу департамента образования,
науки и молодежной политики
от 19 января 2011 № 23
Положение о составе разработчиков и экспертов
банков тестовых задания для организации и проведения независимой оценки индивидуальных учебных достижений учащихся муниципальных образовательных учреждений Воронежской области
1. Требования к определению разработчиков и экспертов
тестовых заданий
1.1. Разработчиками тестовых заданий являются педагогические работники государственных и муниципальных образовательных учреждений Воронежской области, имеющие квалификацию не ниже I категории педагогических работников.
1.2. Разработчики тестовых заданий обязаны сконструировать по каждой теме дидактической единицы учебного предмета не менее 50-200 тестовых заданий всех форм в зависимости от учебного предмета.
1.3. Экспертами разработанных тестовых заданий являются:
педагогические работники государственных и муниципальных образовательных учреждений Воронежской области, имеющие высшую категорию педагогических работников;
сотрудники профилирующих кафедр ВОИПКиПРО;
сотрудники профилирующих кафедр ВГПУ;
сотрудники профилирующих кафедр БГПИ;
сотрудники лаборатории качества образования ВИИС.
1.4. Разработчики и эксперты тестовых заданий должны обязательно пройти обучение на учебно-методических курсах на базе лаборатории качества образования ВИИС.
1.5. Наполнение и экспертизу банков тестовых заданий для организации и проведения независимой оценки индивидуальных учебных достижений учащихся муниципальных образовательных учреждений Воронежской области осуществляет лаборатория качества образования ВИИС.
2. Порядок проведения экспертизы тестовых заданий
2.1. После того как разработчики представили множество предтестовых заданий проходит процедура экспертного анализа содержания и формы тестовых и практических заданий. Для экспертизы привлекаются независимые специалисты, компетентные в данной области, которые не имели отношения к разработке банка тестовых заданий. Число специалистов варьируется в зависимости от целей и масштабности тестирования. В данном случае, для банков тестовых заданий, рассчитанных на массовое тестирование, привлекаются 3-5 экспертов, чтобы повысить эффективность процедуры экспертизы. Эксперт осуществляет анализ содержания и формы тестовых заданий, иными словами, проводит содержательную валидность разработанных предтестовых заданий
2.2. Эксперт анализирует каждое тестовое задание. Он определяет, соответствует ли содержание задания содержанию проверяемого материала, для этого он сравнивает содержание задания с заявленной спецификацией по предмету, перечнем требований или элементами содержания, которые подвергаются проверке.
2.3. Для процедуры экспертного анализа содержания и формы тестовых и практических заданий указываем следующие характеристики:
№ задания – указывается номер задания в теме.
Правильный ответ – указывается правильный ответ на соответствующее тестовое задание (по мнению эксперта).
Требование – указывается к соответствующему тестовому заданию требования к уровню учащегося: знать, уметь, владеть, …
Уровень базовости (Б/П/С) – указывается уровень соответствующего тестового задания:
Б – базовый уровень (на оценку «удовлетворительно»);
П – позволят выставить оценку «хорошо» и «отлично»;
С – задание повышенной сложности.
Значимость содержания (0,1,2,3) – указывается значимость содержания соответствующего тестового задания (в тест включаются только те тестовые задания, которые направлены на проверку важных, ключевых элементов содержания):
0 – эксперт считает включение данного задания неоправданным;
1 – содержание задания представляется эксперту незначимым;
2 - содержание задания представляется эксперту значимым;
3 – наиболее важный опорный элемент.
Ожидаемый % выполнения испытуемыми с удовлетворительной подготовкой – указывается предварительный процент правильного выполнения заданий испытуемыми с удовлетворительной подготовкой.
Ожидаемый % выполнения испытуемыми с выборки (оценка 4) – указывается предварительный процент правильного выполнения заданий испытуемыми выборки (оценка 4).
Ожидаемое время выполнения задания, мин – указывается время выполнения соответствующего задания в минутах. При выставлении времени ориентироваться на учащихся со средним уровнем подготовленности.
Неудачные задания – указывается номер неудачного задания по мнению эксперта (укажем задания, которые содержат двусмысленные формулировки, предполагают неоднозначный или частично правильный ответ, и т.д.).
Комментарии о качестве заданий – приводятся комментарии о качестве каждого тестового задания.
2.4. Общий комментарий к тесту включает в себя:
1) анализ полноты охвата требований к уровню подготовленности;
2) правильность пропорций содержания теста (добавить задание в тему: «…»; снять задания №… из темы: «…»).
2.5. По результатам экспертной оценки разработчиками осуществляется корректировка тестовых заданий и доработка теста в целом.
3. Апробация тестовых заданий
3.1. Выполнив по результатам экспертного анализа переработку содержания и форм тестовых заданий, осуществляется разработка и проведение пробного тестирования (апробация тестовых заданий).
3.2. Пробное тестирование преследует несколько целей:
выявление тестовых заданий, в которых есть недостатки (несоответствие трудности заданий уровню подготовленности испытуемых; непонятные или двусмысленные формулировки тестовых заданий, выявление неработающих дистракторов в заданиях закрытой формы и др.);
определение статистических характеристик тестовых заданий и банка тестовых заданий в целом.
3.3. Для пробного тестирования готовятся инструкция для учащихся, как выполнять тест, инструкция для проводящих тестирование (наблюдателей), инструкция по апробации (какие эмпирические данные необходимо собрать).
3.4. Инструкция для проводящего (ведущего) тестирование включает: условия проведение теста (где, в каком помещении, требования к помещению др.), время выполнения теста, материалы для проведения теста (бланки, ручки или карандаши, черновики и др.), поведение ведущего во время тестирования (что он обязан, что он может и что ему запрещено делать), необходимая квалификация лиц, которые проводят тестирование и др.
3.5. Инструкция для ведущего и испытуемого входят в состав всех стандартизированных тестов и определяют его объективный характер. Инструкция для ведущего приводится, как правило, в руководстве к тесту, а инструкция для испытуемого прилагается к пакету тестовых материалов.
3.6. Инструкция для испытуемого включает: правила заполнения бланков ответов; образцы исправления неверно выполненного задания. Кроме того инструкция может содержать правила поведения учащегося и санкции за нарушение этих правил.
3.7. Апробация проводится на репрезентативной выборке испытуемых с четким соблюдением правил проведения тестирования. Репрезентативная выборка испытуемых определяется согласно приказу Департамента образования, науки и молодежной политики Воронежской области из числа учащихся государственных и муниципальных образовательных учреждений Воронежской области, реализующих общеобразовательные программы.
3.8. После проведения пробного тестирования осуществляется сбор эмпирических результатов и статистическая обработка результатов тестирования. Статистическая обработка полученных данных тестирования (результатов испытуемых) позволяет определить количественные характеристики тестовых заданий и всего банка тестовых заданий, что позволяет использовать тест как научно обоснованный, объективный инструмент педагогических измерений. Статистическая обработка результатов тестирования проводится с помощью специального программного обеспечения.
3.9. На основе оценки качества тестовых заданий и банка тестовых заданий в целом с помощью статистических методов, с учетом полученных данных производится корректировка банка тестовых задания.
3.10. Заключительным этапом проектирования и разработки банка тестовых заданий является составление окончательного варианта теста, нормирование и стандартизация теста. |
