Технология конструирования дидактического теста
Скачать 286.76 Kb.
|
| §2.Планирование содержания теста После определения целей тестирования и их конкретизации необходимо разработать план и спецификацию теста. В соответствии с поставленными целями каждое задание теста предназначено для проверки у испытуемых уровня владения определенными знаниями, умениями, компетенциями. При разработке плана делается примерная раскладка процентного соотношения содержания тем (разделов) дисциплины и определяется необходимое число заданий по каждому разделу (теме), исходя из важности раздела и числа часов, отведенных на его изучение в программе. Раскладку начинают с подсчета планируемого исходного числа заданий в тесте, которое затем в процессе работы над тестом будет неоднократно меняться в сторону увеличения или уменьшения. Обычно предельное число не превышает 40—60 заданий, поскольку время тестирования выбирают в пределах 1,5—2 ч, а на выполнение одного задания отводится в среднем не более 2-3 мин. Пример предварительной раскладки заданий при составлении плана теста для оценки знаний, умений школьников по одному из разделов алгебры показан в табл.4.3. Таблица 4.4. План теста по разделу «Алгебраические уравнения»  Конечно, план теста начинает обретать некоторую определенность уже на этапе целееполагания, когда преподаватель примерно представляет, сколько и какие задания по различ- ным темам он хо тел бы включить в тест. Однако такие примерные оценки непросто нежелательны, а скорее недопустимы. Тест неизбежно окажется перегруженном второстепен- ным материалом, а главные вопросы могут быть упущены либо для них просто не останется места. Отсюда легко понять важность разработки такого плана, который оптимально отображает содержание учебной дисциплины в содержании теста. После выполнения первого шага по планированию содержания разрабатывается специфи- кация теста, в которой фиксируется структура, содержание проверки и процентное соотноше-ние заданий в тесте. Иногда спецификацию делают в развернутой форме, содержащей указания на тип заданий, который будет использоваться для оценки достижений учащихся в соответствии с намеченными целями создания теста, время выполнения теста, число заданий, особенности проведения тестирования, которые могут повлиять на характеристики теста и т.д. Спецификация в развернутой форме включает: 1) цель создания теста, обоснование выбора подхода к его созданию, описание возможных сфер применения теста; 2) перечень нормативных документов (базисных программ, требований к уровню подготовки выпускников и др.), используемых при планировании содержания теста; 3) описание общей структуры теста, включающее перечень субтестов (если они есть) с указа-нием подходов к их разработке; 4) количество заданий различной формы с указанием числа ответов к закрытым заданиям, общее число заданий в тесте; 5) число параллельных вариантов теста 6) вес каждого задания, рекомендуемый автором теста; 7) рекомендуемое время выполнения теста, в том числе на каждый субтест, среднее время выполнения одного задания с учетом специфики формы; 8) соотношение заданий по различным разделам и видам учебной деятельности школьников; 9) рекомендации по контингенту учащихся для апробации теста; 10) охват требований стандартов (для аттестационных тестов); 11) перечень требований, не вошедших в тест (для аттестационных тестов); 12) рекомендуемую автором стратегию расположения заданий в тесте. Один из наиболее распространенных подходов к созданию краткой спецификации основан на сопряжении системы знаний и умений и их значимости с процентным соотношением заданий по различным разделам или по различным содержательным линиям проверяемой дисциплины в тесте (пункт 8 развернутой спецификации). (при этом значимость может не совпадать с объёмом в часах — например, тема требует 15% учебного времени, но её значимость может быть оценена как 5%, так и в 25%). Пример реализации подобного сопряжения приведен в табл. 4.5. Предлагаемый в ней перечень знаний и умении носит достаточно общий характер. В него включены: А — знание понятий, определений, терминов; В — знание законов и формул; С — умение применять законы и формулы для решения задач; О — умение интерпретировать результаты на графиках и схемах; Е — умение проводить оценочные суждения Таблица 4.5. Гипотетическая спецификация теста  Предлагаемый перечень вполне наглядно демонстрирует тот путь, которым обычно идет разработчик тестов. Подобного рода перечень знаний и умений, ориентированный на конкретную дисциплину, составляется всегда при планировании содержания теста. Естественно, что в приведенный перечень знаний и умений необходимо ввести некоторые пропорции сообразно тем акцентам, которые делаются преподавателем в учебном процессе. Пусть, например, в предлагаемом гипотетическом перечне установлены следующие пропорции: А - 10%, В - 20%, С - 30%, Э - 30%, Е - 10%. Для подсчета количества заданий, отводимых на проверку каждого пункта перечня, необходимо задаться первоначальным общим числом заданий в тесте, т. е. выбрать длину теста. На этапе планирования, целесообразно задаться априорной первоначальной длиной теста. Она устанавливается с учетом цели создания теста, контингента тестируемых и объема содержания проверки. Как уже указывалось ранее, нередко в качестве первоначальной длины выбирают 40—60 заданий. Если при выборе первоначальной длины остановиться на 60 заданиях, то в табл. 4.5 можно заполнить последнюю графу, где проставлено число заданий, планируемое для проверки знаний и умений в тесте. В последней графе число заданий выбрано пропор-ционально весу каждого из пунктов А, В, С, Э, Е в общей раскладке 60 заданий теста. Затем для заполнения таблицы определяется общее число заданий по каждому разделу дисциплины (последняя строка). В рассматриваемом примере спецификации таких разделов планируется четыре. Вес каждого из разделов в процентах указан в первой строке табл. 4.5. Конечно, при заполнении таблицы в распределении заданий удается лишь приближенно отобразить пропорции разделов. К тому же не во все ячейки должны быть вписаны числа (например, ячейка на пересечении второго столбца и пятой строки), поскольку некоторые умения могут оказаться несовместимыми с содержанием отдельных разделов. Однако даже в таком приближенном видении общей раскладки заданий есть огромная польза для планирования теста. Естественно, что в процессе работы над тестом первоначальная раскладка заданий будет претерпевать всяческие изменения. Это объясняется тем, что не все задания окажутся удачными и уместными в той мере, как это считается на этапе планирования теста. Поэтому с одной частью заданий разработчику приходится расстаться после экспертизы содержания, с другой — в процессе углубленного анализа результата статистической обработки эмпирических данных выполнения теста. В этой связи после коррекции теста необходима доработка спецификации для приведения ее в соответствие с окончательными пропорциями содержания теста. При другом подходе спецификация содержит процентное соотношение заданий, планируемое сообразно пропорциям разделов и видам предполагаемой деятельности испытуемого в процессе выполнения теста. Разработанный сотрудниками ИОСО РАО пример подобной спецификации итогового теста для проверки знаний и умений школьников по физике приводится в табл. 3.5. Таблица 4.6. Краткая спецификация итогового теста по физике  П 2.1. Обшие принципы отбора содержания теста Помимо критериев, есть общие принципы, способствующие в определенной степени правильному отбору содержания тестов [20]. Принцип репрезентативности регламентирует не только полноту отображения, но и pначимость содержательных элементов теста. Содержание заданий должно быть таким, чтобы по ответам на них можно было сделать вывод о знании или незнании всей программы проверяемого раздела или курса. Принцип репрезентативности регламентирует не только полноту отображения, но и значимость содержательных элементов теста. Содержание заданий должно быть таким, чтобы по ответам на них можно было сделать вывод о знании или незнании всей программы проверяемого раздела или курса. Принцип системности предполагает подбор содержательных элементов, отвечаю-щих требованиям системности и связанных между собой обшей структурой знаний. При соблюде-нии принципа системности тест можно использовать для выявления не только объема знаний, но и для оценки качества структуры знаний учеников. Ддя создания заданий одного опыта недостаточно. Необходимы также специальные знания по теории и методике разработки педагогических тестов, обеспечивающие профес-сиональный подход к созданию тестовых заданий. Уровень профессионализма зависит прежде всего от того, насколько преподаватель-разработчик владеет формой, в какой мере он умеет подобрать оптимальную форму тестового задания для проверяемого учебного материала. Иногда содержание задания адекватно выражается только в одной форме, а иногда для одного и того же содержания можно предложить сразу несколько форм. Создать задания, отвечающие всем требованиям формы, вовсе не так просто, как это иногда кажется с первого взгляда. Неопытного разработчика на этом пути ожидают многочисленные трудности и ошибки. Выводы 1. Научно обоснованный отбор содержания является важнейшей предпосылкой достижения высокого качества педагогического теста. 2. Процесс научного обоснования предполагает планирование содержания теста. 3. Планирование начинается с этапа целеполагания, на котором результаты обучения сопряга-ются с целями учебного процесса. 6. Основным результатом планирования является создание спецификации теста. 7. Содержание разрабатываемого теста должно полностью соответствовать спецификации теста. 8. Правильно составленная спецификация является необходимым, но не достаточным услови-ем высокой содержательной валидности создаваемого теста. 9. Экспертиза содержания необходима для достижения высокого качества педагогического теста. §3. Экспертиза качества содержания теста и тестовых заданий Успех создания теста во многом зависит от качества начального тестового материала, которое обеспечивается правильным планированием содержания в спецификации теста и умением разработчика корректно реализовать этот план при разработке задании теста. Разработка заданий сопровождается отображением содержания дисциплины в содержании теста посредством выделения укрупненных единиц знаний. Обычно автор теста стремится, часто неосознанно, сделать это отображение глубже и полнее. Конечно, это естественно, так как все вопросы кажутся преподавателю важными и все хочется включить в тест. Расширение числа тем и разделов ведет к увеличению длины теста, что рационально только до определенных разумных пределов. Поэтому при создании теста ставится задача отобразить самое главное — то, без чего качественная проверка итоговых результатов обучения немыслима Повышению полноты отображения, а также достижению ряда других необходимых характеристик способствует в немалой степени экспертиза качества содержания теста и тестовых заданий Оценка качества содержания теста обычно проводится по определенной методике независимыми экспертами, не участвовавшими в разработке теста. Как правило, число экспертов составляет не менее трех человек по каждому тесту. Методика экспертизы качества содержания теста обычно включает три раздела, которые выстраиваются сообразно трем направлениям работы экспертов. Перед началом работы каждый эксперт должен ознакомиться со спецификацией рецензируемого теста, содержащей пояснения по его структуре и планируемому к проверке содержанию. Один из вариантов подобных методик для оценки качества содержания аттестационного теста приводится далее. Первое направление работы эксперта Работа эксперта по первому направлению заключается в анализе содержания отдельных заданий теста. При работе по первому направлению эксперт должен заполнить таблицу 4.7. В таблице первая графа содержит номера заданий теста. Во второй графе приводятся номера выбранных экспертом правильных ответов в закрытых заданиях тестов. Ответы к открытым заданиям приводятся экспертом вне таблиц на отдельном листе. Форма представления ответа зависит от формы рецензируемого задания теста. При выполнении открытых заданий с кратким ответом эксперт приводит под номером задания полученный им краткий ответ (слово, символ, число...). Здесь же необходимо обратить внимание авторов теста на возможные случаи появления неоднозначности, когда на месте планируемого единственного могут возникнуть дополнительные, частично правильные ответы. Таблица 4.7 Результаты экспертизы содержания заданий  К открытым заданиям со свободно конструируемым ответом эксперт должен предложить в произвольной форме свой вариант оценки распространенного ответа, эссе или доказательства. В третьей графе таблицы располагаются результаты анализа содержания заданий в терминах требований к уровню подготовки выпускников. Для проведения анализа эксперту необходимо сопоставить содержание каждого задания теста и перечень пронумерованных требований, который входит в комплект материалов для экспертизы и выдается эксперту вместе с тестами. По результатам сопоставления эксперт выявляет номер требования, на которое преимущественно ориентировано содержание данного задания, и приводит этот номер в третьей графе для каждого задания теста. Здесь в процессе анализа возможны ситуации, когда в отдельных заданиях контролируется не одно, а два или более требований к уровню подготовки выпускников. В этом случае эксперт приводит только один номер того требования, которое в основном проверяется с помощью данного задания теста. В четвертой графе таблицы проставляется уровень базовости. Дифференциация заданий по уровням позволяет разделить их на три группы: Б, П, С. Дифференциация производится на основе сопоставления содержания заданий с требованиями к уровню подготовки выпускников. В том случае, когда задание проверяет степень достижения требований на минимальном уровне, достаточном для выставления оценки «удовлетворительно», оно считается соответствующим группе Б. К группе П относятся задания, правильное выполнение которых позволяет выставить ученику хорошие и отличные оценки. Таким образом, задания группы П по трудности превышают минимально достаточный уровень, но находятся в пределах минимума содержания образования поданному предмету. И наконец, в группу С включаются задания, выходящие за пределы минимума содержания и требований к уровню подготовки выпускников. В пятой графе таблицы эксперт оценивает уровень значимости содержания каждого задания теста. Оценка значимости связана с необходимостью включения в тест только тех элементов содержания, которые являются наиболее важными, ключевыми для освоения учебного курса в пределах требований к уровню подготовки. Оценку значимости предлагается проводить по отдельным заданиям без учета того, что отдельные элементы содержания в заданиях могут пересекаться. При этом в центр внимания необходимо ставить то, что измеряет задание, не принимая в расчет промежуточные элементы знания, востребо-ванные в процессе выполнения задания теста. Оценку значимости содержания заданий эксперты проставляют по четырехбалльной шкале. Балл 0 выставляется в том случае, когда эксперт считает неоправданным включение данного задания в тест. Балл 1 выставляется в том случае, если содержание задания представляется эксперту незначимым, 2 — значимым, а 3 — наиболее важным опорным элементом. Полученные оценки по отдельным заданиям теста необходимо усреднить. Для этого суммируются баллы по отдельным заданиям и найденное число делится на общее число заданий теста. Например, если всего было 30 заданий и первому заданию эксперт присвоил балл 2, второму — 3, третье му — 1 и т. д., то эта оценка будет (2 + 3+1 + ...)/30 . Суммарная оценка приводится в конце столбца на месте пятой графы. Для заполнения шестой графы эксперту необходимо представить гипотетический случай, когда задания с выбором ответа выполняла представительная (репрезентативная) выборка удовлетворительно подготовленных учеников. Требование репрезентативности вполне оправдано с точки зрения теории, поскольку чем представительнее выборка, тем достовернее оценка эксперта. Однако на практике дело обстоит несколько иначе. Эксперту довольно трудно предположить, сколько учащихся, например, из 100 или 200 «троечников» в состоянии выполнить каждое задание теста. В этой связи в основу получения оценок по шестой графе лучше положить сравнительно небольшую выборку. К примеру, можно мысленно представить группу «троечников» всего из 10 человек и затем посчитать гипотетический процент учащихся, правильно выполнивших каждое задание теста. В седьмой графе эксперт также приводит предполагаемый процент испытуемых, правильно выполнивших каждое задание теста, однако ориентируется в своих гипотетических оценках не на группу «троечников», а на выборку, где равномерно представлены все категории отметок от двух до пяти. Следующая графа содержит ожидаемое время выполнения учеником каждого задания теста. При выборе времени эксперту следует ориентироваться на ученика со средней подготовкой. Первоначальное представление о времени выполнения заданий эксперт может составить в процессе своей работы над тестом. Поэтому, приступая к выполнению заданий, эксперту нужно заготовить все необходимое: часы, бланк с номерами заданий — и строго фиксировать начало и конец работы над каждым заданием теста. Полученное время необходимо скорректировать с учетом того, что задание выполнял преподаватель, а не ученик. Для коррекции зафиксированное время выполнения каждого задания обычно увеличивают в 4-5 раз. Полученный результат (в минутах) следует записать в графу для ожидаемого времени выполнения учеником каждого задания теста. В девятой графе таблицы эксперт проставляет звездочки на местах, соответствующих номерам неудачных заданий теста. К неудачным в первую очередь следует отнести закрытые задания, где помимо правильного возникают частично правильные ответы. Здесь же очень важно отметить неудачные открытые задания с кратким ответом, в которых возможны случаи появления неоднозначности, когда на месте планируемого единственного ответа можно привести синонимы, различные числа либо более или менее правильные ответы. Все пояснения по выявленным неудачным заданиям эксперт должен привести в последней графе, которая оставлена для дополнительных замечаний по качеству содержания заданий теста. Если эксперт считает нужным дать развернутые рекомендации по улучшению содержания заданий, то их следует привести на отдельных листах как приложение к послед-ней графе таблицы. Крайне важно в этой графе отметить случаи отсутствия четкого логического выделения одного предмета измерения в каждом задании теста. Для достижения логической четкости в каждом задании лучше спросить только о чем-либо одном. Часто встречающиеся попытки проверить сразу несколько знаний и ввести несколько величин в ответы, как правило, отрицательно сказываются на качестве заданий и всего теста. Другая причина некорректности может быть связана с двусмысленностью формулировок, порождающей несколько правильных ответов в тех случаях, когда планировался только один правильный ответ. В этой же последней графе эксперт характеризует качество формулировок содержательной основы заданий теста. В случае необходимости здесь следует отметить лексическую избыточность формулировок либо, наоборот, их ясность и краткость, охарактеризовать качество представления графической информации, если она есть в заданиях теста. При оценке качества формулировок эксперту следует помнить о том, что тестовые задания должны быть сформулированы предельно четко, точно, лаконично и корректно с точки зрения общепринятой в учебном предмете терминологии и символики предмета. И наконец, здесь же, в последней графе, отмечаются случаи появления неправильных заданий теста. |
Похожие:
 | Кафедра художественного моделирования, конструирования и технологии швейных изделий | | Кафедра художественного моделирования, конструирования и технологии швейных изделий |
| Работа выполнена на кафедре технологии и конструирования швейных изделий Орловского государственного технического университета и... |  | Мдк 02. 02 Теоретические основы конструирования швейных изделий, профессионального модуля 02. Конструирование швейных изделий. Основная... |
| Приложение к уроку по теме: «Приготовление изделий из дрожжевого теста» | | В методической разработке представлены материалы урока учебной практики по теме 5: «Приготовление мучных блюд из теста с фаршами»... |
| Технология технология разноуровневого обучения, технология контекстуального обучения | | В данной части теста вы должны прочитать 5 текстов и выполнить 15 заданий к ним |
| Методические указания предназначены для студентов бакалавров направления 262200. 62 Конструирование изделий легкой промышленности... | | «Продукты питания из растительного сырья», профиль «Технология хранения и переработки зерна» |