ЗАДАНИЕ 1
Если вычитаемое увеличили на 12 единиц, а разность также увеличилась на 15 единиц, то уменьшаемое
увеличилось;
уменьшилось.
ЗАДАНИЕ 2
Высокие темпы урбанизации в Латинской Америке связаны с
быстрым экономическим ростом;
усилением роли крупных городов.
ЗАДАНИЕ 3
Умозаключение о том, что деньги являются специфическим товаром, соответствует теории денег
Номиналистической.
Металлической.
Количественной.
Трудовой.
ЗАДАНИЕ 4
Какая структура представляет собой организацию, построенную на принципе двойного подчинения исполнителей?
Проектная.
Системная.
Матричная.
Функциональная.
Географическая.
Иногда задание с множественным выбором имеет двойную структуру, предлагая набор высказываний или положений, которые оцениваются путем сопоставления с предлагаемыми ответами. Например, в задании 5 высказывания, характеризующие понятие «Управление», должны сопоставляться с различными вариантами их истинности.
ЗАДАНИЕ 5
Какое из приведенных ниже высказываний содержат правильную характеристику понятия «управление»?
Управление – это процесс распределения и движения ресурсов в организации с заранее заданной целью, по заранее разработанному плану и с непрерывным контролем результатов деятельности;
Управление – это совокупность методов, принципов, средств и форм управления организациями с целью повышения эффективности деятельности.
только первое;
только второе;
ни первое, ни второе;
оба.
Другой пример модификации формы задания с множественным выбором приводится в примере 6, в процессе выполнения которого предлагается мысленно подставлять каждую опцию из четырех ответов на место прочерка в основной части.
ЗАДАНИЕ 6
Менеджмент – это координация ______________________ ресурсов с целью решения поставленных управленческих задач.
информационных;
людских;
временных;
материальных.
В задании 7 автор предлагает выбрать тот элемент, который не имеет отношения к предмету экономической теории, что не вполне оправданно дидактическими целями контроля, но, в данном случае, допускается содержанием предмета.
ЗАДАНИЕ 7
Положения, не имеющие отношения к предмету экономической теории
экономическое благо;
неограниченность ресурсов;
максимизация удовлетворения потребностей;
эффективное использование ресурсов;
правовые отношения.
Такие задания, а также задания с несколькими правильными ответами обычно стараются не включать в аттестационные тесты, результаты которых используются для административно-управленческих решений в образовании. Появление частично правильных ответов студентов, возникающих при выборе не всех запланированных верных ответов в каждом таком задании теста, приводит к снижению объективности и сопоставимости тестовых баллов. Если избежать нескольких правильных ответов невозможно, то с целью повышения стандартизации оценочных процедур вводят определенное решающее правило. Например, если испытуемый выбирает все правильные ответы, то он получает один балл, во всех других случаях – нуль баллов.
При подсчете результатов выполнения заданий с выбором одного правильного ответа обычно предпочитают дихотомическую оценку. За правильное выполнение задания испытуемый получает один балл, а за неправильный ответ или пропуск – нуль. Суммирование всех единиц позволяет вычислить индивидуальный (первичный или сырой) балл испытуемого, который в случае дихотомической оценки просто равен количеству правильно выполненных заданий в тесте. Если правильный ответ не один, то чаще всего используется политомическая оценка, которую устанавливают пропорционально числу правильно выбранных ответов.
В процессе создания заданий отдельные требования к форме неосознанно нарушаются. Как правило, это бывает связано с тем, что все внимание разработчика поглощено содержанием, а не формой. Нарушение отдельных требований порождает ряд характерных недостатков, возникающих даже у опытных авторов в процессе работы над заданиями теста. К числу наиболее распространенных недостатков тестовых заданий с выбором ответа можно отнести:
отсутствие логической корректности в формулировках, заданий теста, приводящее к незапланированным правильным ответам;
нарушение правильных пропорций в форме задания, когда ответы намного длиннее основной части задания;
нарушение требования краткости, вызванное включением лишних слов или представлением в тестовой форме того содержания, которое не годится для проверки с помощью теста;
выбор ответов по разным основаниям;
наличие вербальных ассоциаций, способствующих угадыванию правильного ответа.
Задание 8 хотя и выглядит довольно громоздко, но оно выгодно отличается от большинства приведенных выше примеров, поскольку содержит постановку проблемы, а не нацелено, как чаще всего бывает, на проверку фактологического или понятийного материала. Несмотря на то, что задание представлено в форме с множественным выбором, оно носит явно выраженный компетентностный характер, поскольку формулируется на учебном материале, но переносит область решений в практическую плоскость профессиональной деятельности. В некотором смысле, это задание оптимально по логике построения с позиций компетентностного подхода.
ЗАДАНИЕ 8
Как будет выглядеть целевая функция в математической модели процесса управления применительно к ситуации:
Фирма производит два напитка: «Тоник» и «Тархун». Объём производства ограничен количеством вспомогательных добавок и производственной мощностью. Производство 1 л «Тоника» занимает 0,02 часа работы оборудования, производство 1 л «Тархуна» занимает 0,04 часа. Расход вспомогательных добавок 0,01 кг/л у «Тоника» и 0,04 кг/л у «Тархуна». Ежедневный ресурс времени работы оборудования 24 часа. Ресурс вспомогательных добавок 16 кг в сутки. Прибыль от реализации 1 л «Тоника» 0,1 р/л, а у «Тархуна» – 0,3 р/л.
Сколько продукции «Тоник» и «Тархун» нужно производить ежедневно с целью максимизации ежедневной прибыли?
0,01 +0,04  max
0,02+0,03max
0,02+0,04max
0,03+0,01max
Обычно такие компетентностные задания интересны и трудны. Их в состоянии выполнить только те испытуемые, которые обладают хорошими и прочными знаниями, на базе которых сформированы профессиональные компетенции.
В целом задания с множественным выбором имеют ряд достоинств, которые делают их наиболее привлекательными при проведении массовой аттестации с помощью тестов. В частности, они удобны своей универсальностью. Содержание практически любой дисциплины легко поддается представлению в форме с выбором ответа. Однако эта легкость часто оборачивается заблуждениями разработчиков о простоте процесса создания заданий, что, в конечном счете, отрицательно отражается на качестве теста.
5.3. Задания с конструируемым ответом
В заданиях с конструируемым ответом готовые ответы не даются, их должен придумать или получить сам студент. Задания с конструируемым ответом бывают двух видов, один из которых предполагает получение испытуемым строго регламентированных по содержанию и форме представления кратких (одно или два слова, символ, число и т.д.) правильных ответов. Второй – задания со свободно конструируемыми ответами, в которых испытуемые составляют развернутые ответы, произвольные по содержанию и форме представления и содержащие полное решения задачи с пояснениями, микросочинения – эссе и т.д.
Задания с конструируемыми ответами кажутся студентам более трудными, так как в них исключается догадка. Действительно, легче выбрать правильный ответ из предложенных, основываясь иногда не столько на знаниях, сколько на интуиции, чем самому его сформулировать или найти в процессе решения поставленных проблем. Но именно это свойство делает их исключительно привлекательными для педагогов, особенно для тех, кто привык в своей работе опираться на традиционные средства контроля и не доверяет тестам.
Для разработки заданий с конструируемым регламентированным ответом необходимо мысленно сформулировать вопрос, затем записать четкий и краткий ответ, в котором на месте ключевого слова, символа или числа ставится прочерк. В силу однозначности правильного ответа проверка результатов выполнения заданий с конструируемым регламентированным ответом носит довольно объективный характер, ее осуществляют в компьютерной форме с последующей перепроверкой всех неправильных ответов студентов экспертным путем. Ответы на задания приводятся на месте прочерка или заносятся студентами в специальный бланк. Инструкция может иметь вид: ВПИШИТЕ ПРАВИЛЬНЫЙ ОТВЕТ или ДОПОЛНИТЕ. Например, в заданиях 9 и 10 требуются дополнения на месте прочерков в форме регламентированных ответов.
ЗАДАНИЕ 9
Определение конечных показателей, которые должны быть достигнуты, и соответствующих средств, необходимых для достижения определённых конечных результатов, включает в себя функции ___________________.
ЗАДАНИЕ 10
Форма влияния, предполагающая маскировку настоящих намерений и целей – _____________.
При выполнении заданий с регламентированным ответом нередко появляются частично правильные и правильные в разной степени ответы. Дописывая ответ на месте прочерка, испытуемый может предложить синонимы пропущенного запланированного разработчиком слова или изменить порядок следования элементов в пропущенной формуле, что значительно затрудняет автоматизированную проверку и оценку результатов тестируемых. По этим причинам в процессе проверки нередко приходится разрабатывать дополнительные соглашения об оценках для частично правильных ответов.
Задания с регламентированными ответами должны удовлетворять ряду требований:
Каждое задание необходимо нацелить только на одно дополняемое слово, символ и т.д., место для которого рекомендуется обозначить прочерком или точками.
Прочерк ставится на месте ключевого элемента, знание которого является наиболее существенным для контролируемого материала.
Все прочерки в заданиях для одного теста рекомендуется делать равной длины (в некоторых англоязычных публикациях, наоборот, рекомендуют делать прочерк такой длины, чтобы он служил подсказкой для выбора дополняемого слова).
Место для ответа лучше отводить в конце задания или как можно ближе к концу.
После прочерка, если это возможно, указываются единицы измерения.
Текст задания должен обладать предельно простой синтаксической конструкцией и содержать минимальное количество информации, необходимое для правильного выполнения задания.
В тексте задания исключаются повторы и двойное отрицание.
Задания второго вида с конструируемым развернутым ответом не имеют никаких ограничений по содержанию и форме их представления, кроме размеров бланка ответа и требований к его содержанию, введенных в условие задания. За отпущенное время и на специальных бланках тестируемый может писать все, что считает правильным ответом, самостоятельно выбирая степень его полноты и форму представления. Несомненно, такие задания, с первого взгляда, кажутся во многом близкими к традиционным контрольным работам, и потому задания со свободно конструируемым воспринимаются положительно абсолютным большинством педагогов. Действительно, они интересны и разнообразны в содержательном плане.
Однако прямое отождествление заданий с конструируемым развернутым ответом с традиционными средствами контроля приводит к неоправданным представлениям о легкости процесса их разработки. На самом деле достаточно трудно сформулировать задание, чтобы оно приводило к запланированному правильному ответу с той степенью полноты и глубины, которая закладывается разработчиком теста в его спецификации. Еще труднее предложить эталон оптимального ответа вместе со стандартизованными правилами оценки результатов его выполнения. Эти правила, представленные в форме оценочных градаций и называемые рубриками, нуждаются в тщательной разработке на основе анализа хода мыслительной деятельности студентов при выполнении ими задания. Далее они должны быть подвергнуты экспертизе, чтобы убедиться в том, что они не являются субъективным восприятием автора того контекста, в котором он воспринимает ход получения желаемого правильного ответа. И наконец, для рубрик должна быть проведена апробация на представительной выборке студентов с тем, чтобы получить статистическое подтверждение их качества.
Например, формулировка задания 11 по истории с развернутым ответом достаточно кратка:
ЗАДАНИЕ 11
Назовите основные задачи, которые решались во внешней политике России в XVII в. (Укажите не менее двух задач). Приведите примеры войн, походов и экспедиций XVII в., предпринимавшихся для решения этих задач (не менее трех примеров).
Но для того, чтобы задание попало в тест, его автору необходимо стандартизовать процедуру проверки, а это объемная работа, вызывающая подчас много нареканий из-за неоднозначности результатов ее выполнения. В естественных и математических науках предложить эталон выполнения вместе с оценочными критериями гораздо легче, хотя и там часто встречаются случаи нескольких путей решения поставленных проблем.
Проверка заданий с развернутыми ответами проводится экспертами в соответствии со стандартизированными инструкциями, содержащими эталон оптимального ответа с описывающими его характеристиками и признаками качества. К эталону должны прилагаться оценочные категории для выставления политомической оценки, нуждающиеся в апробации и статистическом обосновании качества, поскольку среди них могут быть как не работающие, так и снижающие дифференцирующий эффект теста.
Задания с развернутыми ответами требуют значительных затрат преподавательского труда при проверке, когда экспертам приходится анализировать множество правильных в разной степени ответов и сравнивать их с эталоном, не принимая во внимание полноту, внешнее оформление ответов, орфографические ошибки и все то, что не входит в критерии для выставления политомической оценки. Проверка результатов выполнения таких заданий довольно субъективна, а согласование оценок нескольких экспертов затруднено, поэтому обычно такие задания занимают не более 20% - 15% от общей длины аттестационного теста, хотя в отдельных случаях, например, в программах международного исследования качества образования, на задания с развернутым ответом иногда отводят до 50% от длины теста.
Основные рекомендации по разработке заданий со свободно конструируемым ответом:
задания со свободно конструируемым ответом, в основном, предназначены для оценки усвоения обучаемыми когнитивных умений творческого уровня либо компетенций. Их следует разрабатывать только в тех случаях, когда не могут быть использованы более простые формы;
длина и сложность ответа может варьировать в широких пределах (вплоть до нескольких страниц текста ответа, обоснования приведенного решения проблемы и т.д.). В инструкции желательно ввести ограничения на максимальную длину ответа для каждого задания;
формулировка задания, предоставляемая автором, должна включать постановку проблемы, эталон выполнения и оценочные критерии. Постановочная часть должна быть настолько четкой, чтобы минимизировать возможные отклонения в правильных ответах студентов от планируемого разработчиком эталона выполнения;
выбор временных рамок для выполнения каждого задания должен позволять студенту сформулировать достаточно развернутый ответ и успеть его записать.
Надежность оценок результатов выполнения заданий со свободно конструируемыми ответами можно повысить, если:
Грамотно составлять задание, используя рекомендации приведенные выше.
Использовать при проверке только разработанную стандартизированную схему оценивания не более чем с тремя оценочными категориями (0, 1, 2).
Обучить экспертов по проверке заданий пользовать стандартизированными критериями оценивания.
Привлекать не менее двух экспертов для проверки каждого задания и приглашать третьего эксперта в случае расхождений оценок первых двух экспертов более чем на один балл.
Использовать принцип анонимности проверяемых работ и независимость экспертных суждений.
Не смотреть на оценку, данную предыдущему заданию, при оценивании последующего.
Значительную часть в заданиях с развернутыми ответами занимают эссе. Иногда в некоторых публикациях по классификации заданий зарубежные авторы выделяют эссе в отдельную категорию. Задания типа эссе можно оценивать в соответствии с:
простыми схемами оценивания, когда критерии строятся с ориентацией на содержание ответов студентов;
усложненными схемами оценивания, учитывающими при экспертизе содержание ответов, характеристики качества представления текста, его полноту и стиль или любые другие факторы, кажущиеся важными разработчику задания;
рейтинговым методом, предполагающим накопительную оценку, которая получается путем сложения отдельных оценок в соответствии с общим впечатлением экспертов от полного ответа на задание.
При любой схеме оценивания задания со свободно конструируемыми ответами нуждаются в политомической оценке, что существенно, не всегда оправданно, завышает их общий вес в балле по тесту. Для того, чтобы избежать такого завышения и для уменьшения влияния субъективного компонента число критериев оценивания обычно стараются сделать достаточно малым, ограничиваясь политомическими оценками, например, от 0 до 3 или даже от 0 до 2.
Для заданий с кратким регламентированным ответом, сформулированных в виде не законченных утверждений и предъявляемых без специальных бланков для ответа, обычно используют инструкцию, состоящую из одного слова: «ДОПОЛНИТЕ». Если для ответов к заданиям с кратким регламентированным ответом необходимо давать ответы в специальных бланках, то инструкция может иметь вид: «ОТВЕТЫ К ЗАДАНИЯМ ЗАПИШИТЕ В БЛАНКЕ ОТВЕТОВ СПРАВА ОТ СООТВЕТСТВУЮЩИХ НОМЕРОВ ЗАДАНИЙ. КАЖДУЮ БУКВУ ПИШИТЕ В ОТДЕЛЬНОЙ КЛЕТОЧКЕ В СООТВЕТСТВИИ С ПРИВЕДЁННЫМИ ОБРАЗЦАМИ НА БЛАНКЕ ОТВЕТОВ».
Инструкция для заданий с конструируемым развернутым ответом обычно имеет произвольную форму. Главное сказать столько, чтобы в максимальной степени стандартизовать форму ответов студентов и облегчить работу экспертов при проверке результатов тестирования для снижения влияния субъективных факторов и повышения надежности педагогических измерений. В самом общем виде для предметов гуманитарного цикла инструкция может иметь вид: «ДЛЯ ОТВЕТОВ НА ЗАДАНИЯ ИСПОЛЬЗУЙТЕ ОТДЕЛЬНЫЙ БЛАНК ОТВЕТОВ. ЗАПИШИТЕ СНАЧАЛА НОМЕР ЗАДАНИЯ, А ЗАТЕМ РАЗВЕРНУТЫЙ ОТВЕТ НА НЕГО. ОТВЕТЫ ЗАПИСЫВАЙТЕ РАЗБОРЧИВО».
Конечно, возможны ситуации, когда ответы к заданию в большинстве своем будут отличаться от планируемого эталона, но незначительно, поэтому их нельзя оценить как полностью неправильные. В этой ситуации неопределенности виноват разработчик заданий, а не студент. Как правило, такие случаи бывают, если отсутствует этап апробации теста и статистический анализ оценочных рубрик к заданиям теста. Для коррекции задания в его текст необходимо внести уточнения, связанные с сужением объема проверяемого понятия и уменьшением за счет этого вариантов возможных рассуждений студентов при получении развернутого ответа. Помимо этого, необходимо провести апробацию и уточнить оценочные рубрики. Иногда дополнительные ограничения на ответ к заданию вводят в инструкцию, поэтому ее пишут отдельно для каждого задания теста. В результате подобных уточнений, несомненно, получится проигрыш в краткости теста. Однако это неизбежно, поскольку каждое задание с развернутым ответом, также как и остальные формы, с необходимостью должно порождать единственный оптимальный ответ, соответствующий высшей градации в эталоне его оценивания.
5.4. Задания на установление соответствия
Задания на соответствие имеют специфический вид, где под инструкцией располагаются элементы двух множеств, соответствие между которыми предлагается установить испытуемому. Слева обычно приводятся элементы задающего множества, содержащие постановку проблемы. Справа – элементы, подлежащие выбору.
Соответствие между элементами двух столбцов может быть взаимно однозначным, когда каждому элементу справа соответствует только один элемент слева. Если число элементов в двух столбцах одинаковое, то для последнего элемента задающего множества выбор не произойдет. Встречаются случаи, определяемые спецификой содержания предмета, когда для нескольких элементов левого столбца выбираются одни и те же элементы справа, поэтому их может оказаться меньше, чем слева. И, наконец, оптимальным является задание, в котором правое множество содержит больше элементов, каждый из которых выбирается только один раз.
|
