Технология конструирования дидактического теста
Скачать 286.76 Kb.
|
| ГЛАВА 4. Технология конструирования дидактического теста §1. Определение диагностических целей и задач. Независимо от масштабности замысла и его сложности, первоначальным этапом разработки теста является определение диагностических целей и задач П1.1. Этап целеполагания является наиболее трудным и вместе с тем наиболее важным: от результатов его выполнения в первую очередь зависит качество содержания теста. В процессе целеполагания преподавателю необходимо решить вопрос о том, какие результаты учащихся он хочет оценить с помощью теста. Ответ казалось бы прост, по крайней мере, он кажется таким тем, кто неоднократно проверяет знания учеников на уроках традиционными средствами. Однако на деле эта видимая простота зачастую оборачивается низким качеством результатов контроля, когда разные по подготовке ученики получают одинаковые оценки либо преподаватель приходит к неправильному выводу о достижении целей обучения, в то время как ученики не получили самых важных знаний или не научились их применять. Основания для ошибок в выводах педагога далеко не всегда связаны с технологическими недостатками традиционных средств контроля. Иногда они обусловлены недоработками преподавателя на этапе целеполагания, когда центр тяжести проверки смещается на второстепенные цели обучения, а иногда этап целеполагания отсутствует вовсе, поскольку часть преподавателей опирается свой опыт и интуицию, особенно при условии многолетней работы преподавателем. Однако никакие даже очень совершенные методы контроля и никакой опыт не дадут оснований для надежных выводов о достижении целей обучения до тех пор, пока нет уверенности в правильной постановке целей контроля и в их правильном, несмещенном отображении в содержании теста. В отличие от отбора содержания традиционных средств контроля, который производится в основном интуитивно на основании практического опыта педагога, отбор содержания теста имеет четкую целевую направленность, а это при условии правильной постановки целей является серьезной заявкой на его высокое качество. Правда, сама по себе правильная постановка целей создания теста довольно непроста, к тому же положение осложняется тем, что в течение целого ряда лет особой потребности в формировании единых подходов к формулировке целей просто не возникало. Существовавшая в нашей стране на протяжении десятилетий преимущественная ориентация на традиционные средства контроля снимала потребность в этом процессе, так как расплывчатость и неопределенность действующих образовательных целей не приходила в рассогласование с требованиями практики, далекой от проблем создания объективных средств измерения. Заметим, что в ФГОС’ах 3-го поколения формулировка целей обучения в терминах «компетенций» не снимает упомянутой выше неопределенности. Излишняя общ-ность, расплывчатость, многообразие и неопределенность формулировок образовательных целей приводят к необходимости предварительной операционализации целей. Процесс операционализации заключается в придании форме представления целей обучения характеристик (индикаторов), позволяющих отобразить цели в содержании стандартизованных средств измерения [14/1]. Идея операционализации очень близка от-дельным положениям работы М. В. Кларина [15], где вместо слова операционализация» используется иной, довольно удачный термин «конкретизация». Конкретизация, по мнению М.В. Кларина, должна начинаться с описания направленности воздействия обучения на ученика, прояснения характера воздействия и детализации его результатов. В этой связи Кларин выделяет ряд вопросов, решение которых с необходимостью сопутствует процессу конкретизации. Ответ на первый вопрос направлен на характеристику образовательных условий, создаваемых для реализации целей. Ответ на второй — связан с выявлением внутренних параметров учащихся, их способностей к усвоению нового учебного материала. И наконец, ответ на третий вопрос нацелен на характеристику результатов образовательного процесса. Приведенные Клариным узловые моменты процесса конкретизации нуждаются в некоторых уточнениях — изменении не содержания, а просто порядка постановки вопросов. Поскольку порядок постановки вопросов подчинен определенной иерархии, то для отражения сущности происходящих при контроле процессов второй и третий вопросы, несомненно, следует поменять местами. Судить о внутренних параметрах учащегося можно только на основе анализа внешней стороны учебной деятельности, проявляющейся в результатах обучения. По сути, идея перехода от внешнего к внутреннему, идея интериоризации, составляет ядро теории педагогических измерений, когда по наблюдаемым результатам контроля с той или иной степенью точности пытаются сделать вывод о внутренних устойчивых характеристиках — параметрах ученика. Конечно, не следует забывать о том, что при контроле преподаватель как бы совершает обратный ход, поскольку на деле именно множество параметров испытуемых в процессе взаимодействия с заданиями порождает наблюдаемые результаты выполнения теста, т.е. то, что в процессе контроля принято называть результатами обучения. При этом выявление степени достижения целей обучения, замкнутых на определенную предметную область, осуществляется через контроль учебной деятельности учащихся путем сопоставления наблюдаемых и ожидаемых результатов обучения. Непосредственно для целей создания средств измерения наибольший интерес представляет ответ на третий вопрос, связанный с операционализацией результатов обучения. Процесс операционализации характеризуется рядом этапов, которые схематично изображены на рис. 3.1.  Рис. 4.1. Этапы операционализации результатов обучения Далее планируемые результаты обучения в сознании преподавателя-предметника преломляются сквозь призму содержания знаний по преподаваемой им учебной дисциплине, и содержание теста начинает обретать свои контуры. Конечно, многое здесь зависит от выбранных средств оценки, так как далеко не всякое содержание дисциплины и не в любой форме может быть отражено в тесте. В состав требований к планируемым результатам обучения обычно включают систему изучаемых объектов, описание видов учебной деятельности и качества усвоения учебного материала. Первым компонентом требований является характеристика объектов изучения с учетом глубины их освещения преподавателем и планируемого уровня усвоения учащимися. Группой исследователей НИИ АПН была предложена общепредметная схема, органи-зующая множество объектов изучения в определенную структуру на основе морфологического и функционального анализа содержания предметов [16]. К важнейшим элементам системы научных знаний исследователи отнесли понятия и факты, законы, теории, идеи, знания о способах деятельности, методологические и оценочные знания. В этой же работе приводится вывод о том, что использование теории учебной деятельности, разработанной психологами нашей страны (С.Л. Рубинштейн, НА. Менчинская, Н.Ф. Талызина), «дает широкие возможности для ее характеристики в программных описаниях, объединяя своими подходами различные учебные предметы и различный по характеру материал обучения». Помимо этого, в работе [ 16] выдвигается на рассмотрение проблема, связанная с необходимостью выделения видов умений, их классификации и систематизации. В качестве основы решения проблемы предлагается структура умений, выделенная И.И. Кулибабой [17]. В нее входят умения: • специальные, формирующиеся в процессе изучения отдельных учебных предметов; • рационального учебного труда, включающие умения пользоваться различными источниками знаний для решения познавательных задач, планировать и организовывать свою учебную деятельность, контролировать и корректировать результаты учебной деятельности, а также управлять ею в процессе учения; • интеллектуальные, представляющие собой ядро учебной деятельности и объединяющие все учебные предметы. При создании теста ставится задача отобразить в его содержании то главное, что должны знать и уметь ученики в результате обучения, поэтому ограничиться простым перечислением целей обучения нельзя. В тест хотелось бы включить все, но, к сожалению, это невозможно, поэтому часть целей приходится просто отбросить и не проверять степень их достижения учащимися. Для того чтобы не утратить самое главное, необходимо структурировать цели и ввести определенную иерархию в их взаимное расположение. Без сомнения, здесь нет и не может быть готовых общих рецептов, поскольку в каждой дисциплине свои приоритеты. К тому же отдельные цели заметно связаны между собой, и потому простого представления о системе целей как об упорядоченной совокупности без рассмотрения связей между элементами явно недостаточно. Для случая, когда представление об элементах как о несвязанных составляющих можно считать адекватным системе целей обучения, работа по построению системы целей была проведена Б.С. Блумом [18]. В настоящее время классификация целей (или, как ее иначе называют, таксономия целей), является наиболее известной в мировой педагогической литературе. Она же и является наиболее технологичной с точки зрения большинства зарубежных разработчиков педагогических тестов. В своей классификации Б.С. Блум выделяет: 1) знание названий, имен, фактов; 2) фактуальные знания; 3) знание определений и понимание их смысла; 4) сравнительные, сопоставительные знания; 5) классификационные знания; 6) знание противоположностей, противоречий, синонимичных и антонимичных объектов; 7) ассоциативные знания; 8) причинные знания; 9) алгоритмические, процедурные знания; 10) обобщенные, системные знания; 11) оценочные знания; 12) процессуальные знания; 13) абстрактные знания; 14) структурные знания; 15) методологические знания. Сама по себе система тоже не полна и допускает возможность расширения или изме-нения, обусловленную спецификой дисциплины. Более полное описание целей, взятое из работы Кларина [15], приводится в приложении 4.1. Предлагаемая в приложении таксоно-мия целей подразделяется на две группы. К одной группе отнесены цели когнитивной (познавательной) области, а к другой — цели аффективной (эмоционално-деятельностной) области. В последнее время таксономия Б.С. Блума подвергалась значительной критике в связи с недостаточным отражением современных достижений в области психологии обучения. К числу недостатков критиками были отнесены излишняя упрощенность модели, не позволяющая использовать современные теории процесса обучения, избыточное внимание к оценке результата обучения, а не к процессу формирования результата, использование линейной зависимости между отдельными составляющими модели. В последние годы особые осложнения в оценке учебных достижений вызывает смещение акцентов на выявление уровня владения интеллектуальными и практическими умениями, которые, по своей сути, слабо алгоритмизируемы, сложны и неоднозначны при проверке и требуют, как правило, создания концептуальных моделей, альтернативных cуществующим. Из апробированных на практике в настоящее время наибольшее применение находит трехмерная модель, включающая содержание, технику измерения и планируемый уровень познавательной деятельности, необходимый для выполнения заданий теста [19]. Первая составляющая модели — содержание — обеспечивает содержательную валидность инструментария, его соответствие учебным программам. Под второй составляющей — техникой измерения — в основном понимается используемый тип заданий. Необходимость введения второй составляющей вызвана тем, что в настоящее время произошло значительное расширение используемых в практике массового тестирования форм. Помимо традиционных заданий с выбором ответа, применяются задания со свободным ответом как в краткой, так и в развернутой форме, экспериментальные задания и др. Разнообразие форм обусловило введение различных технологий, особенности которых должны быть отражены в концептуальной модели. Третьей составляющей модели является познавательная деятельность, на оценку которой направлено измерение. В традиционном подходе, использующем таксономию Б.С. Блума, уровень мыслительной деятельности, необходимой ученику для ответа на предложенное задание, определялся экспертом. В новой концептуальной модели задания конструируются таким образом, что они предоставляют различные возможности для ответа и уровни познавательной деятельности планируются в концептуальной модели теста. Детальная разработка категорий познавательной деятельности, требований к уровню ее развития, к проявлению различных уровней сформированности интеллектуальных умений осуществляется в настоящее время в различных странах мира. Современная модель предлагает качественное описание ответов учащихся. Это означает, что уже на этапе разработки инструментария должна быть четко очерчена познавательная деятельность, лежащая в основе выполнения каждого задания теста. Тогда на одном конце шкалы познавательной деятельности будут представлены задания на воспроизведение фактов и простейших алгоритмов, включающих только один шаг деятельности, — словом, задания, позволяющие учащимся продемонстрировать умения решать простейшие задачи, используя для этого рутинные процедуры или одноуровневую познавательную деятельность; на другом конце шкалы — задания, предлагающие учащимся продемонстрировать большое разнообразие интеллектуальных и практических умений. В ряде появившихся в нашей стране работ таксономия Б.С. Блума также неоднократно подвергалась критике, в частности, из-за того, что в ней произошло методологически недопустимое смешение конкретных результатов обучения (знания, понимание и т.д.) с операциями, представляющими необходимое условие их достижения (анализ, синтез, оценка). В этой связи в пособии [20] предлагается иная классификация целей. В ее основу положен уровневый системный подход описания достижений учащихся (И.Я. Лернер, В.П. Беспалько и др.), который позволяет сгруппировать результаты обучения в зависимости от уровней учебной деятельности. Первый уровень связан с непосредственным воспроизведением по памяти содержания изученного материала и его узнаванием. Второй уровень предполагает понимание и применение знаний в знакомой ситуации по образцу, выполнение действий с четко обозначенными правилами. Третий уровень включает применение знаний в измененной или незнакомой ситуации. Таким образом, предлагаемый подход к классификации основан на выделении уровней усвоения знаний и операций, сопутствующих их проявлению (табл. 4.1). Таблица 4.1. Классификация целей обучения  П1.2. Операционализации планируемых результатов обучения После постановки целей в общем виде переходят к операционализации планируемых результатов обучения. Процесс операционализации строится на описании учебных целей в виде результатов определенной учебной деятельности так, чтобы о степени достижения цели можно было судить вполне однозначно. Несмотря на расхожее среди отечественных теоретиков мнение о возможности операционализации только результатов низкого познавательного уровня, процессу операционализации, несомненно, подлежат и довольно сложные цели более высокого уровня. Для этого нужны определенные навыки тех, кто берется за создание тестов. В приобретении подобных навыков разработчикам тестов может помочь ориентировочный перечень глаголов, который приводит Кларин для конкретизации учебных целей. В случае необходимости конкретизации общих целей он рекомендует использовать глаголы [15]. анализироватьу вычислять, высказывать, демонстрировать, знать, интерпретировать, использовать, оценивать, понимать, преобразовывать, применять, создавать... для конкретизации целей творческого типа — варьировать, видоизменять, модифицировать, перегруппировать, перестроить, предсказать, поставить вопрос, синтезировать, систематизировать. .. для обозначения целей в области развития устной и письменной речи — выделить, выразить в словесной форме, записать, обозначить, подчеркнуть (не в буквальном смысле), продекламировать, произнести, прочитать, разделить на составные части, рассказать... Основные категории конкретизированных учебных целей разработанные Клариным в несколько измененном виде, удобном для задач измерения, приводятся в табл. 4.2. Таблица 4.2. Конкретизированные цели обучения  Очередной этап операционализации связан с переходом от планируемых результатов обучения к тому, что можно отобразить в средствах педагогического измерения, например в тесте. На этом этапе операционализация позволяет структурировать, расчленять, а иногда, наоборот, укрупнять, уточнять и детализировать содержание дисциплины для его отображения в содержании теста. Именно этот этап обеспечивает переход от теоретического уровня анализа целей обучения к эмпирическому и позволяет концептуально правильно подойти к выделению эмпирических индикаторов — заданий теста. Последний этап операционализации сопряжен с задачами планирования содержания теста. В процессе планирования автору теста приходится думать о том, что далеко не весь набор целей обучения по разным причинам можно отобразить в содержании теста. Конечно, чем глубже и полнее отображение, тем выше содержательная валидность теста, тем больше оснований доверять тестовым баллам учащихся. Однако этот вывод носит исключительно теоретический характер. На практике же приходится думать не только о требованиях тестовой технологии, но и о реальных возможностях учащихся, которые должны выполнять тест без излишнего напряжения и усталости в отведенное для это время . В этой связи набор целей необходимо структурировать, чтобы в тест попали самые важные цели учебного процесса. Выделение целей различного уровня иерархии позволяет уточнить определенные предметные области, разделы, темы, содержание которых необходимо отразить в тесте. Отсюда остается один шаг до оценки степени реализации целей, для чего знание предмет-ных областей выражается правилами измерения с перечислением элементов содержания в совокупности с желаемыми, планируемыми при обучении уровнями владения этими элементами. Таким путем общие цели обучения обретают свою конкретизацию и возникает прагматическое определение знания учебной дисциплины: когда испытуемый правильно выполняет на определенном уровне усвоения такие-то задания таких-то разделов теста. |
Похожие:
 | Кафедра художественного моделирования, конструирования и технологии швейных изделий | | Кафедра художественного моделирования, конструирования и технологии швейных изделий |
| Работа выполнена на кафедре технологии и конструирования швейных изделий Орловского государственного технического университета и... |  | Мдк 02. 02 Теоретические основы конструирования швейных изделий, профессионального модуля 02. Конструирование швейных изделий. Основная... |
| Приложение к уроку по теме: «Приготовление изделий из дрожжевого теста» | | В методической разработке представлены материалы урока учебной практики по теме 5: «Приготовление мучных блюд из теста с фаршами»... |
| Технология технология разноуровневого обучения, технология контекстуального обучения | | В данной части теста вы должны прочитать 5 текстов и выполнить 15 заданий к ним |
| Методические указания предназначены для студентов бакалавров направления 262200. 62 Конструирование изделий легкой промышленности... | | «Продукты питания из растительного сырья», профиль «Технология хранения и переработки зерна» |