МЕТОДИЧЕСКИЕ РЕКОМЕНДАЦИИ
ПО РАЗРАБОТКЕ ОЦЕНОЧНЫХ СРЕДСТВ ДЛЯ КОНТРОЛЯ
ПОДГОТОВЛЕННОСТИ СТУДЕНТОВ
Москва 2011
УДК 378.147:378.046 (072)
6Н1
М54
Методические рекомендации по разработке оценочных средств для контроля подготовленности студентов [Текст] / Государственный университет управления, Центр качества ; [сост.: М.Б. Челышкова, В.И. Звонников, О.В. Давыдова] – М.: ГУУ, 2011. – 84 с.
Составители
доктор педагогических наук, профессор
М.Б. ЧЕЛЫШКОВА
доктор педагогических наук, профессор
В.И. ЗВОННИКОВ
кандидат педагогических наук, доцент
О.В. ДАВЫДОВА
Ответственный редактор
проректор по организации учебно-методической работы,
доктор педагогических наук, профессор
В.И. ЗВОННИКОВ
Рассматриваются практические аспекты оценивания в процессе текущего, рубежного и итогового контроля. Значительное внимание уделяется инновационным измерителям, в частности, компетентностным тестам. Содержатся новые для отечественного образования методы установления критериев (стандартов) выполнения компетентностных тестов.
Для преподавателей вузов и слушателей системы дополнительного профессионального образования. Представляет интерес для преподавателей школ, а также студентов педагогических вузов.
© Челышкова М.Б., Звонников В.И., Давыдова О.В., 2011
© ФГБОУВПО «Государственный университет
у правления», 2011
СОДЕРЖАНИЕ
ВВЕДЕНИЕ 159
1. КОМПЕТЕНТНОСТНЫЙ ПОДХОД С ПОЗИЦИЙ 160
ОЦЕНИВАНИЯ КАЧЕСТВА РЕЗУЛЬТАТОВ ОБУЧЕНИЯ 160
1.1. Компетентность и компетенции, понятийный аппарат 160
1.2. Кластеризация компетенций 161
1.3. Паспортизация компетенций 165
1.4. Оценка в рамках компетентностного подхода 168
ВЫВОДЫ ПО ПЕРВОМУ РАЗДЕЛУ 169
2. ОСНОВНЫЕ ПОЛОЖЕНИЯ ТЕОРИИ ПЕДАГОГИЧЕСКИХ ИЗМЕРЕНИЙ 170
2.1. Понятийный аппарат теории педагогических измерений 170
2.2. Надежность педагогических тестов, ее виды и оценка 172
2.3. Валидность педагогических тестов, ее виды и оценка 174
ВЫВОДЫ ПО ВТОРОМУ РАЗДЕЛУ 175
3. ОСНОВНЫЕ ПОДХОДЫ К РАЗРАБОТКЕ 175
ИЗМЕРИТЕЛЕЙ, ИХ ВИДЫ И ЭТАПЫ РАЗРАБОТКИ 175
3.1. Два подхода к интерпретации результатов педагогических измерений 176
3.2. Нормативно-ориентированный подход и стандартизация тестов 176
3.3. Критериально-ориентированный подход в педагогических измерениях 178
3.4. Виды контроля и тестов, основные этапы разработки тестов 181
3.5. Компетентностные тесты, основные этапы разработки тестов для аттестации 184
3.6. Портфолио 186
3.7. Кейс-измерители 190
ВЫВОДЫ ПО ТРЕТЬЕМУ РАЗДЕЛУ 195
4. СОДЕРЖАНИЕ КОМПЕТЕНТНОСТНЫХ ТЕСТОВ, 196
ПЛАНИРОВАНИЕ, ОТБОР И ЭКСПЕРТИЗА КАЧЕСТВА 196
4.1. Целеполагание и планирование содержания аттестационного теста 197
4.2. Общие принципы отбора содержания аттестационных тестов 201
4.3. Экспертиза качества содержания аттестационных тестов и оценочных рубрик 202
ВЫВОДЫ ПО ЧЕТВЕРТОМУ РАЗДЕЛУ 204
5. ФОРМЫ ТЕСТОВЫХ ЗАДАНИЙ 204
5.1. Общие требования к заданиям и классификация форм 204
5.2. Задания с множественным выбором 206
5.3. Задания с конструируемым ответом 211
5.4. Задания на установление соответствия 215
5.5. Задания на установление правильной последовательности 216
5.6. Компетентностно-ориентированные задания 217
5.7. Сравнительная характеристика форм тестовых заданий 222
ВЫВОДЫ ПО ПЯТОМУ РАЗДЕЛУ 223
ЛИТЕРАТУРА 224
ВВЕДЕНИЕ
Рекомендации содержат необходимую краткую информацию о разработке оценочных средств для текущего, промежуточного и итогового видов контроля подготовленности студентов в рамках компетентностного подхода. Они включают в себя сведения о компетентностном подходе и измерениях в образовании, основные подходы к разработке компетентностных тестов, обзор возможностей инновационных измерителей и требования к их характеристикам.
В целях повышения доступности материала в рекомендациях сознательно опущены многие более сложные вопросы аппарата педагогических измерений, которые используются профессионалами и должны быть задействованы для полноценной реализации компетентностного подхода при оценке качества результатов обучения. Поэтому ознакомление с представленной в рекомендациях информацией можно рассматривать как очень важный, но только первый шаг в освоении практических умений по оцениванию компетенций студентов и внедрению компетентностного подхода в высшее профессиональное образование.
Хотя в России уже вышло несколько учебных пособий по оцениванию компетенций, создание тестов в нашей стране по-прежнему ведется интуитивно, без опоры на научные методы теории измерений. Преподаватели вузов посвящают свое время разработке многочисленных проверочных заданий, имитирующих по форме тестовые, но на самом деле по своим характеристикам, не отвечающим требованиям тестологической науки и компетентностного подхода к трактовке качества результатов образования. Сложившаяся ситуация обусловлена сложностью контрольно-оценочных процессов, связанной с латентной природой результатов обучения, и усугубляется особенностями компетенций, к которым следует отнести: отсроченный характер проявления, многомерность, междисциплинарность, причинную связь с индивидуальными задатками обучаемых. Таким образом, сам компетентностный подход требует отказа от традиционных средств контроля подготовленности студентов и обращения к инновационным средствам, разработанным на основе педагогических измерений.
Данные рекомендации предназначены для всех тех, кто стремится к введению инноваций в традиционный контрольно-оценочный процесс в вузе и использованию современных оценочных средств. Поскольку в них отсутствует математико-статистический аппарат, в основном, на данные рекомендации следует опираться при разработке оценочных средств для текущего и рубежного контроля подготовленности студентов. Итоговый контроль требует в разработке тестов большего профессионализма.
1. КОМПЕТЕНТНОСТНЫЙ ПОДХОД С ПОЗИЦИЙ
ОЦЕНИВАНИЯ КАЧЕСТВА РЕЗУЛЬТАТОВ ОБУЧЕНИЯ
1.1. Компетентность и компетенции, понятийный аппарат
По поводу интерпретации понятия «компетентность» и его соотнесения с термином «компетенция» нет единой точки зрения ни в России, ни в мире. В английском языке также как и в русском существует 2 термина, которые иногда используются как синонимы. Можно обозначить различия между этими понятиями, считая, что компетенции являются операционализированными составными характеристиками интегрального понятия «компетентность», указывая статус при квалификации испытуемых на основе оценок уровня их сформированности. Тогда компетентность – это интегративное понятие, которое распадается на спектр компетенций и характеризует в целом способности обучающихся, сформированные на базе ряда связанных знаний и умений, и позволяющие эффективно выполнять действия или рабочие функции по отношению к стандартам, ожидаемым в данной деятельности. Таким образом, компетентность – это интегральная характеристика потенциальных способностей, которая распадается на спектр проявляющихся в деятельности и оцениваемых компетенций.
ФГОС дает следующие определения: компетенция – способность применять знания, умения, навыки и личностные качества для успешной деятельности в различных проблемных профессиональных либо жизненных ситуациях; компетентность – уровень владения выпускником совокупностью компетенций, отражающий степень готовности к применению знаний, умений, навыков и сформированных на их основе компетенций для успешной деятельности в определенной области.
Подробный анализ компетентностного подхода для профессиональной управленческой деятельности приводится в трудах Л.Спенсера и С. Спенсера. Согласно их определению компетенции рассматриваются как базовые качества индивидуума, имеющие причинные связи с его эффективной деятельностью после окончания обучения и выявляемые на основе соответствия этой деятельности критериям ее наилучшего выполнения. Таким образом, уже на уровне понятийного аппарата в этом определении закладываются три ключевые идеи компетентностного подхода, одна из которых связана с отсроченным характером проявления компетенций после окончания обучения, вторая – с причинным характером связей с эффективностью профессиональной деятельности, а третья – с базовым характером компетенций, позволяющим рассматривать их как глубоко лежащие устойчивые поведенческие характеристики человеческой личности, прогнозирующие эффективность деятельности на основе полученных знаний, умений и навыков. Последние, хотя и имеют латентный характер, но все же лежат ближе к поверхностному слою новообразований в личности индивидуума по сравнению с компетенциями.
Следуя логике Спенсеров, можно утверждать, что компетенции имеют мета-латентную природу и потому крайне трудно поддаются любым попыткам формирования и оценивания. Компетенции рассматриваются как сформированные характеристики личности. Они определяют варианты поведения или мышления обучаемого в различных ситуациях при выполнении определенной деятельности. Кроме того, они связанны с мотивами поведения личности, ее психофизиологическими особенностями, самоустановками и полученной подготовкой, которая рассматривается как основа для формирования компетенций.
Рис. 1.1.1. Визуализация взаимосвязи характеристик обучающегося
Переход с внутреннего круга на внешний уровень и обратно осуществляется в процессе оценивания компетенций, когда студент пытается выполнить предложенные задания, содержащие в явном виде на внешнем уровне, а затем, основываясь на наблюдаемых результатах выполнения заданий, преподаватель пытается вернуться к внутреннему кругу и получить надежные и валидные оценки уровня сформированности компетенций. В процессе продвижения переход через показанные уровни смещает эти оценки, препятствуя достижению высокой надежности и валидности результатов оценивания. Поэтому оценивание компетенций невозможно вести вне теории педагогических измерений традиционными методами и средствами, поскольку они не позволяют установить надежность и валидность полученных оценок компетенций.
1.2. Кластеризация компетенций
В структуре компетенций принято выделять несколько блоков. Например, общие и ключевые (ядерные) компетенции, либо общекультурные и профессиональные, как это сделано в ФГОС. Число профессиональных компетенций, которые вошли в новые ФГОС по многим направлениям подготовки очень велико. Например, в базовую часть стандартов для подготовки бакалавров по менеджменту включено 50 профессиональных компетенций. Добавление профессиональных компетенций по профилям подготовки увеличивает это число до 55-60, а иногда и до 70. Конечно, корректно оценить уровень сформированности такого числа компетенций у студентов просто невозможно, поэтому профессиональные компетенции рекомендуется структурировать, выделив из их совокупности схожие группы по некоторым признакам: по характеристикам проявления, либо по связям с задачами профессиональной деятельности, либо по видам профессиональной деятельности. Например, в последнем случае можно выделить кластеры компетенций по видам:
интеллектуальной деятельности, проявляющейся при анализе проблем и принятии решений;
действий, например, для достижения конкретных результатов;
взаимодействий в работе с людьми и т.д.
Кластеризация компетенций – крайне необходимая работа, проводить которую следует двумя путями: вначале экспертно, а затем на основе факторизации данных, включающих эмпирические результаты оценивания компетенций. Таким образом, кластер компетенций – это набор тесно связанных между собой компетенций (обычно от трех до пяти в одной связке), объединенных по определенным признакам. Внутри кластеров могут быть выделены иерархические уровни, либо просто перечислены компетенции. Первый вариант более желателен, поскольку введение иерархии уровней внутри кластеров должно отражать специфику подготовки профилей бакалавров, в том числе региональную специфику, поэтому здесь нет и не может быть типовых решений. Например, среди 50 компетенций базовой части ООП по направлению «Менеджмент», конечно, есть те, которые являются второстепенными для целого ряда профилей подготовки бакалавров.
Пример кластеров компетенций, построенных по схожим признакам проявления, по профилю «Информационный менеджмент» для подготовки бакалавров по направлению «Менеджмент» приведен в табл. 1.2.1, где номера компетенций, начиная с 51-го, выбраны для дополнительных компетенций профиля. Связь между кластерами с учетом их иерархии осуществляется путем построения структурно-описательных моделей. Моделирование используется для выявления главных факторов успеха в процессе формирования компетенций по определенному профилю или направлению подготовки, поэтому связь между кластерами, также как и иерархия между ними и внутри них, специфична.
Таким образом, можно сформулировать определенную последовательность действий по построению компетентностной модели подготовки специалиста определенного профиля или направления подготовки:
дополнить задачи профессиональной деятельности за счет разработки вузовской части задач с учетом специфики региона, профиля подготовки бакалавра или магистерской программы;
разработать совокупность компетенций для вузовской части структуры ООП с учетом специфики региона, профиля подготовки бакалавра или магистерской программы;
ввести иерархию в компетенции базовой части ООП с учетом специфики профиля подготовки бакалавра или магистерской программы;
объединить компетенции базовой части и вузовской частей и структурировать их по кластерам;
определить иерархию внутри кластеров;
построить компетентностную модель подготовки бакалавра (магистра).
Построение модели не следует считать формальным действием по наполнению ООП. Поскольку формирование компетенций связано с определенными дисциплинами, то сама модель, по сути, является стратегическим ориентиром деятельности вуза по подготовке специалистов. Она объясняет приоритеты при выборе дисциплин вузовской части структуры ООП и распределении их трудоемкости, поэтому является веским аргументом специфики построения ООП при комплексной проверке деятельности учебного заведения внешними структурами.
Таблица 1.2.1
П
ример кластеров компетенций по информационному менеджменту
I.
Способен использовать основные теории мотивации, лидерства и власти для решения управленческих задач
|
ПК-4
|
Способен эффективно организовать групповую работу на основе знания процессов групповой динамики и принципов формирования команды
|
ПК-5
|
Владеет различными способами разрешения конфликтных ситуаций
|
ПК-6
|
Продолжение табл. 1.2.1
Способен к анализу и проектированию межличностных, групповых и
организационных коммуникаций
|
ПК-7
| |
