Приложение 3. Перечень направлений для анализа работы ПК
Анализ работы ПК проводится в целях оптимизации работы ПК по проверке развернутых ответов участников ГИА, ее максимальной объективности, выработке единых требований и подходов к оцениванию экзаменационных работ, минимизирующих субъективность проверяющих экспертов.
При анализе работы ПК необходимо обратить внимание на следующие направления деятельности ПК:
Условия проведения проверки:
нахождение ПК в/во вне здания РЦОИ, количество зданий, помещений, где размещается ПК;
количество аудиторий при работе ПК;
проведение оперативного согласования подходов к оцениванию развернутых ответов в день получения критериев оценивания перед началом проверки (проводилось ли, продолжительность, была ли потребность в проведении дополнительного согласования в процессе проверки);
работа экспертов-консультантов, назначенных председателем ПК при работе ПК, их количество, принцип распределения по помещениям, сфера консультирования (консультация экспертов, находящихся в одном помещении/аудитории; консультация по оцениванию ответов на определенные задания и т.п.);
наличие специально оборудованного в помещениях ПК рабочего места с выходом в информационно-телекоммуникационную сеть «Интернет» для обеспечения возможности уточнения экспертами изложенных в экзаменационных работах участников ГИА фактов; востребованность этого рабочего места;
прочее (в случае выявления условий, существенно влияющих на качество работы ПК).
Количество и доля экспертов ПК, имеющих статус ведущего, старшего, основного эксперта.
Квалификация экспертов (соответствие требованиям Порядка, количество экспертов, квалификация которых не соответствует требованиям Порядка, причины включения в ПК таких экспертов).
Общее количество проверок, проведенных ПК (отдельно проверок первым и вторым экспертом, третьих проверок, проверок апелляционных работ, перепроверок по решению ОИВ).
Общее количество экспертов ПК, задействованных при проверке работ на разных этапах проведения ГИА (досрочный, основной и дополнительный).
Общее количество экспертов ПК, задействованных при проверке апелляционных работ.
Статистика рассмотрения апелляций о несогласии с выставленными баллами за развернутые ответы (общее количество поданных апелляций, количество удовлетворенных апелляций в отношении изменения баллов за развернутые ответы, количество работ с пониженными на апелляции результатами, повышенными на апелляции результатами, минимальное и максимальное изменение баллов, основные причины удовлетворения апелляции.
Общее количество экспертов, осуществлявших третью проверку.
Доля работ, направленных на третью проверку.
Перечень экспертов, регулярно (более, чем 5% проверяемых работ) допускающих в оценивании значительные расхождения в баллах, выставленных другими экспертами:
случаи существенной разницы между суммой баллов первого и второго экспертов; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное);
Пример 1.
№ позиции оценивания
|
1
|
2
|
3
|
4
|
5
|
6
|
7
|
8
|
9
|
10
|
11
|
12
|
Сумма баллов
|
Эксперт 1
|
0
|
1
|
0
|
0
|
1
|
1
|
1
|
0
|
0
|
0
|
1
|
1
|
6
|
Эксперт 2
|
2
|
3
|
1
|
1
|
3
|
1
|
2
|
1
|
2
|
1
|
0
|
0
|
17
|
В приведенном примере разница между суммами баллов, выставленных экспертами, составляет 17-6 = 11 баллов. Ситуация свидетельствует о явном рассогласовании в работе экспертов ПК. Необходимо выявить системность данной ситуации для каждого из экспертов пары, причины.
случаи существенной разницы в баллах, выставленных за каждую позицию оценивания; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное);
Пример 2.
№ позиции оценивания
|
1
|
2
|
3
|
4
|
5
|
6
|
7
|
8
|
9
|
10
|
11
|
12
|
Сумма баллов
|
Эксперт 1
|
0
|
1
|
0
|
0
|
3
|
3
|
2
|
0
|
0
|
0
|
1
|
1
|
11
|
Эксперт 2
|
2
|
0
|
1
|
1
|
1
|
1
|
1
|
1
|
2
|
1
|
0
|
0
|
11
|
Эксперт 3
|
0
|
1
|
0
|
0
|
3
|
2
|
2
|
0
|
0
|
0
|
1
|
2
|
11
|
В приведенном примере разницы между суммами баллов, выставленных экспертами, нет: все 3 эксперта выставили суммарно 11 баллов. Тем не менее, ситуация рассогласования в оценивании очевидна: Эксперт 2 выставил баллы, которые по каждой отдельной позиции оценивания отличаются от баллов, выставленных Экспертом 1 (16 баллов) и Экспертом 3 (16 баллов). В отношении результатов оценивания Экспертом 1 и Экспертом 3 можно сказать, что эти результаты отличаются на 1 балл только по двум позициям оценивания из 12, что свидетельствует о поддержке этими экспертами единых подходов к оцениванию работ.
случаи существенной разницы в баллах, выставленных за каждую позицию оценивания; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное);
Пример 3.
№ позиции оценивания
|
1
|
2
|
3
|
4
|
5
|
6
|
7
|
8
|
9
|
10
|
11
|
12
|
Сумма баллов
|
Эксперт 1
|
0
|
1
|
0
|
0
|
3
|
3
|
2
|
0
|
0
|
0
|
1
|
1
|
11
|
Эксперт 2
|
0
|
1
|
1
|
0
|
3
|
3
|
2
|
0
|
0
|
0
|
1
|
1
|
12
|
ИТОГ
|
0
|
1
|
1
|
0
|
3
|
3
|
2
|
0
|
0
|
0
|
1
|
1
|
12
|
Эксперт на апелляции
|
2
|
3
|
1
|
0
|
3
|
2
|
2
|
1
|
1
|
1
|
1
|
2
|
19
|
В приведенном примере эксперты во время проверки вынесли весьма согласованный результат. Тем не менее, на апелляции балл изменяют на 7 первичных баллов относительного итогового по результатам оценивания двух экспертов. Очевидна либо ситуация несогласованности подходов к оцениванию экспертом, проверявшим работу на апелляции, либо наличие процедурных нарушений или заинтересованности этого эксперта.
другие случаи рассогласования работы экспертов, их описание, количественные показатели; анализ ситуации, выявленные причины, принятые решения (повышение квалификации, изменение функционала в рамках работы ПК, исключение из ПК, иное).
Плановое количество экспертов ПК в 2015 году, плановое количество экспертов, имеющих право осуществлять третью проверку, перепроверку, межрегиональную перекрестную проверку, проверку апелляционных работ (экспертов, имеющих статус старшего или ведущего эксперта).
Основные выводы.
|
