9Алгоритмы обработки результатов
На основе первичной информации, полученной после сканирования, распознавания и верификации бумажных бланков или программной обработки данных, полученных из региональных центров, формируется первичная матрица (таблица) результатов тестирования, строки которой соответствуют участникам исследования, а столбцы – заданиям диагностичнеской работы.
С помощью полученной матрицы вычисляется первичный балл каждого участника исследования и индекс сложности каждого задания (% участников, верно выполнивших данное задание). Эти показатели ложатся в основу дальнейшего статистического анализа результатов.
Дальнейший статистический анализ4 состоит из трех этапов.
На первом этапе производится классическая (первичная) обработка результатов тестирования, в ходе которой вычисляются тестологические характеристики каждого задания в данном предъявлении варианта теста, а также показатели надежности и валидности теста. На этом же этапе осуществляется обработка вееров ответов к заданиям с кратким ответом. Первичная обработка предшествует вторичной и предназначена для разработчиков заданий и тестологов. На основе данной информации можно сделать выводы о выборке, качестве заданий вариантов теста и в целом о вариантах диагностической работы.
Вторичная обработка предполагает вычисление показателей, связанных с оценкой уровня подготовки каждого участника, распределением первичных баллов, процентами выполнения заданий и т.п. Файлы, полученные в ходе вторичной обработки, предназначены для участников экзамена и административно-территориальных единиц, в которых проводился экзамен. Для выдачи отчетов вторичной обработки в дереве административно-территориальных единиц выделяется до 4 основных уровней административно-территориальных единиц – вся выборка, регионы или группы регионов, образовательные организации (или так называемые «кластеры ОО», если нужно объединить статистику по нескольким ОО) и участники экзамена.
На третьем этапе в результате обработки данных формируются показатели, используемые для анализа качества заданий и вариантов диагностической работы и интерпретации результатов исследования.
В результате обработки данных формируются следующие показатели, получаемые для анализа и интерпретации результатов оценочной процедуры.
Показатели первичной обработки:
Показатели по заданиям:
Номер задания в варианте
Название задания в варианте
Количество участников, решавших данное задание
Количество участников, не решавших данное задание
Процент участников, не решавших данное задание
Количество участников, не приступивших к данному заданию
Процент участников, не приступивших к данному заданию
Точечно-бисериальный коэффициент (ТБКК) задания
Процент выполнения слабой группой (27% с наименьшим рейтингом)
Процент выполнения сильной группой (27% с наибольшим рейтингом)
Коэффициент дискриминативности
Распределение участников по дистракторам задания с выбором ответа или баллам политомического задания
ТБКК по дистракторам задания с выбором ответа или баллам политомического задания
ТБКК для участников, не приступивших к заданию
Уровень сложности
Проблемы задания по кодификатору проблем
В кодификаторе проблем вынесены проблемы по проценту выполнения, несоответствующему уровню заданий, и проблемы заданий, выявленные по корреляционным коэффициентам (ТБКК).
Группа проблем по кодификатору групп проблем
Процент выполнения задания
Процент выполнения задания процентильными группами
Дата проведения процедуры
Показатели по вариантам:
Номер варианта
Количество участников, выполнявших данный вариант
Средний процент выполнения варианта
Максимальный балл варианта
Средний балл
Стандартное отклонение первичного балла
Дисперсия первичного балла
Ассиметрия первичного балла
Эксцесс первичного балла
Средняя пятибалльная отметка
Стандартное отклонение отметки
Коэффициент надежности варианта
Распределение участников по первичным баллам
Данные интегральные характеристики дают показатели по серии вариантов и по всей выборке участников.
По всей выборке для отчетов вычисляются следующие показатели:
Количество участников
Распределение первичных баллов
Показатели первичной обработки сохраняются в файл csv для возможности импорта показателей в базу тестовых заданий и анализа качества заданий, вариантов, выборки.
Показатели вторичной обработки:
Показатели вторичной обработки, участвующие в отчетах для административно – территориальных единиц:
Количество участников
Распределение участников по первичному баллу
Процент выполнения каждого тестового задания
Процент выполнения каждого тестового задания группами участников
Показатели вторичной обработки, участвующие в отчетах для участников экзамена:
Вариант теста
Баллы за задание
Первичный балл
Виды отчетов
При создании статистических отчетов по исследованию можно выделить 4 группы форм:
для оценки состояния системы образования административно-территориальной единицы,
для оценки индивидуальных результатов участников исследования,
для использования при разработке вариантов диагностических работ.
Виды отчетов первичной обработки:
Статистические данные регионов
Общие статистические данные заданий по вариантам диагностических работ
Структура заданий по иерархии проблем (карманам)
Сравнительный анализ процента выполнения заданий по группам баллов
Сравнительный анализ процента выполнения заданий по группам баллов по вариантам диагностических работ
Сравнительный анализ по процентилям по вариантам диагностических работ
Распределение первичных баллов
Виды отчетов вторичной обработки
Для регионального центра (региона) предусмотрены следующие отчеты по участникам:
Таблица результатов участников (по рейтингу или по алфавиту)
Индивидуальные результаты участников
Для различных территориальных единиц предусмотрены следующие отчеты:
Индивидуальные результаты участников, могут использоваться для дальнейшего импорта в БД
Выполнение заданий
Распределение первичных баллов
Выполнение заданий группами участников
Для всей выборки отчет содержит показатели всей выборки, а также вложенных территориальных единиц.
Для региона отчет содержит показатели региона, а также вложенных территориальных единиц.
Анализ распределений по субъектам РФ показывает, насколько однородны региональные образовательные системы, а анализ распределений по ОО внутри субъекта РФ показывает, насколько однородны образовательные системы внутри региона.
В формах статистических отчетов выделены оцениваемые параметры, описаны типовые критерии оценивания, информация о результатах оценивания визуализирована при представлении форм статистики.
Показатели для анализа качества вариантов КИМ
Для анализа качества вариантов анализируются следующие показатели: средний процент выполнения и средний первичный балл, стандартное отклонение первичного балла, асимметрия, эксцесс и надежность.
Средний процент выполнения и средний первичный балл показывают насколько были сбалансированы по трудности варианты диагностической работы. Но необходимо учитывать специфику выборки, не всегда большое расхождение по средним баллам говорит о том, что варианты неравнозначны по трудности, возможно, это особенности регионов, в которых они выполнялись.
Стандартное отклонение равно корню квадратному из дисперсии. Чем шире распределение, тем больше значение этого показателя, а значит, тем более информативен вариант теста.
Асимметрия распределения показывает сбалансированность теста, если ее значение близко к 0, то тест сбалансирован по трудности заданий, если ее значение отрицательно, то это говорит о преобладании легких заданий. Чем больше значение асимметрии, тем более сложные задания включены в тест, то есть основная часть значений индивидуальных баллов лежит слева от среднего значения, что характерно для трудных заданий, требуется корректировка содержания по трудности.
Значения эксцесса позволяют получить представление о том, являются ли полигон частот распределения или гистограмма, островершинной или плоской. Для нормального распределения эксцесс должен быть нулевым. Если значения эксцесса больше 2, то это говорит об островершинной кривой, это еще раз позволяет подтвердить, что есть проблемы с трудностью заданий.
10Направления анализа результатов
Предполагается проводить анализ результатов проведенных процедур исследований по следующим направлениям:
анализ результатов выполнения заданий диагностической работы по проверяемым элементам содержания и проверяемым умениям;
анализ характеристик групп участников исследования с различным уровнем подготовки;
анализ результатов выполнения заданий диагностической работы в сопоставлении с контекстными данными об участниках и образовательных организациях;
анализ результатов выполнения заданий диагностической работы в сопоставлении с контекстными данными об образовательной организации и участниках, собранными в процессе проведения исследований.
Анализ результатов проводится по совокупности участников исследования, а также по группам субъектов РФ (стратам), выделенным в процессе формирования выборки образовательных организаций для участия в исследовании. Предполагаются и иные модели кластерного анализа результатов.
|
