Решение такой задачи непосредственно связано с понятием «нормы»
Скачать 0.69 Mb.
|
Приложение 3. Государственное бюджетное образовательное учреждение дополнительного педагогического профессионального образования Центр повышения квалификации специалистов Петроградского района Санкт-Петербурга «Информационно-методический центр» Городская опытно-экспериментальная площадка «Организация неформальных процедур оценки качества образования в образовательном учреждении через общественно-профессиональную экспертизу» Комплекс диагностических методик Для оценки предметных результатов образования мы предлагаем использовать методику тестовой диагностики результатов, которая развивается в Санкт-Петербурге с 90-х годов прошлого века. В 1998-2001 гг. была разработана технология аттестационного обследования школ Санкт-Петербурга с использованием закрытых тестов базового уровня. В 2001 году НОУ Санкт-Петербургская гимназия «Альма Матер» по инициативе директора Т.А. Щур решила организовать мониторинг качества образования, для чего потребовалось разработать технологию и реализующую её систему. При создании школьной системы оценки качества образования безусловно можно и нужно использовать показатели, методы, диагностические методики и материалы, применяющиеся на региональном уровне. Это способствует организации единого «информационного пространства» образования и, следовательно, единого «пространства образования». Однако содержание диагностики, методов обработки и представления результатов непременно должно быть дополнено и уточнено с учетом индивидуализации и детализации оценки. Эта технология развивалась в 2003-2010 гг. РГПУ им. А.И. Герцена и НП «Школа», а с 2011 года служит основой для оценки результатов образования в Петроградском районе. В основе нашей технологии лежит оценка соответствия:
Индивидуализация образования в условиях классно-урочной системы предметного обучения предполагает в первую очередь определение соответствия условий образования в конкретных школе и классе возможностям и потребностям учащегося, а затем при необходимости –изменение условий образования, класса или школы. Решение такой задачи непосредственно связано с понятием «нормы» показателей качества образования. Эффективным средством формирования «нормы» для любого показателя качества образования на уровне класса, параллели в школе, группы школ или региона является рейтинговая форма представления показателя. Для этого желательно, чтобы рассматриваемое множество значений показателя (например – процента выполнения тестовых заданий по предмету или уровня школьной тревожности всех учеников класса) характеризовалось распределением с максимумом в середине возможных значений показателя и занимало большую часть этого диапазона. При этом «нормальные» для рассматриваемой группы значения показателя занимают середину диапазона рейтинга в персентилях, минимальные значения рейтинга говорят о значении показателя ниже нормы для группы, а максимальные – о превышении нормы для группы. В обоих случаях отклонения от нормы учащийся требует внимания, анализа причин отклонения и коррекции условий образовательного процесса, замены класса, образовательной программы или школы. При наличии в каждой параллели нескольких классов определенная для параллели норма помогает определить особенности результатов и хода образовательного процесса как для каждого учащегося, так и для каждого класса. Индивидуализация и детализация оценки заставили решить проблему формирования из отдельных заданий тестов, соответствующих конкретному этапу образовательного процесса для конкретного этапа конкретной образовательной или учебной программы. В нашей системе единицей (модулем) при контроле учебных достижений является не заранее сформированный для какой-либо ситуации тест (совокупность заданий), а тестовое задание, относящееся к определенной группе результатов образовательного процесса. Для каждого обследования по выбору учителя или методиста формируется отдельный уникальный тест из заданий по выбранным темам (относящихся к выбранным группам результатов). В связи с этим возникает проблема оценки результата тестирования для отдельного ученика, связанная с необходимостью определения значимости теста в целом, выполненных учеником заданий и сравнения его результата с другими, полученными на других тестах и других заданиях. Эта проблема усугубляется появлением среди обследуемых малокомплектных классов, для которых определение нормы по описанному выше способу принципиально невозможно. Рассмотрим проблему формирования тестов для организации технологичного тестового контроля текущих учебных результатов. Применительно к итоговым результатам школьного образования на отдельных его ступенях к настоящему времени удалось добиться диагностируемости целеполагания – такой формулировки цели, которую можно проверить. Если же проанализировать формулирование цели урока, имеющее место в методике преподавания и практике работы учителя, то можно обнаружить следующие формулировки: объяснить действие закона Ома (физика), рассказать о строении плодовых растений (растениеводство), объяснить зависимость между параллельностью и перпендикулярностью прямых и плоскостей (геометрия), закрепить правила правописания «не» с глаголами (русский язык) и т.п. Очевидно, что такая формулировка цели урока определяет деятельность учителя, так как именно учитель будет объяснять, закреплять, рассказывать. Но в данной формулировке отсутствует результат этого объяснения, рассказывания и закрепления. Что обязан усвоить из этого урока ученик? При такой формулировке цели урока не представляется возможным получить обратную информацию о тех знаниях, умениях и навыках, которые ученик должен обязательно усвоить, чтобы перейти к следующему учебному материалу на следующем уроке. Поэтому первая проблема реализации тестового контроля текущих результатов состоит в подборе тестовых заданий, дающих возможность проверить результаты учебной деятельности школьника на уроке или другом этапе обучения. Цель урока (этапа) должна быть конкретизирована и сформулирована через результат деятельности ученика, причем, такой результат, который должен быть достигнут каждым учеником на данном уроке (этапе). Подобная постановка задачи обуславливает сложность её реализации. В нашей стране имеется огромное число изданий с тестовыми заданиями на, казалось бы, любой случай жизни по любому предмету. Несмотря на это, зачастую не удается сформировать из них группу нескольких равноценных однотипных заданий, которые подошли бы для проверки результатов отдельного урока (или небольшого этапа обучения). Причина в том, что для формирования нескольких равноценных вариантов тестовых заданий в каждый из вариантов требуется, чтобы все задания такой группы должны удовлетворять весьма жестким требованиям. Во-первых, они обязаны иметь высокую внешнюю валидность по отношению к конкретному, достаточно узкому результату обучения. Это означает, что этот результат они должны проверять гораздо лучше, чем другие результаты. Редко удается найти задание, проверяющее только один учебный элемент. В итоговых тестах подобная задача не стоит, напротив – приветствуется одновременная проверка комплекса результатов, вплоть до междисциплинарных. Во-вторых, они обязаны иметь низкую внутреннюю валидность по отношению к этому узкому результату. Это означает, что все они должны проверять его одинаково хорошо. Наконец, с точки зрения качества формируемых из них тестов, любая пара заданий из упомянутой группы должна допускать возможность использования их как в одном варианте теста, так и в разных. При этом одно задание не должно помогать тестируемому найти ответ на другое. При выполнении указанных условий задача формирования равноценных вариантов тестов из отдельных заданий может быть в значительной степени автоматизирована. Любой, кто захочет организовать текущую оценку результатов образования в школе, столкнется с этой проблемой. Представьте себе, что нужно сформировать в школе тесты для 2-11-х классов по 6-10-и предметам. Всего – 60-100 тестов в нескольких вариантах каждый. Без автоматизации процесса такую задачу не решить. В НОУ Санкт-Петербургская гимназия «Альма-Матер» в 2001-2003 г.г. была сформирована библиотека таких тестовых заданий. Уже при наличии 10-12 тыс. заданий по всем предметам для всех классов оказалось возможным вести текущую оценку результатов учащихся. За последующие годы нашими усилиями объем библиотеки был утроен. Перечень тем тестов по предметам задается обычно учителем в соответствии с учебной программой. Тесты формируются автоматически по заданным перечню тем и числу заданий и распечатываются после небольшой технической проверки и корректировки. Задания предлагаются учащимся в бумажном виде, ответы даются либо на самих заданиях, либо на отдельных бланках. Число заданий в тетради менялось от 5..15 во время первых обследований до 10..40 в настоящее время в зависимости от требований учителя, числа тем, количества заданий по этим темам и предполагаемого времени выполнения теста. Варианты тестов (тестовых тетрадей) по предмету формируются в электронном виде в течение 3–5 мин. Ещё 10–15 мин. эти тетради корректируются (с точки зрения наилучшего размещения на страницах) и печатаются. Простота формирования вариантов тестов позволила не хранить специально сведения об использованных вариантах. Легче сформировать вариант заново, чем искать и корректировать ранее использованный. Практическая реализация мониторинга с оценкой результатов в школе существенно зависит от возможностей и потребностей образовательного учреждения. Основным элементом такого мониторинга можно считать обследование класса по предмету. Количество заданий в тесте, его трудоемкость и, соответственно, время тестирования могут быть весьма различны. Наиболее трудоемки и продолжительны тесты по математическим дисциплинам, физике, быстро выполняются тесты по гуманитарным предметам, иностранным языкам. Проведение теста по предмету за достаточно большой этап обучения чаще всего занимает лишь часть урока, а анализ его результатов в совокупности с другими данными позволяет получить большую, разностороннюю и детальную информацию о каждом ученике и классе в целом. При проведении в рамках нашей системы тестирования по выбранным учителем темам на весь цикл – от подачи заявки до получения отчетов, включая время проведения теста, требуется не более 2 часов. По окончании тестирования (обычно оно проводится по итогам четверти) задания и бланки передаются в «группу тестирования», где результаты вводятся в базу данных. В базу данных школьной системы по итогам обследований вводятся:
Отдельно остановимся на алгоритме обработки данных тестирования. Использование в качестве основного показателя процента выполнения тестовых заданий представляется нам явно неоправданным, так как не учитывает содержание заданий. Используемый обычно процент правильно выполненных в тесте заданий определяется по формуле:  ,где: Ki – признак ответа на i-ое задание («1» либо «0»); n – количество заданий в тесте. Отметим, что здесь возможны два подхода к решению проблемы – критериальный и нормативный. Критеральный предусматривает оценку сложности каждого задания высококвалифицированными методистами, требует больших затрат времени, труда, финансов и не гарантирует объективности результата. Нормативный позволяет ограничиться показателем «процент невыполнения задания» для оценки трудности задания, вместо сложности. Этот показатель легко определяется для всех заданий при обработке в случае наличия, как у нас, базы с результатами выполнения заданий за все годы работы системы (с 2001 по настоящее время).  Для учета различной трудности заданий в одном тесте (варианте теста или тестовой тетради) мы использовали «взвешенный процент выполнения теста», где вклад каждого задания зависит от его трудности. Трудность задания определяется как процент «невыполнения» этого задания учащимися той же параллели, что и обследуемый школьник. «Взвешенный процент выполнения теста» определяется по формуле: ,где: Ki – признак ответа на i-ое задание («1» либо «0»); Kтр_i – коэффициент трудности i-ого задания, равный проценту его невыполнения всеми учениками той же параллели; n – количество заданий в тесте. В результате «взвешенный процент выполнения теста» будет выше «обычного процента», если среди правильно выполненных школьником заданий превалируют те, на которые не смогли ответить большинство его сверстников, и ниже «обычного процента», если он правильно ответил в основном на те вопросы, что и большинство сверстников. «Взвешенный процент выполнения теста» позволяет учесть относительную трудность отдельных заданий внутри теста, но не позволяет учесть суммарную трудность теста. Для учета суммарной (интегральной) трудности варианта теста введем средневзвешенный рейтинг (трудность) заданий теста:  где: Kтр_i – коэффициент трудности i-ого задания, равный проценту его невыполнения всеми учениками той же параллели; n – количество заданий в тесте. Результат каждого обследуемого определим через этот показатель и «взвешенный процент выполнения теста»:  =  ,и назовем новый показатель «средне-взвешенный рейтинг по выполненным заданиям». С учетом того, что при используемом методе обработки результатов перед подведением итогов определяется статистика выполнения заданий, не составляет труда определить так же статистику выполнения тестов (тестовых тетрадей или вариантов тестов). Эта статистика, как и статистика заданий, определяется по каждому предмету для каждой параллели отдельно. Например, все результаты обследований по математике в 5-х классах за все время обследований, независимо от тематики тестов. Для каждого результата выполнения теста можно определить его место – рейтинг, в группе аналогичных. В отличие от «рейтинга среди всех, когда-либо выполнявших отдельные задания из теста», этот рейтинг принимает значения в диапазоне 0..100% и в явном виде показывает место результата среди аналогичных. Таким образом, использование «средне-взвешенного рейтинга по выполненным заданиям» в качестве результата тестирования позволяет сравнивать этот результат со всеми результатами тестирования таких же классов по этому предмету. В итоге определяется рейтинг результата ученика среди всех результатов его сверстников по этому предмету – «рейтинг среди всех». Интересно, что использование в качестве базы оценки результатов за 10 лет позволяет по-новому оценивать динамику развития учащегося – через его «рейтинг среди всех». Такой метод дает ответ на вопрос – совпадает ли темп развития учащегося с темпом развития его сверстников или он (она) отстает от них? При проведении мониторинга в школе проблемой для многих учителей становится учет его результатов наряду с отметками. Имея оперативный доступ ко всем результатам тестирования, эту проблему можно решить. Например, так, как она решалась нами при государственной аттестации образовательных учреждений Санкт-Петербурга в 1999-2000 г.г. В соответствии в результатами независимой аттестационной комиссии тех лет мы считали 4% худших результатов соответствующими оценке «2», следующие за ними 32% результатов соответствующими оценке «3», следующие за ними 48% результатов соответствующими оценке «4» и, наконец, 16% лучших результатов соответствующими оценке «5». Очевидно, что при необходимости, желании и наличии достаточно веских оснований это соотношение можно изменить. Пользуясь приведенными соотношениями для параллелей и предметов, по которым проводилось обследование группы школ, например, можно определить диапазоны значений показателя «средне-взвешенный рейтинг по выполненным заданиям», соответствующих различным отметкам. |
Похожие:
 | Определите понятия «императивная (обязательная)» и «вариантная» нормы. Приведите примеры |  | Понятие информационная потребность тесно связано с понятием цели и функции управления. Можно сказать, что потребность в информации... |
| Почему было принято решение разработать такой закон? Ну, во-первых, это уже не новое движение, т е это не новая концепция, которая... | | Задачи дисциплины: решать посредством русского языка профессионально-коммуникативные задачи в производственно-практической сфере,... |
| Тем не менее, и в прошлом году, и в этом семьям, имеющим двух и более детей, эта возможность в виде такой материальной поддержки... | | Состав данного преступления имеет место в том случае, если незаконное участие в предпринимательской деятельности было непосредственно... |
| Ниже приведен перечень терминов. Все они, за исключением двух связаны с понятием «тоталитарный политический режим». Найдите и укажите... | | Не игнорируя ранние философские школы мышления, мы сосредоточились на том, что непосредственно связано со становлением психологии... |
| Цели: познакомить учащихся с новым понятием «площадь»; закреплять понятия «увеличить в …» и «уменьшить на …»; повторить смысл сложения;... | | Реализация товаров посредством сети Интернет набирает все большую популярность, что связано, в том числе, с удобством получения товара... |