 ОТЧЕТ
Отчет о выполненных работах (оказанных услугах) Государственного контракта
№ Ф-28-кс-2014 от 25 июля 2014 г.,
|
Исполнитель (Поставщик): Федеральное государственное бюджетное научное учреждение «Институт стратегии развития образования Российской академии образования»
|
Мероприятие: «Обеспечение условий для развития и внедрения независимой системы оценки качества образования на всех уровнях системы образования»
|
Проект: «Проведение международных сравнительных исследований качества общего образования (PIRLS, TIMSS, PISA) в Российской Федерации в 2014-2015 годах»
|
Цель проекта: Организация и проведение международных сравнительных исследований качества общего образования PISA, PIRLS и TIMSS в России в 2014-2015 годах в соответствии с графиком проведения исследований
|
Задача проекта: PISA: подготовка адаптированного международного инструментария, проведение апробационного исследования в 3 регионах Российской Федерации, обработка и первичный анализ результатов; проведение основного исследования в не менее чем 42 субъектах Российской Федерации (тестирования учащихся, анкетирование учащихся и администрации образовательных организаций), обработка и первичный анализ результатов основного исследования. TIMSS: подготовка адаптированного международного инструментария, проведение апробационного исследования в 3 регионах Российской Федерации, обработка и первичный анализ результатов; проведение основного исследования в не менее чем 42 субъектах Российской Федерации (тестирования учащихся, анкетирование учащихся и администрации образовательных организаций), обработка и первичный анализ результатов основного исследования. PIRLS: Подготовка к проведению исследования в Российской Федерации (разработка и анализ заданий международного банка заданий, формирование выборки регионов Российской Федерации для участия в исследовании). подготовка адаптированного международного инструментария, проведение апробационного исследования в 3 регионах Российской Федерации, обработка и первичный анализ результатов.
|
Практическое применение: Инструментарий, процедуры, базы данных, программное обеспечение и технологии исследований, могут использоваться при создании общероссийской системы оценки качества образования на федеральном и региональном уровнях, для проведения работ по повышению качества образования в Российской Федерации, включая внедрение образовательных стандартов начального, основного и среднего образования. Результаты будут использоваться при проведении независимых процедур оценки качества образования учреждениями и организациями системы образования субъектов Российской Федерации.
|
Руководитель проекта: Ковалева Галина Сергеевна
|
Москва, 20152. ВСТУПИТЕЛЬНАЯ ЧАСТЬ ОТЧЕТА
Выполнение работ (оказание услуг) по проекту «Проведение международных сравнительных исследований качества общего образования (PIRLS, TIMSS, PISA) в Российской Федерации в 2014-2015 годах» проводится Федеральным государственным бюджетным научным учреждением «Институт стратегии развития образования Российской академии образования» во исполнение Государственного контракта № Ф-28-кс-2014 от 25 июля 2014 года (далее – Государственный контракт), заключенного с Федеральной службой по надзору в сфере образования и науки. Данный проект проводится в рамках реализации подмероприятия 7.1. «Развитие общероссийской системы оценки качества общего образования» мероприятия 7 «Обеспечение условий для развития и внедрения независимой системы оценки качества образования на всех уровнях системы образования» Задачи 3 «Развитие системы оценки качества образования и востребованности образовательных услуг» Федеральной целевой программы развития образования на 2011-2015 годы, в соответствии с решением научно-координационного совета Федеральной целевой программы развития образования на 2011 - 2015 годы (протокол от 10 мая 2011 г. № ПНКСФЦПРО-4).
В соответствии с Заданием на выполнение работ (оказание услуг) Государственного контракта исполнение обязательств проводится Исполнителем в 4 этапа в течение двух лет.
Основной целью проекта является организация и проведение международных сравнительных исследований качества общего образования PISA, PIRLS и TIMSS в России в 2014-2015 годах в соответствии с графиком проведения исследований.
На 3 этапе в соответствии с заданием на выполнение работ (оказание услуг) Государственного контракта должны были реализоваться следующие задачи:
1. Подготовка адаптированного международного инструментария для проведения основного исследования PISA-2015.
2. Подготовка адаптированного международного инструментария для проведения основного исследования TIMSS-2015 (4 и 8 классы, 11 классы).
3. Формирование выборки образовательных организаций и учащихся для участия в основном исследовании PISA-2015.
4. Формирование выборки учащихся для участия в основном исследовании TIMSS-2015 (4 и 8 классы, 11 классы).
5. Проведение совещания региональных координаторов по проведению основного исследования PISA-2015.
6. Проведение совещания региональных координаторов по проведению основного исследования TIMSS-2015 (4 и 8 классы, 11 классы).
7. Проведение основного исследования PISA-2015 не менее, чем в 42 субъектах Российской Федерации (тестирования учащихся, анкетирование учащихся, администрации образовательных организаций).
8. Проведение основного исследования TIMSS-2015 (4 и 8 классы, 11 классы) не менее, чем в 42 субъектах Российской Федерации (тестирования учащихся, анкетирование учащихся, учителей и администрации образовательных организаций).
9. Подготовка адаптированного международного инструментария для проведения апробационного исследования PIRLS-2016.
10. Проведение апробационного исследования PIRLS-2016 в 3 регионах Российской Федерации.
Вышеперечисленные задачи реализовались в соответствии с графиками проведения международных исследований, установленными международными координационными центрами исследований.
В рамках исполнения 3 этапа Государственного контракта были получены следующие результаты.
1. Выполнены работы по подготовке адаптированного международного инструментария для проведения основного исследования PISA-2015 на основе международного инструментария и разработанной для стран-участниц процедуры.
Подготовка адаптированного международного инструментария исследования PISA-2015 включала следующие этапы:
– перевод и адаптацию в соответствии с международной процедурой;
– верификацию международными экспертами;
– корректировку по замечаниям международных экспертов;
– формирование макетов руководств;
– комплектацию инструментария для каждой образовательной организации, отобранной для участия в основном исследовании, в соответствии со списками учащихся; отобранных для исследования;
– отправку и передачу материалов исследования региональным координаторам.
Подготовленные материалы после верификации международными экспертами были скорректированы на основе замечаний международных экспертов и утверждены международным координационным центром исследования PISA.
Скомплектованные материалы для каждой образовательной организации, отобранной для участия в основном исследовании, в соответствии со списками учащихся, отобранных для исследования, были переданы в регионы, отобранные для проведения основного исследования.
В итоге проведенной работы по данному направлению был подготовлен адаптированный международный инструментарий для основного исследования математической, естественнонаучной и читательской грамотности представительной выборки учащихся 15-летнего возраста PISA-2015, включающий: тесты, анкеты для учащихся, анкету для администрации образовательной организации (для проведения на компьютерах); руководства по проведению исследования и проверке результатов выполнения заданий с развернутыми ответами. Общий объем инструментария основного исследования (для проведения на компьютерах) составляет 48,2 п.л. в пересчете на бумажные носители.
В Приложении 1 представлен на электронных носителях адаптированный международный инструментарий для основного исследования математической, естественнонаучной и читательской грамотности представительной выборки учащихся 15-летнего возраста PISA-2015, включающий: тесты, анкеты для учащихся, анкету для администрации образовательной организации (для проведения на компьютерах) общим объемом 34,8 п.л. (696 стр.) в пересчете на бумажные носители; руководства по проведению исследования и проверке результатов выполнения заданий с развернутыми ответами (общим объемом 13,4 п.л. (268 стр.) в пересчете на бумажные носители.
2. Выполнены работы по подготовке адаптированного международного инструментария для оценки образовательных достижений по математике и естествознанию на основе международного инструментария и разработанной для стран-участниц исследования процедуры.
Данный этап работы включал следующие этапы:
– перевод и адаптацию в соответствии с международной процедурой;
– верификацию международными экспертами;
– корректировку по замечаниям международных экспертов;
– формирование макетов печатных материалов;
– комплектацию инструментария для каждой образовательной организации, отобранной для участия в основном исследовании в соответствии со списками учащихся; отобранных для исследования;
– отправку и передачу материалов исследования региональным координаторам.
Подготовленные материалы прошли верификацию международными экспертами, были скорректированы по замечаниям международных экспертов и утверждены международным координационным центром исследования TIMSS.
Для каждой образовательной организации, отобранной для участия в основном исследовании, была проведена комплектация инструментария в соответствии со списками учащихся, отобранных для исследования. Скомплектованные материалы были переданы в регионы, отобранные для проведения основного исследования.
В итоге проведенной работы был подготовлен адаптированный международный инструментарий для оценки образовательных достижений по математике и естествознанию исследования качества математического и естественнонаучного образования в начальной, основной и средней школе (4, 8 и 11 классы) TIMSS-2015, включающий:
– для 4 класса: тесты – 14 тетрадей; руководство по проведению тестирования; руководство для школьного координатора; анкету для учащихся; анкету для родителей; анкету для учителя начальной школы; анкету для администрации школы; руководство по проверке заданий с открытыми ответами по математике; руководство по проверке заданий с открытыми ответами по естествознанию; материалы для подготовки учащихся 4 классов к тестированию TIMSS.
– для 8 класса: тесты – 14 тетрадей; руководство для школьного координатора; руководство по проведению тестирования; анкету для учащихся; анкету для учителя математики; анкету для учителя естествознания; анкету для администрации школы; руководство по проверке заданий с открытыми ответами по математике; руководство по проверке заданий с открытыми ответами по естествознанию; материалы для подготовки учащихся 8 классов к тестированию TIMSS.
– для 11 класса: тесты – 6 тетрадей по математике, 6 тетрадей по физике; руководство для школьного координатора (математика, профильный уровень); руководство для школьного координатора (физика, профильный уровень); руководство по проведению тестирования (математика, профильный уровень); руководство по проведению тестирования (физика, профильный уровень); анкету для учащихся (математика, профильный уровень); анкету для учащихся (физика, профильный уровень); анкету для учителя математики; анкету для учителя физики; анкету для администрации школы; руководство по проверке заданий с открытыми ответами по математике; руководство по проверке заданий с открытыми ответами по естествознанию (физике).
В Приложении 2 представлены материалы для:
– 4 класса (тесты – 14 тетрадей; руководство по проведению тестирования; руководство для школьного координатора; анкета для учащихся; анкета для родителей; анкета для учителя начальной школы; анкета для администрации школы; руководство по проверке заданий с открытыми ответами по математике; руководство по проверке заданий с открытыми ответами по естествознанию; материалы для подготовки учащихся 4 классов к тестированию TIMSS), общим объемом 43 п.л., на бумажных и электронных носителях.
– 8 класса (тесты – 14 тетрадей; руководство для школьного координатора; руководство по проведению тестирования; анкета для учащихся; анкета для учителя математики; анкета для учителя естествознания; анкета для администрации школы; руководство по проверке заданий с открытыми ответами по математике; руководство по проверке заданий с открытыми ответами по естествознанию; материалы для подготовки учащихся 8 классов к тестированию TIMSS), общим объемом 50,3 п.л., на бумажных и электронных носителях.
– 11 класса (тесты – 6 тетрадей по математике, 6 тетрадей по физике; руководство для школьного координатора (математика, профильный уровень); руководство для школьного координатора (физика, профильный уровень); руководство по проведению тестирования (математика, профильный уровень); руководство по проведению тестирования (физика, профильный уровень); анкета для учащихся (математика, профильный уровень); анкета для учащихся (физика, профильный уровень); анкета для учителя математики; анкета для учителя физики; анкета для администрации школы; руководство по проверке заданий с открытыми ответами по математике; руководство по проверке заданий с открытыми ответами по естествознанию), общим объемом 34,1 п.л., на бумажных и электронных носителях.
3. Выполнены работы по формированию представительной выборки образовательных организаций России для участия в основном исследовании математической, естественнонаучной и читательской грамотности 15-летних учащихся PISA-2015.
В соответствии с требованиями к формированию и параметрам выборок образовательных организаций и международными методиками была сформирована выборка образовательных организаций и учащихся для участия в основном исследовании PISA-2015, которая была верифицирована и утверждена международными экспертами.
В Приложении 3 представлена выборка образовательных организаций России для участия в основном исследовании математической, естественнонаучной и читательской грамотности 15-летних учащихся PISA-2015 (список образовательных организаций России, отобранных для участия в исследовании PISA-2015) – 210 образовательных организаций 42 субъектов Российской Федерации на бумажных и электронных носителях.
4. Выполнены работы по формированию представительной выборки образовательных организаций России для участия в основном исследовании математического и естественнонаучного образования TIMSS-2015 (4 и 8 классы, 11 классы).
Данный этап работы был реализован в соответствии с требованиями к формированию и параметрам выборок учащихся с помощью методик и программного обеспечения, разработанных для стран-участниц исследования в международном координационном центре исследования. Была обеспечена верификация и утверждение выборки учащихся международными экспертами.
В Приложении 4 представлены:
– представительная выборка учащихся 4 классов России для участия в исследовании TIMSS-2015 (списки учащихся всех образовательных организаций, отобранных для участия в исследовании) – 5132 учащихся 4 классов из 208 образовательных организаций 42 субъектов Российской Федерации, на электронных носителях.
– представительная выборка учащихся 8 классов России для участия в исследовании TIMSS-2015 (списки учащихся всех образовательных организаций, отобранных для участия в исследовании) – 5016 учащихся 8 классов из 204 образовательных организаций 42 субъектов Российской Федерации, на электронных носителях.
– представительная выборка учащихся 11 классов России для участия в исследовании TIMSS-2015 (списки учащихся всех образовательных организаций, отобранных для участия в исследовании) – 7757 учащихся 11 классов (углубленный курс математики) из 346 образовательных организаций и 3924 учащихся 11 классов (углубленный курс физики) из 193 образовательных организаций.
5. Выполнены работы по проведению инструктивного совещания региональных координаторов по проведению основного исследования PISA-2015 (организационно-техническому и научно-методическому обеспечению совещания). Совещание проводилось в Москве, в нем приняли участие региональные координаторы 42 субъектов Российской Федерации, участвующих в исследовании. Продолжительность совещания – 2 дня.
В Приложении 5 представлен отчет о проведении совещания (объем 0,6 п.л.):
– программа проведения совещания;
– список участников совещания;
– материалы совещания (презентации) на электронных носителях.
6. Выполнены работы по проведению инструктивного совещания региональных координаторов по проведению основного исследования TIMSS-2015 (по организационно-техническому и научно-методическому обеспечению) (4, 8 и 11 классы). Совещание проводилось в Москве, в нем приняли участие региональные координаторы 53 субъектов Российской Федерации, участвующих в исследовании.
В итоге проведенной работы по данному направлению было проведено инструктивное совещание региональных координаторов. Продолжительность совещания – 2 дня.
В Приложении 6 представлен отчет о проведении совещания (объем 0,7 п.л.):
– программа проведения совещания;
– список участников совещания;
– материалы совещания (презентации) на электронных носителях.
7. Выполнены работы по проведению основного исследования в образовательных организациях 42 субъектов Российской Федерации, отобранных для участия в исследовании PISA-2015 (тестирование учащихся, анкетирование учащихся, анкетирование администрации образовательных организаций) в четком соответствии с разработанной международным координационным центром для стран-участниц исследования процедурой, регламентами и критериями качества.
Данный этап работы включал:
– проведение тестирования и анкетирования учащихся, анкетирования администрации образовательных организаций;
– обеспечение контроля за качеством проведения исследования в 42 субъектах Российской Федерации;
– сбор материалов тестирования и анкетирования после проведения исследования в регионах и их подготовку к проверке и вводу данных.
Всего в основном исследовании PISA-2015 приняло участие 6057 учащихся 15-летнего возраста из 210 образовательных организаций. Коэффициент участия образовательных организаций составил 100%, коэффициент участия учащихся – около 97%. Коэффициент участия образовательных организаций и учащихся соответствует международным требованиям (не менее 85% от отобранных образовательных организаций, не менее 85% от всех отобранных учащихся).
В Приложении 7 представлены:
– протоколы проведения основного исследования PISA-2015 в каждой из отобранных образовательных организаций на электронных носителях.
– выборка учащихся 15-летнего возраста из 210 образовательных организаций 42 субъектов Российской Федерации, участвовавших в тестировании (списки 6057 учащихся 15-летнего возраста, участвовавших в тестировании, на электронных носителях).
8. Выполнены работы по проведению основного исследования TIMSS-2015 в 4, 8 и 11 классах образовательных организаций в 53 субъектах Российской Федерации в соответствии с разработанной международным координационным центром для стран-участниц исследования процедурой, регламентами и критериями качества.
Данный этап работы включал:
– организацию в каждой отобранной для исследования образовательной организации проведения тестирования и анкетирования учащихся, анкетирования учителей и администрации образовательной организации, а также анкетирование родителей учащихся 4 классов, отобранных для участия в исследовании;
– обеспечение контроля за качеством проведения исследования в 53 субъектах Российской Федерации;
– сбор материалов тестирования и анкетирования после проведения исследования в регионах и их подготовку к проверке и вводу данных.
Всего в тестировании в рамках исследования TIMSS участвовало:
– 4 классы: 4932 учащихся из 217 классов 208 образовательных организаций 42 регионов страны. Коэффициент участия школ составил 100%, коэффициент участия учащихся – около 96% (из 5132 отобранных для тестирования учащихся);
– 8 классы: 4775 учащихся из 221 класса 204 образовательных организаций 42 регионов страны. Коэффициент участия школ составил 100%, коэффициент участия учащихся – около 95% (из 5016 отобранных для тестирования учащихся);
– 11 классы: в тестировании по математике (профильный уровень) – 7559 учащихся из 379 классов 346 образовательных организаций 42 регионов страны. Коэффициент участия школ составил 100%, коэффициент участия учащихся – около 97% (из 7757 отобранных для тестирования учащихся); в тестировании по физике (профильный уровень) – 3826 учащихся из 204 классов 193 образовательных организаций 42 регионов страны. Коэффициент участия школ составил 100%, коэффициент участия учащихся – около 98% (из 3924 отобранных для тестирования учащихся).
Коэффициент участия образовательных организаций и учащихся 4, 8 и 11 классов соответствует международным требованиям (не менее 85% от отобранных образовательных организаций, не менее 85% от всех отобранных учащихся).
В Приложении 8 представлены протоколы проведения тестирования TIMSS-2015 в каждом из отобранных 4, 8 и 11 классов на электронных носителях.
9. Подготовлен адаптированный международный инструментарий для проведения апробационного исследования читательской грамотности в начальной школе (4 класс) PIRLS-2016, включающий: тесты (12 текстов с заданиями); анкету для учащихся; анкету для родителей; анкету для учителя; анкету для администрации школы; руководства по проведению исследования и проверке результатов выполнения заданий с развернутыми ответами.
Данный этап работы включал:
– перевод и адаптацию в соответствии с международной процедурой;
– верификацию международными экспертами;
– корректировку по замечаниям международных экспертов;
– формирование макетов анкет;
– комплектацию инструментария для каждой образовательной организации, отобранной для участия в основном исследовании в соответствии со списками учащихся, отобранных для исследования;
– отправку и передачу материалов исследования региональным координаторам.
Подготовленные материалы прошли верификацию международными экспертами, были скорректированы по замечаниям международных экспертов и утверждены международным координационным центром исследования PIRLS.
Для каждой образовательной организации, отобранной для участия в апробационном исследовании, была проведена комплектация инструментария в соответствии со списками учащихся, отобранных для исследования. Скомплектованные материалы были переданы в регионы, отобранные для проведения апробационного исследования.
В Приложении 9 представлен адаптированный международный инструментарий для проведения апробационного исследования читательской грамотности в начальной школе (4 класс) PIRLS-2016, включающий: тесты в 6 вариантах (12 текстов с заданиями), анкету для учащихся; анкету для родителей; анкету для учителя; анкету для администрации образовательного учреждения; руководство по проведению тестирования и руководство по проверке результатов выполнения заданий с развернутыми ответами, общим объемом 23,1 п.л., на бумажных и электронных носителях.
10. Проведено апробационное исследование PIRLS-2016 в 29 образовательных организациях 3 субъектов Российской Федерации.
В Приложении 10 представлены протоколы проведения апробационного исследования PIRLS-2016 в каждой из отобранных образовательных организаций на электронных носителях.
|
