Отчет отчет о выполненных работах (оказанных услугах) Государственного контракта №
Скачать 2.16 Mb.
|
III.8.1.3. Сбор материалов тестирования и анкетирования после проведения исследований в регионах. Работа выполнялась с использованием следующих методов: – Доставка материалов тестирования и анкетирования после проведения исследования в регионах исполнителю. Доставка материалов тестирования и анкетирования после проведения исследования в регионах исполнителю относится к организационно-техническим методам, обеспечивающим завершение процедуры проведения исследования в регионах. Отсутствие материалов хотя бы из 2-3 образовательных организаций повлияет на общее качество работ и не позволит включить российские данные в базу результатов стран-участниц. При получении материалов из регионов они были тщательно проверены на предмет полной комплектации и документально описаны. III.8.1.4. Подготовка материалов тестирования и анкетирования к проверке и вводу данных. Работа выполнялась с использованием следующих методов: – Сортировка полученных материалов по направлениям обработки (проверка тетрадей, ввод данных анкет и др.). Сортировка полученных материалов по направлениям обработки относится к системе организационно-технических методов, связанных с распределением полученных из регионов материалов по направлениям дальнейшей обработки (проверка тетрадей, ввод данных анкет, ввод информации о статусе участия в исследовании учащихся, учителей и администрации школ и др.). Качество работ определяется степенью оптимизации организационно-технических методов. Учет последовательности обработки материалов и их сортировка для дальнейшей обработки в оптимальные сроки обеспечивают повышение качества выполняемых работ. Полученные материалы были распределены по направлениям обработки. Часть материалов была передана на проверку экспертам, часть – направлена на ввод данных. Всего в тестировании в рамках исследования TIMSS участвовало: – 4 классы: 4932 учащихся из 217 классов 208 образовательных организаций 42 регионов страны. Коэффициент участия школ составил 100%, коэффициент участия учащихся – около 96% (из 5132 отобранных для тестирования учащихся; причины неучастия учащихся в исследовании указаны в списках учащихся). Таким образом, коэффициент участия образовательных учреждений и учащихся соответствует требованиям стандарта (не менее 85% от отобранных образовательных учреждений, не менее 85% от всех отобранных учащихся). – 8 классы: 4775 учащихся из 221 класса 204 образовательных организаций 42 регионов страны. Коэффициент участия школ составил 100%, коэффициент участия учащихся – около 95% (из 5016 отобранных для тестирования учащихся; причины неучастия учащихся в исследовании указаны в списках учащихся). Таким образом, коэффициент участия образовательных учреждений и учащихся соответствует требованиям стандарта (не менее 85% от отобранных образовательных учреждений, не менее 85% от всех отобранных учащихся). – 11 классы: в тестировании по математике (профильный уровень) – 7559 учащихся из 379 классов 346 образовательных организаций 42 регионов страны. Коэффициент участия школ составил 100%, коэффициент участия учащихся – около 97% (из 7757 отобранных для тестирования учащихся; причины неучастия учащихся в исследовании указаны в списках учащихся); в тестировании по физике (профильный уровень) – 3826 учащихся из 204 классов 193 образовательных организаций 42 регионов страны. Коэффициент участия школ составил 100%, коэффициент участия учащихся – около 98% (из 3924 отобранных для тестирования учащихся; причины неучастия учащихся в исследовании указаны в списках учащихся). Таким образом, коэффициент участия образовательных учреждений и учащихся соответствует требованиям стандарта (не менее 85% от отобранных образовательных учреждений, не менее 85% от всех отобранных учащихся). * * * В итоге проведенной работы по данному направлению было проведено основное исследование TIMSS-2015 (4 и 8 классы, 11 классы) в 53 субъектах Российской Федерации (тестирования учащихся, анкетирование учащихся, учителей и администрации образовательных организаций). В Приложении 8 представлены протоколы проведения тестирования TIMSS-2015 в каждом из отобранных 4, 8 и 11 классов на электронных носителях. III.9. Подготовка адаптированного международного инструментария для проведения апробационного исследования PIRLS-2016 III.9.1. Подготовка адаптированного международного инструментария для проведения апробационного исследования PIRLS-2016 Выполнены работы по подготовке адаптированного международного инструментария для проведения апробационного исследования PIRLS-2016 на основе международного инструментария и разработанной для стран-участниц исследования процедуры. Данный этап работы включал: – перевод и адаптацию в соответствии с международной процедурой; – верификацию международными экспертами; – корректировку по замечаниям международных экспертов; – формирование макетов анкет; – комплектацию инструментария для каждой образовательной организации, отобранной для участия в основном исследовании, в соответствии со списками учащихся; отобранных для исследования; – отправку и передачу материалов исследования региональным координаторам. При выполнении данного направления работ в качестве основы использовался следующий инструментарий: – технические стандарты программ IEA; – руководство для национального координатора исследования PIRLS-2016; – рекомендации по переводу тестовых заданий и вопросов анкет исследования PIRLS-2016; – оригиналы международного инструментария исследования PIRLS-2016; – описание процедуры адаптации международного инструментария, включая требования к верификации и корректировке; – Федеральный государственный стандарт начального общего образования; – национальные формы адаптации, верификации и корректировки по замечаниям международным экспертов исследования PIRLS-2016; – рекомендации по формированию макетов тестов, анкет и руководств исследования PIRLS-2016; – формы для экспертизы качества инструментария; – рекомендации по комплектации инструментария для образовательных организаций, отобранных для участия в апробационном исследовании PIRLS-2016; – списки образовательных организаций, отобранных для апробационного исследования PIRLS-2016; – списки учащихся, отобранных для апробационного исследования PIRLS-2016. Данный этап работы выполнялся с использованием материалов, предоставленных Заказчиком по запросу Исполнителя. Заказчиком были предоставлены: методики, списки и контакты экспертов. По согласованию с Заказчиком данные материалы получены по единоразовому запросу в 2014 году на весь период проведения исследования PIRLS в 2015 году. Копия запроса на имя Заказчика на получение материалов и копия ответа на данный запрос представлены ниже на рис. 9.1 и 9.2.  Рис. 9.1. Копия запроса на получение материалов.  Рис. 9.2. Копия ответа на запрос на получение материалов. III.9.1.1. Перевод международного инструментария в соответствии с международной процедурой Работа выполнялась с использованием следующего метода: – стандартизированный перевод с английского языка на русский язык. Для осуществления перевода текстов и заданий международного инструментария исследования PIRLS-2016 были отобраны переводчики, удовлетворяющие следующим требованиям: отличное владение английским/русским языками; большой опыт письменных переводов и редактирования переведенных на английский/русский языки текстов научно-технической литературы; опыт работы с учащимися (знание возрастных особенностей учащихся). Протокол, подтверждающий отбор экспертов, представлен в разделе III.1.1.1. Было переведено 6 художественных и 6 информационных текстов и задания к текстам (203 задания). В процессе перевода большое значение было уделено: - точности перевода для сопоставимости результатов в разных странах. В переводах использовались слова (термины) и фразы, эквивалентные тем, которые были использованы в международной версии; - соответствию структур фраз и лексического состава текстов возрастным возможностям выпускников начальной школы; - благозвучности фраз на русском языке (тексты не должны были представлять из себя подстрочный перевод, это должны были быть тексты, которые не воспринимались бы искусственными, а звучали бы для российских школьников естественно, особое внимание было уделено художественным текстам; - соответствию слов в тексте и в вопросе, если такое соответствие было в оригинальном (английском) варианте. После того как тексты и вопросы были переведены профессиональным переводчиком, все материалы были проанализированы тремя российскими экспертами. В результате коллегиальных обсуждений были внесены некоторые изменения в перевод. Все изменения, внесенные в перевод, были внесены в форму национальной адаптации и в дальнейшем согласованы с международным координационным центром. III.9.1.2. Адаптация международного инструментария в соответствии с международной процедурой Работа выполнялась с использованием следующих методов: – анализ на соответствие содержания инструментария российским образовательным стандартам общего образования; – приведение инструментария в соответствие с требованиями, предъявляемыми к учебно-методическим материалам в российской школе. При проведении сравнительных исследований необходимо обеспечить эквивалентность используемого инструментария в различных странах. При этом инструментарий не должен дискриминировать российских учащихся по какому-либо основанию. Для этого и выявляются элементы инструментария, по которым он адаптируется в соответствии с международными правилами. Данный метод направлен на повышение валидности инструментария. В процессе адаптации международного инструментария был осуществлен анализ содержания инструментария на соответствие российским образовательным стандартам общего образования и выявлены те элементы инструментария, которые необходимо адаптировать. Для этого специалисты, используя Федеральный государственный образовательный стандарт начального общего образования, проанализировали содержание всех заданий, направленных на оценку учебных достижений учащихся 4 классов по литературному чтению. В результате анализа на соответствие содержания инструментария российским образовательным стандартам начального общего образования был сделан вывод о том, что предложенный инструментарий соответствует отраженным в пункте 12.1. предметным результатам предмета «Литературное чтение. Литературное чтение на родном языке»: «достижение необходимого для продолжения образования уровня читательской компетентности, общего речевого развития, т.е. овладение техникой чтения вслух и про себя, элементарными приемами интерпретации, анализа и преобразования художественных, научно-популярных и учебных текстов с использованием элементарных литературоведческих понятий», планируемым результатам по предмету «Литературное чтение», а также ряду метапредметных результатов. В ходе приведения инструментария в соответствие с требованиями, предъявляемыми к учебно-методическим материалам в российской школе, была проведена работа по адаптации. Так, например, были адаптированы используемые в англоязычном инструментарии единицы измерения, представленные в таблице 9.1. Таблица 9.1 Примеры адаптации международного инструментария исследования PIRLS-2016
Были изменены имена некоторых действующих лиц. Все адаптационные изменения были зафиксированы в Национальной форме адаптации (National Adaptations Form). Примеры страниц из этой формы приведены ниже на рис. 9.3 (а и б).  Рис. 9.3(а). Пример 1 страницы Национальной формы адаптации апробационного исследования PIRLS-2016.  Рис. 9.3(б). Пример 2 страницы Национальной формы адаптации апробационного исследования PIRLS-2016. Международный инструментарий был приведен в соответствие с требованиями, предъявляемыми к учебно-методическим материалам в российской школе. Перепроверены форматы тестовых тетрадей, требования к шрифтам и качеству печати, т.е. соответствие гигиеническим требованиям. Была проведена содержательная и тестологическая экспертиза тестовых заданий, что является важным этапом подготовки инструментария для оценки учебных достижений учащихся, обеспечения качества заданий и теста в целом. Содержательная экспертиза проводилась специалистами в области чтения, прошедшими специальную тестологическую подготовку. Тестологическая экспертиза проводилась с целью выявления степени соответствия заданий требованиям теории и практики педагогических измерений. Она проводилась специалистами, имеющими тестологическую подготовку. Аналогичные процедуры были проведены со всеми анкетами. III.9.1.3. Верификация международными экспертами Работа выполнялась с использованием следующего метода: – Анализ адаптированного инструментария на соответствие оригиналу по формату, эквивалентности смысла, трудности задания и др. Верификация подготовленного международного инструментария осуществляется с целью выявления его соответствия оригиналу по формату, эквивалентности смысла, трудности задания и др. Международный инструментарий для оценки читательской грамотности учащихся 4-х классов, который проходит верификацию международными экспертами, включал:
Все переведенные материалы были высланы в международный координационный центр для верификации международными экспертами. Наряду с переведенными материалами в международный центр высылались также национальные формы адаптации, в которых отмечались любые изменения, внесенные в национальный перевод, а также обязательный перевод некоторых частей заданий и формулировок. Международный эксперт – верификатор фиксировал и описывал все отклонения от международной версии материалов, сделанные при переводе на русский язык, которые не были предварительно описаны в национальных формах адаптации и утверждены в международном координационном центре. Все замеченные изменения инструментария заносились в специальные разделы национальных форм адаптации. Окончательное согласование инструментария в международном координационном центре осуществлялось после проверки расположения всех элементов с помощью оптического сканера и завершалось отправкой электронных и бумажных вариантов инструментария в международный координационный центр. III.9.1.4. Корректировка по замечаниям международных экспертов Работа выполнялась с использованием следующего метода: – Корректировка адаптированного инструментария по замечаниям международных экспертов (замена слов, понятий, структуры предложений, формата и т.д.). После верификации международными экспертами страны-участницы получают все материалы, прошедшие проверку, которые представляются в формате Adobe Acrobat© в режиме исправлений с комментариями. По результатам верификации перевода инструментария с английского языка на русский были получены замечания верификатора. Данные замечания были отражены как в самом инструментарии, так и в Национальной форме адаптации. Примеры замечаний приведены ниже на рис. 9.4 и 9.5.  Рис. 9.4. Пример замечаний международного верификатора, сделанный в тестовой тетради.  Рис. 9.5. Пример замечаний международного верификатора, сделанный в национальной форме адаптации. Каждое замечание было проанализировано, часть замечаний была принята, и были внесены соответствующие правки в инструментарий. Реакция на замечания (согласие или несогласие с предложением верификатора об изменениях) была внесена в Национальную форму адаптации. Документы (окончательные версии Национальных форм адаптации), подтверждающие факт верификации инструментария PIRLS-2016 международными экспертами, представлены в Приложении 9 (в электронном виде). III.9.1.5. Формирование макетов тестов, анкет и руководств Работа выполнялась с использованием следующих методов: – объединение отдельных блоков заданий в тестовые тетради в соответствии с международным инструментарием; – экспертиза качества инструментария. На данном этапе осуществлялось создание реальных тестовых тетрадей, анкет и руководств, которые будут использоваться в образовательных учреждениях. В связи с этим требовалось создание сопоставимого инструментария в соответствии с международными требованиями, обеспечение которых способствует повышению качества работ. Проведение данного этапа осуществлялось в строгом соответствии с Рекомендациями по формированию макетов тестов, анкет и руководств исследования PIRLS-2016. Осуществлялось объединение отдельных блоков с заданиями в тестовые тетради в соответствии со структурой международного инструментария. Макетирование и верстка осуществлялись в файлы-оригиналы в электронном виде в редактируемом формате Adobe InDesign© с использованием библиотеки шрифтов, представленной разработчиками (международным координационным центром), с соблюдением структуры файла, шрифтов, стилей, разметки страниц, таблиц, обтекания изображений текстом, колонтитулов, оглавления и т.д. Задания теста представлены текстом (литературным или научно-популярным) с вопросами к ним. При формировании тетрадей тексты с вопросами объединялись в соответствии со структурой тетрадей. Каждый из вариантов тетрадей включал по 2 текста с вопросами к ним. В таблице 9.2 приведена структура 6 вариантов тетрадей. |
Похожие:
 | Поставщиком (исполнитель, подрядчик): федеральное государственное автономное образовательное учреждение высшего профессионального... | | Предмет государственного контракта: Выполнение работ (оказание услуг) по совершенствованию механизмов использования результатов оценочных... |
| Почему при заказе услуги «Получение сведений об оказанных медицинских услугах» на епгу пациенту в личный кабинет не передается информация... |  | Исполнитель: федеральное государственное бюджетное образовательное учреждение высшего образования «Московский государственный университет... |
| Бухгалтерская отчетность в установленных формах содержит систему сопоставимых и достоверных сведений о реализованной продукции, работах... | | Отчет предназначен для вывода информации по путевке. Выводятся данные о туристах и услугах, которыми они пользуются |
| Отчет предназначен для вывода информации по путевке. Выводятся данные о туристах и услугах, которыми они пользуются | | Отчет предназначен для вывода всей информации по путевке. Выводятся данные о туристах и услугах, которыми они пользуются |
| Отчет предназначен для вывода всей информации по путевке. Выводятся данные о туристах и услугах, которыми они пользуются | | Отчет об исполнении Государственного контракта №2011/пр-140 от 22. 04. 2011 г. По организации и проведению форума |