Отчет отчет о выполненных работах (оказанных услугах) Государственного контракта №


НазваниеОтчет отчет о выполненных работах (оказанных услугах) Государственного контракта №
страница3/19
ТипОтчет
1   2   3   4   5   6   7   8   9   ...   19

III.1.1.1. Перевод международного инструментария в соответствии с международной процедурой.

Работа выполнялась с использованием следующего метода:

– Стандартизированный перевод с английского языка на русский язык.

Перевод международного инструментария с английского языка на русский язык осуществлялся строго в соответствии с требованиями международного координационного центра, в связи с чем данный метод перевода относится к так называемому «стандартизированному переводу».

Задания, отобранные для проведения основного исследования PISA-2015 на основании представленной статистики в ходе проведенного апробационного исследования в 2014 г., были представлены странам-участницам для дальнейшего их перевода на родной язык. Перевода также требовали и другие материалы исследования: все анкеты, инструкции для учащихся, руководство по проведению тестирования, руководства для проверки заданий со свободным ответом.

При проведении работ был обеспечен подбор переводчиков, удовлетворяющих следующим требованиям:

– отличное владение английским/русским языками;

– большой опыт письменных переводов и редактирования переведенных на английский/русский языки текстов научно-технической литературы;

– опыт работы с учащимися (знание возрастных особенностей учащихся);

– опыт создания тестовых заданий (желательно).

Список переводчиков для выполнения работ по переводу инструментария по международному сравнительному исследованию PISA-2015, удовлетворяющих выдвинутым требованиям, был утвержден на заседании Центра оценки качества образования ИСМО РАО. Протокол данного заседания представлен ниже на рисунке 1.3.





Рис. 1.3. Протокол заседания Центра оценки качества образования ИСМО РАО по утверждению списка переводчиков инструментария международных исследований.
При работе над переводом заданий теста соблюдались основные требования:

– использовались слова (термины) и фразы, эквивалентные тем, которые были использованы в международной версии;

– основной смысл и трудность текста не были изменены по сравнению с международной версией;

– уровень трудности задания не был изменен по сравнению с международной версией;

– любые изменения, внесенные в перевод, заносились в форму национальной адаптации и в дальнейшем были согласованы с международным координационным центром.

В своей работе переводчики использовали программу Open Language Tools (OLT), позволяющую внести русский перевод международной версии инструментария и осуществить его редакцию (см. рис. 1.4.). Данная программа предоставлялась международным координационным центром исследования PISA-2015.



Рис. 1.4. Программа Open Language Tools (OLT)
III.1.1.2. Адаптация международного инструментария в соответствии с международной процедурой

Работа выполнялась с использованием следующих методов:

– Анализ на соответствие содержания инструментария российским образовательным стандартам общего образования.

– Приведение инструментария в соответствие с требованиями, предъявляемыми к учебно-методическим материалам в российской школе.

Для проведения сравнительных исследований необходимо обеспечить эквивалентность используемого инструментария в различных странах. При этом инструментарий не должен дискриминировать российских учащихся по какому-либо основанию. Для этого выявляются элементы инструментария, по которым он адаптируется в соответствии с международными правилами. Данный метод направлен на повышение валидности инструментария.

В процессе адаптации международного инструментария была проведена следующая работа.

Осуществлен анализ содержания инструментария на соответствие российским образовательным стандартам общего образования и выявлены те элементы инструментария, которые необходимо адаптировать. Для этого специалисты, используя Федеральный государственный образовательный стандарт основного общего образования, проанализировали содержание всех заданий на оценку естественнонаучной и математической грамотности, читательской компетентности.

Международный инструментарий приведен в соответствие с требованиями, предъявляемыми к учебно-методическим материалам в российской школе. Перепроверены форматы компьютерных вариантов, требования к шрифтам, расширению экрана и размеру диагонали экрана, т.е. соответствие санитарно-гигиеническим требованиям.

Данный этап осуществлялся специалистами-предметниками, специалистами в области русского языка, специалистами, хорошо знакомыми с особенностями учебных предметов, учебно-методической литературы и возрастными особенностями учащихся, также специалистами в области информационно-коммуникационных технологий.
III.1.1.3. Верификация международными экспертами

Работа выполнялась с использованием следующего метода:

– Анализ адаптированного инструментария на соответствие оригиналу по формату, эквивалентности смысла, трудности задания и др.

Подготовленные материалы должны пройти верификацию международными экспертами. После верификации они должны быть скорректированы на основе замечаний международных экспертов и утверждены международным координационным центром исследования PISA.

Верификация подготовленного международного инструментария осуществляется с целью выявления его соответствия оригиналу по формату, эквивалентности смысла, трудности задания и др.

Ниже приводится список всех материалов исследования, требуемых для верификации международными экспертами:

  • Инструкция для учащихся (приводится в начале каждого варианта теста и анкеты);

  • Задания для учащихся;

  • Анкеты (анкета для учащихся, анкета для администрации);

  • Руководство по проведению тестирования;

  • Руководства по проверке результатов выполнения заданий с развернутыми ответами.

Все переведенные материалы, требуемые для верификации международными экспертами, были высланы в международный координационный центр. Наряду с переведенными материалами в международный центр высылались также Национальные формы адаптации (Test Adaptation Spreadsheet, Questionnaire Adaptation Spreadsheet), в которых отмечались любые изменения, внесенные в национальный перевод, и обязательный перевод некоторых частей заданий и формулировок. Пример заполненной Национальной формы адаптации для заданий представлен на рисунке 1.5.

В процессе верификации в международном координационном центре осуществляется анализ перевода тестовых заданий и вопросов анкет для учащихся и администрации образовательной организации, руководств по проверке и оценке выполнения заданий с развернутыми ответами, руководства по проведению тестирования и согласование внесенных изменений.

Международный эксперт – верификатор фиксирует и описывает все отклонения от международной версии материалов, сделанные при переводе на родной язык, которые не были предварительно описаны в Национальных формах адаптации и утверждены в международном координационном центре. Все замеченные изменения инструментария заносятся в Национальные формы адаптации исследования PISA-2015.


Рис. 1.5. Пример заполненной Национальной формы адаптации для заданий по математической грамотности.
III.1.1.4. Корректировка по замечаниям международных экспертов

Работа выполнялась с использованием следующего метода:

– Корректировка адаптированного инструментария по замечаниям международных экспертов (замена слов, понятий, структуры предложений, формата и т.д.).

После верификации международными экспертами страны-участницы получают все прошедшие проверку материалы, которые представляются в текстовом формате в режиме исправлений с комментариями.

На рисунке 1.6. приведен пример материалов, полученных после международной верификации.

Специалисты национального координационного центра знакомятся с замечаниями и исправлениями международного эксперта и принимают решение о внесении необходимых изменений в инструментарий исследования (замена слов, понятий, структуры предложений, формата и т.д.).

Данный этап является одним из механизмов обеспечения качества инструментария и качества работы. При выявлении некорректных формулировок, изменений формата заданий и др. вносятся исправления, т.е. повышается качество проводимых работ.

Все изменения, сделанные при корректировке, вносятся в Контрольные формы для корректировки инструментария по замечаниям международных экспертов исследования PISA-2015. После этого формируется обновленная версия Национальных форм адаптации.

Документы (окончательные версии Национальных форм адаптации), подтверждающие факт верификации инструментария PISA-2015 международными экспертами, представлены в Приложении 1 (в электронном виде).



Рис. 1.6. Пример материалов, полученных после международной верификации.

III.1.1.5. Формирование макетов руководств

Работа выполнялась с использованием следующего метода:

– Формирование макетов руководств в соответствии с международным инструментарием.

Макетирование и верстка осуществляется в файлы-оригиналы в электронном виде в редактируемом формате Microsoft Word© с использованием библиотеки шрифтов, представленной разработчиками (международным координационным центром), с соблюдением структуры файла, шрифтов, стилей, разметки страниц, таблиц, обтекания изображений текстом, колонтитулов, оглавления и т.д.

Окончательное согласование инструментария в международном координационном центре осуществляется после проверки расположения всех элементов, которые могут повлиять на качество сопоставления результатов исследования, и завершается отправкой итоговых электронных версий руководств в формате PDF в международный координационный центр.

В таблице 1.1 приводятся все руководства, которые были переведены, адаптированы, верифицированы и для которых осуществлялось макетирование, с указанием количества страниц.

Таблица 1.1

Объем макетов руководств международного исследования PISA-2015

№ п/п

Название руководства

Количество страниц

Руководства по проведению исследования

1

Руководство по проведению исследования PISA-2015

62

2

Руководство по использованию программы тестирования PISA-2015

16

3

Сценарий проведения тестирования и анкетирования

17

Руководства по проверке результатов выполнения заданий с развернутыми ответами

4

- по естественнонаучной грамотности (новые задания)

50

5

- по естественнонаучной грамотности (якорные задания)

41

6

- по читательской грамотности

61

7

- по математической грамотности

28

Всего:

268


III.1.1.6. Комплектация инструментария для каждой образовательной организации, отобранной для участия в основном исследовании PISA-2015, в соответствии со списками учащихся, отобранных для исследования

Работа выполнялась с использованием следующих методов:

– Запись компьютерных программ для тестирования и анкетирования учащихся на USB-носители в количестве, соответствующем числу учащихся, участвующих в компьютерном тестировании.

– Подбор руководств по проведению тестирования и анкетирования, форм участия учащихся, протоколов проведения тестирования в соответствии со списками учащихся, отобранных для исследования.

Компьютерное тестирование PISA-2015 проводилось с использованием специальной программы SDS (Student Delivery System), которая позволяет автономно провести тестирование и анкетирование каждого ученика. Программа тестирования учащихся запускается и работает с USB-носителей.

Для записи программы тестирования на USB-носители создавался мастер-диск, содержащий программу для тестирования, и осуществлялось копирование образа мастер-диска на USB-носитель промышленным методом. Количество USB-носителей соответствовало числу учащихся, отобранных для компьютерного тестирования, с учетом запасных USB-носителей и составило 6510 (6299 основных и 211 запасных).

Комплектация инструментария осуществлялась для каждой из 210 образовательных организаций, отобранных для участия в исследовании PISA-2015, в соответствии со списками учащихся, отобранных для тестирования. Она включала в себя комплектацию USB-носителей в количестве, соответствующем числу участвующих в компьютерном тестировании учащихся; руководств по проведению тестирования, списков учащихся, форм участия учащихся, форм с данными для входа в систему, протоколов проведения тестирования.

Ниже представлены фотографии (рис. 1.7) скомплектованных материалов для одной из образовательных организаций: пакет с USB-носителями и пластиковый конверт с бумажными материалами (руководствами по проведению тестирования, списком учащихся, формами участия учащихся, формами с данными для входа в систему, протоколами проведения тестирования). На пакете с USB-носителями и на конверте с бумажными материалами имеется наклейка, на которой указано название региона, название образовательной организации, ID образовательной организации, количество USB-носителей.

fullsizerender5.jpg

fullsizerender1.jpg

Рис. 1.7. Скомплектованные материалы для образовательной организации, отобранной для исследования PISA-2015.
III.1.1.7. Отправка и передача материалов исследования региональным координаторам

Работа выполнялась с использованием следующих методов:

– Инструктаж региональных координаторов о проведении исследования в регионе и конфиденциальности материалов и полученных данных.

– Почтовая рассылка и передача курьеру материалов с фиксацией получателя.

Без организованной отправки и передачи материалов в регионы невозможно обеспечить своевременное и качественное проведение исследования в отобранных образовательных организациях.

Отправка и передача материалов исследования региональным координаторам осуществлялась специалистами национального центра во время проведения совещания региональных координаторов, проводимого в г. Москве в ФГБНУ ИСРО РАО.

До отправки и передачи материалов региональным координаторам был проведен инструктаж региональных координаторов о проведении исследования в регионе и конфиденциальности материалов и полученных данных. Каждый региональный координатор заполнил Соглашения о конфиденциальности материалов международного исследования PISA-2015, которые хранятся в национальном центре.

Каждому региональному координатору по окончании совещания были переданы материалы для проведения исследования PISA в образовательных организациях его региона. Материалы включали в себя: коробку с USB-носителями, скомплектованными для каждой образовательной организации, и пакет с конвертами для каждой образовательной организации (рис. 1.8).

fullsizerender.jpg

fullsizerender6.jpg

Рис. 1.8. Скомплектованные материалы для передачи в регионы, отобранные для проведения основного исследования PISA-2015.
Почтовая рассылка и передача курьеру материалов с фиксацией получателя осуществлялась для тех регионов, региональные координаторы которых не имели возможности взять с собой материалы.

Получение материалов региональными координаторами фиксировалось в форме «Список представителей регионов на получение материалов международного исследования PISA-2015». Данная форма представлена ниже (таблица 1.2).

Таблица 1.2

Список представителей регионов на получение материалов
международного исследования PISA-2015



Регион

ФИО регионального координатора или лица, его представляющего

PISA

Получено



Республика Башкортостан

Рямов Рустам Фаритович

+



Республика Дагестан

Гаджиева Мадина Абмалутдиновна

+



Кабардино-Балкарская Республика

Карданова Юлия Хасановна

+



Республика Саха (Якутия)

Винокурова Ольга Сергеевна

+



Республика Татарстан

Зияева Гульмира Акмаловна

+



Чувашская Республика

Федотова Любовь Александровна

+



Алтайский край

Петунина Елена Владимировна

+



Краснодарский край

Шохина Светлана Геннадиевна

+



Красноярский кра

Семенов Сергей Викторович

+



Ставропольский край

Магомедов Сергей Магомедович

+



Архангельская область

Волкова Елена Михайловна

+



Белгородская область

Хоменко Елена Сергеевна

+



Владимирская область

Спицына Ольга Владимировна

+



Волгоградская область

Насуцева Фатима Асланбеевна

+



Воронежская область

Дендебер Леонид Анатольевич

+



Ивановская область

Вилесова Ольга Борисовна

+



Иркутская область

Донской Виктор Ильич

+



Калининградская область

Евдокимова Людмила Анатольевна

+



Камчатский край

Ушкова Елена Дмитриевна

+



Кемеровская область

Елисеева Галина Александровна

+



Костромская область

Фоминых Сергей Александрович

+



Липецкая область

Бунеева Валентина Петровна

+



Московская область

Бойцова Ирина Вячеславовна

+



Нижегородская область

Каляева Ольга Станиславовна

+



Новгородская область

Быстрова Ольга Владимировна

+



Новосибирская область

Пиотух Елена Ивановна

+



Омская область

Понкратова Светлана Геннадьевна

+



Оренбургская область

Тимченко Леонид Анатольевич

+



Пермский край

Калинчикова Лариса Николаевна

+



Ростовская область

Юшко Галина Николаевна

+



Рязанская область

Генералова Ольга Викторовна

+



Самарская область

Бурцева Ирина Владимировна

+



Саратовская область

Спицына Мария Дмитриевна

+



Свердловская область

Мамонтова Марина Юрьевна

+



Томская область

Сербина Наталья Павловна

+



Ульяновская область

Михеева Светлана Александровна

+



Челябинская область

Шитько Алексей Юрьевич

+



г. Москва

Марголина Валентина Васильевна

+



г. Санкт-Петербург

Ибрагимова Наталья Ивановна

+



Ханты-Мансийский АО

Дивеева Галина Вячеславовна

+



Ямало-Ненецкий автономный округ

Вилесова Ольга Борисовна

+



Приморский край

Ульянкина Наталья Степановна

+


* * *

В итоге проведенной работы по данному направлению был подготовлен адаптированный международный инструментарий для основного исследования математической, естественнонаучной и читательской грамотности представительной выборки учащихся 15-летнего возраста PISA-2015, включающий: тесты, анкеты для учащихся, анкету для администрации образовательной организации (для проведения на компьютерах); руководства по проведению исследования и проверке результатов выполнения заданий с развернутыми ответами. Общий объем инструментария основного исследования (для проведения на компьютерах) составляет 48,2 п.л. в пересчете на бумажные носители.

В Приложении 1 представлен на электронных носителях адаптированный международный инструментарий для основного исследования математической, естественнонаучной и читательской грамотности представительной выборки учащихся 15-летнего возраста PISA-2015, включающий: тесты, анкеты для учащихся, анкету для администрации образовательной организации (для проведения на компьютерах) общим объемом 34,8 п.л. (696 стр.) в пересчете на бумажные носители; руководства по проведению исследования и проверке результатов выполнения заданий с развернутыми ответами (общим объемом 13,4 п.л. (268 стр.) в пересчете на бумажные носители.
III.2. Подготовка адаптированного международного инструментария для проведения основного исследования TIMSS-2015 (4 и 8 классы, 11 классы)
III.2.1. Подготовка адаптированного международного инструментария для проведения основного исследования TIMSS-2015 (4 и 8 классы, 11 классы)

Выполнены работы по подготовке адаптированного международного инструментария для оценки образовательных достижений по математике и естествознанию на основе международного инструментария и разработанной для стран-участниц исследования процедуры.

Данный этап работы включал следующие этапы:

– перевод и адаптацию в соответствии с международной процедурой;

– верификацию международными экспертами;

– корректировку по замечаниям международных экспертов;

– формирование макетов печатных материалов;

– комплектацию инструментария для каждой образовательной организации, отобранной для участия в основном исследовании в соответствии со списками учащихся; отобранных для исследования;

– отправку и передачу материалов исследования региональным координаторам.
При выполнении данного направления работ в качестве основы использовался следующий инструментарий:

– Технические стандарты программ IEA.

– Руководство для национального координатора исследования TIMSS-2015.

– Рекомендации по переводу тестовых заданий и вопросов анкет исследования TIMSS-2015.

– Оригиналы международного инструментария исследования TIMSS-2015.

– Описание процедуры адаптации международного инструментария, включая требования к верификации и корректировке.

– Федеральный государственный стандарт начального, основного и среднего общего образования.

– Национальные формы адаптации, верификации и корректировки по замечаниям международным экспертов исследования TIMSS-2015.

– Рекомендации по формированию макетов тестов, анкет и руководств исследования TIMSS-2015.

– Формы для экспертизы качества инструментария.

– Рекомендации по комплектации инструментария для образовательных организаций, отобранных для участия в основном исследовании TIMSS-2015.

– Списки образовательных организаций, отобранных для основного исследования TIMSS-2015.

– Списки учащихся, отобранных для основного исследования TIMSS-2015.

– Данные о региональных координаторах регионов, отобранных для исследования TIMSS-2015.

– Соглашения о конфиденциальности материалов международного исследования TIMSS-2015.

– Формы отправки и получения материалов исследования TIMSS-2015 региональными координаторами.
Данный этап работы выполнялся с использованием материалов, предоставленных Заказчиком по запросу Исполнителя. Заказчиком были предоставлены: международный инструментарий, описание процедуры адаптации международного инструментария, включая требования к верификации и корректировке, список и контакты экспертов, списки учащихся, отобранных для исследования, данные о международном координационном центре, библиотека шрифтов. По согласованию с Заказчиком данные материалы получены по единоразовому запросу в 2014 году на весь период проведения исследования TIMSS в 2014-2015 годах.

Ниже, на рис. 2.1, представлена копия запроса на имя Заказчика и копия ответа на данный запрос (рис. 2.2).



Рис. 2.1. Копия запроса на получение материалов


Рис. 2.2. Копия ответа на запрос на получение материалов
III.2.1.1. Перевод международного инструментария в соответствии с международной процедурой.

Работа выполнялась с использованием следующего метода:

– Стандартизированный перевод с английского языка на русский язык.
Перевод международного инструментария с английского языка на русский язык осуществляется строго в соответствии с требованиями международного координационного центра, поэтому данный метод перевода относится к так называемому «стандартизированному переводу».

Задания, отобранные для проведения основного исследования TIMSS-2015 для 4, 8 и 11 классов, были предоставлены международным центром исследования странам-участницам для дальнейшего их перевода на родной язык. Также перевода на родной язык требовали и другие материалы исследования: анкеты для учащихся, родителей, учителей и администрации образовательных организаций, инструкции для учащихся, руководства по проведению тестирований, руководства для проверки заданий со свободным ответом.

К переводчикам предъявлялись следующие требования:

– отличное владение английским/русским языками;

– большой опыт письменных переводов и редактирования переведенных на английский/русский языки текстов научно-технической литературы;

– опыт работы с учащимися (знание возрастных особенностей учащихся);

– опыт создания тестовых заданий (желательно).

При работе над переводом заданий теста переводчикам необходимо было соблюдать следующие основные требования:

– при переводе должны использоваться слова (термины) и фразы, эквивалентные тем, которые были использованы в международной версии;

– необходимо, чтобы основной смысл и трудность текста не был изменен по сравнению с международной версией;

– необходимо, чтобы уровень трудности задания не был изменен по сравнению с международной версией;

– любые изменения, внесенные в перевод, должны быть внесены в форму национальной адаптации и в дальнейшем согласованы с международным координационным центром.

Cписок переводчиков для выполнения работ по переводу инструментария по международному сравнительному исследованию TIMSS-2015, удовлетворяющих выдвинутым требованиям, был утвержден на заседании Центра оценки качества образования ИСМО РАО. Протокол данного заседания представлен ниже на рисунке 2.3.




Рис. 2.3. Протокол заседания Центра оценки качества образования ИСМО РАО по утверждению списка переводчиков инструментария международных исследований.
III.2.1.2. Адаптация международного инструментария в соответствии с международной процедурой.

Работа выполнялась с использованием следующих методов:

– Анализ на соответствие содержания инструментария российским образовательным стандартам общего образования.

– Приведение инструментария в соответствие с требованиями, предъявляемыми к учебно-методическим материалам в российской школе.

При проведении сравнительных исследований необходимо обеспечить эквивалентность используемого инструментария в различных странах. При этом инструментарий не должен дискриминировать российских учащихся по какому-либо основанию. Для этого выявляются элементы инструментария, по которым он адаптируется в соответствии с международными правилами. Данный метод направлен на повышение валидности инструментария.

В процессе адаптации международного инструментария была проведена следующая работа:

– Осуществлен анализ содержания инструментария на соответствие российским образовательным стандартам общего образования и выявлены те элементы инструментария, которые необходимо адаптировать. Для этого специалисты, используя Федеральный государственный образовательный стандарт начального, основного и среднего общего образования, проанализировали содержание всех заданий, направленных на оценку учебных достижений учащихся 4, 8 и 11 классов по математике и естественнонаучным предметам.

– Международный инструментарий приведен в соответствие с требованиями, предъявляемыми к учебно-методическим материалам в российской школе. Перепроверены форматы тестовых тетрадей, требования к шрифтам и качеству печати, т.е. соответствие гигиеническим требованиям.

– Проведена содержательная и тестологическая экспертиза тестовых заданий, что является важным этапом подготовки инструментария для оценки учебных достижений учащихся, обеспечения качества заданий и теста в целом.

Рекомендации к содержательной и тестологической экспертизе включали следующие положения.

1. При проведении содержательной экспертизы отслеживается корректность заданий с научной точки зрения, соответствие программам российской школы, соответствие возрастным особенностям учащихся.

2. Экспертиза заданий позволяет получить информацию о технических характеристиках задания (ясно ли оно сформулировано, нет ли ошибок, каково качество рисунков, если они имеются). Особое внимание уделяется тому, что проверяет данное задание (ясно ли, что проверяет данное задание, проверяет ли данное задание основные знания и умения или не основные, включающие дополнительный материал; является ли выбранный способ проверки (например, тип заданий) наилучшим или приемлемым в данном конкретном случае; насколько богатую информацию об усвоении учащимися данного учебного материала мы получим на основе этого задания; кто будет использовать эту информацию и т.д.).

3. Обращается внимание на то, насколько задание по содержанию и по форме мотивирует учащихся в их работе над тестом.

Содержательная экспертиза проводилась специалистами в области математики и естественнонаучных дисциплин, прошедшими специальную тестологическую подготовку.

Тестологическая экспертиза проводилась с целью выявления степени соответствия заданий требованиям теории и практики педагогических измерений. Она проводилась специалистами, имеющими тестологическую подготовку.

Данный этап осуществлялся специалистами-предметниками, специалистами в области математики и естественнонаучных предметов, специалистами, хорошо знакомыми с особенностями учебных предметов, учебно-методической литературы и возрастными особенностями учащихся.
III.2.1.3. Верификация международными экспертами.

Работа выполнялась с использованием следующего метода:

– Анализ адаптированного инструментария на соответствие оригиналу по формату, эквивалентности смысла, трудности задания и др.

Верификация подготовленного международного инструментария осуществляется с целью выявления его соответствия оригиналу по формату, эквивалентности смысла, трудности задания и др.

Международный инструментарий для оценки образовательных достижений по математике и естественнонаучным предметам учащихся 4, 8 и 11 классов, который проходит верификацию международными экспертами, включал:

  • Инструкцию для учащихся (приводится в начале каждой тетради);

  • Обложки тетрадей (передняя и задняя обложки);

  • Задания для учащихся (4 класс: 156 заданий по математике, включающих 171 вопрос, и 164 задания по естествознанию, включающих 175 вопросов; 8 класс: 194 задания по математике, включающих 214 вопросов, и 195 заданий по естествознанию, включающих 218 вопросов; 11 класс: 101 задание по математике (профильный уровень), включающее 104 вопроса, и 91 задание по физике (профильный уровень), включающее 104 вопроса).

Все переведенные материалы были высланы в международный координационный центр для верификации международными экспертами. Наряду с переведенными материалами в международный центр высылались также Национальные формы адаптации (National Adaptations Forms), в которых отмечались любые изменения, внесенные в национальный перевод, а также обязательный перевод некоторых частей заданий и формулировок. Пример заполненной Национальной формы адаптации представлен на рис. 2.4.
Рис. 2.4. Пример заполненной Национальной формы адаптации (блоки заданий по математике, 4 класс).
В процессе верификации в международном координационном центре осуществляется анализ перевода тестовых заданий по математике и естествознанию для учащихся 4 и 8 классов, а также заданий по математике (профильный уровень) и физике (профильный уровень) для учащихся 11 классов.

Международный эксперт – верификатор фиксирует и описывает все отклонения от международной версии материалов, сделанные при переводе на родной язык, которые не были предварительно описаны в национальных формах адаптации и утверждены в международном координационном центре. Все замеченные изменения инструментария заносятся в специальные разделы национальных форм адаптации.

Окончательное согласование инструментария в международном координационном центре осуществляется после проверки расположения всех элементов с помощью оптического сканера и завершается отправкой электронных и бумажных вариантов инструментария в международный координационный центр.
III.2.1.4. Корректировка по замечаниям международных экспертов

Работа выполнялась с использованием следующего метода:

– Корректировка адаптированного инструментария по замечаниям международных экспертов (замена слов, понятий, структуры предложений, формата и т.д.).

После верификации международными экспертами страны-участницы получают все материалы, прошедшие проверку, которые представляются в формате Adobe Acrobat© в режиме исправлений с комментариями.

Специалисты национального центра исследования TIMSS знакомятся с замечаниями и исправлениями международного эксперта и принимают решение о внесении необходимых изменений в инструментарий исследования (замена слов, понятий, структуры предложений, формата и т.д.).

Данный этап является одним из механизмов обеспечения качества инструментария и качества работы. При выявлении некорректных формулировок, изменений формата заданий и др. вносятся исправления, т.е. повышается качество проводимых работ.

Все изменения, сделанные при корректировке, вносятся в Национальные формы адаптации для корректировки инструментария по замечаниям международных экспертов исследования TIMSS-2015. После этого формируется обновленная версия Национальных форм адаптации.

На рис. 2.5 приведен пример материалов, полученных после международной верификации.


Рис. 2.5. Пример материалов, полученных после международной верификации (задание по естествознанию, 4 класс).
Документы (окончательные версии Национальных форм адаптации), подтверждающие факт верификации инструментария TIMSS-2015 международными экспертами, представлены в Приложении 2 (в электронном виде).
III.2.1.5. Формирование макетов тестов, анкет и руководств.

Работа выполнялась с использованием следующих методов:

– Объединение отдельных заданий в тестовые тетради в соответствии с международным инструментарием.

– Экспертиза качества инструментария.
На данном этапе осуществляется создание реальных тестовых тетрадей и руководств, которые будут использоваться в образовательных организациях. В связи с этим требуется создание сопоставимого инструментария в соответствии с международными требованиями, обеспечение которых способствует повышению качества работ.

Проведение данного этапа осуществлялось в строгом соответствии с Рекомендациями по формированию макетов тестов, анкет и руководств исследования TIMSS-2015. Объединение отдельных блоков с заданиями в тестовые тетради осуществлялось в соответствии со структурой международного инструментария.

Макетирование и верстка осуществлялись в файлы-оригиналы в электронном виде в редактируемом формате Adobe InDesign© с использованием библиотеки шрифтов, представленной разработчиками (международным координационным центром), с соблюдением структуры файла, шрифтов, стилей, разметки страниц, таблиц, обтекания изображений текстом, колонтитулов, оглавления и т.д.

Задания тестов для 4 и 8 классов представлены блоками по математике (M) и естественнонаучным предметам (S). При формировании тетрадей блоки заданий объединялись в соответствии со структурой тетрадей. Каждый из вариантов тетрадей включал по 4 блока заданий. В таблице 2.1 приведена структура 14 вариантов тетрадей для 4 и 8 классов.

Для учащихся 11 классов использовалось 12 вариантов тетрадей, из которых варианты 1-6 содержали задания по математике (профильный уровень), а варианты 7-12 – по физике (профильный уровень). В каждом варианте тетради содержалось три блока заданий (блоки М – по математике, блоки Р – по физике). При формировании тетрадей блоки заданий объединялись в соответствии со структурой тетрадей. В таблице 2.2 приведена структура 12 вариантов тетрадей для учащихся 11 классов.
1   2   3   4   5   6   7   8   9   ...   19

Похожие:

Отчет отчет о выполненных работах (оказанных услугах) Государственного контракта № iconОтчет о выполненных работах (оказанных услугах) по исполнению Государственного...
Поставщиком (исполнитель, подрядчик): федеральное государственное автономное образовательное учреждение высшего профессионального...

Отчет отчет о выполненных работах (оказанных услугах) Государственного контракта № iconОтчет о выполненных работах (оказанных услугах) по Государственному...
Предмет государственного контракта: Выполнение работ (оказание услуг) по совершенствованию механизмов использования результатов оценочных...

Отчет отчет о выполненных работах (оказанных услугах) Государственного контракта № iconВопрос Ответ Вопросы по услуге «Получение информации об оказанных услугах»
Почему при заказе услуги «Получение сведений об оказанных медицинских услугах» на епгу пациенту в личный кабинет не передается информация...

Отчет отчет о выполненных работах (оказанных услугах) Государственного контракта № iconОтчет о выполненных работах часть 2
Исполнитель: федеральное государственное бюджетное образовательное учреждение высшего образования «Московский государственный университет...

Отчет отчет о выполненных работах (оказанных услугах) Государственного контракта № iconОтчет о прибылях и убытках (форма №2)
Бухгалтерская отчетность в установленных формах содержит систему сопоставимых и достоверных сведений о реализованной продукции, работах...

Отчет отчет о выполненных работах (оказанных услугах) Государственного контракта № iconОтчет 4001 sp 2 Профиль «Счет подтверждение с детализацией стоимости услуг»
Отчет предназначен для вывода информации по путевке. Выводятся данные о туристах и услугах, которыми они пользуются

Отчет отчет о выполненных работах (оказанных услугах) Государственного контракта № iconОтчет 4001 sp 3 Профиль «Счет подтверждение с информацией по оплаченному счету»
Отчет предназначен для вывода информации по путевке. Выводятся данные о туристах и услугах, которыми они пользуются

Отчет отчет о выполненных работах (оказанных услугах) Государственного контракта № iconОтчет 4001 lb std профиль «Лист бронирования (Стандарт)»
Отчет предназначен для вывода всей информации по путевке. Выводятся данные о туристах и услугах, которыми они пользуются

Отчет отчет о выполненных работах (оказанных услугах) Государственного контракта № iconОтчет 4001 lb 3 Профиль «Лист бронирования с указанием места в транспорте»
Отчет предназначен для вывода всей информации по путевке. Выводятся данные о туристах и услугах, которыми они пользуются

Отчет отчет о выполненных работах (оказанных услугах) Государственного контракта № iconОтчет об исполнении Государственного контракта №2011/пр-140 от 22....
Отчет об исполнении Государственного контракта №2011/пр-140 от 22. 04. 2011 г. По организации и проведению форума

Вы можете разместить ссылку на наш сайт:


Все бланки и формы на filling-form.ru




При копировании материала укажите ссылку © 2019
контакты
filling-form.ru

Поиск