2. Воскресенская Наталия Михайловна - учитель английского и испанского языка, аналитик ЗАО «Издательский дом «Учительская газета», кандидат педагогических наук. Принимала участие в качестве эксперта в олимпиаде по граждановедческим дисциплинам при поддержке Министерства образования и науки РФ, 1996-2007 гг. Член оргкомитета Всероссийской акции «Я - гражданин России». Участвовала в подготовке международных конференций по граждановедческому образованию (Москва, 2001.; Приморско, Болгария, июнь 2008 г., июнь 2009 г.; Ереван, апрель 2009 г.). Участвовала в подготовке и проведении семинаров по граждановедческому образованию на федеральном уровне (Москва - ежегодные семинары с 1995 по 2009 г.; Рязань, Орел, Новомосковск, Тульская область - ежегодные семинары с 2004 по 2009 г.). Проводила обучающие семинары для учителей обществознания Москвы, Новомосковска, Тульской области, Орла, Рязани, Самары, Абакана, Иркутска, Брянска, 1995-2012 гг.
Соавтор и автор учебников и учебных пособий:
1. Мы народ. Конституция РФ. Планы уроков. Учебник для старшеклассников М.: ассоциация «За гражданское образование», 1998. 20/10 п.л. Соавторы - Иоффе А.Н., Никитин А.Ф.
2. Демократия: государство и общество. Рекомендовано Министерством образования РФ. М.: Дрофа, 1997. 12/10 п.л. Соавтор - Давлетшина Н.В.
3. Димова Ирина Георгиевна - первый заместитель главного редактора «Учительской газеты», кандидат педагогических наук. Организатор-администратор Всероссийской олимпиады школьников по граждановедческим дисциплинам, 1998-2013 гг. Руководитель группы региональных координаторов, проводивших пробное исследование ICCS в 2008 году. Член оргкомитета конкурса «Учитель года России» 1993-2014 гг. Член оргкомитета Всероссийской акции «Я - гражданин России».
4. Иванова Татьяна Юрьевна - учитель истории и обществознания. Участвовала в качестве эксперта в олимпиаде по граждановедческим дисциплинам при поддержке Министерства образования и науки РФ (1996-2013 гг.). Принимала участие в подготовке и проведении семинаров по гражданскому образованию на федеральном и региональном уровнях: Элиста - 2007 г., Казань - 2007 г., Астрахань - 2007 г., Кисловодск - 2007 г., Уфа - 2008 г., Москва - 2008 г. Готовила и проводила школы-лаборатории для учителей истории и обществознания Раменского района Московской области. При проведении в России Международного сравнительного исследования качества граждановедческого образования (ICCS) в 2008 году участвовала в разработке тестовых заданий и проведении тестологических экспертиз.
5. Иоффе Андрей Наумович - учитель истории, общественных дисциплин, основ государства и права, доктор педагогических наук, доцент. Участвовал в качестве эксперта в олимпиаде по граждановедческим дисциплинам при поддержке Министерства образования и науки РФ. Член оргкомитета Всероссийской акции «Я - гражданин России», председатель жюри акции. Эксперт Совета Европы. Член редакционного совета журнала «Преподавание истории в школе». Участвовал в подготовке международных конференций (Львов, Украина, февраль 2003 г.; Приморско, Болгария, июнь, 2008 г.; Ереван, апрель 2009 г.). Готовил и проводил семинары по граждановедческому образованию на федеральном уровне (Астрахань - ежегодные семинары с 2006 по 2012 г.; Киров - ежегодные семинары с 2005 по 2012 г.; Орел - ежегодные семинары с 2004 по 2012 г.; Новомосковск, Тульская область - ежегодные семинары с 2005 по 2012 г.). Участвовал в международных проектах Совета Европы «Гражданское образование: переподготовка преподавателей» (повышение квалификации педагогов Чеченской Республики 2000-2002 гг.), «Воспитание в духе мира, прав человека и демократической гражданственности» (с 2004 по 2013 г.). Эксперт группы по разработке программы Совета Европы «Участие детей и молодежи в жизни общества» - 2009-2011 гг.
Участник рабочих встреч в Хельсинки (2009 г.), Вене (2010 г.), Страсбурге (2010 и 2011 гг.) и Брюсселе (2011 г.) по проведению экспертизы молодежного участия в общественной жизни.
Иоффе А.И. - автор и соавтор учебников:
1. Мы народ. Конституция РФ. Планы уроков. Учебник для старшеклассников М.: ассоциация «За гражданское образование», 1998. 20/10 п.л. Соавторы - Воскресенская Н.М., Никитин А.Ф.
2. Введение в обществознание. Учебник. 8 класс Допущено Министерством образования РФ. М. С-ИНФО-БАЛАСС. 2000. 17/10 п.л. Соавторы - Кишенкова О.В., Тырин С.В.
3. Основы обществознания. 8 класс. Учебник. Допущено Министерством образования РФ. М.: Новый учебник. 2001 г. 17/7 п.л. Кишенкова О.В.
4. Основы обществознания. 9 класс. Учебник. Допущено Министерством образования РФ. М.: «Новый учебник».
5. Обществознание. 5 класс. Издательство «Просвещение». Допущено Министерством образования и науки РФ.
Участвовал в проведении в России международного сравнительного исследования качества граждановедческого образования (ICCS) в 2008 году в качестве эксперта-тестолога.
6. Положевец Валентина Александровна - аналитик ЗАО «Издательский дом «Учительская газета», по специальности «математик-инженер». Участвовала в семинаре ICCS Main Survey - Data Management (8-11 июля 2008 г., Гамбург, Германия), где прошла обучение на семинаре Международной ассоциации по оценке учебных достижений (IEA), обладатель квалификационного сертификата ассоциации. Участвовала в проведении в России Международного сравнительного исследования качества граждановедческого образования (ICCS) в 2008 году в качестве разработчика тестовых заданий и эксперта по взвешенности (равной трудности заданий с открытыми вопросами).
Обладает международным квалификационным сертификатом (копия сертификата и его заверенного перевода прилагается).
Копия сертификата Положевец В.А.
7. Положевец Петр Григорьвич - главный редактор ЗАО «Издательский дом «Учительская газета», сопредседатель оргкомитета Всероссийского конкурса "Учитель года России", национальный координатор Международного сравнительного исследования качества граждановедческого образования ICCS 2008. Организатор международных конференций (в их числе Международный конгресс по граждановедческому образованию в Москве (2001 г.), ХМАО (2008 г.). Участвовал в подготовке Национального доклада по результатам исследования ICCS 2008, Международного доклада по результатам основного исследования ICCS 2009, в подготовке рекомендаций для проведения работ по повышению качества гражданского образования в России, включая совершенствование образовательных стандартов основного общего образования. Автор многочисленных публикаций по проблемам граждановедческого образования, участник более 20 международных конференций и семинаров по гражданскому образованию. Под его редакцией вышли многочисленные пособия по граждановедческому образованию.
8. Смирнова Галина Константиновна - учитель истории и обществоведения. Организовывала и проводила школы-лаборатории для учителей истории и обществознания Раменского района Московской области в 2007-2008 гг. Участвовала в проведении в России Международного сравнительного исследования качества граждановедческого образования (ICCS) в 2008 году в качестве разработчика когнитивного теста для учащихся 8-го класса.
Смирнова Г.К. в 1995 году разработала деловую игру «Выборы президента Ученической республики». Описание игры «Выборы президента Ученической республики» было опубликовано в учебном пособии «Выборы в демократическом обществе» (Выборы в демократическом обществе. Учебное пособие под ред. Воскресенской Н.М., Положевца П.Г., М., 1996.) и книге «Лидеры XXI века» (Изд. НАЧАЛА-ПРЕСС, М., 1996.) Автор методического пособия «Мой выбор», 2001 г., 2002 г.
1.1.2.3. Подбор переводчиков международного инструментария
Для перевода и адаптации инструментария требуется один или группа переводчиков и один рецензент. Требования, которые предъявляются к переводчикам:
отличное знание английского языка;
целевой язык как родной язык;
некоторые знания и опыт в данном образовательном контексте страны.
Опыт переводчика охватывает:
перевод текстов по социальным или политическим вопросам;
работу с учащимися в восьмом классе;
знакомство с разработкой тестов.
В соответствии с этими требованиями исполнителем был проведен подбор переводчиков, обладающих навыками перевода с английского на русский. Список переводчиков международного инструментария прилагается.
При переводе использовались термины, эквивалентные темам, которые были использованы в международной версии.
Основной смысл и трудность теста не были изменены. Уровень трудности задания при переводе не был изменен.
Список переводчиков международного инструментария
1. Ахметова Ирина Фанавиевна - учитель физики и английского языка, аналитик ЗАО «Издательский дом «Учительская газета», кандидат педагогических наук. Принимала участие в международных семинарах и конференциях в качестве переводчика, в том числе на двухнедельном семинаре в Калабасасе (США) по проблемам стандартов в гражданском образовании. Менеджер проекта «Международное сравнительное исследование качества граждановедческого образования (ICCS) в 2008 году». Организатор и координатор проекта «Обучаем правам человека» (фонд «Новые перспективы»), 2007-2008 гг. Соавтор учебно-воспитательной программы «Мой выбор», автор методического пособия «Разговор с учителем» (Конвенция о правах ребенка), 2005 г. Участник семинара ICCS Main Survey - Data Management (8-11 июля 2008 г., Гамбург, Германия), прошла обучение на семинаре IEA, обладает квалификационным сертификатом.
2. Воскресенская Наталия Михайловна - учитель английского и испанского языка, аналитик ЗАО «Издательский дом «Учительская газета», кандидат педагогических наук. Перевела с английского языка на русский Школьные стандарты Великобритании по всем предметам, которые были опубликованы в «Учительской газете» № 13, 14, 16-18, 20, 21, 23-25, 27, 29, 31-34, 36 от 2013 г. Принимала участие в качестве эксперта в олимпиаде по граждановедческим дисциплинам при поддержке Министерства образования и науки РФ, 1996-2013 гг. Член оргкомитета Всероссийской акции «Я - гражданин России». Участвовала в подготовке международных конференций по граждановедческому образованию (Москва, 2001.; Приморско, Болгария, июнь 2008 г., июнь 2009 г.; Ереван, апрель 2009 г.). Участвовала в подготовке и проведении семинаров по граждановедческому образованию на федеральном уровне (Москва - ежегодные семинары с 1995 по 2009 г.; Рязань, Орел, Новомосковск, Тульская область - ежегодные семинары с 2004 по 2009 г.).
Участвовала в переводе международного инструментария про проведении международного исследования ICCS-2008.
1.1.2.4. Перевод для международной верификации
Перевод проводился Исполнителем в соответствии с международными инструкциями, детально прописанными в SOP3. Исполнитель подготовил требуемую национальную адаптацию и передал материал переводчику. Все вопросы национальной адаптации были внесены в Форму национальной адаптации. Форма для национальной адаптации (NAF) включает все вопросы инструментария, выделяя те, которые требуют обязательной национальной адаптации. Завершилась работа размещением информации в NAF (Версия I). Исполнитель представил ее для проверки путем загрузки на сайт SharePoint ICCS-2016, и сообщил об этом в Международный исследовательский центр (ISC). По завершению проверки через две недели после получения ISC выслал Исполнителю комментарии, связанные с адаптацией национальной оценки инструментария.
После осуществления обратной связи с ISC, Исполнитель начал работу по переводу инструментария и завершил ее Версией II в NAF.
Эксперты в области гражданского образования адаптировали перевод в соответствии с национальным содержанием сохраняя при этом соответствие с версией международного источника.
1.1.2.5. Верификация в соответствии с международной процедурой
Как и в предыдущем исследовании, было предложено три этапа, связанных с адаптацией и верификацией для обеспечения качества и в пробном тестировании, и в основном исследовании:
Национальная адаптация (Рассмотрение инструментария с позиции адаптации к национальным условиям);
Верификация перевода;
Верификация подготовленных буклетов с тестами для учащихся и формы ученических анкет;
Итоговая верификация.
В международном исследовании ICCS под верификацией понимается подтверждение соответствия конечного инструментария предопределённым эталонным требованиям. В пробном исследовании ICCS-2014 верификация — это процесс подтверждения соответствия адаптированного инструментария и его международного источника.
Для документирования всех этапов верификации применялся метод заполнения специальной формы национальной адаптации (NAF). NAF это MS EXCEL файл, который обновляется и передается между национальным координатором исследования, переводчиком, рецензентом и персоналом консорциума ICCS-2014 во время рабочего процесса подготовки всех инструментов. При подготовке национальной версии на основе исходных международных версий, Исполнитель вносит определенные изменения в инструменты исследования. Любое отклонение от международной версии первоисточников записывается в электронном виде в NAF. NAF имеет решающее значение для документирования и является важным источником информации в процессе обработки данных, а затем и в процессах анализа данных и их интерпретации.
Форма национальной адаптации инструментария состоит из 17 колонок:
Колонка 0 содержит международный вопрос или номер элемента, который был использован в основном исследовании ICCS-2009. оставлен или пересмотрен.
В колонке 1 приведены международные вопросы, используемые в пробном исследовании ICCS-2014, когда появляются в каждом из инструментов.
В колонке 2 приведены английская формулировка вопроса или категории (с категорией кода). Выражения, которые должны быть изменены, отмечены в квадратных скобках [текст требующий адаптации].
В колонке 3 содержится соответствующее международное название переменной, которое должно появиться в базе данных.
Колонка 4 содержит национальный номер вопроса для анкет, под которым они появятся в каждом национальном инструменте. Если эти клетки остаются пустыми, национальный номер вопроса должен быть таким же, как и в международной версии источника.
В колонке 5 содержится название национальной переменной, как она будет включена в национальный файл данных.
Колонка 6 содержит адаптации к национальным языком, которые появляются в переведенном инструменте. Клетки, где нужна адаптация, отмечены желтый цветом. Для всех остальных элементов, эти клетки должны оставаться пустыми.
В графе 7 содержится английский бэк-перевод адаптации в колонке 6.
В графе 8 содержится пространство для перечисления каких-либо инструкций для перекодирования значения национальной категории в международные категории в тех случаях, когда страны модифицировали число категорий, используемых в исходном варианте.
В графе 9 содержится место для обоснования плановой адаптации или любого другого комментария, представленного национальным центром.
Колонка 10 заполняется ISC и содержит комментарии и предложения (при необходимости) в отношении изменений.
Колонка 11 заполнена национальным координатором в ответ на предложения, сделанные ISC.
Колонка 12 заполняется ISC и содержат статус соглашения
между национальным координатором и ISC по адаптации.
Колонка 13 заполняется для верификатора перевода и содержит особый код.
Колонка 14 заполняется верификатором перевода и содержит
перевод любого текста, который проверяющий обозначил кодом серьезности - 1 или 1?.
Колонка 15 заполняется верификатором перевода и содержит комментарии и предложения по адаптации и переводам.
Колонка 16 заполняется национальным координатором в ответ на замечания и предложения, высказанные на верификатором перевода.
В каждом из инструментов были места, где необходима была адаптация. Все слова с угловыми скобками (<>), выделенные желтым цветом в исходных документах, были заменены на те, которые используются в Российской Федерации. Каждый инструмент был аннотирован, то есть имел инструкции, как лучше адаптировать те элементы, которые требуют адаптации.
Национальный координатор проверил инструментарий, поддержал (незначительную часть отклонил) и занес всю необходимую адаптированную информацию в Форму для национальной адаптации (NAF). Исполнитель представил переведенные инструменты в формате WORD вместе с NAF (вариант II) через их загрузку в ICCS-2016 SharePoint и проинформировал Секретариат IEA о том, что материалы готовы для проверки перевода. Секретариат IEA возвратил проверенные материалы в NRC не позднее трех недель после представления.
Для обеспечения сопоставимости было осуществлено повторное рассмотрение NAF до завершения окончательного перевода и его верификации. Исполнитель внес дополнительные изменения, используя отзывы привлеченных экспертов. Национальный координатор обновил NAF (версия III).
Все предложенные адаптации были рассмотрены персоналом ACER, включая разработчиков инструментария и других необходимых партнеров.
На втором этапе Исполнитель представил инструменты в формате PDF вместе с NAF (версия III) для проверки макетов путем загрузки инструментов в ICCS-2016 SharePoint и информировал ISC, что инструменты готовы к проверки макетов.
Исполнитель использовал предложения ISC, чтобы внести окончательные изменения в документы и обновления в Национальные адаптационные формы NAF в версии IV. Исполнитель представил окончательную версию инструментария вместе с окончательной версией NAF (версия IV) в Секретариат IEA (Центр Координации международным проектом), ISC (Международный центр исследования) и IEA –DPC (Центр сбора данных по исследованию) путем загрузки их на сайте ICCS 2016 SharePoint.
Национальная адаптационная форма (NAF) - в Приложении № 1 к Отчету.
Окончательный национальный инструментарий был утвержден итоговой верификацией, координируемой ACER (Международным центром исследования).
1.1.2.6. Корректировка международного инструментария по результатам верификации
Корректировка инструментов является важным этапом создания итогового инструментария исследования. Корректировка проводится на всех этапах верификации и включает замену - в случае необходимости - слова или фразы в исходном варианте (например, названия уровней ISCED, имен лиц, названий специфических институтов, способов адресации лиц и т.д.).
1.1.2.7. Тесты для обучающихся
В пробном тестировании ICCS-2014 используются многочисленные тестовые формы. Использование многочисленных тестовых форм позволило включить большее число вопросов и более широко охватить содержание и когнитивные домены. Тестовые вопросы являются основанием для комплектования их в наборы (сеты), выполнение которых займет одинаковое количество времени и которые совпадают, насколько это возможно, с другими ключевыми характеристиками, такими как нагрузка на чтение, тип вопросов и оценка сложности. Наборы вопросов могут чередоваться по тестовым буклетам для уравновешивания влияния на эффект положения вопросов в тестовых формах (например, такой как усталость от вопросов в конце представленной формы).
В пробном исследовании 2014 г. использована модель, которая чередует вопросы по десяти кластерам, на заполнение каждого из которых отводится 15 минут (примерно 10-11 вопросов в наборе), через три позиции в каждом из 10 буклетов. Таблица 1 показывает ротацию наборов вопросов по тестовым формам для пробного исследования.
Таблица 1. Ротация наборов вопросов по буклетам для исследования 2014 года
-
Тестовая форма
|
Размещение по тестовым формам
|
Положение 1
|
Положение 2
|
Положение 3
|
1.
|
С 1
|
С 2
|
С 4
|
2.
|
С 2
|
С 3
|
С 5
|
3.
|
С 3
|
С 4
|
С 6
|
4.
|
С 4
|
С 5
|
С 7
|
5.
|
С 5
|
С 6
|
С 8
|
6.
|
С 6
|
С 7
|
С 9
|
7.
|
С 7
|
С 8
|
С 10
|
8.
|
С 8
|
С 9
|
С 1
|
9.
|
С 9
|
С 10
|
С 2
|
10.
|
С 10
|
С 1
|
С 3
|
Тесты для обучающихся предполагают общий печатный формат исполнения и оформления, предусмотренный международными стандартами, поэтому подготовленный инструментарий представляются Заказчику на диске по формату и оформлению, соответствующему международным правилам исследования.
Тесты для обучающихся - в Приложении № 2 к Отчету.
1.1.2.8. Анкета для обучающихся
Анкета для обучающихся включает основной раздел с большинством вопросов в закрытом формате (пол, возраст, происхождение, образование родителей, книги в доме, сообщение об участии в школьном парламенте, чтение газет). Уровень родительского образования опрашивался как категория, взятая из международной классификации уровней образования ISCED для обеспечения возможности межгосударственного сравнения. Как и в предыдущем исследовании, анкета для учащихся включает вопросы с открытыми ответами о профессии (занятии, работе) родителей, что подлежало кодированию в соответствии с Международной классификацией стандартов профессий (ISCO-08).
При разработке анкеты для обучающихся учитывались следующие факторы:
Требование создать анкету с установленным пределом времени (до 45 минут).
Сохранение тесных связей с вопросами ICCS-2009 для проведения сравнения.
Тесная связь с исследовательскими вопросами ICCS-2014.
Обращение к контексту дома, школы и местного сообщества.
Соотношение с компонентами теста для обучающихся.
Анкета для обучающихся предполагает общий печатный формат исполнения и оформления, предусмотренный международными стандартами, поэтому подготовленный инструментарий представляются заказчику на диске по формату и оформлению, соответствующему международным правилам исследования.
Анкета для обучающихся - в Приложении № 3 к Отчету.
1.1.2.9. Анкета для учителей
Анкета для учителей разработана с расчетом на получение показателей, характеризующих личность учителя (демографические, профессиональная подготовка, повышение квалификации, деятельности в школе) и организуемый ими учебный процесс (организация учебного процесса, педагогические установки).
В ICCS-2014 анкета для учителей основана на сборе информации об обстановке в школе и классе, о взаимодействии школ и местных сообществ, восприятии целей (задач) гражданского образования, подходах (методах) преподавания в этой области знаний.
Психологическая обстановка в школе складывается из взаимоотношений между учителями, а также их вовлеченности и заинтересованности жизнью школы. В связи с этим учителям было предложено ответить на вопросы, связанные с тем насколько активно они принимают участие в разработке и реализации планов школы, что они делают для поддержания дисциплины и разрешения школьных конфликтов, а также какие общественные обязанности они выполняют.
Некоторые из конструкций (о школьном климате и приоритетности гражданского образования) также оценивались по анкете для руководителей образовательных организаций, с целью сбора данных по одинаковым вопросам и от учителей, и от директоров.
Анкета для учителей предполагает общий печатный формат исполнения и оформления, предусмотренный международными стандартами, поэтому подготовленный инструментарий представляются заказчику на диске по формату и оформлению, соответствующему международным правилам исследования.
Анкета для учителей - в Приложении № 4 к Отчету.
1.1.2.10. Вопросник по содержанию национального образования
Вопросник по содержанию национального образования включает информацию о гражданском образовании и его контекстах, например, аспектах, имеющих отношение к политическим, культурным и образовательным контекстам в Российской Федерации.
Вопросник по содержанию национального образования - в Приложении № 5 к Отчету.
1.1.2.11. Подписание Соглашения о неразглашении содержания тестовых материалов
При передаче тестовых материалов в образовательные организации для проведения пробного исследования подписывалось Соглашение о неразглашении содержания тестовых материалов каждым лицом, которое имеет к ним доступ.
Подписанные Соглашения о неразглашении содержания тестовых материалов в Приложении № 1 к Отчету по подготовке международного инструментария для проведения пробного ICCS-2014.
Приложение № 1
к Отчету по подготовке международного инструментария
для проведения пробного ICCS-2014
Соглашения о неразглашении тестовых материалов
(прилагаются на диске)
1.1.3. ПРОВЕДЕНИЕ АПРОБАЦИИ – ТЕСТИРОВАНИЯ И АНКЕТИРОВАНИЯ УЧАЩИХСЯ (СБОР ДАННЫХ)
Исполнитель выполнил работы по проведению апробации –тестирования и анкетирования учащихся (сбор данных) в полном соответствии с критериями, установленными Международной ассоциацией по оценке учебных достижений.
Выборка для проведения апробации – тестирования и анкетирования учащихся была построена на основе метода вероятностных выборок, который дает аккуратные взвешенные оценки параметров популяции и позволяет вычислить для них ошибку измерения.
При формировании выборки была произведена внешняя и внутренняя стратификация образовательных организаций для отбора учащихся.
Было отобрано для участия в анкетировании 1090 учащихся.
Подготовлен Отчет по проведению апробации пробного исследования ICCS-2014 (прилагается).
Отчет по проведению апробации пробного исследования ICCS-2014
1.1.3.1. Проведение апробации - тестирования и анкетирования учащихся в соответствии с критериями, установленными Международной ассоциацией по оценке учебных достижений
В ходе выполнения данного вида работ Исполнителем были реализованы следующие мероприятия:
подготовлены списки учащихся 8 классов;
отобраны из списка учащиеся для проведения тестирования и анкетирования в 28 образовательных организациях (1090 учащихся 8 классов) (версия WinW3S);
созданы наклейки с индентификационными номерами учащихся, которые были наклеены на каждый используемый буклет;
установлены контакты с региональными центрами и со школами;
назначены и подготовлены национальные контролеры качества, региональные и школьные координаторы и проведен с ними специальный инструктаж по процедуре тестирования в школах (на двух уровнях: в национальном центре для национальных контролеров качества, в региональных центрах – для региональных и школьных координаторов);
сформированы и отправлены комплекты анкет, тестов и форм для учащихся;
проведено тестирование и анкетирование учащихся (база данных, подтверждающих наличие 1090 анкет учащихся, в Приложении № 2 к Отчету по проведению апробации пробного исследования ICCS-2014, оригиналы анкет находятся у Исполнителя для дальнейшей обработки);
была разработана форма протокола проведения тестирования, которая заполнялась лицом, проводящем тестирование в классе.
Одним из инструментов обеспечения качества проводимого тестирования и анкетирования учащихся объективно, точно и своевременно заполненный протокол проведения тестирования, форма которого представлена ниже.
Протокол проведения тестирования
-
ICCS Участник:
|
________________________________________________________
|
Название школы:
|
________________________________________________________________________________________________________________
|
ID школы:
|
________________________________________________________
|
ID класса:
|
________________________________________________________
|
Имя координатора школы:
|
______________________________________________
|
Имя лица, проводящегося тестирование:
|
______________________________________________
|
Должность лица,
проводящего тестирование
|
______________________________________________
|
[ ]
|
Работник национального центра ICCS
|
[ ]
|
Учитель данной школы, но не из выбранного класса
|
[ ]
|
Другое, пожалуйста, укажите:
________________________________________________________________________________________________________________________________________
|
Тип тестовой сессии
|
[ ]
|
Стандартная
|
[ ]
|
Повторная
|
Дата тестирования:
|
______________________________________________
|
Намеченное время начала:
|
______________________________________________
|
-
Расписание сессий тестирования и анкетирования
|
Время начала
|
Время завершения
|
|
(8a)
|
(8b)
|
Проведение (подготовка учащихся, чтение инструкций, раздача конвертов учащимся и т.д.)
|
(9a)
|
(9b)
|
Основное тестирование
|
(10a)
|
(10b)
|
Подготовка к анкетированию учащихся
|
(11a)
|
(11b)
|
Сессия анкетирования учащихся
|
(если анкетирование учащихся проводится не в один день с основным тестированием, также запишите дату)
|
-
Количество
использованных материалов:
|
Брошюры оценки знаний учащихся
|
Анкеты учащихся
|
Роздано присутствующим учащимся
|
|
|
Не роздано
|
|
|
Всего
|
|
|
-
Возникли ли какие-либо особые обстоятельства или необычные события во время сессий?
|
[ ]
|
Нет
|
[ ]
|
Да, пожалуйста, разъясните какие
________________________________________________________________________________________________________________________________________
|
-
Возникали ли у учащихся какие-либо проблемы с тестированием
(например, тест слишком сложный, не достаточно времени.
Тест был утомителен, запутан)?
|
[ ]
|
Нет
|
[ ]
|
Да, пожалуйста, разъясните какие
________________________________________________________________________________________________________________________________________
|
-
Были ли какие-либо проблемы с тестовыми материалами
(например, ошибки или упущения в форме учета, некорректные брошюры
оценки знаний или анкеты учащихся, недостаточно брошюр)?
|
[ ]
|
Нет
|
[ ]
|
Да, пожалуйста, разъясните какие
________________________________________________________________________________________________________________________________________
|
-
Наблюдал ли за тестовой сессией контролер качества?
|
[ ]
|
Нет
|
[ ]
|
Да
________________________________________________________________________________________________________________________________________
|
Все протоколы были в срок переданы школьными координаторами Исполнителю. Школьные координаторы обеспечили строгое выполнение процедур, описанных в инструкциях, особенно касающихся:
обеспечения безопасности тестовых материалов;
соблюдения режима дня тестирования;
обеспечения строгого следования сценарию проведения тестирования лицом, проводящим тестирование, и режима тестовых сессий.
Для каждого исследуемого класса была обеспечена спокойная и просторная комната, где у каждого учащегося было сидячее место. Для каждой комнаты и сессии было назначено лицо, проводящее тестирование.
Лица, проводящие тестирование, отвечали за:
обеспечение получения каждым учащимся соответствующих тестовых материалов, которые были специально подготовлены для него;
проведение тестирования в соответствии с инструкциями тестирование;
соблюдение режима тестовых сессий с помощью секундомера и запись времени начала и завершения различных сессий в форме проведения тестирования;
регистрацию участия учащихся в форме учета учащихся;
сбор всех тестовых материалов, включая все заполненные, а также неиспользованные брошюры оценки знаний, анкеты учащихся после проведения тестирования.
Проведение тестирования и анкетирования учащихся было разделено на две сессии. Оценка знаний учащихся проводилась в течение одной сессии, за которой следовал короткий перерыв. Перерыв длился от десяти до пятнадцати минут в зависимости от школьного расписания. Анкетирование учащихся проводилось в тот же день, что и оценка знаний, после тестирования.
Все материалы тестирования собирались в конце каждого периода проведения тестирования до того, как учащиеся отпускались на перемену.
Лица, проводящие тестирование, вернули все брошюры оценки знаний и все анкеты вместе с формой учета учащихся школьному координатору немедленно после тестирования.
Очень важно было достичь высокого уровня участия учащихся. В том случае, если менее 90% учащихся в выбранном классе присутствовали на тестовой сессии, должна была проводиться дополнительная сессия. Дополнительные сессии не проводились для отсутствовавших учащихся, так как явка учащихся на тестирование была достаточной для проведения исследования (выше 90%).
Проведение тестирования в образовательных учреждениях в субъектах Российской Федерации осуществлялось в строгом соответствии с рекомендациями, разработанными международным координационным центром для всех стран-участниц. Стандартизация процедуры проведения тестирования позволяет создать равные условия, необходимые для сравнения результатов различных стран.
Для планирования тестирования в школе необходимо было знать распределение времени на выполнение работы. Международным координационным центром для всех стран установлено следующее распределение времени для проведения пробного тестирования (Таблица 1).
Таблица 1. Распределение времени на проведение
тестирования анкетирования в 8-м классе
Вид работ
|
Время
|
1. Организационная часть: раздача тетрадей, чтение инструкций и т.д. (Проводящий тестирование может увеличить время этой части по своему усмотрению.)
|
10 мин.
|
2. Выполнение теста
|
45 мин.
|
3. Перерыв (длительность перерыва по усмотрению администрации школы)
|
10-15 мин.
|
4. Организационная часть: подготовка учащихся к заполнению анкет
|
5 мин.
|
5. Заполнение анкет
|
40+ мин.
|
Всего:
|
110-120мин.
|
В исследовании требовалось строгое соблюдение распределения времени на выполнение теста. Не допускалось давать обучающимся дополнительное время на выполнение теста. Это обязательное требование позволяло обеспечить равные условия для обучающихся всех стран, что необходимо для дальнейшего сравнения результатов стран-участниц.
Время перерывов администрация образовательной организации устанавливала по своему усмотрению – от 5 до 20 минут.
В целях единообразного проведения тестовых сессий во всех странах, отмеченные знаком и написанные полужирным шрифтом инструкции из плана проведения тестирования, были зачитаны дословно учащимся вслух. Инструкции, которые напечатаны полужирным курсивом повторяются в тестовых брошюрах и анкетах.
Перед проведением исследования в субъектах было осуществлено организационно-техническое и научно-методическое обеспечение по проведению инструктивных совещаний контролеров качества в ЗАО «Издательский дом «Учительская газета», региональных и школьных координаторов в региональных органах управления образованием. В ходе совещаний контролеры качества, региональные и школьные координаторы были ознакомлены с основными характеристиками инструментария международного исследования ICCS, с процедурой проведения исследования, содержанием работы региональных и школьных координаторов на этапе проведения пробного тестирования, требованиями к обеспечению качества исследования, процедурой формирования выборки школ и учащихся, подготовки к проведению обследования в образовательной организации.
Апробация отдельных методических процедур в исследованиях ICCS проводится на небольших представительских выборках, позволяющих выявить наиболее вероятные источники возможных систематических ошибок. Например, соответствие разработанного инструментария особенностям языка опрашиваемых, их нормативным и ценностным представлениям и т. п. проверяется на группах от 250 до 650 чел. Для проверки эффекта нововведений, изменений, происшедших после проведения исследования ICCS-2009, было предложено провести пробное исследование ICCS-2014 на большей и обязательно квотной выборке. Увеличение количества учащихся было обусловлено расширением количества буклетов.
Целевые группы учащихся в ICCS-2014 состоят из всех учащихся, зачисленных в 8-ые классы обучения, которым на время проведения тестирования исполнится, по крайней мере, 13,5 лет. Учащиеся старше 15 лет (те, кто обучаются по программам обучения для взрослых) не включаются в целевые группы.
Размеры выборки для пробного тестирования зависят от числа вопросов, кластеров (групп вопросов) и буклетов. Пробное тестирование в ICCS-2014 требовало охватить выборкой, по крайней мере, 1000-1200 учащихся в каждой стране. Учащиеся отбираются не менее чем из 25 школ.
Школами, которые имеют право принимать участие в исследовании ICCS, являются те школы, в которых имеются учащиеся, зачисленные в обследуемые 8-е классы. В этом случае школа является одной целой единицей с определенным числом преподавателей и студентов, которая может включать в себя различные программы и курсы. Определение «Школа» должно включать ту среду, в которой находятся учащиеся, куда обычно включают и преподавательский состав, и положение (расположение) самого здания школы, и социальное окружение (также часто включают администрацию и устав школы).
Задачами исследования ICCS является выбор школ и учащихся, которые могли бы представить реальную ситуацию в стране-участнице в целом. Однако в школах существуют три категории возможных исключений: психическое расстройство у учащихся, их физическое заболевание или незнание языка.
Отбор участников исследования может проходить различными путями. Это могут быть все желающие, участники, назначенные административным решением, отобранные по результатам каких-либо дополнительных испытаний или случайно попавшие в выборку.
Для того чтобы совокупность участников исследования (состав выборки) не зависела от оценок экспертов, необходимо было исключить влияние человеческого фактора при выборе, в нашем случае, образовательных организаций и отборе учащихся. Для этого выбор был осуществлен случайным образом на основании определенных объективных характеристик. Такими характеристиками стали наполняемость образовательных организаций, расположение образовательных организаций в различных населенных пунктах, форма обучения.
Для того чтобы результаты исследования, проведенного в выбранных образовательных организациях, можно было распространить на все другие ОО страны, совокупность выбранных случайным образом организаций-участниц представляет собой всю совокупность образовательных организаций страны в миниатюре с тем же пропорциональным распределением ОО по выделенным объективным характеристикам. Такая выборка и называется представительной или репрезентативной.
Решение вопроса о качестве выборки, ее представительности для Российской Федерации при проведении пробного международного исследования определяется по следующим показателям:
наличие плана выборки, утвержденного международным координационным центром (соотношение генеральной, обследуемой и исключенной совокупностей);
соответствие характеристик обследуемой совокупности («охвата» и «исключений») требуемым стандартам (исключения разного уровня не превышают 5% учащихся обследуемой совокупности);
соответствие коэффициента участия образовательных организаций и учащихся требованиям стандарта (не менее 85% от отобранных образовательных организаций, не менее 95% от отобранных классов и не менее 85% от всех отобранных учащихся).
1.1.3.2. Построение выборки на основе метода вероятностного выбора
План национальной выборки был построен на основе метода вероятностных выборок, который дает достаточно аккуратные взвешенные оценки параметров популяции и позволяет вычислить для них ошибку измерения. Принятым методом выборки является вероятностно-пропорциональный метод, при котором выполняются все требования к сформированной выборке.
Следует отметить, что отсутствие в России единого списка всех образовательных организаций страны и организационные трудности вынуждают отказаться от прямого выбора школ-участниц. Кроме того, при прямом выборе образовательных организаций высока вероятность участия большого количества регионов, представленных одним-двумя образовательными организациями. Это неудобно с точки зрения проведения исследования и увеличивает временные и финансовые затраты на само исследование.
Прежде чем выбирать регионы, образовательные учреждения и учащихся, были определены характеристики, по которым производится выборка, и обозначена совокупность учащихся, из которой их выбирают. В сравнительных исследованиях при формировании выборки изучаемой популяции учащихся обычно используются два подхода:
1. Совокупность учащихся формируется по возрасту, например, отбираются учащиеся в возрасте 13-13,5 лет. Данный подход используется при сравнении потенциальных возможностей стран по ряду важных показателей. Этот подход реализовывался в исследованиях IAEP и PISA.
2. Отбираются учащиеся определенного года обучения, например, учащиеся 8-го класса. В данном случае оценивается совокупное усвоение учебной программы за все предшествующие годы обучения в школе. Этот подход реализуется в международных исследованиях, проводимых IEA (TIMSS, CIVED, PIRLS и ICCS), а также во всех общероссийских обследованиях.
После определения обследуемой популяции была определена ее численность – размер генеральной совокупности. В нее входят все дети в стране, удовлетворяющие критерию определения генеральной совокупности.
После определения обследуемой совокупности учащихся и численности генеральной совокупности проводится анализ возможности всех членов этой совокупности участвовать в исследовании. В исследовании не могут принимать участие:
функционально неспособные учащиеся – учащиеся, которые в силу своего постоянного физического недостатка не могут принять участие в тестировании. К ним относятся и те учащиеся, которые в течение длительного времени находятся в больнице или санатории.
учащиеся с отклонениями в умственном развитии, в отношении которых существует профессионально-медицинское заключение о наличии этого отклонения. Это учащиеся, которые эмоционально или умственно не способны следовать инструкциям по проведению тестирования. К ним не относятся учащиеся, имеющие проблемы с успеваемостью или дисциплиной.
учащиеся, обучающиеся на нерусском языке, если тестирование проводится на русском языке.
учащиеся учреждений с нетипичной организацией учебного процесса.
Исключения могут быть на уровне образовательных организаций (например, национальные школы или малые школы – с наполняемостью в три и менее учащихся в параллели; школы при исправительных заведениях); классов (например, классы коррекции); отдельных учащихся (например, учащихся, находящихся на надомном обучении). Все учащиеся, попадающие под исключение, составляют исключенную совокупность, а оставшаяся часть генеральной совокупности за вычетом исключенной совокупности образует исследуемую совокупность.
Исходя из этих стандартов для пробного исследования из полного списка школ страны были выбраны 28 школ-участниц. Затем в отобранных школах выбирались учащиеся 8-х классов. Общее число учащихся было определено как не менее 1000.
1.1.3.3. Внешняя и внутренняя стратификации образовательных организаций
При проведении международного сравнительного исследования ICCS в России используется трехэтапная выборка учащихся. Суть ее состоит в том, что страна с большой территорией делится на «страты» (как правило, это разделение совпадает с административным делением страны) и на первом этапе выбираются именно «страты». В России «стратами» являются субъекты РФ (республики, края, области и автономные образования). На втором этапе в выбранных регионах выбираются образовательные организации, а на третьем – непосредственно учащиеся в выбранных образовательных организациях.
Для осуществления выборки страт собиралась информация о численности учащихся исследуемой популяции в каждом субъекте. По согласованию с Координационным центром для пробного исследования ICCS-2014 было отобрано 4 региона РФ. Список выбранных для проведения исследования ICCS субъектов представлен в Таблице 2.
Таблица 2
Список субъектов, отобранных для исследования ICCS-2014,
с указанием числа отобранных образовательных
организаций в каждом регионе
ID субъекта
|
Название субъекта
|
Число выбираемых ОО
|
47
|
Ленинградская область
|
7
|
58
|
Пензенская область
|
7
|
62
|
Рязанская область
|
7
|
71
|
Тульская область
|
7
|
Всего: 4 субъекта
|
28
|
Второй этап формирования выборки учащихся – выборка образовательных организаций был осуществлен в результате взаимодействия Национального центра международного исследования с региональными центрами. Поэтому после определения регионов, которые примут участие в тестировании, было важно обеспечить связь с региональными организациями, которые оказали Национальному центру помощь в организации и проведении исследования.
Лицом, отвечающим за проведение исследования в каждом из отобранных регионов, является региональный координатор, в задачи которого входит:
1) Создание базы данных образовательных организаций региона для формирования выборки образовательных организаций, которые примут участие в исследовании.
2) Связь с образовательными организациями, отобранными для тестирования, и получение необходимой информации о них.
3) Участие в совещании региональных координаторов по проведению исследования в регионе.
4) Организация и проведение тестирования и анкетирования в образовательных организациях региона.
5) Обеспечение контроля за качеством проведения исследования в образовательных организациях региона.
6) Сбор материалов исследования и отправка их в Национальный центр.
7) Обсуждение результатов исследования.
8) Передача результатов исследования участвовавшим образовательным организациям.
9) Организация обсуждения и использования результатов в регионе.
Функционал регионального координатора, приведенный выше, направляется в региональные органы управления образования, которые назначают регионального координатора своего региона. Перечень организаций и лиц, отвечающих за проведение исследования ICCS в каждом из отобранных регионов, приведен в Таблице 3.
Таблица 3
Перечень организаций и лиц, отвечающих за проведение исследования в каждом субъекте
Название субъекта
|
Региональный координатор
|
Организация
|
Ленинградская область
|
Иванов Павел Викторович
|
Отдел общего и дополнительного образования
Комитета общего и профессионального образования
Ленинградской области
|
Пензенская область
|
Абрашкин Александр Витальевич
|
Управлениe информационных технологий и оценки качества образования Министерства образования Пензенской области
|
Рязанская область
|
Ларина Ольга Николаевна
|
Центр модернизации образования ОГБОУ ДПО “Рязанский институт развития образования”
|
Тульская область
|
Суворкина Наталья Алексеевна
|
Центр сопровождения реализации проектов в сфере образования ГОУ ДПО ТО “Институт повышения квалификации и профессиональной переподготовки работников образования Тульской обоасти”
|
На втором этапе осуществляется выборка образовательных организаций в субъектах, отобранных на первом этапе (рис. 1).
|
