Второй этап формирования выборки учащихся – выборка образовательных организаций – невозможен без взаимодействия национального координационного центра, осуществляющего проведение исследования, с региональными центрами. Поэтому после определения регионов, которые должны принять участие в тестировании, очень важно обеспечить связь с региональными организациями, которые могут оказать национальному центру помощь в организации и проведении исследования.
Одной из задач регионального координатора является организация работы по созданию базы данных образовательных организаций региона для формирования выборки образовательных организаций, которые примут участие в исследовании.
Фрагмент одного из региональных списков, полученных по запросу от регионального координатора Алтайского края, представлен в таблице 3.2.
Полученные из регионов базы данных были подготовлены для формирования выборки – из них были удалены дубликатные записи, проверена и при необходимости исправлена информация о типе населенного пункта, в котором расположена образовательная организация, типе образовательной организации, числе учащихся 1999 года рождения.
Помимо внешней (эксплицитной) стратификации образовательных организаций – распределения по стратам (регионам), проводилась и так называемая внутренняя (имплицитная) стратификация – распределение образовательных организаций по их типу и типу населенного пункта. В результате все образовательные организации, содержащие исследуемую совокупность учащихся, были поделены на непересекающиеся части.
Таблица 3.2
Фрагмент списка образовательных организаций Алтайского края
III.3.1.2. Отбор образовательных организаций для участия в основном исследовании PISA-2015.
Работа выполнялась с использованием следующего метода:
– Систематическая вероятностно-пропорциональная выборка образовательных организаций для участия в исследовании.
После завершения работы по проверке и корректировке баз данных, полученных из регионов, образовательные организации были выстроены по внутренним стратам, а внутри каждой страты – по возрастанию или убыванию наполняемости. После создания такого списка образовательных организаций вычислялся интервал выборки. Для этого численность всей исследуемой популяции региона (кумулятивная наполняемость) делилась на число выбираемых в регионе образовательных организаций.
Выборка образовательных организаций, так же как и выборка регионов, осуществлялась по числу учащихся в организации. Для этого случайным образом в пределах интервала выборки по числу учащихся выбиралось первая образовательная организация. Затем, следуя интервалу выборки от первой выбранной образовательной организации, идентифицировалась вторая выбранная образовательная организация. Этот процесс продолжался до тех пор, пока не было выбрано необходимое число образовательных организаций. Всего было выбрано 210 образовательных организаций. Каждой выбранной образовательной организации присваивался идентификационный номер, не зависящий от идентификатора организации в региональном списке.
В процессе формирования выборки для каждого выбранной образовательной организации определялись организации, которые в случае необходимости должны выступать в качестве замен. Основные характеристики этих образовательных организаций (расположение и наполняемость) должны соответствовать характеристикам образовательных организаций, выбранных для проведения исследования. Замены образовательных организаций разрешаются только в случае, если выбранная организация закрылась. Каждая замена должна быть согласована с международным координационным центром и запротоколирована.
III.3.1.3. Согласование и утверждение выборки образовательных организаций для участия в основном исследовании PISA-2015.
Работа выполнялась с использованием следующих методов:
– Согласование выборки образовательных организаций для участия в основном исследовании PISA-2015 с региональными координаторами.
– Согласование и утверждение выборки образовательных организаций для участия в основном исследовании PISA-2015 с международными экспертами.
После определения списка отобранных образовательных организаций он направлялся региональным координаторам с целью уточнения названий отобранных организаций, их типа и наполняемости. В случае расхождений реальной наполняемости в образовательной организации с той, которая была представлена в региональной базе данных, выяснялись причины расхождений (например, ошибка была допущена при составлении базы данных; администрация организации не учла часть учащихся при подсчете общего числа обучающихся 1999 г.р.; в образовательной организации с момента составления базы данных произошли существенные изменения) и данные корректировались.
В результате этой работы были уточнены данные по 210 образовательным организациям из 42 регионов страны.
После согласования выборки образовательных организаций с региональными координаторами она была направлена в Международный центр исследования PISA для согласования и утверждения. В итоге российская выборка образовательных организаций для участия в исследовании PISA-2015 была перепроверена и утверждена международными экспертами.
Каждый этап и промежуточные шаги формирования выборки учащихся строго контролировались международным координационным центром исследования PISA. Ответственные за верификацию российской выборки – Шейла Кравчук (Sheila Krawchuk) и Джон Лопдел (John Lopdell), специалисты американской организации WESTAT.
Обеспечение верификации и утверждения выборки образовательных организаций международными экспертами включало несколько этапов:
Согласование и утверждение форм формирования выборки;
Получение от международных экспертов по выборке специально подготовленного итогового файла в формате EXCEL (RUS_CY6_SMP_MSSamplingTask11.xlsx) со списком отобранных образовательных организаций, как основных, так и запасных, с указанием их идентификационных данных и закодированной информацией, характеризующей стратификационное положение и дизайн проведения исследования в каждой образовательной организации. Фрагмент данного файла приведен на рисунке 3.2.
Рис. 3.2. Фрагмент файла с утвержденным списком отобранных образовательных организаций.
Ниже, на рисунке 3.3, представлена переписка с международным специалистом Джоном Лопделом на тему утверждения итоговой формы с российской выборкой образовательных организаций.
Рис. 3.3. Фрагменты переписки с международным специалистом на тему утверждения выборки образовательных организаций.
III.3.1.4. Формирование выборки учащихся 15-летнего возраста для участия в тестировании и анкетировании.
Работа выполнялась с использованием следующих методов:
– Сбор списков всех учащихся 1999 года рождения в отобранных образовательных организациях.
– Компьютерное формирование выборки учащихся образовательной организации.
– Формирование Списков учащихся, отобранных для тестирования.
– Формирование идентификационной системы учащихся для комплектации инструментария для каждой образовательной организации.
Для проведения исследования должна быть сформирована представительная выборка учащихся 15-летнего возраста. Для ее формирования необходимо собрать списки всех учащихся 1999 года рождения в отобранных образовательных организациях. Этот этап является механизмом обеспечения представительности выборки учащихся России и объективность полученных результатов.
После завершения процесса формирования выборки образовательных организаций региональным координаторам был направлен запрос на списки всех учащихся 1999 года рождения, обучающихся в выбранных образовательных организациях, поскольку в соответствии с принятыми в исследовании PISA стандартами в каждой образовательной организации выбираются учащиеся 1999 года рождения.
Список обучающихся образовательной организации – основной документ, на основе которого проводится отбор обучающихся для участия в тестировании. Этот список должен был быть заверен директором образовательной организации.
В каждой образовательной организации составлялся один список, в который должны были быть включены все без исключения обучающиеся 1999 года рождения. Для общеобразовательных организаций в список включались учащиеся 1999 года рождения, если они обучались в седьмом классе и старше. Для организаций, реализующих программу среднего профессионального образования, включались все учащиеся 1999 года рождения, обучающиеся на 1 курсе.
Региональному координатору Национальным центром предоставлялась специальная форма Списка обучающихся, которая должна была быть заполнена в образовательных организациях (рис. 3.4).
Рис. 3.4. Форма Списка обучающихся образовательной организации для исследования PISA-2015.
В списке должна была быть указана общая информация об образовательной организации (название, адрес, телефон, электронная почта), а также информация о каждом обучающемся:
- фамилия, имя;
- месяц и год рождения;
- пол;
- класс/группа;
- программа обучения. Код программы обучения соответствовал коду типа образовательной организации, утвержденному для исследования PISA: 1 – программа основного общего образования (5-9 классы); 2 – программа среднего общего образования (10-11 классы); 3 – программа среднего профессионального образования (техникум, колледж, профессиональное училище или др.);
- код специального обучения (Нарушение опорно-двигательного аппарата – Учащийся имеет постоянные нарушения опорно-двигательного аппарата средней или сильной степени – «1»; Отклонение в развитии – Учащийся имеет отклонение в умственном или психическом развитии. По результатам медицинской экспертизы ему поставлен диагноз «отклонение в развитии» – «2»; Русский язык не является родным – Учащийся, для которого русский язык не является родным, и он обучается менее 1 года на русском языке, и плохо владеет русским языком – «3»).
Заполненные списки обучающихся направлялись образовательными организациями в Национальный центр, где они были конвертированы в формат Excel для последующего импорта в программу KeyQuest. Конвертированный файл содержит информацию о всех обучающихся 1999 года рождения каждой из образовательных организаций, отобранных для участия в исследовании PISA: идентификационные номера, фамилию и имя учащегося, класс, пол, дату рождения, программу обучения, т.е. информацию, которая была предоставлена образовательной организацией (рис. 3.5).
Рис. 3.5. Пример списка обучающихся, конвертированного в формат Excel.
KeyQuest – специальное программное обеспечение, которое на стадии формирования выборки учащихся используется в исследовании PISA для:
- выбора участников тестирования;
- присвоения участникам тестирования идентификационных номеров;
- определения номеров вариантов для каждого участника тестирования.
После отбора необходимого числа участников исследования программа KeyQuest присваивает им все необходимые идентификаторы и «раздает» варианты работы.
Затем с помощью программы формируется Список учащихся, отобранных для тестирования. Этот список включает всю информацию, полученную из образовательной организации, а также идентификационные номера и информацию об исключениях. Помимо Списка учащихся формируется Форма участия в компьютерном тестировании, где указано, какой вариант работы будет писать каждый из учащихся, а также Форма с данными учащегося для входа в систему (логин и пароль). В Форму участия при проведении тестирования заносится следующая информация: статус участия каждого учащегося и причина, по которой выбранный учащийся не смог принять участие. Подробно процедура заполнения рассматривается в Руководстве по проведению тестирования.
Пример заполненного Списка учащихся, отобранных для тестирования, приведен на рис. 3.6. Пример заполненной Формы участия приведен на рис. 3.7.
Формирование выборки осуществлялось на основе полного списка учащихся 1999 года рождения, представленного каждой из 210 отобранных образовательных организаций. Всего в полный список вошло 10 242 человека.
Представительная выборка учащихся в отобранных образовательных организациях 42 регионов страны для участия в исследовании PISA-2015 составила 6299 учащихся 1999 года рождения из 210 образовательных организаций.
Расшифровка кодов в колонке 11:
1 – Функциональные нарушения
2 – Отклонение в развитии
3 – Владение русским языком не позволяет принять участие в тестировании
Расшифровка кодов в колонке 12:
2 – Родители не разрешили участвовать в тестировании
3 – Находится на специальном или коррекционном обучении
4 – Выбыл в другую образовательную организацию
5 – Больше не посещает данную образовательную организацию и неизвестно, куда выбыл
n – Не соответствует критериям участия в исследовании PISA
Список учащихся, отобранных для тестирования PISA-2015 MS
Номер/название ОО: г. Новосибирск, СОШ 138
ФИО Координатора ОО: Иванова В.Ю. ФИО Проводящего тестирование: Архипов А.Н.
Рис. 3.6. Пример заполненного Списка учащихся, отобранных для тестирования.
(1)
|
(2)
|
(3)
|
(4)
|
(5)
|
(6)
|
(7)
|
(8)
|
(9a)
|
(9b)
|
(10)
|
(11)
|
(12)
|
(13)
|
Регион
|
ID страты
|
ID ОО
|
ID учаще-гося
|
Выбран-ный номер
|
Фамилия, имя учащегося
|
Класс/
курс
|
Пол
(ж-1; м-2)
|
Дата рождения
(мес.-год)
|
Прог-рамма обуче-ния
|
Код спец. обуче-ния
|
Код исклю-чения
|
Комментарии
|
00
|
01
|
010
|
00004
|
00003
|
Алексанов Илья, 10а
|
10
|
2
|
12
|
1999
|
2
|
|
|
|
00
|
01
|
010
|
00009
|
00008
|
Борисов Артем, 9а
|
9
|
2
|
11
|
1999
|
1
|
|
4
|
|
00
|
01
|
010
|
00005
|
00012
|
Михайлова Надежда, 10а
|
10
|
1
|
12
|
1999
|
2
|
|
|
|
00
|
01
|
010
|
00002
|
00016
|
Голосова Ирина, 10а
|
10
|
1
|
05
|
1999
|
2
|
|
|
|
00
|
01
|
010
|
00014
|
00020
|
Гайфуллин Руслан, 10б
|
10
|
2
|
04
|
1999
|
2
|
3
|
3
|
|
00
|
01
|
010
|
00008
|
00024
|
Гудяев Георгий, 10б
|
10
|
2
|
09
|
1999
|
2
|
3
|
|
|
00
|
01
|
010
|
00011
|
00028
|
Кузьмин Роман, 10б
|
10
|
2
|
07
|
1999
|
2
|
1
|
3
|
|
00
|
01
|
010
|
00013
|
00033
|
Макарова Марина, 9в
|
9
|
1
|
04
|
1999
|
1
|
|
|
|
00
|
01
|
010
|
00001
|
00037
|
Тарасова Светлана, 10в
|
10
|
1
|
07
|
1999
|
2
|
|
|
|
00
|
01
|
010
|
00007
|
00041
|
Азаров Кирилл, 10а
|
10
|
2
|
10
|
1999
|
2
|
1
|
|
|
00
|
01
|
010
|
00020
|
00019
|
Быкова Нина, 10а
|
10
|
1
|
12
|
1999
1998
|
2
|
|
n
|
Год рождения, он не подходит под критерий участников исследования PISA
|
00
|
01
|
010
|
00006
|
00022
|
Дубилина Вера, 10а
|
10
|
1
|
08
|
1999
|
2
|
2
|
3
|
|
00
|
01
|
010
|
00022
|
00023
|
Егорова Мария, 9в 6в
|
9 6
|
1
|
09
|
1999
|
1
|
|
n
|
Класс не подходит под критерий участников исследования PISA
| |
