Рис. 1. Схема формирования выборки образовательных организаций субъектов
Число выбираемых образовательных организаций в каждом из 4 субъектов определялось с учетом «веса» данного субъекта в исследуемой популяции и наполняемости ОО учащимися обследуемой популяции в данном регионе. При этом согласно требованиям международного координационного центра число образовательных организаций в любом выбранном регионе не должно быть менее 4.
Число образовательных организаций, выбираемых в каждом из отобранных регионов, приведено в Таблице 2.
Помимо внешней (эксплицитной) стратификации образовательных организаций – распределения по стратам (субъектам), – проводилась и так называемая внутренняя (имплицитная) стратификация – распределение ОО по объективным характеристикам, выбранным для формирования выборки (рис.2). Для формирования выборки исследования ICCS в качестве такой характеристики было выбрано расположение ОО. В результате все образовательные организации, содержащие исследуемую совокупность учащихся (кроме исключенных), были разделены на непересекающиеся группы.
Рис. 2. Схема стратификации на этапе отбора образовательных организаций субъекта
Разделение образовательных организаций по расположению и виду населенного пункта основано на схеме, приведенной в Таблице 4. Данная типология принята в Рособрнадзоре для формирования баз данных исследований качества образования.
Таблица 4
Коды типов населенных пунктов, в которых расположены
образовательные организации
Код типа нас. пункта
|
Наименование типа населенного пункта
|
1
|
Населенный пункт сельского типа (село, хутор, деревня и пр.)
|
2
|
Населенный пункт городского типа (рабочий поселок, поселок городского типа и пр.)
|
3
|
Город с населением менее 50 тыс. человек
|
4
|
Город с населением 50-100 тыс. человек
|
5
|
Город с населением 100-450 тыс. человек
|
6
|
Город с населением 450-680 тыс. человек
|
7
|
Город с населением более 680 тыс. человек
|
8
|
г. Санкт-Петербург
|
9
|
г. Москва
|
Процедура отбора образовательных организаций в каждом субъекте включала следующие этапы.
1. Связь с региональными координаторами.
Региональные координаторы предоставили базу данных образовательных организаций региона. Для формирования региональных баз данных Национальный центр направил в регион все необходимые материалы – инструкции по заполнению, справочные материалы, а также файлы-шаблоны, которые упрощают процедуру создания баз данных и сокращают время, необходимое для их создания. Структура региональных баз данных образовательных организаций включает:
Полное наименование образовательной организации (ОО);
Тип населенного пункта, где расположена образовательная организация (из федерального справочника);
Код административно-территориальной единицы, на территории которой находится данная образовательная организация (из регионального справочника, уникальное для региона трехзначное целое число);
Название административно-территориальной единицы;
Почтовый адрес образовательной организации, включая почтовый индекс;
ФИО директора образовательной организации;
Телефоны образовательной организации;
E-mail образовательной организации;
Общее число классов и обучающихся в каждой параллели.
Пример заполнения списка образовательных организаций по шаблону, предоставленному в регион Национальным центром, представлен на рисунке 3.
Рис. 3. Пример заполнения списка образовательных организаций
2. Работа с базами образовательных организаций региона.
До формирования выборки необходимо подготовить базу данных образовательных организаций региона – удалить дубликатные записи; исправить ошибки, допущенные при составлении базы на региональном уровне (объединенные ячейки, ввод информации в несколько строк, ввод информации в текстовом формате вместо числового и др.); выявить и исправить данные, которые нельзя интерпретировать и т.д.
На этой же стадии образовательным организациям присваивались национальные уникальные коды (идентификаторы).
Только после «чистки» базы была проведена процедура выборки образовательных организаций для участия в исследовании.
3. Выборка образовательных организаций.
Выборка образовательных организаций проводилась внутри каждого региона, т.е. для России процедура формирования выборки осуществлялась 4 раза.
Из базы данных образовательных организаций были исключены организации, в которых нет учащихся, обучающихся в 8-х классах. Также из базы исключены специальные образовательные организации (коррекционные, школы-интернаты, детские дома) и экстремально малые школы. Эти исключения зафиксированы в специальных формах (Sampling Forms).
В качестве внутренней страты используется тип населенного пункта, в котором расположена образовательная организация.
Все образовательные организации региона были рассортированы по числу единиц выборки (числом единиц выборки для исследования ICCS выступает наполняемость 8-х классов), при этом сортировка носила маятниковый характер (Таблица 5).
Таблица 5
Сортировка по числу единиц выборки
в исследовании ICCS-2014
Код н/п
|
Наименование населенного пункта
|
Сортировка по числу единиц выборки
|
1
|
Село, хутор, деревня и пр.
|
По убыванию
|
2
|
Поселок
|
По возрастанию
|
3
|
Город с населением < 50 тыс. человек
|
По убыванию
|
4
|
Город с населением 50-100 тыс. человек
|
По возрастанию
|
5
|
Город с населением 100-450 тыс. человек
|
По убыванию
|
и т.д.
|
В процессе формирования выборки для каждой выбранной образовательной организации были определены ОО, которые в случае необходимости будут выступать в качестве замен. Основные характеристики этих образовательных организаций (расположение и наполняемость) соответствовали характеристикам ОО, выбранного для проведения исследования. Замены образовательных организаций разрешаются только в случае, если выбранное ОО закрылось, или если в образовательной организации нет учащихся обследуемой параллели. Каждая замена согласуется с международным координационным центром и протоколируется. В пробном тестировании ICCS-2014 замен произведено не было.
В процессе работы были заполнены Формы формирования выборки (Приложение № 1 к Отчету по проведению апробации пробного исследования ICCS-2014), на основании которых выборка утверждается в Международном координационном центре (таблица 8):
- Информация об исключенных образовательных организациях;
- Информация об общем числе образовательных организациях и учащихся в регионе и о числе образовательных организациях и учащихся в каждой страте (в каждом типе населенного пункта);
- Информация о средней наполняемости 8-х классов по каждому из отобранных регионов и числе выбранных в нем образовательных организаций и учащихся;
- Значения интервала выборки и случайного числа;
- Список всех образовательных организаций региона (только идентификаторы);
- Список отобранных образовательных организаций (только идентификаторы).
После определения всех отобранных для исследования образовательных учреждений составляются списки, включающие информацию об основных образовательных организациях, участвующих в исследовании и образовательных организациях, выступающих в качестве замен. Примеры списков приведены в Таблицах 6 и 7.
Таблица 6
Пример списка образовательных организаций,
отобранных для проведения исследования ICCS
Субъект: Ленинградская область
|
№ п/п
|
ID IC
CS
|
Название ОО
|
Число классов
|
Число
уч-ся
|
ID в базе
|
1-я замена
|
2-я замена
|
1
|
7001
|
Муниципальное казенное общеобразовательное учреждение "Заборьевская средняя общеобразовательная школа"
|
1
|
11
|
10
|
МОУ “Большекол-панская СОШ”
|
МОУ “Оржицкая ООШ”
|
2
|
7002
|
Муниципальное бюджетное общеобразовательное учреждение «Лесогорская средняя общеобразовательная школа»
|
1
|
30
|
95
|
МКОУ “Тельмановская СОШ”
|
МОУ “Щегловская СОШ”
|
3
|
7003
|
Муниципальное бюджетное образовательное учреждение "Вырицкая средняя общеобразовательная школа №1"
|
4
|
98
|
134
|
МОУ “Волосовская СОШ №1”
|
МОУ “Ново
Девяткинская СОШ № 1”
|
4
|
7004
|
Муниципальное бюджетное общеобразовательное учреждение «Лицей г.Отрадное»
|
2
|
52
|
190
|
МОУ “Сланцевская СОШ”
|
МБОУ “Лицей № 1”
|
Таблица 7
Пример заполненной формы образовательных организаций,
отобранных для замены
Таблица 8
Форма с выборкой РФ для Международного координационного центра
На третьем этапе формирования выборки в отобранных образовательных организациях были отобраны учащиеся (классы), которые приняли участие в исследовании. Процедура формирования выборки учащихся 8-х классов в отобранных образовательных организациях включала следующие этапы:
сбор информации о 8-х классах каждой отобранной образовательной организации, учащихся и учителях, преподающих в 8-х классах;
ввод информации об образовательной организации и 8-х классах;
выбор класса или классов;
ввод информации об учащихся отобранного класса;
ввод информации об учителях, преподающих в отобранном классе;
формирование списка учащихся и учителей, которые будут принимать участие в тестировании и анкетировании;
подготовка всей необходимой документации для проведения тестирования и анкетирования.
Описанная выше процедура повторяется для каждого образовательной организации.
После выбора образовательных организаций у регионального координатора была запрошена информация о составе и статусе каждого из 8-х классов образовательной организации и списки учителей этих классов, а также списки учащихся этих классов. Список учащихся является основным документом, на основе которого проводится отбор учащихся для участия в тестировании, формируется пакет с материалами для тестирования и осуществляется статистическая обработка результатов.
Для сбора необходимой информации были использованы специальные электронные Листинг-формы, созданные в программе WinW3S. Примеры списков классов и учащихся приведены на рисунках 4 и 5.
ICCS 2016 FT - Список классов
|
|
|
|
|
|
Страна, регион:
|
Российская Федерация
|
Номер или название школы:
|
МБОУ "Вырицкая СОШ № 1"
|
ID школы:
|
7003
|
Школьный координатор:
|
Артемчук Наталия Викторовна
|
Телефон (мобильный):
|
8-921-327-30-12
|
Телефон (рабочий):
|
8 (81371) 49530
|
Email:
|
vschool1@yandex.ru
|
|
|
|
|
Число учителей, преподающих в 8 классах :
|
21
|
|
|
|
|
|
|
|
|
Название класса
|
Программа обучения
|
Число учащихся
|
Статус исключения
|
8а
|
общеобразоват.
|
25
|
|
8б
|
общеобразоват.
|
25
|
|
8в
|
общеобразоват.
|
21
|
|
8ф
|
общеобразоват.
|
25
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
<_list_end_>
|
Программа обучения (кол. 2): Правила заполнения приведены в Руков. для Шк. координатора. Статус исключения (кол. 4): 1 = в классе обучаются только учащиеся c нарушениями опорно-двигательного аппарата; 2=в классе обучаются только учащиеся с отклонениями в развитии; 3=в классе обучаются только учащиеся, для которых русский язык не является родным.
|
Рис. 4. Список классов для исследования ICCS-2014
ICCS 2016 FT - Список учащихся
|
|
|
|
|
|
|
|
Страна:
|
Российская Федерация
|
|
Название школы:
|
МБОУ "Лесогорская СОШ"
|
|
ID школы:
|
7002
|
|
Номер класса:
|
8
|
|
ID класса:
|
700201
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
No. п/п
|
Фамилия и имя учащегося
|
Дата рождения
|
Пол
|
Статус исключения
|
Язык обучения
|
MM
|
ГГГГ
|
1
|
Агаев Эмин
|
01
|
2000
|
2
|
|
29
|
2
|
Андрушко Александра
|
02
|
2000
|
1
|
|
29
|
3
|
Андрианова Дарья
|
11
|
1999
|
1
|
|
29
|
4
|
Анненков Виталий
|
04
|
2000
|
2
|
|
29
|
5
|
Анненков Даниил
|
05
|
2000
|
2
|
|
29
|
6
|
Волкова Алеся
|
10
|
2000
|
1
|
|
29
|
7
|
Гутич Василий
|
01
|
2001
|
2
|
|
29
|
8
|
Едемская Анастасия
|
09
|
1999
|
1
|
|
29
|
9
|
Загоруйко Лариса
|
11
|
1999
|
1
|
|
29
|
10
|
Иванов Виктор
|
01
|
2001
|
2
|
|
29
|
11
|
Ипатова Татьяна
|
01
|
2001
|
1
|
|
29
|
12
|
Киселева Алена
|
05
|
2000
|
1
|
|
29
|
13
|
Ковшарь Егор
|
08
|
2000
|
2
|
|
29
|
14
|
Козлов Федор
|
08
|
2000
|
2
|
|
29
|
15
|
Кудешова Екатерина
|
12
|
2000
|
1
|
|
29
|
16
|
Ланглиц Иван
|
11
|
2000
|
2
|
|
29
|
17
|
Луконина Мария
|
07
|
2000
|
1
|
|
29
|
18
|
Немцов Юрий
|
07
|
2000
|
2
|
|
29
|
19
|
Олейников Валерий
|
02
|
2000
|
2
|
|
29
|
20
|
Паркин Станислав
|
01
|
2000
|
2
|
|
29
|
21
|
Притулин Владимир
|
09
|
2000
|
2
|
|
29
|
22
|
Рогов Артем
|
06
|
2000
|
2
|
|
29
|
23
|
Рожок Наталья
|
01
|
2001
|
1
|
|
29
|
24
|
Самарин Дмитрий
|
12
|
2000
|
2
|
|
29
|
25
|
Соловьев Анатолий
|
09
|
1999
|
2
|
|
29
|
26
|
Федосеев Дмитрий
|
06
|
2000
|
2
|
2
|
29
|
27
|
Харин Иван
|
04
|
2000
|
2
|
|
29
|
28
|
Шагаева Арина
|
11
|
2000
|
1
|
|
29
|
29
|
Шаповалов Илья
|
09
|
2000
|
2
|
|
29
|
30
|
Чащина Милана
|
10
|
2000
|
1
|
|
29
|
Рис. 5. Список учащихся класса для исследования ICCS-2014
Вся дальнейшая работа с информацией, поступившей из школ, велась с использованием специально разработанного программного обеспечения – программы WinW3S.
С помощью программы WinW3S (Windows Within-School Sampling Software) Исполнитель имел возможность осуществить выборку учащихся с учетом всех требований и правил, определенных экспертами по формированию выборки Центра обработки данных (DPC).
Программа WinW3S позволяет:
– осуществлять выборку учащихся внутри отобранных образовательных организаций;
– создавать все необходимые списки (список учащихся, список учителей) и наклейки на тетради и анкеты. Все шаблоны списков и наклеек поставляются вместе с программным обеспечением;
– использовать файлы, создаваемые DPC в процессе формирования выборки образовательных организаций (или ее утверждения), для их импортирования в программное обеспечение, что позволяет уменьшить объем ручного ввода данных;
– избежать ввода в программу WinDME (программа для ввода данных тестирования и анкетирования) полной информации об участниках исследования (идентификаторов образовательных организаций, класса, информации о дате рождения и поле учащегося, информации об учителях и т.д.). Это достигается путем формирования программой WinW3S специальных контрольных чисел, которые позволяют исключить ошибки ввода в программу WinDME и корректно связать данные тестирования и анкетирования с информацией, введенной в программу WinW3S.
Ниже описаны основные этапы работы с программой.
1. Создание нового проекта (рис. 6).
В окне New Project вводится следующая информация:
– IEA Project – название проекта;
– Regional Module – модуль (дополнительное исследование), в котором участвует страна;
– On-line Data Collection – способ сбора данных (на бумаге или online);
– Import School Data – способ ввода информации (вручную или с использованием файлов, сформированных DPC);
– Tested Grade – класс (параллель), в котором будем проводиться тестирование (например, 7, 8 или 9);
– Teacher Sample Size – размер выборки учителей (по умолчании – 15);
– Default Number of Classes to Sample – число классов, которые будут отобраны в школах (по умолчании – 1).
Рис. 6. Создание нового проекта
Создание нового проекта заканчивается вводом названия страны-участницы, числа используемых вариантов тестов и числа (и названия) языков, на которых будет проводиться тестирование.
2. Ввод основной информации о статусе участия образовательных организациях или импортирование файлов, предоставленных DPC (рис. 7).
В этом же окне указывается информация о школах-заменах на случай отказа участия в исследовании основных ОО.
Рис. 7. Ввод информации о статусе участия ОО
3. Ввод основной информации об образовательных организациях (рис.8, 9).
Далее в окне School Details вводится полная информация о школах:
Country ID – идентификатор страны в международной базе данных (для России – 643);
School ID – идентификатор образовательной организации, сформированный во время выборки;
– National School ID – идентификатор образовательной организации в национальной базе данных;
– School Name – название образовательной организации;
– Stratum ID – идентификатор внешней страты (региона);
– Stratum Name – название внешней страты (региона);
– Measure of Size – число учащихся 8-х классов в образовательной организации;
– Number of Classes in Tested Grade – число 8-х классов в образовательной организации;
– Number of Teachers in Tested Grade – число учителей, преподающих в 8-х классах;
– Sampling Method – метод выборки классов (по умолчании – выбор целого класса);
– Average Class Size – средний размер класса во внешней страте (регионе);
– No of Classes to Sample – число классов, которые будут отобраны для тестирования (количество классов определяется в процессе подготовки выборки);
– School Questionnaire Mode и Default Teacher Questionnaire Mode – метод сбора данных анкетирования администрации образовательной организации и учителей (на бумаге или online);
– No of Teachers to Sample – число учителей, которые примут участие в анкетировании (по умолчании – 15).
|
