III.7.1.1. Проведение тестирования и анкетирования учащихся, анкетирования администрации образовательных организаций
Работа выполнялась с использованием следующего метода:
– Тестирование и анкетирование учащихся, анкетирование администрации в образовательных организациях, отобранных для участия в исследовании.
За организацию и проведение тестирования и анкетирования в отобранных образовательных организациях в 42 субъектах РФ отвечали региональные координаторы. Они осуществляли связь со всеми образовательными организациями, которые вошли от региона в представительную выборку образовательных организаций страны, передавали координаторам образовательных организаций все необходимые материалы для организации исследования в данной образовательной организации (инструктивное письмо координатору образовательной организации, формы для подготовки списков обучающихся, руководство по проведению тестирования), проводили обучение координаторов образовательных организаций в связи с предстоящей работой, организовывали посещение образовательных организаций в дни, назначенные для проведения тестирования.
В каждой отобранной для исследования образовательной организации проводилось компьютерное тестирование и анкетирование учащихся, а также анкетирование администрации образовательной организации.
Региональный координатор должен был рассказать выбранному проводящему тестирование об исследовании, познакомить с инструментарием и методикой проведения тестирования, а также обсудить с ним содержание Руководства по проведению тестирования. Обсуждение проводилось за несколько дней до тестирования для того чтобы разрешить все возможные вопросы заранее.
Для планирования проведения компьютерного тестирования в образовательной организации необходимо было знать распределение времени на выполнение работы. Международным координационным центром для всех стран установлено следующее распределение времени на проведение тестирования учащихся 15-летнего возраста (таблица 7.1).
Таблица 7.1
Распределение времени на проведение компьютерного тестирования
Вид работы
|
Время на выполнение работы учащимися
|
Время, в течении которого должны быть свободны помещения для тестирования
|
Подготовка компьютерного класса
|
|
60 мин (примерно)
|
Регистрация учащихся при входе в систему тестирования и выполнение тренировочного теста
|
15 мин (примерно)
|
15 мин (примерно)
|
Чтение инструкции
|
3 мин (примерно)
|
3 мин (примерно)
|
Тестирование (первый час работы)
|
Две части по 30 мин, 60 мин (ровно)
|
60 мин (ровно)
|
Короткий перерыв
|
Не более 5 мин
|
Не более 5 мин
|
Чтение инструкции к Разделу 2
|
5 мин (примерно)
|
5 мин (примерно)
|
Тестирование (второй час работы)
|
Две части по 30 мин, 60 мин (ровно)
|
60 мин (ровно)
|
Перерыв
|
15 минут
|
15 мин
|
Анкетирование учащихся
|
45 мин (примерно)
|
45 мин (примерно)
|
Завершение работы, сбор материалов
|
5 мин (примерно)
|
5 мин (примерно)
|
Упаковка материалов тестирования и приведение в порядок помещения для тестирования
|
|
30-40 мин (примерно)
|
Всего
|
3 ч 30 мин 3 ч 50 мин (примерно)
|
5 ч 5 ч 20 мин (примерно)
|
В исследовании требовалось, чтобы проводящий тестирование строго соблюдал рекомендованное распределение времени на выполнение теста. Не допускалось давать учащимся дополнительное время на выполнение теста. Это обязательное требование позволяет обеспечить равные условия для обучающихся всех стран, что необходимо для дальнейшего сравнения результатов стран-участниц.
Для контроля за соблюдением данного требования наблюдатель за ходом и качеством проведения тестирования отмечал в Протоколе проведения тестирования время начала и окончания работы учащихся над выполнением теста и анкеты. В Протоколе также фиксировались проблемы, с которыми пришлось столкнуться при проведении тестирования.
Для обеспечения стандартизации процедуры проведения тестирования особое внимание следовало уделить строгому соблюдению следующих правил:
Проводящий тестирование, должен обязательно использовать Список отобранных учащихся в своей работе для того, чтобы проверить информацию о каждом учащемся:
а) в колонках 5-11 необходимо проверить и при необходимости исправить неверную информацию или дополнить отсутствующую информацию о каждом из учащихся: фамилию и имя, класс, пол, месяц и год рождения, программу обучения и код специального обучения.
б) в колонке 12 отмечаются учащиеся, которые не могут принять участие в исследовании PISA. Необходимым условием проведения исследования PISA является обеспечение МАКСИМАЛЬНОГО УЧАСТИЯ в тестировании отобранных учащихся. Однако некоторые из них не могут выполнить тест по ряду причин. Эти причины отмечаются в колонке 12 Списка учащихся, отобранных для тестирования PISA.
Проводящий тестирование после заполнения Списка отобранных учащихся, должен использовать Форму участия в своей работе для того, чтобы проверить информацию о каждом учащемся:
а) каждый учащийся получил свою форму для входа в систему с предусмотренными именно для него формой (вариантом);
б) отметить участие учащихся в тестировании; отметить отсутствующих учащихся или покинувших тестирование по уважительным причинам.
Во время проведения тестирования проводящий должен пользоваться часами для контроля над временем, записывая время начала и окончания работы над тестом в Протоколе проведения тестирования.
Тестирование должно проходить строго по Сценарию.
Проводящий тестирование не должен позволять учащимся разговаривать во время выполнения теста.
Особое внимание следует обратить на то, чтобы Проводящий тестирование с момента начала выполнения теста не отвечал на вопросы учащихся. Нельзя сообщать им никакой дополнительной специальной информации, давать ответы на задания или инструктировать их.
Можно отвечать на вопросы только по процедуре тестирования. Важно, чтобы учащиеся понимали, как они должны отмечать и записывать свои ответы.
Во время тестирования Проводящему тестирование рекомендуется наблюдать за тем, чтобы учащиеся следовали инструкции по выполнению теста.
Учащиеся могут пользоваться калькулятором.
Если ученик по какой-либо причине (например, резко повысилась температура, что-то произошло дома) должен уйти с тестирования после его начала, то его уход, а также причина ухода фиксируются в Форме участия и на тетради ученика. Если ученик вернулся через некоторое время, то в Форме участия записывается время его ухода и возвращения. В данных случаях считается, что ученик принял участие в тестировании. На выполнение теста данному ученику время не увеличивается.
Если ученик опоздал на тестирование, ему разрешается присоединиться к классу, только если тестирование не началось (Проводящий тестирование еще ведет вводную беседу с классом). Если учащиеся вошли в систему и знакомятся с инструкцией, то опоздавшего ученика не допускают до тестирования. Для него может быть организовано дополнительное тестирование в другой день.
Если учащийся отсутствовал на тестировании более 10 минут, он отмечается как «частично присутствующий»; в колонке 9 «Участие в тестировании» Формы участия ему ставится код «2».
Все проблемы, возникшие при проведении тестирования, отмечаются в Протоколе проведения тестирования.
При проведении тестирования не должны присутствовать посторонние люди. Разрешается присутствие только Проводящего тестирование, ИКТ-специалиста, Координатора образовательной организации, Наблюдателя или представителя региональных органов управления образования.
Задания тестов нельзя копировать, а также не допускается осуществлять фото- или видеосъемку во время тестирования. Для повышения качества исследования и надежности его результатов необходимо обеспечить сохранность материалов тестирования.
Тестирование должно было проходить строго по сценарию проведения компьютерного тестирования и анкетирования. Для обеспечения одинаковых условий проведения тестирования во всех странах тестируемые должны получать одинаковые рекомендации. Поэтому обязательно следует прочитать СЛОВО в СЛОВО все указания из сценария, которые нужно дать тестируемым (они выделены жирным шрифтом на сером фоне). Нельзя ничего пропускать или добавлять к указаниям. Не следует сценарий заучивать наизусть.
После окончания тестирования и анкетирования собирались и пересчитывались все USB-носители.
При проведении тестирования необходимо, чтобы в нем приняло участие как можно больше учащихся выбранного для тестирования класса.
Если менее 90% учащихся приняли участие в основном тестировании, то проводится дополнительное тестирование. Дополнительное тестирование проводится так же, как и основное, вскоре после него и только для учащихся, не принимавших участие в основном тестировании по причине отсутствия или технических проблем.
В дополнительном тестировании принимают участие лишь учащиеся, фамилии которых внесены в Списки учащихся. Заменять учащихся нельзя.
Анкетирование администрации образовательной организации проводилось на компьютерах в дни тестирования учащихся. Представитель администрации должен был заполнить анкету, предназначенную для получения следующей информации:
Характеристика образовательной организации
Управление образовательной организацией
Преподавательский состав
Оценка образовательных достижений учащихся и деятельности образовательной организации
Целевые группы
Образовательная среда и отношения в образовательной организации
После завершения работы все материалы исследования координатор образовательной организации передавал Региональному координатору, который отвечал за отправку материалов в Национальный центр.
III.7.1.2. Обеспечение контроля за качеством проведения исследования в 42 субъектах РФ.
Работа выполнялась с использованием следующих методов:
– Инструктаж региональных наблюдателей за ходом проведения исследования в отобранных образовательных организациях.
– Наблюдение за ходом проведения исследования в образовательных организациях региональными наблюдателями.
– Фиксация результатов наблюдения за ходом проведения исследования в образовательной организации в отчетной документации.
Создание института наблюдателей за ходом проведения исследования в отобранных образовательных организациях на федеральном и региональном уровнях является механизмом обеспечения контроля за качеством проведения исследования. Для осуществления контроля необходима подготовка – инструктаж региональных наблюдателей. Инструктаж проходил в строгом соответствии с международными требованиями, сформулированными в документах международного координационного центра, посредством вебинаров и деловой переписки.
Федеральные и региональные наблюдатели за ходом проведения исследования в отобранных образовательных организациях, наблюдая за качеством проведения исследования в регионах в соответствии с международными требованиями по единым методикам, обеспечивали контроль за надежностью и стандартизацией процедур тестирования и анкетирования на региональном уровне, что повышало качество проводимой работы и сопоставимость ее результатов как по регионам страны, так и по странам.
В процессе наблюдения за ходом проведения тестирования в образовательной организации эксперты фиксировали результаты наблюдения в отчетной документации, разработанной международным координационным центром. Зафиксированные результаты наблюдений за ходом проведения исследования в образовательной организации региональными наблюдателями впоследствии анализируются для определения степени сопоставимости результатов. В связи с этим метод фиксации результатов наблюдения является отдельным методом в системе обеспечения контроля за качеством проведения исследования.
Фиксация результатов наблюдений в образовательной организации является механизмом отчетности при контроле качества проведения исследования.
Для осуществления федерального контроля за качеством проведения обследования в регионах, участвовавших в исследовании, был организован выезд независимых специалистов. Все специалисты, выезжавшие в образовательные организации, прошли специальную подготовку для проведения независимых наблюдений за процедурой проведения тестирования и анкетирования. Независимые наблюдатели присутствовали при проведении обследований в 23 образовательных организациях из 4 регионов страны, которые были согласованы с международным координационным центром. В таблице 7.2 представлен список образовательных организаций, которые посещали независимые наблюдатели.
Таблица 7.2
Список образовательных организаций, в которых присутствовали независимые наблюдатели в рамках международного исследования PISA-2015
|
г. Москва, ГБОУ Гимназия №1516
|
|
г. Москва, ГБОУ Гимназия №1528
|
|
г. Москва, ГБОУ СОШ № 2100
|
|
г. Москва, ГБОУ СОШ №1370
|
|
г. Москва, ГБОУ СОШ №1432 «Новая школа»
|
|
г. Москва, ГБОУ СОШ №180
|
|
г. Москва, ГБОУ СОШ №2087 «Открытие»
|
|
г. Москва, ГБОУ СОШ №960
|
|
г. Москва, ГБОУ ЦО №1329
|
|
г. Москва, ГБОУ ЦО №1798 «Феникс»
|
|
Московская область, г. Балашиха, МАОУ Лицей
|
|
Московская область, г. Мытищи, МБОУ СОШ №27
|
|
Московская область, г. Наро-Фоминск, МБОУ СОШ №5
|
|
Московская область, г. Ногинск, МБОУ СОШ №10
|
|
Московская область, г. Пересвет, МБОУ СОШ №5
|
|
Московская область, г. Солнечногорск, МКОУ СОШ №4
|
|
Московская область, г.о. Коломна, МБОУ СОШ №16
|
|
Московская область, с. Новопетровское, МОУ СОШ
|
|
Новосибирская область, г. Новосибирск, МБОУ Гимназия №4
|
|
Новосибирская область, г. Новосибирск, МБОУ СОШ №47
|
|
Новосибирская область, р.п. Колывань, МБОУ СОШ №3
|
|
Новосибирская область, с. Новопокровка, МБОУ СОШ
|
|
Рязанская область, г. Рязань, МБОУ СОШ №53
|
Таким образом, проведение тестирования в образовательных организациях в субъектах Российской Федерации осуществлялось в строгом соответствии с рекомендациями, разработанными международным координационным центром для всех стран-участниц. |
