4.3. Контрольные проверки на полевом уровне
Контролирующие меры на этапе полевых работ предназначены для получения раннего сигнала о допущенных нарушениях и пропусках, которые могут быть исправлены до начала работ по вводу данных.
Целью контрольных проверок является:
1. Проверка соблюдения процедур проведения обследования на полевом уровне установленной методологии.
2. Содействие устранению систематических ошибок, если они были выявлены в ходе проверки.
Виды контрольных проверок в полевых условиях:
проверка процесса проведения опросов интервьюером в домохозяйствах;
контрольные опросы с посещением домохозяйства (по ограниченному кругу вопросов);
телефонные и почтовые контрольные интервью (с учетом сроков проведения Комплексного наблюдения условий жизни населения, рекомендуется контрольное интервью по телефону).
Контрольные проверки осуществляются как специалистами отдела ТОГС, ответственного за проведение обследования, так и работниками внештатной службы (руководителями групп и инструкторами) в период (или после) проведения опросов интервьюерами. План-график контрольных проверок должен предусматривать проведение проверок в отношении каждого интервьюера, проводящего опросы по программе комплексного наблюдения условий жизни населения, и распределен как на дни проведения опросов (начиная после нескольких первых дней проведения опросов), так и на дни после завершения опросов. Период проведения опросов является наиболее насыщенным по выполнению интервьюерами различных видов работ, связанных с проведением обследования на полевом уровне, что позволит проверяющим охватить во время проверки возможно большее число возникающих проблем.
Проведение контрольных проверок осуществляется с непосредственным выездом на участки наблюдения проверяющего лица, или посредством телефонного контроля.
Рекомендуется проведение полевого контроля не менее, чем в 10% домохозяйств, участвующих в обследовании,.
С учетом данных рекомендаций, при выезде на участок наблюдения комплексного наблюдения условий жизни населения проверяющий должен осуществить:
визуальный контроль находящихся на момент контрольной проверки на руках у интервьюера вопросников;
посетить 1-2 домохозяйства с проведением опроса интервьюером (по случайно выбранным адресам из не посещенных интервьюером);
посетить 2-3 домохозяйства с контрольным опросом (по случайно выбранным адресам из уже охваченных обследованием);
проверить правильность ведения интервьюером отчета о проведении опросов.
Перед выездом на проверку проверяющий должен систематизировать все замечания, данные интервьюеру по представленным им ранее заполненным вопросникам (если таковые имеются), и наметить конкретные вопросы, которые необходимо специально рассмотреть с интервьюером в процессе предстоящей проверки.
4.4. Проверка процесса проведения опросов интервьюером
Оценка процесса проведения опросов интервьюером, применяется в целях контроля за его деятельностью и способностью установить положительный контакт c членами домохозяйств, и предусматривает присутствие проверяющего во время проведения интервьюером опроса.
Задача проверяющего при проведении опроса состоит в том, чтобы оценить и улучшить работу интервьюера, выявить ошибки и неправильные представления, которые нельзя обнаружить посредством применения визуальных поверок и проверками с применением компьютерных программ. Распространена ситуация, когда заполненный вопросник формально не содержит ошибок, но интервьюер при этом задал ряд вопросов неточно.
Во время опроса, проверяющий должен сидеть (стоять) достаточно близко, чтобы видеть какие записи делает интервьюер. Это позволит оценить правильность интерпретации интервьюером ответов респондента и соблюдение порядка перехода к другим вопросам или разделам. При этом важно отметить неясности и моменты, которые следует позже обсудить с интервьюером. Проверяющий не должен вмешиваться в опрос во время его проведения, ему необходимо стараться вести себя таким образом, чтобы не нервировать и не смущать интервьюера или респондента. Вмешательство проверяющего возможно только в тех случаях, когда интервьюер совершает серьезные ошибки. Интервьюер должен быть предупрежден, что ему не разрешается обращаться к проверяющему за советом во время интервью.
При проверке качества проведения интервью, необходимо обратить внимание на то, как интервьюер поддерживает контакты с респондентом, владеет ли разговором, не допускает ли неловких пауз, не оказывает ли влияние на ответы опрашиваемых, хорошо ли знает инструментарий (вопросники и инструкции к ним), какие вопросы являются наиболее трудными для респондента, проявил ли интервьюер достаточно настойчивости, чтобы получить определенный ответ респондента на все вопросы и т.д. Важно проследить делает ли интервьюер необходимые пометки на полях вопросника для последующего заполнения раздела «Примечания интервьюера» в конце вопросников.
Необходимо также проверить включен ли адрес, по которому проводится рекрутирование, в «Списки отобранных домохозяйств, включая резервный массив».
Все замечания проверяющий заносит в «Отчет по результатам проверки проведения опроса интервьюером» (приложение № 7) непосредственно на месте ведения опроса.
В конце Отчета проверяющим должна быть проставлена общая оценка работы интервьюера по результатам проверки. Оценка определяется в зависимости от соотношения оценок «да» или «нет». Преобладание «да» означает удовлетворительную работу интервьюера, «нет» - говорит о том, что оценка работы интервьюера неудовлетворительная, и он должен повысить качество своей работы. В зависимости от количества оценок «нет» может быть принято решение о необходимости проведения дополнительного инструктажа этого работника.
После каждого контрольного опроса проверяющий и интервьюер должны обсудить работу последнего.
4.5. Контрольное интервью
Контрольные интервью очень важны для поддержания стандартов проведения опросов на высоком уровне, даже среди добросовестных интервьюеров.
Данный вид контроля работы интервьюера предполагает повторное посещение проверяющими тех домохозяйств, опросы которых уже завершены. Повторное посещение респондентов должно носить случайный характер. Интервьюеры, в принципе, должны быть в курсе того, что проведение контрольных интервью возможно, но они не должны знать заранее, в каких домохозяйствах конкретно эти интервью будут проведены и какие вопросы будут заданы домохозяйству повторно.
В ходе контрольного интервью проверяющие выясняют, был ли интервьюер в домашнем хозяйстве, с кем именно велась беседа, задают несколько вопросов из вопросника.
Контрольные интервью должны занимать до 15 минут.
Программа контрольного интервью приведена в приложении № 8 «Анкета контрольного интервью». При подготовке к контрольному интервью проверяющий должен вписать в Анкету контрольного интервью из заполненных вопросников 3-5 вопросов с вариантами ответа на них респондентов. При этом целесообразнее отбирать вопросы, вероятность изменения ответов на которые, в период между интервью и контрольным интервью, незначительна (возраст членов домохозяйства, занятость, сведения о жилье и т.п.).
Разница в ответах во время контрольного и первоначального интервью, еще не говорит о том, что интервьюер выполнил свои обязанности недобросовестно (возможны случаи проведения контрольного интервью с разными респондентами; в разное время одни и те же респонденты могут сообщать разную информацию). Однако наличие неоднократно выявленных расхождений указывает на то, что надо дополнительно поработать с интервьюером на предмет поиска возможных причин таких расхождений.
4.6. Контрольное интервью по телефону
Контроль качества работы интервьюера может быть проведен также по телефону. Преимуществами этого вида контроля является существенное сокращение потребности в затратах времени специалистов на выезды на места при увеличении охвата интервьюеров и домохозяйств контрольными мероприятиями. При проведении контроля необходимо вести тщательный учет домохозяйств, к которым обратились с контрольными вопросами и полученных или неполученных от них ответов.
Количество поверок по телефону не ограничено. Охват данными видами проверок должен быть максимально возможным относительно домохозяйств, которые не были включены в контрольные опросы или не посещены с опросом вместе с интервьюером (с учетом временного периода проведения обследования).
Проведение контроля качества работы интервьюера по телефону проводится также по Анкете контрольного интервью, приведенной в приложении № 8 к настоящей инструкции.
В случае явного несоответствия информационных данных респондента, полученных в ходе контрольного интервью, с начальными данными, предоставленными интервьюером, проверяющий обязан исправить начальные данные в вопросниках (красным цветом) и считать достоверной ту информацию, которая была получена в результате контроля.
4.7. Порядок оформления результатов проверки работы интервьюеров
По результатам проверки, проверяющий должен указать интервьюеру на все имеющиеся в его работе недостатки и помочь разобраться во всех непонятных для интервьюера вопросах.
Результаты проверок оформляются актами. Акт составляется в присутствии интервьюера по месту проведения проверки.
Проверяющий описывает выполненный в ходе проверки объем работ, подробно описывает все достоинства и недостатки, установленные при проверке интервьюера. Отмечается, выполняет ли интервьюер все требования и задания ТОГС, а также записываются предложения по улучшению работы интервьюера.
В случае выявления отсутствия адреса фактически опрошенного домохозяйства в «Списке отобранных адресов, включая резервный массив» интервьюер обязан исправить свою ошибку и провести опрос домохозяйства по одному из адресов, предоставленных ему ТОГС. Если выявлены неоднократные нарушения подобного рода, осуществляется 100%-ная проверка соответствия адресов опрошенных домохозяйств форме № 3-отбор «Списка отобранных адресов, включая резервный массив», составленной ТОГС.
При выявлении каких-либо существенных и многочисленных несоответствий в ответах респондентов с данными вопросников, вопросники возвращаются интервьюеру на проведение повторных интервью. Если повторное интервью невозможно, интервьюер проводит дополнительные интервью по адресам формы № 3-отбор «Списка отобранных адресов, включая резервный массив», не задействованных при рекрутировании домохозяйств для участия в обследовании.
Акт составляется в 2-х экземплярах: один экземпляр акта передается интервьюеру, второй представляется в ТОГС. К акту прилагаются Отчет по результатам проверки проведения опроса интервьюером, Анкеты контрольных интервью, заполненные по результатам проверки. Форма акта приведена в приложении № 12.
Результаты контрольных мероприятий являются основанием для применения определенных санкций к интервьюерам, не справляющихся со своими обязанностями. По итогам проверок работы интервьюеров рекомендуется подготовка общего обзора по обнаруженным ошибкам и анализ причин их возникновения.
4.8. Контроль при автоматизированной обработке
Как правило, компьютерные программы, применяемые для обработки итогов выборочных обследований, позволяют оценить как в целом качество информационного массива, так и качество работы отдельного интервьюера с точки зрения отклонения полученных результатов от средних значений («выбросы»).
В этих целях, прежде всего, рассматривается распределение ответов респондентов на вопросы на предмет выраженной асимметрии за счет ответов нескольких респондентов. При наличии «выбросов» необходимо определить, в каких вопросниках наблюдаются существенные отклонения от средних значений. Такие вопросники должны пройти повторный визуальный и телефонный контроль, а при необходимости возвращены интервьюеру на проведение повторного опроса.
Компьютерный контроль, в частности, может выявить наличие у интервьюера больше нормы ответов «затрудняюсь ответить» или «отказ от ответа». Это обстоятельство должно стать предметом обсуждения с конкретным интервьюером, а также специальным вопросом для включения в дальнейшем в программу обучения или инструктажа интервьюеров.
Вместе с тем, наибольшая ценность компьютерного контроля состоит в проверке логических связей, которые сложно полностью отследить при визуальном контроле вопросников. Задача отдела ТОГС, ответственного за организацию и проведение Комплексного наблюдения условий жизни населения, добиться полного отсутствия ошибок по «жестко» установленным правилам формально-логического контроля и минимального количества логических отступлений, которые данными правилами допускаются. Содержание и объем протокола контроля, полученного на Федеральном уровне по итогам Комплексного наблюдения условий жизни населения, представленных ТОГС, явится основным критерием оценки качества работы Регионального уровня.
|
