ПОЛЕВЫЕ ЭКСПЕРИМЕНТЫ И НЕЭКСПЕРИМЕНТАЛЬНЫЕ ПРОГРАММЫ
Политологи по характеру своей деятельности редко работают в лабораториях. Они скорее наблюдают события в естественной обстановке, где меньше возможности контролировать факторы, которые могли бы повлиять на результаты исследования. В тех случаях, когда исследователи могут управлять независимой переменной и контролировать реакцию испытуемых, но не в состоянии контролировать другие аспекты ситуации, они могут проводить полевые эксперименты. В этих исследованиях используется экспериментальная программа, в которой испытуемые систематически распределяются на экспериментальную и контрольную группы. Примерами полевых экспериментов являются различные эксперименты по “отрицательному подоходному налогу”, проводимые в США6. Эти исследования использовались для измерения воздействия автоматических благотворительных выплат в форме отрицательного подоходного налога на образ жизни и усердие в работе, характеризующие испытуемых. Исследователи могли контролировать, кто из испытуемых получил выплаты в виде отрицательного подоходного налога, но они не могли проконтролировать другие релевантные аспекты ситуаций, в которых находились испытуемые. Например, исследователи не могут гарантировать сохранение здоровья и семейного статуса испытуемого или возможность получить работу в данном месте. Такое положение создавало трудности при отделении воздействия благотворительных выплат от других возможных причин изменений в поведении испытуемых, однако оно имело явные преимущества, позволяя осуществить проверку воздействия отрицательного подходного налога на практике. Лабораторный эксперимент, даже если бы его можно было организовать, не был бы столь же успешным, так как нельзя быть уверенным, что результаты, полученные в таких искусственных условиях, точно отражают то, что происходит в окружающем мире. И это – главное преимущество [c.137] полевых экспериментов перед лабораторными исследованиями.
В полевых экспериментах исследователи с большой тщательностью подбирают испытуемых и осуществляют случайное распределение на экспериментальную и контрольную группы, чтобы хоть как-то контролировать фоновые характеристики, которые могут воздействовать на результаты. Они также внимательно следят за условиями, в которых находятся испытуемые на протяжении эксперимента, чтобы исключить альтернативные гипотезы, которые соотносят наблюдаемые результаты с внешними событиями, происходящими во время эксперимента. (Например, все те испытуемые, которые по состоянию здоровья оказывались неспособны работать, исключались из эксперимента по отрицательному подоходному налогу, так чтобы их безработное состояние нельзя было интерпретировать как реакцию на благотворительные выплаты.)
Во многих случаях политологи не в состоянии управлять даже независимой переменной. Вы вполне можете представить себе, насколько трудно убедить одни народы совершить революцию, а других повременить с ней, чтобы провести полевой эксперимент по воздействию революций на политическое развитие! Чем сложнее исследуемый объект, тем меньше вероятность, что мы сможем контролировать его. В этих условиях исследователи должны попытаться приблизиться к экспериментальной программе, как будет описано в следующем разделе, или же обратиться к неэкспериментальной программе.
В неэкспериментальных исследованиях ученые не в состоянии контролировать ни распределение испытуемых по экспериментальным группам, ни распространение независимой переменной, не могут они получить и предварительные оценки для зависимой переменной. Они могут быть вынуждены использовать то, что называют программой постфактум, в которой одно-единственное наблюдение осуществляется после того, как произошло предполагаемое каузальное событие. Иногда может добавляться “контрольная группа” сходных испытуемых, не подвергавшихся воздействию независимой переменной, и различия в оценках двух групп связываются с воздействием независимой переменной. Однако такие программы не позволяют делать надежные выводы относительно [c.138] воздействия независимой переменной, так как не дают возможности исключить даже самые простые альтернативные гипотезы. Например, мы не можем быть уверены даже в том, что значение зависимой переменной, наблюдаемое после воздействия независимой переменной, хоть в какой-то степени отличается от значения зависимой переменной до этого воздействия. Неэкспериментальные программы подходят только для описательных или поисковых, а не для объяснительных исследований. [c.139]
КВАЗИЭКСПЕРИМЕНТАЛЬНЫЕ ПРОГРАММЫ
Большинство исследовательских программ, используемых политологами, можно определить как квазиэкспериментальные. В этих исследованиях невозможно контролировать воздействие независимой переменной или условия, при которых оно происходит, однако исследователи пытаются имитировать экспериментальную программу, либо собирая дополнительные данные, либо используя методы анализа данных. Правильно составленные квазиэкспериментальные программы дают такую возможность, как если бы были использованы все контрольные характеристики настоящего эксперимента; они являются надежной логической основой для получения причинных выводов.
Возможно, наиболее простым типом квазиэкспериментальных программ в политологии является эксперимент ех post facto. В ходе этого эксперимента исследователи осуществляют одно наблюдение и собирают данные о независимой и зависимой переменных и обо всех других переменных, которые, по их мнению, следует контролировать. Если, например, мы хотим изучить воздействие высшего образования на поведение избирателей, мы можем провести исследование на случайно выбранных испытуемых. Затем мы анализируем наши данные, чтобы определить, действительно ли люди, сходные в других отношениях (например, сточки зрения расовой принадлежности, пола, возраста, места жительства), но имеющие разный уровень образования, голосуют по-разному. Для этого существуют более тонкие статистические методы, но проще всего рассортировать наших респондентов по таблицам взаимной сопряженности признаков, так чтобы можно было исследовать соотношение между образованием и участием в выборах в разных категориях [c.139] других переменных, рассматривая, например, только женщин или только мужчин, которые посещали или не посещали колледж.
Эта процедура позволяет нам поступать таким образом, как если бы мы, начав эксперимент много лет назад, распределили людей по экспериментальным группам, проанализировали, как воздействует на мотивы их голосования высшее образование (независимая переменная), а потом опять исследовали бы их, чтобы понять, как повлияло образование на их участие в выборах. Члены нашей выборки, не имеющие высшего образования, но в остальных отношениях похожие на тех, кто его имеет, выступают в качестве контрольной группы. Поскольку у нас не было предварительного теста, мы не можем быть уверены, что именно высшее образование явилось причиной всех наблюдаемых отличий в голосовании, но, использовав дополнительные данные, полученные в процессе исследования, мы можем исключить некоторые возможные конкурирующие гипотезы и рассчитывать, что случайное формирование выборки нейтрализует влияние переменных, которые мы не можем проконтролировать при анализе данных.
Бывают ситуации, когда мы не можем воспользоваться случайной выборкой и не можем подобрать сравнимые контрольные группы. Это происходит в том случае, если количество наших единиц анализа невелико или они уникальны с точки зрения многих релевантных аспектов. Примером может служить ситуация, когда городские власти хотят узнать результат воздействия административной реорганизации на стоимость муниципальных услуг. Чтобы ответить на этот вопрос, политологам следует использовать другую распространенную программу, известную как программа измерения временного ряда.
В программах измерения временного ряда исследователь делает несколько наблюдений как до, так и после введения некоторого каузального явления и сравнивает значения зависимой переменной до и после такого введения. В нашем примере политологи могли бы использовать городские архивы для сравнения стоимости муниципальных услуг на душу населения до и после административной реорганизации. (Им придется учитывать расходы на душу населения и следить за инфляцией, чтобы исключить возможность воздействия на эту стоимость увеличившегося населения города [c.140] или роста цен независимо от влияния реорганизации.) Рис.4.1, 4.2, 4.3 иллюстрируют некоторые возможные результаты такого исследования.
Рис. 4.1. Гипотетическая тенденция динамики расходов городских служб, демонстрирующая коренное изменение первоначальной тенденции
Рис. 4.2. Гипотетическая тенденция динамики расходов городских служб, демонстрирующая отсутствие воздействия со стороны реорганизации
Рис. 4.3. Гипотетическая тенденция динамики расходов городских служб, демонстрирующая, что реорганизация изменила уровень расходов, но не нарушила тенденции
В некотором смысле программы измерения временного ряда используют в качестве контрольной группы один и тот же объект (или множество объектов), только на более раннем этапе. Если в динамике значений зависимой переменной до введения независимой переменной имеется некая отчетливая тенденция, мы считаем, что эта тенденция сохранилась бы, не будь независимой переменной; в качестве показателя воздействия независимой переменной мы используем различия между наблюдаемыми значениями зависимой переменной и теми значениями, которые она имела бы в случае сохранения тенденции.
Рис.4.1 иллюстрирует данное рассуждение. Если данные оказываются такими, как представлено на этом рисунке, городские власти с радостью обнаружат, что реорганизация не только уменьшила расходы служб, но также коренным образом изменила тенденцию в направлении устойчивого снижения расходов. Результат воздействия реорганизации в любом данном году может быть измерен в виде разницы между значением, предсказанным для [c.141] данного года на основе первоначальной тенденции, и наблюдаемым значением. Согласно рис.4.1, для 1995 г. результат воздействия реорганизации на расходы служб составляет 50 долларов. Если данные оказываются такими, как показывает рис.4.2, предсказываемые и наблюдаемые значения будут совпадать и можно будет считать, что реорганизация не оказала воздействия на расходы. Рис.4.3 иллюстрирует случай, когда реорганизация вначале уменьшила расходы, но не повлияла на тенденцию. В то время как рис.4.1 демонстрирует, что общий результат реорганизации за четыре года составил 325 долларов, рис.4.3 демонстрирует результат лишь в размере 25 долларов.
В некоторых случаях тенденция, с которой мы имеем дело, не так отчетлива и устойчива, как в данном примере. Пусть, например, городская полиция, озабоченная ростом количества арестов за проституцию, организует кампанию по борьбе с этим явлением и затем хочет узнать, насколько она была успешна. Рис.4.4 демонстрирует, какого рода данные могли быть собраны на протяжении десятилетнего периода. Значения зависимой переменной (аресты за проституцию) [c.142] в разные годы на протяжении указанного периода то возрастают, то уменьшаются. Задача исследователя – определить, есть ли существенное отличие между общей тенденцией, следующей за проведенной кампанией, и общей тенденцией, предшествующей проведению кампании. Один из способов решить эту задачу заключается в сравнении среднегодового количества арестов за проституцию в годы, предшествующие кампании и следующие после нее. (Среднее количество арестов в том и другом случаях равно в данном примере девяти.) Если мы будем считать, что без проведения кампании тенденция осталась бы прежней, то различие между двумя средними значениями можно использовать как показатель воздействия кампании на уровень арестов за проституцию. Другой способ – сравнить линии тенденций (представленные на рис.4.4 пунктирной линией), проходящие через разбросы значений зависимой переменной в период до кампании и после нее, чтобы определить, различаются ли общие тенденции.
Рис.4.4. Гипотетическая тенденция динамики количества арестов за проституцию, демонстрирующая отсутствие результатов после проведения кампании по борьбе с проституцией
Этот пример иллюстрирует одно из важных достоинств программ измерения временного ряда. Если мы отмечаем количество арестов только в 1994 и 1996 гг. (как в типичном [c.143] исследовании “до введения стимула – после введения стимула”), мы можем сделать вывод, что полицейская кампания уменьшила количество арестов за проституцию. Однако данные измерений временного ряда позволяют увидеть, что падение числа арестов с 1994 по 1996 г. – нормальная флуктуация относительно общей тенденции (представленной пунктирной линией), которая остается не затронутой полицейской акцией.
Помимо сильной стороны, программы измерения временных рядов имеют и свою слабую сторону. Во многих случаях у нас нет контрольной группы, и поэтому мы не можем с уверенностью сказать, каковы результаты воздействия независимой переменной, так как не знаем точно, каким было бы значение зависимой переменной в отсутствие независимой переменной; мы можем лишь предполагать, что исходная тенденция сохранится. Однако по многим причинам это может оказаться ошибкой. Одна из наиболее важных причин (в терминологии Д.Кэмпбелла и Дж.Стэнли) – регрессия к среднему7. Это явление ставит под сомнение валидность выводов, сделанных на основании многих исследовательских программ. [c.144]
В самом общем виде регрессия к среднему – это процесс, в ходе которого объекты исследования, имеющие в определенный момент крайние значения по зависимой переменной, при последующих измерениях естественным образом стремятся вернуться к значению по этой переменной, более близкому к среднему, вне зависимости от того, подвергались ли они воздействию некоторой гипотетической независимой переменной. Если такая регрессия к среднему происходит в момент исследования, то исследователь может ошибочно принять естественную регрессию за результат воздействия независимой переменной. Это может представлять собой особую проблему в тех случаях, когда объекты исследования подвергаются воздействию независимой переменной именно потому, что у них появляются необычные значения зависимой переменной.
В нашем последнем примере полиция провела кампанию из-за исключительно большого числа арестов за проституцию. Такое положение было отклонением от нормы для данного города, и оно могло бы исправиться само по себе, даже если бы полиция ничего не предпринимала. Чтобы исключить регрессию в качестве альтернативного объяснения, можно применить программу контролируемых временных рядов.
Рис. 4.5. Гипотетическая тенденция динамики арестов за проституцию в обследуемом городе и в группе контрольных городов
В программе контролируемых временных рядов мы собираем данные об объекте или множестве объектов, которые во всех существенных отношениях сходны с исследуемым объектом или группой объектов, но не подвергались воздействию независимой переменной; и этот объект или группа объектов используется в качестве контрольных при оценке результатов воздействия независимой переменной. В нашем примере можно выбрать один или несколько городов, очень похожих на тот, в котором проводилась кампания по борьбе с проституцией (притом что в этих городах политика в отношении проституции не менялась), и посмотреть количество арестов за те же самые годы. Рис.4.5 демонстрирует некоторые возможные результаты. Сравнивая исследуемый город (в котором проводилась кампания) с группой похожих городов, мы можем заметить, что в отличие от изменившейся тенденции динамики арестов за проституцию в обследуемом городе в период до 1995 г. среднее количество арестов в контрольных [c.145] городах резко возрастает. Это наводит на мысль, что, хотя кампания по борьбе с проституцией не смогла изменить тенденцию, характерную для обследуемого города, она, возможно, предотвратила воздействие тех событий, которые вызвали рост числа арестов в других городах, похожих на данный. В этом случае мы используем различие между показателями для обследуемого города в период после кампании и показателями для контрольных городов в том же году в качестве меры воздействия независимой переменной, исходя из предположения, что, если бы не действия полиции, ситуация в обследуемом городе складывалась бы так же, как и в остальных, похожих на него городах. Например, в 2000 г. воздействие кампании расценивалось как два ареста на тысячу жителей.
В данном примере применение более строгой программы исследований уберегло бы нас от явно [c.146] неверного вывода, что программа, послужившая в качестве эффективного сдерживающего средства, не оказала никакого влияния. [c.147]
|
