ЭКСПЕРИМЕНТАЛЬНЫЕ ПРОГРАММЫ ИССЛЕДОВАНИЯ
Цель хорошей программы – дать возможность с максимально возможной степенью уверенности определить результаты воздействия одной переменной на другую. Программы исследования позволяют сделать это, давая возможность в некоторой степени контролировать условия, в которых взаимодействуют переменные. Такой контроль – ключевое понятие для программы. Если после добавления в рацион животных новых кормов какие-то животные на ферме заболевают, фермер не может быть уверен, что причиной болезни являются именно новые корма, так как в то же самое время животные могли пострадать от многих других факторов (например, инсектицидов в питьевой воде). С другой стороны, если в медицинской исследовательской лаборатории обнаруживается, что после введения в рацион новых кормов заболевает необычно большой процент наблюдаемых животных, исследователь скорее может быть уверен, что причина [c.128] болезни – новые корма, поскольку в этой ситуации имеется возможность контролировать условия содержания исследуемых животных и гарантировать, что в процессе наблюдения они не подвергаются воздействию никаких других новых факторов. Обстановка, в которой работает исследователь, в отличие от условий фермы дает возможность частичного контроля.
Программы исследования можно классифицировать по степени контроля, который они обеспечивают. Основное различие, интересное для политолога, – это различие между экспериментальными и квазиэкспериментальными программами.
Эксперимент – классический способ научного доказательства. Он основан на предположении, что изменения в значении одной переменной вызывают изменения в значении другой переменной (например, изменения температуры вызывают изменения вязкости масла). Эксперимент позволяет нам проверить это предположение, подвергнув объекты, обнаруживающие зависимую переменную, воздействию независимой переменной в условиях, дающих нам определенную уверенность в том, что любое наблюдаемое изменение зависимой переменной является результатом изменений независимой переменной.
Для элементарной экспериментальной программы исследования требуется экспериментальная группа, состоящая из лиц, которые будут подвергнуты воздействию независимой переменной, или стимула, и контрольная группа лиц, которые сходны с экспериментальной группой во всех существенных аспектах, но не будут подвергаться воздействию стимула. Значение зависимой переменной в каждой группе измеряется до начала воздействия стимула в ходе так называемого предварительного тестирования (pretest) и затем еще раз после того, как экспериментальная группа подверглась воздействию стимула, в ходе контрольного тестирования (posttest). Вывод о влиянии стимула (независимой переменной) делается на основании сравнения оценок предварительного теста и контрольного теста для каждой группы. Чем больше различие в значениях между предварительным тестом и контрольным тестом в каждой группе, тем большее влияние приписывается независимой переменной. В [c.129] табл.4.1 изображена логическая структура экспериментальной программы исследования. Значение этой исследовательской программы состоит в том, что она позволяет достичь двух условий, облегчающих получение валидных каузальных выводов: сравнения и управления.
Таблица 4.1
Программа классического эксперимента
Группа
|
Момент
времени 1
|
Момент
времени 2
|
Момент
времени 3
|
Формула результата
|
Экспериментальная
|
Предварительный тест
|
Стимул
|
Контрольный
тест
|
Результат (для экспериментальной переменной) = (контрольный тест э – предварительный тест э) – (контрольный тест к – предварительный тест к),
где э – экспериментальная группа, к – контрольная группа
|
Контрольная
|
Предварительный тест
|
–
|
Контрольный
тест
|
Утверждение о том, что одно явление явилось причиной другого, основывается на понятии изменения. Прежде чем утверждать, что имело место причинное воздействие, мы должны быть в состоянии продемонстрировать, что произошло некоторое изменение, а понятие изменения предполагает сравнение. Мы должны иметь возможность сравнивать значения зависимой переменной до того, как исследуемые объекты были подвергнуты воздействию независимой или каузальной переменной со значениями зависимой переменной после такого воздействия; и кроме того, если это возможно, следует сравнить значения зависимой переменной после воздействия с некоторым показателем, задающим эти значения в отсутствие какого бы то ни было воздействия. Экспериментальная программа, с ее процедурой предварительного – контрольного – тестирования, с ее экспериментальной и контрольной группами, создает условия для сравнений обоих типов.
Чтобы обрести уверенность, что одна переменная оказывает причинное воздействие на другую, мы должны [c.130] располагать информацией, кто из обследуемых подвергался воздействию независимой переменной, а кто нет, так чтобы мы могли сделать необходимые сравнения. Классический эксперимент дает такую информацию, так как независимую переменную вводит сам исследователь. Ученый управляет обстановкой, окружающей обследуемых, так что причинное воздействие происходит не по воле случая. Кроме того, исследователь контролирует обстановку таким образом, чтобы гарантировать, что все другие возможные причины изменения зависимой переменной в течение времени воздействия независимой переменной на объекты исследования из эксперимента устранены.
Многие другие программы основаны на логической структуре классического эксперимента, однако в них имеются модификации, предназначенные специально для ученых. Их потребность в более тщательно разработанных программах в значительной степени объясняется тем, что (1) часто на объекты их исследования оказывает влияние сам процесс исследования (например, поведение людей может меняться, если они знают, что за ними наблюдают) и (2) объекты их исследования не статичны, а постоянно меняются (например, оценки людей могут варьироваться в зависимости от ситуации). Возможности учета этих фактов иллюстрируются на примере двух экспериментальных программ, разработанных Р.Л.Соломоном5.
Первая программа нацелена на один из аспектов проблемы реактивности – так называемый тест-эффект. Когда объекты эксперимента подвергаются предварительному тестированию, всегда существует возможность, что их оценка в контрольном тесте будет складываться как из реакции на стимул, так и из реакции на сам предварительный тест. Любое различие между оценками предварительного и контрольного тестов, возникающее исключительно в результате реакции на предварительный тест, известно под названием тест-эффекта. Если нам необходимо получить точную картину воздействия стимула на поведение, мы должны уметь удалять из оценок этот тест-эффект. Сделать это позволяет предложенная Р.Соломоном программа исследования с двумя контрольными группами, представленная в табл. 4.2. [c.131]
Таблица 4.2
Программа эксперимента с двумя контрольными группами, разработанная Р.Соломоном
Группа
|
Момент
времени 1
|
Момент
времени 2
|
Момент
времени 3
|
Формула результата
|
Экспериментальная
|
Предварительный тест
|
Стимул
|
Контрольный
тест
|
Результат = [(контрольный тест э – предварительный тест э) – (контрольный тест к1 – предварительный тест к1)] – (контрольный тест э – контрольный тест к2)
|
Контрольная 1
|
Предварительный тест
|
–
|
Контрольный
тест
|
Контрольная 2
|
–
|
Стимул
|
Контрольный
тест
|
Программа почти такая же, как в классическом эксперименте, различие состоит только в том, что добавлена третья группа. В третьей группе (контрольной группе 2) есть стимул и есть контрольный тест, но нет предварительного теста. В то время как различия между оценками предварительного и контрольного тестов в экспериментальной группе могут быть обязаны своим происхождением и предварительному тесту, и стимулу, те же самые различия в контрольной группе 1 могут возникать только под воздействием предварительного теста, а в контрольной группе 2 – только под воздействием стимула. Если мы вправе предположить, что первоначально значение зависимой переменной во всех группах фактически одно и то же и что группы прореагировали на стимул одним и тем же образом, то различие между оценками контрольного теста в экспериментальной группе и оценками контрольного теста в контрольной группе 2 и будет демонстрировать тест-эффект. Тогда воздействие самой независимой переменной (стимула) можно измерить, вычтя тест-эффект из общего результата эксперимента (последний подсчитывается по той же формуле, которая используется для оценки результатов программы классического эксперимента). Формула результата в табл. 4.2 представляет это рассуждение в алгебраическом виде.
Итак, программа с двумя контрольными группами позволяет нам оценить и, как мы надеемся, исключить тест-эффект как альтернативное объяснение наблюдаемых изменений в оценках испытуемых. Существуют, однако, другие возможные причины изменения оценок [c.132] зависимой переменной в группах в контрольном тесте по сравнению с предварительным. Одна из причин – воздействие внешних факторов, находящихся вне контроля экспериментатора. Другая причина – естественные изменения, происходящие с испытуемыми вне связи с экспериментом (такие, как старение, изменения в ходе длительных экспериментов или умственное утомление). Воздействие таких посторонних факторов можно оценить (и тем самым исключить в качестве конкурирующего объяснения результатов эксперимента), используя программу Р. Соломона с тремя контрольными группами (см. табл. 4.3).
Таблица 4.2
Программа эксперимента с двумя контрольными группами, разработанная Р.Соломоном
Группа
|
Момент
времени 1
|
Момент
времени 2
|
Момент
времени 3
|
Формула результата
|
Экспериментальная
|
Предварительный тест
|
Стимул
|
Контрольный
тест
|
Результат = [(контрольный тест э – предварительный тест э) – (контрольный тест к1 – предварительный тест к1)] – [(контрольный тест к2) + (контрольный тест э – контрольный тест к3)]
|
Контрольная 1
|
Предварительный тест
|
–
|
Контрольный
тест
|
Контрольная 2
|
–
|
Стимул
|
Контрольный
тест
|
Контрольная 3
|
–
|
–
|
Контрольный
тест
|
В этой программе добавлена третья контрольная группа, не получающая ни предварительного теста, ни стимула. Любое различие между оценками предварительного и контрольного тестов в этой группе может возникать только за счет влияния посторонних факторов. Если мы способны вычесть это различие из результата эксперимента, значит, мы способны устранить результаты воздействия посторонних факторов и изменения, которые происходят в результате такого воздействия у испытуемых; и мы можем надеяться исключить альтернативную гипотезу, состоящую в том, что именно эти воздействия, а не независимая переменная были причиной изменения оценки в экспериментальной группе от момента 1 до момента 3. [c.133]
Трудность состоит в том, что контрольная группа 3 не подвергалась предварительному тесту. Как же определить, насколько изменились оценки этих испытуемых с момента 1 до момента 2? Если все наши группы в основном сходны между собой, мы можем считать, что их оценки в предварительном тесте должны были быть очень близки, и просто приписать контрольной группе 3 в предварительном тесте оценку, равную усредненным оценкам экспериментальной и первой контрольной групп. Тогда мы можем вычесть эту оценку из оценки контрольной группы 3 в контрольном тесте, чтобы получить меру изменения, возникающего вследствие воздействия посторонних факторов и естественных изменений, происходящих с испытуемыми. Устранив и это изменение, мы можем более отчетливо увидеть результаты воздействия независимой переменной на зависимую. [c.134]
ФОРМИРОВАНИЕ ГРУПП
Каждая из только что описанных программ эксперимента предназначена для того, чтобы предоставить надежный логический базис для осуществления выводов относительно влияния одной переменной на другую. Чтобы преуспеть в этом, каждая программа опирается на предположение, что все группы, участвующие в исследовании, в основном одинаковы с точки зрения факторов, которые могли бы повлиять на результат эксперимента. Если мы почему-либо не можем считать, что группы в основном одинаковы, у нас нет логического основания для вывода о том, что наблюдаемые различия в оценках групп возникают вследствие разного обращения с группами в процессе эксперимента (например, в зависимости от того, подвергались ли они предварительному тестированию), и мы не можем привести убедительные доводы относительно причинного воздействия независимой переменной.
Как фактически добиться устранения различий между членами разных групп? Существует три подхода к формированию групп. Во-первых, это точный подбор соответствий. Определив, какие характеристики могли бы оказать воздействие на реакцию испытуемых в отношении независимой переменной, мы отбираем для эксперимента ряд испытуемых. Для каждого выбранного испытуемого в состав контрольной группы подбирается другой испытуемый, [c.134] имеющий то же самое сочетание релевантных характеристик. В результате возникает две группы, тождественные с точки зрения характеристик, которые могли бы повлиять на их реакцию в эксперименте. В идеале их оценки в предварительном тесте должны быть очень близки, и мы можем использовать степень близости, реально установленную в ходе предварительного теста, чтобы оценить свои усилия по достижению соответствия.
В связи с этой процедурой возникает ряд проблем. Во-первых, если нам необходимо контролировать большое число характеристик, может оказаться крайне трудно выбрать испытуемых, в точности соответствующих всем этим характеристикам (как это требуется при подборе соответствий). Например, мы могли бы найти людей, одинаковых с точки зрения пола, возраста и расовой принадлежности, но оказаться не в состоянии подобрать их так, чтобы они обладали всеми этими характеристиками и при этом имели одинаковую профессию, уровень образования и одинаково долго жили в данном сообществе. Кроме того, если мы хотим применить программу исследования, предусматривающую наличие более чем двух групп, может оказаться чрезвычайно трудно найти трех или четырех испытуемых с одинаковыми характеристиками. Если только мы не располагаем очень большим фондом потенциальных испытуемых или не имеем дело с самым простым экспериментом, подбор соответствий как способ распределения испытуемых по экспериментальным группам может оказаться невозможным.
Второй метод – метод контроля за частотным распределением. В этом случае мы не проводим сопоставление каждого испытуемого с каким-либо другим по всем характеристикам. Вместо этого испытуемые распределяются по группам таким образом, чтобы было гарантировано наличие в каждой группе одних и тех же средних характеристик и одинаковое распределение каждой характеристики. Может так случиться, что не найдется двух испытуемых с одинаковым набором характеристик пола, возраста, расовой принадлежности и профессии, однако каждая группа будет характеризоваться одним и тем же количеством мужчин и женщин, одинаковым средним возрастом и т. п. Более того, группы будут характеризоваться очень близким распределением этих характеристик среди их членов. [c.135]
Контроль за распределением частот практикуется чаще, чем точный подбор соответствий, однако у него есть два существенных недостатка. Во-первых, он позволяет одновременно контролировать только одну переменную. Пользуясь методом распределения частот, можно, например, получить две группы с одинаковым количеством испытуемых в возрасте старше 40 лет и одинаковым количеством чернокожих граждан, однако нет никакой гарантии, что все испытуемые старше 40 лет не окажутся неграми в одной группе и белыми в другой. Если именно так и случится, две группы в действительности не будут сходными. Во-вторых, данный метод не дает возможности контролировать факторы, которые воздействуют на реакции испытуемых, но не были выделены исследователем. Если наша теория неполна (а она почти всегда неполна), мы могли не установить контроль за частотным распределением некоторой важной переменной. Если окажется так, что контрольная и экспериментальная группа систематически различаются по этой неконтролируемой переменной, могут быть получены искаженные результаты.
Третий метод формирования групп более гибок по сравнению с точным подбором соответствий. Это метод рандомизации. Испытуемый, выбранный из списка всех подходящих испытуемых, включается в группу посредством некоторого случайного процесса, например с помощью таблицы случайных чисел. Настоящая рандомизация не может быть достигнута с помощью процедур, имеющих случайный характер (вроде того, чтобы отобрать первых 30 человек, выразивших желание участвовать в эксперименте, в экспериментальную группу, а следующих 30 – в контрольную).
Рандомизация имеет большое преимущество, создавая у нас чувство уверенности, что все наши группы сходны между собой во всех отношениях, а не только с точки зрения переменных, которые мы считаем релевантными для эксперимента, поскольку при отборе большого числа испытуемых случайное распределение по группам гарантирует нейтрализацию различий между испытуемыми. Таким образом, рандомизация позволяет исключить любую альтернативную конкурирующую гипотезу, утверждающую, что наблюдаемые результаты объясняются какими-то систематическими различиями между группами, она [c.136] является ключом к успешным лабораторным экспериментам. Детально процедуры случайного выбора объектов обсуждаются в гл.5. [c.137]
|
