ВЫБОР ПРОГРАММЫ ИССЛЕДОВАНИЯ
Существует ряд как экспериментальных, так и квазиэкспериментальных программ, которые мы здесь не рассматривали8. Количество вариаций на базе этих основных программ ограничено лишь вашей собственной изобретательностью, и программа для любого исследования будет соответствовать его конкретной цели. Мы не столько выбираем, сколько создаем подходящую для конкретного случая программу, хотя обычно мы основываемся на одном из ключевых типов программ. При разработке программ исследователи руководствуются тремя основными факторами: требованием валидности, наличием средств и профессиональной этикой.
Цель программы в объяснительных исследованиях заключается в том, чтобы дать возможность делать валидные выводы о причинных отношениях между переменными, исходя из наблюдаемых изменений значений этих переменных. Следовательно, гарантия валидности результатов должна играть главную роль при разработке программы.
С эмпирическим исследованием связано два основных типа валидности: внутренняя валидность и внешняя валидность. Внутренняя валидность имеет отношение к надежности логического базиса, предоставляемого программой для осуществления вывода о том, вызывает ли независимая переменная изменение зависимой переменной. Вопрос о внутренней валидности – это вопрос типа:
“Имеется ли в программе исследования нечто такое, что позволит отнести причинное воздействие за счет независимой переменной (тогда как она такого воздействия не оказывает) либо не даст возможности установить наличие причинного воздействия, оказываемого независимой переменной?” Например, если имеется значительный тест-эффект, связанный с использованием некоторого определенного измерения, любая программа, не дающая возможности контролировать этот тест-эффект, не будет обладать внутренней валидностью, поскольку может вынудить нас ошибочно проинтерпретировать изменения, [c.147] вызванные тест-эффектом, как доказательства причинного воздействия независимой переменной. Внешняя валидность имеет отношение к возможности обобщения полученных результатов. Есть ли у нас основания надеяться на обнаружение тех же самых причинных воздействий в других условиях? Дает ли исследование возможность понять что-либо относительно той части действительности, которая в нем не представлена? Например, полевой эксперимент, в котором изучается воздействие на пользование автомобилем повышения цен на бензин (в размере доллара на галлон), не обладает внешней валидностью, если он приводится в группе, где среднегодовой доход семьи превышает 100 000 долларов, поскольку нельзя надеяться на то, что так же будут вести себя люди со средним и низким доходом. [c.148]
ФАКТОРЫ, УГРОЖАЮЩИЕ ВАЛИДНОСТИ
К числу основных факторов, представляющих собой угрозу как для внутренней, так и для внешней валидности, относятся следующие9.
Факторы, угрожающие внутренней валидности
1. История: события, отличные от проявлений независимой переменной, которые могут изменить оценки контрольного теста и происходят в промежутке между предварительным и контрольным тестами. Например, широковещательные заявления политического лидера могут изменить отношение испытуемых вне зависимости от некоторой долгосрочной обработки, которой они подвергаются в ходе эксперимента.
2. Развитие: естественные изменения, происходящие с испытуемыми, которые с течением времени оказывают влияние на оценки зависимой переменной вне всякой связи с независимой переменной (например, утомление, рост популяции в регионах, подвергающихся анализу, физическое старение).
3. Нестабильность: случайные изменения в зафиксированных значениях, возникающие вследствие ненадежных измерений, несоответствующего выбора испытуемых или по другим причинам. [c.148]
4. Тестирование: описанный в данной главе тест-эффект.
5. Инструментарий: различия в используемых средствах измерения, которые создают вариации в оценках, не связанные с воздействием независимой переменной (например, разные точки зрения у интервьюеров, плохо отрегулированный прибор, недостаточно точное кодирование).
6. Артефакты регрессии: изменения, происходящие в результате регрессии к среднему, обсуждавшемуся в данной главе.
7. Отбор: различия в оценках, возникающие в результате дифференцированного подхода к формированию экспериментальной и контрольной групп (например, в том случае, когда члены экспериментальной группы подвергаются воздействию независимой переменной в законном порядке, а члены одной из контрольных групп идут на это добровольно).
8. Смертность в эксперименте: разные уровни потерь испытуемых в экспериментальной и контрольной группе. (Например, те объекты, благодаря которым контрольная группа в целом реагирует на независимую переменную так же, как экспериментальная группа, могут выбыть из эксперимента до контрольного теста.)
9. Взаимодействие отбора и развития: непоследовательное проведение процессов отбора, которое ведет к разному уровню развития в экспериментальной и контрольной группах. (Например, в “операции по устрашению” испытуемые экспериментальной группы могут быть старше, так как они изъявили желание участвовать в программе лишь после ряда арестов в качестве малолетних правонарушителей, и они, таким образом, могут перерасти преступность несовершеннолетних скорее, чем более юная контрольная группа.)
Факторы, угрожающие внешней валидности
1. Взаимодействие результатов тестирования: оценки в контрольном тесте испытуемых, прошедших предварительное тестирование, могут быть сочтены непредставительными для совокупности, не прошедшей предварительный тест, в силу того, что предварительный тест [c.149] определенным образом повысил чувствительность испытуемых к независимой переменной.
2. Взаимодействие отбора и проведения эксперимента: в результате непоследовательно проведенного отбора может быть сформирована экспериментальная группа, реагирующая на независимую переменную иначе, чем генеральная совокупность.
3. Реактивное воздействие обстановки эксперимента: условия эксперимента могут быть нерепрезентативны с точки зрения условий окружающего мира.
4. Интерференция нескольких исследований: при одновременном осуществлении более чем одного исследования могут возникнуть изменения, отличные от тех, которые возникли бы, если бы каждое исследование проводилось отдельно.
5. Нерелевантные данные измерений: все измерения отражают многообразные аспекты окружающей действительности, в число которых могут входить нерелевантные компоненты, создающие видимость изменений при отсутствии таковых или маскирующие реальные изменения.
6. Нерелевантные повторения исследований: в том случае, когда независимые переменные являются сложными событиями (таковы, например, посещение тюрьмы в примере с “операцией по устрашению” или высшее образование), исследователи могут не знать, какой из аспектов события вызывает изменение в объектах исследования, и по ошибке не включить релевантный аспект независимой переменной во все экспериментальные предъявления.
В идеале в исследовании должна использоваться программа, позволяющая исключить как можно большее количество факторов, представляющих собой угрозу валидности. Однако и самая лучшая программа будет бесполезной, если у нас нет ресурсов для ее выполнения. Временной фактор, наличие денежных средств, обученных кадров, оборудования – все это накладывает ограничения при выборе программы исследования. Если исследователь не уверен, что основные факторы, способные представлять угрозу для валидности в данном исследовании, контролируются программой, удобной с точки зрения имеющихся ограничений на ресурсы, следует отложить реализацию проекта до того момента, пока нужные ресурсы окажутся в его распоряжении. Лучше отказаться от [c.150] исследования вообще, чем провести плохое исследование, в результате которого можно прийти к неверным выводам.
И последнее соображение относительно программы исследования. Оно касается возможного в ходе осуществления программы нарушения профессиональной этики. Не будет ли нанесен кому-либо какой-нибудь ущерб? Если да, то насколько серьезный? Не слишком ли это дорогая цена за ту пользу, которая может быть принесена обществу? Каждый ученый должен ответить на эти вопросы в соответствии со своими ценностными ориентациями и принятыми в его профессии нормами. В приложении Б перечисляются рекомендуемые этические нормы проведения исследований, одобренные в ведущих профессиональных ассоциациях политологов и социологов. Единственный руководящий принцип, который мы можем предложить для решения такого рода проблем, – это еще раз высказать наше убеждение, что наука существует не сама по себе, а является инструментом, служащим человечеству. [c.151]
ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА
Вопросы, касающиеся программы исследования, обсуждаются в ряде общих работ, посвященных методам исследования в социальных науках. К таким работам можно отнести кн.: Ваbbiе Е. The Practice of Social Research, 5 ed. – Beltmont, Calif.: Wadsworth, 1989; Miller D.C. Handbook of Research Design and Social Measurement, 5 ed. – Newbury Park, Calif.: Sage, 1991; Nachmias D.,Nachmias Ch. Research Methods in the Social Science, 3 ed. – NewYork: St.Marotin's, 1987. Большой популярностью пользуется работа: Cook Th.D., Сampbеll D.Т. Quasi-Experimentation. – Chicago: Rand McNally, 1979.
Путям разработки надежной логической базы в области социальных наук для интерпретации проводимых исследований посвящена кн.: Вlаlосk H.M., Jr. Causal Inferences in Nonexperimental Research. – Chapel Hill: University of North Carolina Press, 1964. Сущность квазиэкспериментальных программ и их использование в социологии рассматривается в статьях сборника: Caporaso J.A., Roos L.L., Jr. (eds.) Quasi-experimental Approaches. – Evanstone (Ill.): Northwestern University Press, 1973, – а соотношение между экспериментальными и квазиэкспериментальными программами рассматривается в работе:
Асlаnd H. Are Randomised Experiments the Cadillacs of Design? // Policy Analysis. – Vol.5. – 1979, Spring. Более подробный анализ программы исследования можно найти в: Вlаlосk H.M., Jr. (ed.) Causal Models in Panel and Experimental Designs. – N.Y.: Adline, 1985. Еще ряд хороших примеров исследовательских программ см. в: Tufte E.R. Quantitative Analysis of Social Problems. – Reading (Mass.): Addison-Wesley, 1970. Удачное использование программы измерения временного ряда представлено в: Imring F.Е. Firearms and Federal Law; The Gun Control Act of 1968. // Journal of Legal Studies. – Vol.4. – 1975, January. – P.133-198. [c.152]
5. КТО, ЧТО, ГДЕ, КОГДА: ПРОБЛЕМА ВЫБОРКИ
Раз в десять лет Бюро переписи, отдел министерства торговли США, проводит перепись, стремясь определить, подсчитать и измерить определенные характеристики образа жизни каждого человека в стране. Закон требует, чтобы все сотрудничали с лицами, проводящими перепись, и давали правдивые ответы на вопросы типа: “сколько у вас телевизоров?”, “есть ли в вашем доме водопровод?”. По имеющимся оценкам, перепись 1990 г. обошлась федеральному правительству в 2 600 000 000 долларов; для получения соответствующей информации было привлечено 480000 служащих, интервьюеров и других лиц, работавших в течение нескольких месяцев. Всего в США было идентифицировано и обследовано около 250 000 000 человек.
Надо ли говорить, что не многие политологи готовы к таким огромным затратам для удовлетворения своих личных исследовательских интересов. В то же время объекты их интересов (объекты исследования) для различных практических целей могут быть столь же многочисленны. Сто миллионов избирателей, четверть миллиарда жителей западных демократий, сто тысяч документов – все это может оказаться в центре внимания политологического исследования, хотя количество отдельных объектов в каждом из этих случаев слишком велико, чтобы их можно было всесторонне проанализировать. Даже Бюро переписи, со всеми его тысячами работников и миллионами долларов, оказалось не в состоянии задать каждому идентифицированному липу все свои вопросы. Вместо этого была разработана короткая анкета для большинства населения и более полная для отдельных респондентов. Так же как политологи и многие другие исследователи, Бюро переписи сочло необходимым использовать выборку.
В настоящей главе мы рассмотрим применение и механизм формирования выборки, отбора сравнительно небольшого числа объектов, изучение которых может дать [c.153] нам большой объем информации о генеральной совокупности, из которой они были выбраны. Поступая таким образом, мы будем иметь дело с тем, что мы назвали генерализацией, возможностью делать общие выводы, основанные на анализе небольшого числа объектов. С этой целью мы должны задать себе три вопроса. Во-первых, что же такое репрезентативная выборка? Во-вторых, какие существуют возможности для отбора конкретных объектов, которые образовали бы такую выборку? И в-третьих, сколько объектов необходимо отобрать, чтобы можно было назвать выборку репрезентативной? Рассмотрим поочередно все эти вопросы. [c.154]
РЕПРЕЗЕНТАТИВНАЯ ВЫБОРКА
Фактически мы начнем не с одного, а с трех вопросов: что такое выборка? когда она является репрезентативной? что она собой представляет?
Совокупность – это любая группа людей, организаций, интересующих нас событий, относительно которых мы хотим сделать выводы, а случай, или объект, – любой элемент такой совокупности1. Выборка – любая подгруппа совокупности случаев (объектов), выделенная для анализа. Если мы захотим изучить деятельность законодателей штата по принятию решений, мы могли бы исследовать такую деятельность в законодательных органах штатов Виргиния, Северная Каролина и Южная Каролина, а не во всех пятидесяти штатах и, исходя из этого, распространить полученные данные на генеральную совокупность, из которой были выбраны эти три штата. Если мы хотим исследовать систему предпочтений избирателей Пенсильвании, мы могли бы сделать это, опросив 50 рабочих компании “Ю. С. Стил” в Питсбурге, и распространить результаты опроса на всех избирателей штата. Аналогично, если мы хотим измерить умственные способности студентов колледжей, мы могли бы протестировать всех игроков защиты, зарегистрированных в штате Огайо в данном футбольном сезоне, и затем распространить полученные результаты на генеральную совокупность, частью которой они являются. В каждом примере мы действуем следующим образом: устанавливаем подгруппу внутри генеральной совокупности, довольно [c.154] подробно изучаем эту подгруппу, или выборку, и распространяем наши результаты на всю совокупность. Это и есть основные этапы формирования выборки.
Однако представляется совершенно очевидным, что каждая из этих выборок имеет существенный недостаток. К примеру, хотя законодательные органы Виргинии, Северной Каролины и Южной Каролины и являются частью совокупности законодательных органов штатов, они в силу исторических, географических и политических причин, скорее всего, будут действовать очень схожим образом и совсем иначе, чем законодательные органы таких отличающихся от них штатов, как Нью-Йорк, Небраска и Аляска. Хотя пятьдесят рабочих-сталелитейщиков в Питсбурге действительно могут быть избирателями штата Пенсильвания, они в силу социально-экономического статуса, образования и жизненного опыта, вполне возможно, будут иметь взгляды, отличные от взглядов многих других людей, точно так же являющихся избирателями. И точно так же, хотя футболисты штата Огайо и являются студентами колледжей, они в силу самых разных причин вполне могут отличаться от других студентов. Иными словами, хотя каждая из этих подгрупп действительно является выборкой, члены каждой из них систематически отличаются от большинства остальных членов совокупности, из которой они выбраны. В качестве отдельной группы ни одна из них не является типичной с точки зрения распределения признаков мнений, мотивов поведения и характеристик в генеральной совокупности, с которой она ассоциируется. Соответственно, политологи сказали бы, что ни одна из этих выборок не является репрезентативной.
|
