НАДЕЖНОСТЬ
Когда мы говорим о валидности измерения, нас интересует, насколько точно значения, получаемые с помощью этого измерения, соответствуют истинным значениям измеряемой переменной. Когда мы говорим о надежности измерения, нас интересует устойчивость получаемых с его помощью значений. Можем ли мы, применяя измерение несколько раз, получить для любого данного объекта одно и то же значение или же в результате разных подходов одним и тем же объектам приписываются разные значения? Если при неоднократном применении некоторого измерения один и тот же объект не получает одного и того же значения, это измерение является ненадежным показателем соответствующего понятия. Чтобы гарантировать надежность линеек, их изготавливают из нерастяжимого материала. Если бы линейки изготовляли из растяжимых материалов, они вполне могли бы [c.110] показывать разную длину одного и того же объекта (даже в том случае, если его длина на самом деле не изменилась) просто потому, что линейка растягивается и сжимается.
Если измерение ненадежно, оно не может быть валидным, поскольку по крайней мере некоторые различия в оценках, приписанных объектам, обусловлены ошибками измерения, а не истинными различиями между объектами. Вспомним наш пример с исследованием уличного освещения. Что, если используемый нами световой счетчик окажется настолько чувствительным, что будет фиксировать не только свет от уличных фонарей, но и лунный свет? Тогда значения переменной качество уличного освещения для каждой улицы будут зависеть как от яркости уличных фонарей, так и от случайных факторов, таких, как фазы Луны и характера облачности. В той степени, в которой эти случайные факторы влияют на наши результаты, измерение оказывается невалидным отражением действительных различий в качестве уличного освещения. В этом случае ненадежность обусловливает невалидность.
Измерение может быть вполне надежным и все-таки невалидным. Вспомним приводившееся в качестве примера исследование того, в какой степени люди в разных государствах одобряют политику своего правительства. Мы говорили, что вопросы, задаваемые в ходе обследования, могут привести к невалидным измерениям, поскольку в авторитарных странах люди боятся говорить правду о том, что они думают. Так как данный фактор обусловливает скорее систематическую, чем случайную ошибку, вопросы могли бы давать весьма устойчивые результаты. Вне зависимости от того, сколько раз их спрашивают, люди могли бы отвечать одно и то же. Это, однако, не делает измерение валидным.
Таким образом, измерение может быть надежным, не будучи валидным, но не может быть валидным, не будучи надежным. В то время как валидность уязвима и со стороны систематической, и со стороны случайной ошибки, надежность подвергается опасности лишь со стороны последней. Это означает, что, если в предшествующих исследованиях измерение было убедительно валидизировано, мы можем использовать его, не беспокоясь о его надежности: [c.111] если измерение валидно, оно должно быть надежно. Однако, продемонстрировав надежность, мы не гарантируем валидность.
Как застраховаться от ненадежности? Как определить, надежно ли данное измерение? Чтобы предотвратить угрозу ненадежности, необходимо знать о различных источниках случайных ошибок измерения, описанных нами в данной главе, и делать все возможное для установления контроля над ними. Следует, в частности, продумывать реальный процесс измерения и проводить предварительное тестирование инструментов измерения для выявления ранее неизвестных причин случайных ошибок.
В социальных науках часто бывает довольно сложно определить, надежно ли предлагаемое нами измерение. Это происходит потому, что истинное значение переменных, с которыми мы имеем дело, может коренным образом изменяться с течением времени и под давлением обстоятельств: люди меняют свое мнение под влиянием опыта; государства начинают по-иному распределять ресурсы между социальными службами и ведомствами оборонного характера в ответ на возникновение военной угрозы и т. п. Когда реальные значения так или иначе изменяются, трудно бывает отличить результаты воздействия случайных ошибок измерения от действительных колебаний в рамках измеряемых понятий. Это означает, что тесты на надежность следует проводить через максимально короткие промежутки времени.
В социальных науках имеется три типа методов установления надежности измерений. Первый – это метод неоднократного тестирования. В этом случае одно и то же измерение снова и снова применяется в отношении одного и того же набора объектов. Если объекты всякий раз получают одну и ту же оценку, измерение считается надежным. Трудности с данным методом возникают в том случае, когда измерение связано с интервьюированием людей (в отличие от измерения характеристик неодушевленных объектов или осуществления скрытого наблюдения за людьми). Если мы повторяем вопросы через короткий промежуток времени, интервьюируемые могут помнить данные ими ранее ответы и, стараясь быть последовательными, будут повторять эти ответы, вместо того чтобы правдиво отвечать на поставленный вопрос. Если возникает [c.112] такая ситуация, мы оказываемся не в состоянии правильно оценить надежность вопросов как показателя для данного понятия. Пытаясь избежать такого тест-эффекта, мы могли бы приступить к повторному опросу лишь по прошествии значительного промежутка времени. Однако в этом случае мы столкнемся с другой проблемой: с течением времени истинные значения переменной могли измениться, и мы можем оказаться не в состоянии отличить изменения в оценках, возникающие из-за ненадежности измерения, от действительных изменений переменной.
Указанная проблема привела к созданию другого теста на надежность – метода альтернативной формы. В соответствии с этим методом в один и тот же момент разные формы измерения применяются к одной и той же группе объектов либо одно и то же измерение применяется к разным группам объектов. В этом случае тест-эффект невозможен, поскольку ни один объект не измеряется более одного раза, а так как измерения не отделены друг от друга никакими временными интервалами, на результатах измерений не могут сказаться реальные изменения исследуемых переменных. Однако успех этой стратегии зависит от того, насколько хорошо сопоставимы друг с другом альтернативные формы измерения как измерения данного понятия, и от того, действительно ли две группы эквивалентны с точки зрения дистрибуции измеряемой переменной. Если у нас есть основания полагать, что эти условия выполняются, то, чем более близки оценки по двум измерениям или по двум группам, тем более мы можем быть уверены в надежности измерения. Однако если в нашем распоряжении нет сравнимых измерений или групп, мы не можем использовать данный метод должным образом.
Наконец, последний способ тестирования надежности измерения известен под названием метода подвыборки. Этот метод заключается в том, что, сформировав выборку из объектов, мы делим ее на несколько подвыборок таким образом, чтобы все они были похожи друг на друга. Затем мы применяем одно и то же измерение ко всем подвыборкам и используем сходство или различие результатов для подвыборок как показатель надежности измерения. Поскольку мы используем одно и то же измерение, у нас нет [c.113] необходимости заботиться о сопоставимости, как в случае метода альтернативной формы; а так как для обеспечения эквивалентности подвыборок мы можем опираться на теорию выборки, нам не приходится беспокоиться о том, что выбранные для измерения группы окажутся недостаточно однородными. Так как ни один объект не измеряется дважды, мы можем не считать тест-эффект угрожающим точности нашего теста на надежность; а поскольку [c.114] измерения осуществляются одновременно, реальные изменения переменной не могут иметь значения для данного метода, как это происходит в случае метода неоднократного тестирования. Однако возможность использования метода подвыборки определяется тем, в состоянии ли мы получить такую большую выборку, что, разделив ее на части, мы будем располагать подвыборками, достаточными для того, чтобы применяемые нами статистические тесты были осмысленными. Это не всегда возможно и может послужить препятствием для использования метода подвыборки при проверке надежности.
Для интерпретации результатов каждого из этих тестов на надежность имеется множество статистических процедур8.
У описанных методов много разновидностей. Какой из вариантов в наибольшей степени подойдет для данного исследовательского проекта, будет зависеть от того, каким временем и возможностями располагает исследователь, а также от характера исследования. Например, если мы хотим измерить уличное освещение на основании оценки освещенности разных кварталов, сделанной обученными наблюдателями, мы можем спокойно воспользоваться методом неоднократного тестирования, не думая ни о каком тест-эффекте. Уличное освещение не будет изменяться просто потому, что его кто-то измеряет, и поэтому можно позволить разным наблюдателям независимо друг от друга оценивать одну и ту же улицу в одну и ту же ночь. Мы не сможем в такой же степени доверять этому методу, если наше измерение качества уличного освещения будет основываться на ответах, данных самими жителями на вопросы интервью.
Вне зависимости от того, какой тест на надежность мы предпочли использовать, надежность измерений важно установить до того, как будет начато исследование. Это требует предварительного тестирования измерения посредством сбора данных, предназначенных исключительно для оценки инструментов, которые будут использоваться в самом исследовании. Если нам не удастся это сделать, то может оказаться, что наши измерения ключевых переменных ненадежны (и поэтому невалидны), и выясниться это может лишь после того, как исследование завершено. А это означает, что мы не сможем доверять [c.115] результатам исследования и что наши усилия были полностью или частично потрачены впустую. Предварительное тестирование солидности и надежности измерения должно быть составной частью любого исследовательского проекта, если в нем используются измерения, которые не были где-нибудь убедительно валидизированы, или если этот проект полагается на измерения, которые были валидизированы только в условиях, очень сильно отличающихся от тех, в которых они будут использоваться. [c.116]
ЗАКЛЮЧЕНИЕ
Рис. 3.6. Модель процесса исследования
К настоящему моменту мы ввели в рассмотрение основные компоненты процесса исследования. На рис.3.6 изображены их взаимоотношения друг с другом. Операционализация понятий посредством разработки измеряемых показателей готовит нас к работе с материалом, в ходе которой мы будем делать наблюдения, ложащиеся в основание наших выводов. Однако для того, чтобы осуществить эти наблюдения, нам понадобится “план наступления” – такая схема проведения наблюдений, которая позволит сделать на их основе максимальное количество надежных выводов. Такой план, или программа исследования, является темой гл. 4. [c.116]
ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА
Информацию об измерении в социальных науках можно почерпнуть из работ, в которых есть результаты исследований или разработки методов измерений. Обобщающее введение в проблему встречается крайне редко. Тем не менее мы можем указать полезный источник сведений в добавление к тем работам, которые упоминаются в примечаниях к настоящей главе. Полезное обсуждение логических оснований измерения имеется в: Кеrlingеr F.N. Foundations of Behavioral Research. – N.Y.: Holt, Rinehart and Winston, 1964; Kaplan A. The Conduct the Inguiry. –San Francisco: Chandler Publishing Co., 1964. Некоторые практические проблемы, возникающие в процессе измерения, освещаются в: Jоhnsоn J.M. Doing Field Research. – N.Y.: Free Press, 1975; а одно из лучших введений в проблему стратегий измерения – это работа: Shively Ph.W. The Craft of Political Research. – Englewood Cliffs (NJ.): Prentice-Hall, 1980,2nd. ed. Более подробно разработанные подходы к измерению можно найти в: Measurement in Social Science / Ed.: Вlаlосk H.M., jr. – Chicago: Adline, 1974, и Вlаlосk H.M., jr. Conceptualization and Measurement in the Social Science. – Beverly Hills (Calif.): Sage, 1982. Разнообразные примеры стратегий измерения приводятся в: Bohrnstedt G.W., Bogatta E.F. Social Measurement. – Beverly Hills (Calif.): Sage, 1981. Работа Carmines Е.G., Zeller R.A. Reliability and Validity Assessment. – Beverly Hills (Calif.): Sage, 1979 представляет собой краткий обзор методов установления валидности и надежности. [c.117]
4. РАБОТА ПО ПЛАНУ: КАК СОСТАВИТЬ ПРОГРАММУ ИССЛЕДОВАНИЯ
Ни один опытный альпинист даже и помыслить не может о том, чтобы совершить восхождение на Эверест, не проделав большой предварительной работы по планированию, которая должна гарантировать соответствующую экипировку, выбор наилучшего маршрута и наличие информации о том, что делать в случае каких-то непредвиденных обстоятельств. Точно так же социологи не спешат браться за крупный исследовательский проект без тщательного планирования тех шагов, которые они должны будут предпринять. Этот “план наступления” называется программой исследования. “Программа исследования – схема, лежащая в основе процесса сбора, анализа и интерпретации данных. Это логическая модель доказательства, позволяющая делать валидные каузальные выводы”1. Если нет адекватной и подходящей для данного случая программы исследования, лучшие измерения окажутся бесполезными, поскольку нельзя будет определить их значение. Разработка надежных программ исследования, как и другие обсуждавшиеся нами проблемы исследовательского мастерства, – важный фактор успешного развития социальных наук.
Прежде чем предпринять любое серьезное исследование, следует составить его программу, которая не только в точности описывает, что и как вы собираетесь делать, но и объясняет, почему вы совершаете каждый данный шаг и почему вы совершаете его именно так, а не иначе. [c.118]
ЦЕЛЬ И ПРОГРАММА ИССЛЕДОВАНИЯ
Вплоть до настоящего момента мы обсуждали политологическое исследование так, как если бы оно было полностью предназначено для проверки гипотез с помощью процесса, изображенного на рис.3.6. И хотя проверка гипотез обычно считается наиболее важной во всех социальных науках, исследование, вообще говоря, может иметь множество целей, и его программа, [c.118] максимально подходящая для любого данного проекта, будет зависеть от его цели2. Некоторые исследовательские проекты являются поисковыми. Они предназначены для того, чтобы поближе познакомить нас с явлениями, которые мы собираемся исследовать, дать возможность более точно сформулировать проблемы и, быть может, построить гипотезы. Такие исследования могут играть важную роль, когда изучаются новые явления или явления, которые ранее не изучались. Некоторые проекты включают в свой состав описательные исследования. Последние предназначены для того, чтобы дать точное представление о некоторых явлениях, позволяющее нам лучше сформулировать проблемы и гипотезы. Например, прежде чем мы начнем строить теорию возможных причин некоторого явления, нам могут понадобиться сведения о частоте, географическом распределении и последовательности событий в составе данного явления или о том, с какими иными явлениями, как правило, ассоциируется данное явление. И наконец, исследование может быть предназначено для проверки каузальных гипотез. Если результаты исследования можно использовать для подтверждения того, что одно явление вызывает другое, можно попытаться дать объяснение этому другому явлению. Поэтому исследование, проверяющее гипотезы, может быть названо объяснительным исследованием. Такое исследование подходит тогда, когда мы уже достаточно знаем о явлении, чтобы начать искать объяснение того, почему данное явление таково, каково оно есть.
Данная предварительная типология целей исследования удобна потому, что исследование каждого типа предполагает свою программу. Поисковое исследование требует скорее гибкости, чем точности, поскольку его цель – выявить возможные, а не проверить гипотетические объяснения. Программы поискового исследования должны давать лишь возможность наблюдать соответствующее явление. А вот описательное исследование требует точного измерения явлений. В описательных исследованиях (если мы надеемся получить точную картину интересующих нас событий) программа призвана обеспечивать беспристрастность и надежность наблюдений. Программы объяснительных исследований должны не только обеспечивать беспристрастное и надежное наблюдение, но и [c.119] давать возможность делать выводы относительно причинного воздействия переменных друг на друга. Программа исследования дает возможность делать каузальные выводы, если она позволяет исключить любые правдоподобные объяснения наблюдаемых фактов, являющиеся альтернативными по отношению к проверяемой каузальной гипотезе.
Вне зависимости от конкретной цели исследования программа исследования должна включать следующие основные элементы:
1) изложение цели исследования;
2) изложение гипотезы, подлежащей проверке (если таковая имеется);
3) спецификацию используемых переменных;
4) изложение способа операционализации и измерения каждой переменной;
5) детальное описание организации и проведения наблюдений;
6) обобщающее обсуждение будущего анализа собранных данных.
Главы 2 и 3 дают необходимые сведения относительно пунктов программы (1) – (4); гл. 12–16 освещают проблему анализа данных. Настоящая глава посвящена организации наблюдений. Именно этот аспект программы исследования дает основания для исключения альтернативных конкурирующих гипотез, и именно его имеет в виду большинство исследователей, когда идет речь о программе исследования. [c.120]
|
