Майкл Аргайл психология счастья 2-е издание Москва • Санкт-Петербург ■ Нижний Новгород • Воронеж Ростов-на-Дону ■ Екатеринбург • Самара Киев ■ Харьков • Минск 2003 ббк 88. 3


НазваниеМайкл Аргайл психология счастья 2-е издание Москва • Санкт-Петербург ■ Нижний Новгород • Воронеж Ростов-на-Дону ■ Екатеринбург • Самара Киев ■ Харьков • Минск 2003 ббк 88. 3
страница2/25
ТипДокументы
filling-form.ru > Туризм > Документы
1   2   3   4   5   6   7   8   9   ...   25
ГЛАВА 2

Как измерять и изучать счастье

Что такое счастье?

Как мы уже увидели, люди, по-видимому, прекрасно понимают, что значит счастье. Они имеют довольно четкое представление о его связи с позитивными эмоциями и удовлетворенностью жизнью. Во многих обследованиях респондентам задавали вопрос о том, насколько они счастливы. Нас и интересуют измерения «субъек­тивного благополучия» (subjective well-being — SWB), субъективная сторона бла­гополучия, а не объективные критерии дохода, здоровья и т. д., которые мы будем называть «социальными показателями».

Множество данных, касающихся счастья, получено в результате социальных обследований, которые охватывали большое число респондентов. Подробные опро­сы весьма дорогостоящие, поэтому зачастую задавался всего один вопрос, напри­мер: «Насколько вы счастливы?» или «Насколько вы удовлетворены своей жиз­нью в целом?» Эндрюс и Уйти (Andrews & Withey, 1976) предложили другую формулировку вопроса, позволяющую измерить два аспекта — эмоции и удовле­творенность: «Каковы ваши ощущения от жизни в целом?» При этом использова­лась 7-балльная шкала с градациями от «восхитительно» до «ужасно». Кэмпбелл и соавторы (Campbell et al., 1976) в своем известном исследовании «Качество аме­риканской жизни» задавали этот вопрос в ином варианте: «Насколько удовлетво­ряет вас в настоящее время ваша жизнь в целом?»

Измерить удовлетворенность другим способом позволяет Шкала удовлетворен­ности жизнью (Satisfaction With Life Scale — SWLS), показанная в табл. 4.2. Иссле­дования, в которых применялась такая шкала, показывают, что, по словам боль­шинства людей, их удовлетворенность значительно выше средней. Они также вы­явили, что большинство респондентов указывает на свою удовлетворенность. Как продемонстрировали ученые (Diener & Diener, 1996), подобный вывод делается во множестве исследований счастья, удовлетворенности и других критериев субъек­тивного благополучия. Выше среднего оказываются в среднем показатели у 75-80% опрошенных. Брендстеттер (Brandstatter, 1991), применяя метод «замера пе­реживаний» (который будет вскоре описан), обнаружил, что 68% времени люди пребывают в позитивном эмоциональном состоянии.

Фордис (Fordyce, 1988) разработал Шкалу счастья (Happiness Measure — НМ), содержащую 2 вопроса:

■\Q Глава 2. Как измерять и изучать счастье

1. «В целом насколько счастливым или несчастным вы себя обычно чувствуе­те?» Предлагаются варианты ответа от «чрезвычайно счастливым» (в вос­торге, ощущаю радость, чувствую себя превосходно), за что начисляется 10 баллов, до «совершенно несчастным» (крайне подавленным, в абсолют­ном унынии), что дает 0 баллов.

2. «В среднем какую часть времени в процентах вы чувствуете себя счастли­вым (или несчастным, или в нейтральном состоянии)?»

Обе итоговые цифры суммируются. Среднее значение первого показателя со­ставило 6,9 («умеренно счастливым»), а второго — 54%.

Вполне удачным оказывается и применение критериев, основанных на одном параметре. Так, можно измерить удовлетворенность работой, задав респонденту следующий вопрос: «Приняв во внимание все обстоятельства, скажите, насколько вам нравится ваша работа?» При этом корреляция таких измерений с более деталь­ными шкалами составляет 0,67 (Wanous, Reichers, & Hudy, 1997).

Шкала Фордиса в значительной степени коррелирует с гораздо более подроб­ными измерениями счастья. Однако применение простых шкал, содержащих один вопрос, сопряжено с определенными проблемами. Первая заключается в очевид­ности задания, и поэтому на ответы респондентов могут повлиять некоторые пре­дубеждения. Психологи ведь не станут пытаться оценить расовые установки, спра­шивая, например: «Нравятся ли вам чернокожие?» Для этого используются менее прямолинейные вопросы. Ниже мы увидим, что обследования, проводившиеся среди респондентов разных стран и опиравшиеся на один-единственный критерий счастья, давали весьма странные результаты.

Второе возражение связано с желанием психологов знать, что переменная об­ладает внутренней валидностыо, т. е. содержит ряд взаимосвязанных компонентов. Это означает необходимость рассмотреть более широкий набор вопросов или кри­териев, параметров, которые можно замерить (наподобие вопросов в тесте на уро­вень интеллекта). В нескольких исследованиях субъективное благополучие изме­рялось при помощи целого ряда критериев, и было установлено, что все они корре­лируют друг с другом и формируют единый фактор. Например, Комптон и соавторы (Compton et al., 1996) использовали несколько опросников, направленных на оцен­ку счастья и психического здоровья. Обследованы были 338 студентов и взрослых людей. В результате факторного анализа экспериментальных данных был выявлен отчетливый первый фактор (табл. 2.1). Все приведенные в таблице шкалы будут рассмотрены ниже.

Наибольшую нагрузку дает Шкала счастья Фордиса (НМ), на втором месте — Шкала удовлетворенности жизнью Динера (SWLS), затем следует Аффективный баланс Брендберна (АВ) (положительные эмоции минус отрицательные эмо­ции), — все это широко известные и часто используемые измерения. Самая значи­мая корреляция была выявлена с критерием общего счастья, вторая по величине — с удовлетворенностью жизнью, третья — с аффективным балансом. В других ис­следованиях получены аналогичные результаты: счастье является базовым изме­рением опыта, чем-то вроде личностной черты. Что касается его эмоциональной составляющей, то обычно мы хотим знать нечто большее, чем настроение человека

Что такое счастье? -J g

в данный момент, — мы хотим знать его обычное настроение, то, как он «себя чув­ствует последние несколько недель», а не «сейчас».

Наиболее широко для измерения удовлетворенности используется Шкала удовлетворенности жизнью (SWLS), введенная Динером и соавторами (Diener et al, 1985). Ее мы рассмотрим в главе 4.

Таблица 2.1 Нагрузки фактора счастья по Комптону

Счастье (Фордис) 0,84

Удовлетворенность жизнью (Динер) 0,83

Аффективный баланс (Бредберн) 0,74

Качество жизни (Фленаган) 0,69

Оптимизм (Тест жизненных ориентации) — 0,69

Психологическое благополучие (Фордис) 0,60

Самооценка (Розенберг) 0,51

Источник: Compton et al., 1996.

Оксфордский опросник счастья (OxfordHappiness Inventory — ОШ; Argyle et al., 1989), целью которого является измерение счастья в целом, был разработан по ана­логии с широко известным Опросником депрессии Бека (Beck Depression Inven­tory — BDI; Beck, 1976) и направлен на оценку депрессии. Некоторые пункты, вто­рого были оставлены, а какие-то добавлены. Сохранились также 4 варианта отве­тов. В опроснике 29 пунктов, и его последняя версия представлена в табл. 2.2. Он применялся в большинстве проводившихся в Оксфорде исследований. Было установлено, что он обладает большей ретестовой надежностью, чем Опросник де­прессии Бека (BDT). Данные, полученные с его помощью, коррелируют с оценка­ми личности, которые даются друзьями респондентов. Также имеются устойчивые предсказуемые взаимосвязи с личностными характеристиками, показателями стресса и социальной поддержки. Существуют китайская и израильская версии этого опросника.

Таблица 2.2 Обновленный Оксфордский опросник счастья [OHI)

Ниже вы видите группы утверждений, касающихся личного счастья. Прочитайте, пожалуйста, все 4 утверждения в каждой группе и затем определите, какое из них лучше всего описывает ваши ощущения на этой неделе, в том числе и сегодня. Обве­дите в кружок букву (а, б, в или г) напротив выбранного вами утверждения.

1. а) я не чувствую себя счастливым;

б) я чувствую себя довольно счастливым;

в) я очень счастлив;

г) я невероятно счастлив

2. а) я смотрю в будущее без особого оптимизма;

б) я смотрю в будущее с оптимизмом;

в) мне кажется, будущее сулит мне много хорошего;

г) я чувствую, что будущее переполнено надеждами и перспективами

20 Глава 2. Как измерять и изучать счастье

Продолжение табл. 2.2

3. а) ничто в моей жизни по-настоящему меня не удовлетворяет;

б) некоторые вещи в жизни меня удовлетворяют;

в) меня удовлетворяет многое в моей жизни;

г) я полностью удовлетворен всем в своей жизни

4. а) я не ощущаю, что в жизни что-либо реально находится в моей власти;

б) я чувствую, что контролирую свою жизнь, по крайней мере — отчасти;

в) я чувствую, что в основном контролирую свою жизнь;

г) я чувствую, что целиком контролирую все стороны своей жизни

5. а) я не ощущаю, что жизнь вознаграждает меня по заслугам;

б) я ощущаю, что в жизни мне воздается по заслугам;

в) я ощущаю, что жизнь щедро вознаграждает меня;

г) я ощущаю, что жизнь переполнена подарками

6. а) я не испытываю никакой удовлетворенности жизнью;

б) я доволен тем, как я живу;

в) я очень доволен тем, как я живу;

г) я в восторге от своей жизни

7. а) я никогда не могу повлиять на события в нужном мне направлении;

б) иногда я способен повлиять на события в нужном мне направлении;

в) я часто влияю на события в нужном мне направлении;

г) я всегда влияю на события в нужном мне направлении

8. а) в жизни я просто выживаю;

б) жизнь — хорошая вещь;

в) жизнь — замечательная вещь;

г) я обожаю жизнь

9. а) у меня потерян всякий интерес к другим людям;

б) другие люди интересны мне отчасти;

в) другие люди меня очень интересуют;

г) меня чрезвычайно интересуют другие люди

10. а) мне трудно принимать решения;

б) я довольно легко принимаю некоторые решения;

в) мне довольно просто принимать большинство решений;

г) я с легкостью принимаю любые решения

11. а) мне трудно приступить к какому-либо делу;

б) мне довольно просто что-либо начать;

в) я без труда принимаюсь за какое-либо дело;

г) я способен взяться за любое дело

12. а) после сна я редко чувствую себя отдохнувшим;

б) иногда я просыпаюсь отдохнувшим;

в) после сна я обычно чувствую себя отдохнувшим;

г) я всегда просыпаюсь отдохнувшим

13. а) я чувствую себя совершенно без сил;

б) я чувствую себя довольно энергичным;

в) я чувствую себя очень энергичным;

г) я чувствую, что энергия во мне бьет через край ____________

Что такое счастье? 21

14. а) я не вижу в окружающих меня вещах особой красоты;

б) я нахожу красоту в некоторых вещах;

в) я нахожу красоту в большинстве вещей;

г) весь мир представляется мне прекрасным

15. а) я не ощущаю себя сообразительным;

б) я чувствую, что отчасти сметлив;

в) я в значительной степени чувствую в себе живость ума;

г) я ощущаю, что мне присуща совершенная живость ума

16. а) я не чувствую себя особенно здоровым;

б) я чувствую себя достаточно здоровым;

в) я чувствую себя совершенно здоровым;

г) я чувствую себя здоровым на 100%

17. а) я не испытываю особо теплых чувств по отношению к другим;

б) я испытываю определенные теплые чувства по отношению к другим;

в) я испытываю очень теплые чувства по отношению к другим;

г) я люблю всех людей

18. а) у меня практически нет счастливых воспоминаний;

б) у меня есть отдельные счастливые воспоминания;

в) большинство произошедших со мной событий представляются мне счастливыми;

г) все происшедшее кажется мне чрезвычайно счастливым

19. а) я никогда не бываю в радостном или приподнятом настроении;

б) иногда я испытываю радость и пребываю в приподнятом настроении;

в) я часто испытываю радость и пребываю в приподнятом настроении;

г) я все время радуюсь и пребываю в приподнятом настроении

20. а) между тем, что я хотел бы сделать, и тем, что сделал, — большая разница;

б) кое-что из желаемого я сделал;

в) я сделал многое из того, что хотел;

г) я сделал все, чего когда-либо желал

21. а) я не способен хорошо организовать свое время;

б) я организую свое время достаточно хорошо;

в) я очень хорошо организую свое время;

г) мне удается успеть все, что я хочу сделать

22. а) мне не бывает весело в компании других людей;

б) иногда мне бывает весело с другими людьми;

в) мне часто бывает весело с другими людьми;

г) мне всегда весело в окружении людей

23. а) я никогда не подбадриваю окружающих;

б) иногда я подбадриваю окружающих;

в) я часто подбадриваю окружающих;

г) я всегда подбадриваю окружающих

24. а) у меня нет ощущения осмысленности и цели в жизни;

б) у меня есть ощущение смысла и цели в жизни;

в) у меня ясное ощущение смысла и цели в жизни;

г) моя жизнь полна смысла и имеет цель

22 Глава 2 Как измерять и изучать счастье

Окончание табл. 2.2

25 а) я не ощущаю особой привязанности к другим и сопричастности;

б) иногда я ощущаю привязанность к людям и сопричастность;

в) я часто ощущаю привязанность и сопричастность;

г) я всегда ощущаю привязанность и сопричастность

26. а) не думаю, что мир — это стоящее место;

б) думаю, что мир — довольно хорошее место;

в) думаю, что мир — это замечательное место;

г) по-моему, мир — это превосходное место

27. а) я редко смеюсь;

б) я смеюсь довольно часто;

в) я много смеюсь;

г) я очень часто смеюсь

28. а) я думаю, что выгляжу непривлекательно;

б) я думаю, что выгляжу довольно привлекательно;

в) я думаю, что выгляжу привлекательно,

г) я думаю, что выгляжу очень привлекательно

29. а) я не нахожу вокруг ничего забавного и интересного;

б) некоторые вещи я нахожу забавными;

в) большинство вещей кажутся мне забавными;

г) мне все кажется забавным и интересным

Источник: Hills & Argyle, 1998b.

Джозеф и Льюис (Joseph & Lewis, 1998) разработали Общую шкалу депрессии-счастья (General Depression-Happiness scale) и обнаружили, что она коррелирует с Оксфордским опросником счастья (OHI) на уровне 0,54, а с Опросником депрес­сии Бека (BDT)----0,75. Это подтверждает, что существует единое измерение сча­стья, имеющее сильную отрицательную корреляцию с депрессией.

Каково число основных компонентов счастья?

Как мы уже видели, счастье может иметь до некоторой степени независимые ког­нитивные и эмоциональные составляющие, которые можно оценить при помощи вопросов об удовлетворенности или о радости и приподнятом настроении. Эндрюс и Мак-Кеннелл (Andrews & McKennell, 1980) провели исследование субъективно­го благополучия, в котором участвовало большое количество испытуемых из Ве­ликобритании и США, по 23 критериям. Они выявили отчетливые эмоциональные и когнитивные факторы и установили, что показатели счастья больше коррелиру­ют с первыми. Аффективные и когнитивные переменные, разумеется, взаимосвя­заны, однако корреляция составляет лишь г = 0,50, а иногда и того меньше.

Сью и соавторы (Suh et al, 1997) сообщают о данных, полученных в 43 странах; количество обследованных респондентов в целом составило 56 661 человек. Сред­няя корреляция между аффективным балансом и удовлетворенностью оказалась равной 0,41, но была выше в тех странах, где выражен индивидуалистский настрой (таких, как Великобритания и США), оказавшись 0,50 и выше. В странах, где

Что такое счастье7 23

*■'.

**

i

господствуют коллективистские отношения, корреляция оказалась меньше — око­ло 0,20. Вероятно, причина такого положения вещей заключается в том, что в куль­турах второго типа выражаемая удовлетворенность зависит как от состояния са­мого человека, так и от состояния других членов общества. Таким образом, можно сказать, что счастье состоит по крайней мере из 2 элементов, отчасти независимых друг от друга.

Описанная Шкала Фордиса измеряет главным образом эмоциональную состав­ляющую. Аффектометр Каммана и Флетта (Affectometef) (Kammann & Flett, 1983) определяет только аффективный компонент, тогда как Шкала удовлетвореннос­ти жизнью Динера (Diener et al., 1985) позволяет оценить тот аспект, который заявлен в ее названии. Еще одним способом измерения эмоционального компо­нента являются так называемые «лица» («faces» measure) Эндрюса и Уйти, пока­занные на рис. 2.1. Согласно данной методике задается вопрос о «жизни в целом», однако формат ответа обращает этот метод в способ выявления эмоционального состояния человека.

Здесь изображены лица, выражающие различные чувства. Какое из них точнее всего отражает то, как вы ощущаете свою жизнь в целом?



Рис. 2.1. Лица и чувства. Источник: Andrews & Withey, 1976

Однако в эмоциональной составляющей, вероятно, следует выделить несколь­ко показателей, поскольку хорошее настроение не является противоположностью плохого. Брэдбери (Bradburn, 1969) спрашивал людей о том, какую часть времени за последние несколько недель они находились в хорошем и плохом настроении. Некоторые из вопросов звучали так:

За последние несколько недель приходилось ли вам чувствовать...

...например, удовольствие от того, что вы чего-то достигли? ...что дела идут так, как надо?

...себя в подавленном состоянии или очень несчастным? ...себя очень одиноким или отдаленным от других людей?

Основной вывод, сделанный Брэдберном, состоял в том, что два этих измерения практически полностью независимы друг от друга. Данный вопрос много обсуждал­ся и изучался. Вкратце можно сказать, что корреляция между положительным аф­фектом (РА) и отрицательным аффектом (NA) составляет примерно -0,43 (Tellegen et al., 1988). Более подробно мы коснемся этого вопроса в следующей главе.

Проблема отрицательных эмоций увлекает нас в разработанную область, свя­занную с изучением психологического дистресса, для измерения которого суще-

24 Глава 2. Как измерять и изучать счастье

ствует несколько широко используемых методик. Например, Шкала нейротизма Айзенка (Eysenk Neiroticism scale) и Опросник депрессии Бека (BDF). Эндрюс и Уйти (Andrews & Withey, 1976) установили, что их шкала удовлетворенности в известной степени не зависит от показателей как положительных, так и отрица­тельных эмоций. Все это подводит нас к разделяемому многими авторами выводу о том, что счастье имеет 3 основных компонента: удовлетворенность, положитель­ные и отрицательные эмоции. Впрочем, как мы видели, все они тесно взаимосвяза­ны друг с другом. При измерении счастья можно выделить и другие компоненты, однако описанный способ до сих пор наиболее часто используется научными ра­ботниками.

Другой, более детальный подход к изучению эмоций заключается в измерении не только их силы, или глубины, но и частоты. Обе эти характеристики влияют на эмоциональное состояние в целом, причем было установлено, что более важное значение в данном случае имеет частота встречаемости той или иной эмоции. К это­му вопросу мы еще вернемся, когда станем рассматривать воздействие позитивных жизненных событий и, в частности, коснемся наиболее важных из них.

Отрицательные эмоции тоже, вероятно, следует как-то классифицировать. Хиди и Веринг (Headey & Wearing, 1992) в результате исследования, которое они проводили в Австралии, выявили, что корреляция между депрессией (по Опрос­нику депрессии Бека) и тревожностью (по Шкале Спилбергера) составляет лишь г = 0,50. Так что эти 2 основных вида отрицательных эмоций (или дистресса) отча­сти независимы. В исследовании также использовались Аффективный баланс Брэд-берна и Общий опросник здоровья. При этом авторы пришли к выводу, что все 4 кри­терия негативного аффекта и дистресса хотя и коррелируют, но в незначительной мере (от 0,36 до 0,50). Это дает основания выделить несколько компонентов негатив­ного аффекта. Кроме того, по всей видимости, желательно оценивать разные отри­цательные эмоции в отдельности. При использовании двух измерений отрицатель­ных эмоций — депрессии и тревожности — мы получаем 4 компонента счастья. Выявленные Хиди и Верингом взаимосвязи между ними показаны на рис. 2.2.



Рис. 2.2. Оценки «истинных» корреляций между составляющими благополучия и психологического

дистресса. Показатели надежности (альфа-коэффициенты Кронбаха), использовавшиеся для наблюдаемых

корреляций: удовлетворенность жизнью 0,92; положительные эмоции 0,64; депрессия 0,82; тревожность 0,85.

Источник. Headey & Wearing, 1992, p. 45

Что такое счастье? 25

Лукас, Динер и Сью (Lucas, Diener, & Suh, 1996) обнаружили, что различные критерии удовлетворенности жизнью формируют один четко выраженный фактор и тесно коррелируют друг с другом. В то же время эти показатели не связаны с критериями положительных и отрицательных эмоций, а также с показателями оптимизма и самооценки.

Так являются ли оптимизм, наличие цели в жизни и самооценка составляющи­ми счастья? Существуют хорошо зарекомендовавшие себя методики, позволяющие измерить оптимизм (Шкала жизненных ориентации — Life Orientation Scale), цель в жизни и самооценку. Все эти показатели можно рассматривать как элементы по­зитивного мышления. Возможно, однако, придерживаться и более узкого опреде­ления счастья. Тогда следует сказать, что эти переменные являются одними из при­чин счастливого состояния. Именно такого подхода придерживается большинство исследователей. Рифф (Ryff, 1989) же разработал метод измерения психологиче­ского благополучия на основе 6 факторов:

• принятие себя;

• позитивные отношения с другими;

• независимость;

• контроль над обстоятельствами;

• наличие цели в жизни;

• личностный рост.

Все они вместе образуют один суперфактор, хотя корреляции между ними до­вольно низки. Они также по-разному соотносятся с другими переменными. В даль­нейшем мы еще столкнемся с некоторыми из них.

Как соотносятся счастье и психическое здоровье? Последнее можно оценить с помощью одного фактора. Широко применяется Общий опросник здоровья (Ge­neral Health Questionnaire — GHQ) (Goldberg, 1978), а также Шкала нейротизма Айзенка (Eysenck, 1976). Сокращенный вариант Общего опросника здоровья пред­ставлен в табл. 2.3. Мы уже видели, что можно установить единый фактор благо­получия и (хорошего) психического здоровья, как это показано в табл. 2.1. Отме­чалось также, что положительные и отрицательные эмоции отчасти независимы друг от друга, и поэтому дистресс, отрицательные эмоции, депрессию или тревож­ность (точнее, отсутствие всех этих показателей) лучше рассматривать в качестве одного компонента субъективного благополучия.

Еще один вопрос связан с физическим здоровьем. Последнее является как причиной, так и следствием субъективного благополучия и может рассматри­ваться в качестве составной части более широкого понятия — качества жизни. Еще один момент касается субъективного здоровья, являющегося частью субъ­ективного благополучия. Вместе с тем оно не слишком тесно связано с физиче­ским здоровьем. Последнее измерялось в исследовании, проведенном недавно в Великобритании, по Шкале SF-36, которая позволяет выявить, какие ухудше­ния наблюдаются в различных сферах жизнедеятельности человека (Jenkinson & McGee, 1998).

26 Глава 2. Как измерять и изучать счастье

Таблица 2.3 Общий опросник здоровья (GHQ) (версия из 12 пунктов)

В последнее время вы

*1. Были способны сконцентрироваться на том, чем вы занимаетесь?

2 Сильно страдали от бессонницы из-за волнений?

*3. Чувствовали, что играете важную роль в происходящем?

*4. Чувствовали себя способным принимать решения'

5. Чувствовали себя в постоянном напряжении?

6 Чувствовали себя не в состоянии преодолеть трудности?

*7. Могли получать удовольствие от своих обычных повседневных занятий?

*8. Были способны решить свои проблемы?

9. Чувствовали себя несчастным или подавленным?

10. Теряли уверенность в себе?

11. Думали о себе как о ничтожном человеке?

* 12. Чувствовали себя в целом умеренно счастливым?

Источник: Goldberg, 1972.

Заметим: за ответы на отмеченные звездочкой (*) пункты очки начисляются с противопо­ложным знаком; 0 означает полное согласие.

Насколько хороши эти шкалы?

Существует несколько способов оценки психологического теста.

1. Определение внутренней связности, т. е. коррелируют ли друг с другом пункты шкалы. Нам необходимо знать, что измеряется определенная пере­менная, а ее компоненты взаимосвязаны и успешно опробованы тестом. Этот аспект обычно определяют с помощью альфы Кронбаха. Большинство из тех тестов, на которые мы ссылались, имеют высокий показатель по такому кри­терию, например Шкала удовлетворенности жизнью Динера (0,84) и Окс­фордский опросник счастья (ОНГ) (0,85). Названные тесты не являются ог­раниченными методиками, в которых все пункты практически одинаковы.

2. Определение ретестовой надежности, т. е. стабильны ли показатели во вре­мени. Большинство упоминавшихся тестов очень хорошо удовлетворяют и этому критерию. Мы обнаружили, что Оксфордский опросник счастья бо­лее стабилен, чем сходный с ним Опросник депрессии Бека (на уровне 0,67 за 6-месячный период). Хиди и Веринг (Headey & Wearing, 1992) установи­ли показатель устойчивости от 0,5 до 0,6 для промежутка в 6 лет. Однако данные методики должны быть чувствительны и к изменениям. Так, теку­щие конфликты, равно как и благополучие в прошлом, предсказывают сте­пень благополучия в настоящее время (Chamberlain & Zika, 1992).

3. Определение валидности теста, т. е. согласуются ли данные с более точ­ными или более непосредственными измерениями счастья. Используются 2 типа валидности. Например, в Оксфордском опроснике счастья шкала «вос­хитительно—ужасно» (Delighted — Terrible) и другие шкалы коррелируют

Что такое счастье? 27

с оценками людей, которые знакомы с респондентами, (коэффициент кор­реляции составляет примерно 0,5-0,6). Леппер (Lepper, 1998), обратившись к выборке из 1500 пенсионеров, установил следующие корреляции с пока­зателями счастья (позиция значимых других):

• счастье 0,59; 0,54 (2 обследованные группы);

• положительные эмоции 0,45; 0,43;

• аффективный баланс 0,53;

• удовлетворенность 0,53; 0,51.

Указанные данные также соотносятся с ежедневными отчетами о настрое­нии на протяжении нескольких недель, причем для шкалы D—Гкорреляция несколько выше и составляет 0,66. Сэндвик, Динер и Зейдлиц (Sandvik, Die-ner & Seidlitz, 1993) сравнили 4 способа измерения субъективного благопо­лучия на основе самоотчетов и ряда методик, которые построены на иных принципах — направленных на оценку друзей и членов семьи, ежедневных отчетов о настроении, письменных интервью и когнитивных критериев. Средняя корреляция между методами 2 типов составила 0,73, а вот между оценками друзей и семьи — всего лишь 0,44. Эти выводы говорят о многом, но прежде всего о том, что шкалы далеки от совершенства. Другой вид валидности связан с выяснением того, порождает ли тест ожи­даемую модель отношений с другими переменными. И здесь, следует при­знать, нас поджидают некоторые сюрпризы. Критерии субъективного бла­гополучия в меньшей мере соотносятся с показателями объективной удов­летворенности, чем это можно было бы ожидать. Особенно слаба связь с уровнем дохода: несмотря на то, что сейчас люди на Западе в 4 раза обеспе­ченнее, чем 40 лет назад, уровень их субъективного благополучия практиче­ски не изменился, а у 37% очень богатых американцев показатели счастья оказались даже ниже среднего (Diener & Suh, 1997a). Такая слабая взаимо­связь объясняется тем, что удовлетворенность и другие аспекты субъектив­ного благополучия зависят не только от объективного состояния мира, но и от человеческих ожиданий и прочих когнитивных процессов, происходящих «в голове». Тем не менее субъективное благополучие не есть всецело субъек­тивный показатель, — это истинное состояние человека, оно по-настоящему «объективно», поскольку соответствует фактической работе мозга, реально­му выражению лица и разнообразным видам действительного поведения (Diener & Suh, 1997a).

4. Определение особенностей влияния субъективных факторов на ответы ис­пытуемых. Их, например, может искажать эффект непосредственного на­строения. Шварц и Штрак (Schwarz & Strack, 1991) обнаружили, что люди сообщали о значительно более высоком уровне счастья и удовлетвореннос­ти жизнью, если была солнечная погода или когда футбольная команда Гер­мании одержала победу. Подобные влияния можно уменьшить, если попро­сить респондентов описать свои ощущения «в течение нескольких послед­них недель», а не в настоящий момент и если, разумеется, не стремиться привести их в необычное расположение духа.

28 Глава 2. Как измерять и изучать счастье

Существует также опасность того, что респонденты станут делать вид, что они счастливее, чем на самом деле, чтобы лучше выглядеть в глазах иссле­дователя или самого себя. Большинство людей определяют свое счастье зна­чительно выше среднего уровня, например, на 6 или 7 баллов по 9-балльной шкале (Andrews & Withey, 1976). Но огромное число англичан также гово­рят, что очень счастливы в браке, при этом половина из них разводится. Удовлетворенность жизнью, как было установлено, коррелирует с уровнем самообмана (Hagedorn, 1996). Однако, по-видимому, в данном случае в от­ветах не отражается настрой на социальную желательность — склонность давать социально одобряемый ответ (Vella & White, 1997). Как это согласу­ется с вышеописанным уклоном в сторону позитивного? Вероятно, подоб­ная склонность есть у каждого. Возможно, любой ощущает, что его уровень счастья выше среднего: ведь раз люди говорят так, нам следует заключить, что они действительно счастливы. Серьезная проблема возникла в связи с кросс-культурными исследованиями, которые мы сейчас и затронем.

5. Определение возможности применения теста в разных популяциях. Во­прос о том, являются ли одни страны или культуры более счастливыми, чем другие, представляет как практический, так и теоретический интерес. Одна­ко для его решения требуются опросники, валидные не только для одной культуры. Мы уже видели, что исследования счастья в коллективистских сообществах Востока связаны с определенными трудностями, поскольку са­мооценки удовлетворенности основаны не только на ощущаемом индивидом личном счастье, но и на воспринимаемом им благополучии группы. Мы ви­дели, что использование субъективных критериев порождает некоторые со­мнительные результаты, в частности, иногда они не отражают значительные различия в таких объективных социальных показателях, как доход, образо­вание и здоровье. Отмечены и некоторые другие, столь же подозрительные результаты. Например, «Евробарометр» выявил очень низкую удовлетво­ренность у жителей Франции и Италии: лишь 10% из них «очень доволь­ны жизнью в целом», тогда как в Дании таковых 55%, а в Голландии — около 45% (Inglehart & Rabier, 1986). Можно предположить, что это, вероятно, свя­зано с различными культурными нормами дозволенности отрицательных и желательности положительных эмоций, а не с огромными национальными различиями в уровне счастья. Решением данной проблемы может быть при­менение менее прямых формулировок.

6. Определение наилучших способов измерить уровень счастья. Таковые могут существовать, но все они, вероятно, неудобны и дорогостоящи по срав­нению с опрашиванием людей. Единственный часто используемый альтерна­тивный метод — «замер переживаний» {experience sampling). Он заключается в том, что человек сообщает о своем настроении в разные моменты времени, затем полученные баллы усредняются. Брандстеттер (Brandstatter, 1991) использовал его так: он раздал испытуемым график, составленный случай­ным образом, — в нем отмечены моменты времени в пределах каждого из шести 4-часовых суточных периодов. «Расписание» охватывало 30 дней, — таким образом, оно в сумме рассчитано на 180 отметок. Ларсон (Larson, 1978)

Социальные показатели 29

замерял настроение людей в разные, случайно отобранные, моменты време­ни. Затем он стал использовать секундомер , запрограммированный на вы­ключение в определенные моменты. Пока что данные методы использовались не столь широко, чтобы можно было понять, сколько требуется замеров или каков наилучший способ их получения. Однако эти методы обладают зна­чительной степенью очевидной («лицевой») валидности. Это тоже самоот­четы, но они ближе к непосредственному опыту индивида и предъявляют меньше требований к запоминанию и обобщению переживаний. Другой воз­можный способ замера настроения заключается в том, чтобы получить дан­ные о выражении лица и тоне голоса в моменты времени, выбранные в из­вестной мере наугад. Такой способ тоже привлекателен, но совершенно не­практичен.

Еще один метод состоит в том, чтобы попросить друзей обследуемых инди­видов оценить их. Для получения всесторонней информации важно, чтобы оценки дали несколько друзей. Такой подход позволяет избежать описанно­го выше искажения, вызванного предубеждениями, что характерно для са­моотчетов. Однако это приводит к другим проблемам: в частности, оценки друзей могут отражать их взаимоотношения с субъектом. Данный метод вполне пригоден для использования на практике и недорог, однако приме­няется редко.

Наконец, можно оценивать некоторые физиологические процессы, напри­мер, влияние серотонина и других химических веществ, регулирующих на­строение, или активность левой лобной доли коры головного мозга, где на­ходится зона хорошего настроения, хотя метод экстракции может снизить уровень счастья. Однако данные способы изучения еще предстоит детально изучить.

Социальные показатели

Очевидно, что измерение счастья посредством опросов связано с некоторыми про­блемами. Альтернатива — использовать объективные социальные показатели. Та­кой метод наиболее часто применяется при сравнении городов или государств по таким критериям, как средний доход, число лет обучения и продолжительность жизни. Данный метод может также использоваться для изучения исторической динамики благосостояния.

Основная сложность такого подхода заключается в том, чтобы выделить инди­каторы. Британское правительство в 1999 г. объявило о своем намерении провести мониторинг и ряд мероприятий по улучшению 13 социальных показателей, среди которых — уровень дохода, образования и безработицы; были среди них и менее привычные: разнообразие птиц и уровень загрязнения рек. Делает ли большое чис­ло птиц счастливыми людей, или важнее какие-то иные аспекты жизни? Может, имеет смысл снова обратиться к субъективным критериям. И если, например, по­пуляции пернатых не приводят к большему счастью человека, то мы можем этот показатель не учитывать. Другая проблема заключается в том, что один и тот же индикатор измеряется в разных местах неодинаково. Скажем, когда говорим о по-

30 Глава 2. Как измерять и изучать счастье

годе, то как можно понять, какая температура или какой температурный диапазон лучше?

По ходу изложения мы затронем вопросы о влиянии денег и некоторых других объективных факторов, а в главе 12 вернемся к объективным показателям, пред­назначенным для изучения национальных различий.

Объективные показатели возможно использовать применительно как к стра­нам, так и к индивидам, характеризуя их доход, образование и т. д. Такой подход задействуется при оценке качества жизни с точки зрения здоровья, когда людей не спрашивают, как они себя чувствуют, а устанавливают, какие действия они способ­ны производить, насколько ограничена их жизнедеятельность (Jenkinson & McGee, 1998). В рамках других подходов, направленных на изучение благополучия паци­ентов, оценивается успешность их физического, психологического, социального и экономического функционирования (Raphael et al., 1996).

Объективные или субъективные показатели

Важны обе группы показателей. Основной недостаток объективных показателей заключается в том, что мы не знаем, какой из них выбрать. Кроме того, мы сталки­ваемся с проблемой нахождения эквивалентных критериев для разных стран. Ос­новное слабое место субъективных показателей — в том, что на них влияют когни­тивные искажения, например: ожидания и адаптация. Поэтому мы не знаем, на­сколько можно доверять полученным данным. Диннер и Сью (Diener & Suh, 1997a) полагают, что объективные и субъективные показатели следует как-то сочетать. Конечно, если мы располагаем двумя массивами данных, это многое проясняет. В своем исследовании, где сравнивалось благополучие в 40 странах, эти ученые установили, что корреляция между субъективным благополучием и введенным ими Индексом качества жизни {Quality of Life Index) составляет 0,57. При этом были выявлены значительные несоответствия: например, в Австрии и Нигерии оказался (схожий) уровень субъективной удовлетворенности, однако по шкале качества жизни первая из стран набрала 71 балл, а вторая лишь 30. Таким образом, если бы мы бы хотели улучшить там жизнь людей, то вполне могли бы проигнори­ровать субъективные показатели счастья. Скандинавские страны всегда демонстри­руют высокий уровень субъективной удовлетворенности — выше, чем можно было бы ожидать при взгляде на объективные показатели. Вполне вероятно, что со сход­ными проблемами мы столкнемся при сравнении молодых и пожилых, мужчин и женщин, людей с разными личностными чертами.

Исследовательские методы

Социальные обследования

Это был первый метод, использованный для изучения счастья, и на сегодняшний мо­мент проведено уже значительное количество обследований. Некоторые из них были весьма масштабны (например, в одном из обследований участвовало 160 000 респон­дентов). Это означает, что полученные данные можно с уверенностью использовать для статистического анализа. Сначала исследователей в основном интересовал

Исследовательские методы 31

вопрос о том, какова среди населения доля счастливых и несчастных людей. Затем проводилось много обследований, в которых исследовалась статистическая взаи­мосвязь между уровнем счастья, определенным по самооценке, и другими перемен­ными, например возрастом, семейным положением, занятостью и т. д. Первым таким примером является очень широко известное исследование Кэмпбелла (Campbell et al., 1976). Затем ученые осознали, что некоторые переменные взаимосвязаны, т. е. одна из них может отражать воздействие другой. С целью показать независимое влияние различных величин социологи стали широко применять множественную регрессию. Выше мы ссылались на 630 исследований, переработанных Венховеном (Veenhoven, 1994): во многих из них использовались именно такие методы. Из этих работ мы узнаем, например, что раса слабо влияет на субъективное благополучие, ели принимаются в расчет доход, образование и другие подобные переменные.

Существуют и другие оригинальные способы проверить гипотезы о причинах благополучия. Например, Кларк и Освальд (Clark & Oswald, 1996) установили, что удовлетворенность доходом никак не связана с фактическим его уровнем; однако эта удовлетворенность оказалась выше у тех, кто, учитывая свой возраст, образо­вание, характер работы и т. д., рассчитывал на меньшее. Эти люди были рады по-иучить больше, чем ожидали (вероятно, больше, чем получали раньше), или пре­успеть значительнее, чем другие люди, — но эти аспекты надо исследовать допол-штельно.

Однако подобные исследования все же не показывают истинной направленно­сти причинной связи: люди могут быть счастливы из-за того, что состоят в браке, вно, возможно, у счастливых людей больше шансов вступить в брак. В некоторых случаях никакой проблемы не возникает: например, возраст может быть исключи­тельно причиной, но никак не следствием. Однако в том, что касается других пере­менных, зачастую возникают серьезные сомнения, и из одной совокупности дан­ных, отражающих состояние дел в определенный момент времени, направление связи вычленить невозможно. За этим мы обращаемся к лонгитюдным и экспери­ментальным методам.

Лонгитюдные исследования

Большинство из них имеют вид «панельного исследования», в рамках которого од­них и тех же индивидов тестируют дважды — с промежутком в несколько месяцев или лет. Таким образом, можно построить множественную регрессию, чтобы пред­сказать благополучие в момент времени t2, исходя из уровня благополучия в момент t{ и вероятных причинных переменных, к которым относятся семейное положение, занятость и личностные черты. Бенкс и Джексон (Banks & Jackson, 1982) изучали, влияет ли безработица на психическое здоровье, или у людей с плохим психическим здоровьем просто меньше шансов устроиться на работу. Было протестировано не­сколько сотен выпускников школ с использованием Общего опросника здоровья, повторное тестирование проводилось через 2 и 4 года. Показатели, полученные в разные периоды времени, представлены в табл. 7.5. Те, кто не нашел работы, набра­ли по опроснику больше баллов, чем во время выпуска, т. е. их психическое здоро-. вье ухудшилось. Причинная связь была выявлена в обоих направлениях, однако I сильнее она в направлении безработица—психическое здоровье.

32 Глава 2. Как измерять и изучать счастье

При обследовании психического здоровья используется следующая процедура: исследуются группы «повышенного риска», например те, для которых характерен высокий риск депрессии. Наиболее близкий к этому подходу метод, направленный на изучение счастья, — это исследование индивидов, подверженных высокому «риску» вступления в брак или влюбленности (например, студентов-первокурсни­ков). В результате выяснилось, что любовь — важнейший источник психического здоровья.

Эксперименты

Это широко распространенный метод выявления причинной направленности. Но в рассматриваемой области он применялся мало. В основном это касалось «созда­ния настроения», когда его уровень у субъектов повышается, например с помощью бодрой музыки или демонстрации забавных видеоматериалов. Учеными установ­лено, что таким образом человека можно сделать счастливым в лабораторных усло­виях, однако эффект обычно довольно непродолжителен: 10-15 минут. Было про­ведено множество подобных экспериментов, и соответствующий их обзор будет сделан нами в главе 13.

Основные достоинства лабораторных экспериментов таковы: во-первых, они позволяют прояснить причинную связь, а во-вторых, в таких условиях возможно удерживать неизменными множество переменных. Это позволяет проверять до­вольно сложные теории с помощью прогнозов. Только вот у лабораторной работы есть существенный недостаток: эти исследования искусственные, масштаб фено­менов в них уменьшается, а потому оказывается не так много убедительных моде­лей реальных объектов — как того требуют комиссии по этике. Тем не менее в их рамках могут воссоздаваться позитивные эмоциональные состояния, что не нахо­дит принципиальных возражений в отличие от генерации отрицательных эмоций.

Как счастье коррелирует с личностными чертами?

Важным вопросом в рассматриваемой сфере является влияние личностных осо­бенностей на счастье: какие черты способствуют ему и в какой мере. Так, напри­мер, во многих исследованиях установлено: существует довольно сильная корре­ляция между счастьем и экстраверсией, в некоторых работах достигающая 0,5. Желательно, чтобы такие переменные, как возраст и пол, оставались постоянны­ми. Известно, что экстраверсия и ряд иных личностных черт являются довольно устойчивыми, носят преимущественно врожденный характер и имеют физиоло­гическую основу, поэтому считается, что скорее именно они являются причиной счастья, а не наоборот. Однако счастье — это тоже отчасти врожденное и устой­чивое свойство. Оно также может иметь определенную физиологическую осно­ву. В некоторых исследованиях обнаружили, что экстраверсия — зависимая пе­ременная, возрастающая под воздействием приятных социальных переживаний и высокого уровня благополучия (Headey, Holstrom, & Wearing, 1984). Таким образом, вопрос о направленности причинной связи четко не прояснен. Раньше не было понятно, какие личностные характеристики могут коррелировать с субъек­тивным благополучием, но сегодня мы это знаем благодаря множеству проведен­ных исследований.

_____________________________________________________________Выводы 33

Влияние благополучия на поведение

Причинная связь касается и следствий счастья. Этот аспект можно изучать с по­мощью тех же методов, которые используются для выявления его причин. Для это­го возможно применить лабораторные эксперименты, в ходе которых испытуемых приводят в хорошее, нейтральное или плохое настроение с целью проследить, как будет меняться какой-либо аспект их поведения. Здесь организуются и масштаб­ные обследования, когда многие переменные удерживаются постоянными, чтобы установить, например, живут ли счастливые люди дольше. В главе 14 мы увидим, что счастье и даже хорошее настроение оказывают впечатляющее воздействие на здо­ровье и на продолжительность жизни, психическое здоровье, общительность, а так­же отзывчивость и альтруизм. Хорошее настроение влияет на мышление неодно­значно: оно способствует творчеству, но приводит к менее глубокому мышлению.

Выводы

Установлено, что счастье — единый фактор человеческого опыта, однако оно со­стоит по крайней мере из 3, отчасти независимых, факторов: удовлетворенности жизнью, положительных эмоций и отсутствия отрицательных эмоций. Эти компо­ненты можно измерить с помощью единичных вопросов, хотя предпочтительнее использовать более подробные шкалы.

Существуют хорошо зарекомендовавшие себя методы оценки счастья, которые обладают высокой внутренней согласованностью, устойчивы во времени и валид­ны по сравнению с другими методиками. Однако на результаты измерения могут влиять такие субъективные факторы, как непосредственное настроение; это подоб­но влиянию на межнациональные сравнения местных обычаев, которые вызваны желанием казаться более или менее счастливым, чем это есть на самом деле.

Альтернативное средство оценить благополучие — использовать социальные индикаторы, однако трудно решить, какие показатели следует избрать. Между объек­тивными и субъективными критериями наблюдаются некоторые противоречия.

Широко используются социальные обследования, а также лонгитюдные мето­ды (например, исследование субъектов, отличающихся склонностью к «высокому риску»), эксперименты и коррелирование счастья с личностными чертами. Экспе­римент — основной метод изучить воздействие позитивного настроения.

2 Зак 312

1   2   3   4   5   6   7   8   9   ...   25

Похожие:

Майкл Аргайл психология счастья 2-е издание Москва • Санкт-Петербург ■ Нижний Новгород • Воронеж Ростов-на-Дону ■ Екатеринбург • Самара Киев ■ Харьков • Минск 2003 ббк 88. 3 iconРедактор Художник Корректоры Верстка Е. Строганова Е. Журавлева Ю....
Москва Санкт-Петербург Нижний Новгород – Воронеж Ростов-на-Дону Екатеринбург – Самара Киев Харьков Минск

Майкл Аргайл психология счастья 2-е издание Москва • Санкт-Петербург ■ Нижний Новгород • Воронеж Ростов-на-Дону ■ Екатеринбург • Самара Киев ■ Харьков • Минск 2003 ббк 88. 3 iconДиапазон измеряемых температур, °С
Казань (843)206-01-48, Краснодар (861)203-40-90, Красноярск (391)204-63-61, Москва (495)268-04-70, Нижний Новгород (831)429-08-12,...

Майкл Аргайл психология счастья 2-е издание Москва • Санкт-Петербург ■ Нижний Новгород • Воронеж Ростов-на-Дону ■ Екатеринбург • Самара Киев ■ Харьков • Минск 2003 ббк 88. 3 iconДиапазон измеряемых температур, °С
Казань (843)206-01-48, Краснодар (861)203-40-90, Красноярск (391)204-63-61, Москва (495)268-04-70, Нижний Новгород (831)429-08-12,...

Майкл Аргайл психология счастья 2-е издание Москва • Санкт-Петербург ■ Нижний Новгород • Воронеж Ростов-на-Дону ■ Екатеринбург • Самара Киев ■ Харьков • Минск 2003 ббк 88. 3 iconПо вопросам продаж и поддержки обращайтесь
Казань (843)206-01-48, Краснодар (861)203-40-90, Красноярск (391)204-63-61, Москва (495)268-04-70, Нижний Новгород (831)429-08-12,...

Майкл Аргайл психология счастья 2-е издание Москва • Санкт-Петербург ■ Нижний Новгород • Воронеж Ростов-на-Дону ■ Екатеринбург • Самара Киев ■ Харьков • Минск 2003 ббк 88. 3 iconКнига в таком объеме, посвященная вепосипеду и отдельному виду туризма,...
З. З. Шакиров (Казань); В. В. Моржаков (Н. Новгород); В. А. Щеголев (Нов-город); В. С. Ильин (Ростов-на-Дону); А. И. Старков (Уфа);...

Майкл Аргайл психология счастья 2-е издание Москва • Санкт-Петербург ■ Нижний Новгород • Воронеж Ростов-на-Дону ■ Екатеринбург • Самара Киев ■ Харьков • Минск 2003 ббк 88. 3 iconТарифы по выпуску и обслуживанию индивидуальных банковских карт ббр...
В филиалах ббр банк (АО) Г. Санкт – петербург, Г. Владивосток, Г. Красноярск, Г. Краснодар, Г. Нижний новгород

Майкл Аргайл психология счастья 2-е издание Москва • Санкт-Петербург ■ Нижний Новгород • Воронеж Ростов-на-Дону ■ Екатеринбург • Самара Киев ■ Харьков • Минск 2003 ббк 88. 3 iconМаркетинговый отчет
России (Нижний Новгород), Украине (Киев) и Белоруссии (Минск). Группа специализируется на бизнес-образовании в области менеджмента,...

Майкл Аргайл психология счастья 2-е издание Москва • Санкт-Петербург ■ Нижний Новгород • Воронеж Ростов-на-Дону ■ Екатеринбург • Самара Киев ■ Харьков • Минск 2003 ббк 88. 3 iconДмитрий Владимирович Композиторская школа Н. А. Римского-Корсакова...
Охватывает города европейской части России, Украину, Азербайджан (С. Петербург, Москву, Ростов-на-Дону, Киев, Харьков, Полтаву, Житомир,...

Майкл Аргайл психология счастья 2-е издание Москва • Санкт-Петербург ■ Нижний Новгород • Воронеж Ростов-на-Дону ■ Екатеринбург • Самара Киев ■ Харьков • Минск 2003 ббк 88. 3 iconПроцесс рассмотрения заявления на визу возможен лишь только после...
Визовых Центрах Великобритании (в г. Москва, Санкт-Петербург, Екатеринбург, Ростов-на-Дону, Новосибирск) лично в назначенное время....

Майкл Аргайл психология счастья 2-е издание Москва • Санкт-Петербург ■ Нижний Новгород • Воронеж Ростов-на-Дону ■ Екатеринбург • Самара Киев ■ Харьков • Минск 2003 ббк 88. 3 iconПроцесс рассмотрения заявления на визу возможен лишь только после...
Визовых Центрах Великобритании (в г. Москва, Санкт-Петербург, Екатеринбург, Ростов-на-Дону, Новосибирск) лично в назначенное время....

Вы можете разместить ссылку на наш сайт:


Все бланки и формы на filling-form.ru




При копировании материала укажите ссылку © 2019
контакты
filling-form.ru

Поиск