Интернет в психологических исследованиях Бабанин Л. Н, Войскунский А. Е., Смыслова О. В


Скачать 311.76 Kb.
НазваниеИнтернет в психологических исследованиях Бабанин Л. Н, Войскунский А. Е., Смыслова О. В
страница2/3
ТипДокументы
filling-form.ru > Бланки > Документы
1   2   3

Эксперименты с помощью Интернета (онлайновые эксперименты)



Начиная с 1995 года, количество экспериментов с помощью Интернета постоянно увеличивается (Psychological…, 2000). Тематика их разнообразна: познавательные процессы, личность (дифференциально-психологическое тестирование и др.), групповая динамика и т.д. Часто используются сложные процедуры предъявления стимульного материала, регистрируются не только сами ответы, но и временные интервалы, например, время реакции. Многие эксперименты потребовали дополнительных усилий и от экспериментаторов (по созданию специальных программ), и от испытуемых (по скачиванию дополнительного программного обеспечения, заполнению большого количества анкет и пр.).

По логике экспериментатора исследование может являться экспериментом - проверяется гипотеза путем варьирования независимой переменной. Для испытуемого по форме исследование может выступать как опрос. Традиционный вариант опроса-эксперимента строится по схеме, когда эквивалентные группы респондентов получают разные варианты опросников. Однако информационные технологии позволяют выбирать более гибкие экспериментальные схемы опроса. Гибкость эксперимента может доходить до составления по определенному плану различных наборов вопросов для каждого участника.

При фиксированном опроснике независимой переменной может быть популяция, так проводятся, например, этнопсихологические исследования. Обратная ситуация происходит, когда для эквивалентных групп испытуемых экспериментатор изменяет контекст представления неизменного опросника. Формирование контекстной зависимости может осуществляться предоставлением испытуемому дополнительной информации (или ее отсутствием, или изменением). Так, в Интернет-исследовании (Psychological…, 2000), посвященном вопросу о том, стоит ли законодательно потребовать от крупной компании принимать на работу определенное количество сотрудников-афроамериканцев, было подготовлено три варианта опросника: без контекста (23% положительных ответов, полученных от 559 респондентов белой расы), с одним вариантом контекста (афроамериканцев в компании крайне мало: 21% из 627 респондентов выразили согласие) и с другим вариантом контекста (компания дискриминирует афро-американцев: 41% согласия из 606 респондентов). На основании данных, полученных в этом эксперименте, можно сделать вывод, что контекст не всегда ведет к сдвигу мнений респондентов.

Опыт проведения онлайновых экспериментов уже сейчас довольно обширен и достаточно удачен. Основным фактором, влиявшим на готовность исследователей проводить эксперимент с помощью Интернета – это возможность значительно увеличить число испытуемых. Самой большой проблемой, возникающей при проведении такого рода экспериментов – сложность контроля большого количества побочных переменных, процесса участия испытуемых в эксперименте. Например, как отмечается (Psychological…, 2000), только 66% посетителей первой web-страницы, посвященной эксперименту, выполнили всю экспериментальную процедуру до конца.

Следует отметить, что термин «испытуемый» для Интернет-исследований не вполне уместен, ибо «онлайновые испытуемые» являются в определенном смысле полноправными участниками исследования, поскольку они, как правило, значительно лучше информированы о целях и задачах эксперимента (да и о его результатах), чем испытуемые в традиционном исследовании, они находятся в другом отношении к экспериментатору, менее зависимы и менее управляемы. Более подходящим является термин «участник исследования», его мы и будем далее употреблять.

Рассмотрим такие существенные и вместе с тем связанные друг с другом моменты онлайновых экспериментов, как своеобразие деятельности испытуемых и контроль за соблюдением экспериментальных условий.

Весьма часто участники – бескорыстные волонтеры (т.н. “self-selected”), действительные мотивы и цели их участия в исследовании неизвестны. Следует также отметить, что часто участниками Интернет-исследований бывают иностранцы и несовершеннолетние, которые испытывают лингвистические и смысловые затруднения в понимании экспериментальных инструкций и заданий. Этого особенно следует опасаться, например, в тех случаях, когда для создания у участников дополнительной мотивации используются специальные стимулы («бонусы») в виде дополнительных сетевых услуг или ресурсов, материальных или символических наград.

Контролирование экспериментальных условий в онлайновом эксперименте похоже на контролирование заполняющего анкету респондента при почтовом опросе. Участники находятся в различных условиях и могут вести себя по-разному. Можно предполагать, что в и домашних условиях, и в офисе в ходе сетевого эксперимента выпивается чай, происходят отвлечения на телефонные разговоры, зачитываются вслух и обсуждаются с другими людьми тестовые задания, при генерировании ответов используются рекомендации окружающих, иной раз имеют место попытки повторного участия в эксперименте под своим или под чужим именем и т.п. Поскольку при этом увеличивается случайная составляющая зависимой переменной, т.е. происходит снижение надежности, данный недостаток компенсируется увеличением числа участников эксперимента. Можно использовать косвенные методы контроля надлежащей работы участников с использованием различных эвристик, основанных на регистрации временных параметров работы на компьютере, наличии длительных пауз, но это слабо разработано и весьма ненадежно.

В качестве другой формы контроля высказываются предложения (Psychological…, 2000, p. 235) об ужесточения процедуры регистрации испытуемых (например, попросить их предоставить большее количество информации о себе) для того, чтобы попытаться отобрать наиболее ответственных из них. То есть, для общего контроля побочных переменных, связанных с ситуацией эксперимента, делается попытка ввести дополнительную переменную «доверие к участнику», положительный полюс которой складывается из комплекса наблюдений за участником и в чем-то аналогичен «кредитному рейтингу клиента» в банковском деле.

Надо сказать, что доверие к участнику во многом зависит от доверия испытуемого к экспериментатору. В условиях онлайнового исследования репутация экспериментатора поистине дорогого стоит: любая неряшливость, проявленная по отношению к потенциальным участникам, не говоря уже о сокрытии целей исследования (как вариант – случайные оговорки об истинных целях взамен публично декларируемых целей), может обессмыслить попытки проведения исследования не только неудачливым исследователем, но зачастую и всей организацией, которой он принадлежит. Ведь пользователи Интернета активно обмениваются информацией, а информация в Интернете распространяется быстро и сохраняется долго…

Онлайновое исследование накладывает неформальные ограничения на характер работы, например, на применение шкал лжи (вопросы этой шкалы должны быть достаточно сильно закамуфлированы). Кроме того, не рекомендуется допускать невнимательность к участникам, введение в заблуждение, прямой их обман. Заметим, что участник исследования может инициировать встречные вопросы; в этом случае исследователю рекомендуется не игнорировать задаваемые вопросы и по возможности удовлетворить любопытство реципиента. Важным моментом в процедуре опроса является предоставление участникам возможности высказывать свое мнение по поводу эксперимента; отсюда рекомендация предусмотреть наряду со страницей опросника еще и канал обратной связи или форум для участников исследования.

Применяются (Psychological…, 2000) два основных пути определения внешней валидности исследований, опосредствованных Интернетом: сравнение результатов лабораторных исследований, проведенных в традиционных условиях, с результатами, полученных при помощи Интернета, а также сравнение результатов исследования, проведенного посредством Интернета, с теоретически предсказанным тенденциями.

Первый опирается на предположение о достаточно высокой валидности лабораторных исследований. Однако их валидность небесспорна. По мнению социального психолога У.Мактайра (1973), недостаток лабораторного эксперимента может быть назван «инсценировкой»: выбирается заведомо истинная гипотеза и доказывается ее истинность; при этом все привходящие обстоятельства отсекаются. Кроме того, многие лабораторные исследования проводятся на однородных выборках, состоящих преимущественно из студентов психологических факультетов, что не может не сказываться на репрезентативности полученных данных. Уязвима и экологическая валидность многих экспериментов, которые проводятся в конкретной лаборатории с довольно своеобразными условиями, так что даже воспроизведение полученных результатов другими исследователями и в иной обстановке бывает зачастую затруднено.

Участие в качестве испытуемых массы пользователей Интернета приближает эксперимент к полевым исследованиям и, тем самым, повышается внешняя валидность исследований – испытуемые находятся в привычных для себя условиях, в исследовании принимает участие более разнообразный (по сравнению с лабораторным экспериментом) состав испытуемых (Методы исследования … , 1998). Экологическая валидность онлайновых экспериментов повышается и за счет их более высокой (обычно) комплексности в сравнении с большинством лабораторных исследований. Так что, если результаты лабораторного и онлайнового эксперимента расходятся, внешняя валидность последнего вполне может оказаться большей.

Онлайновые условия также связаны с увеличением случайных смешений и помех, они более трудны для контроля, чем условия в лаборатории. Все это приближает онлайновое исследование к ситуации квазиэкспериментального исследования (Методы исследования … , 1998). Кроме того, проявляются новые побочные переменные, которые способны повлиять как на внешнюю, так и на внутреннюю валидность эксперимента. К числу таких переменных можно отнести: время ожидания, паузы (зависят от скорости передачи информации по сети и мощности компьютера участника), характеристики визуальных (размер экрана, его тип, зернистость, частота обновления, размер и вид шрифта, внешнее освещение, наличие отблесков) и манипулятивных средств (клавиатура, мышь, их расположение) и т.п. Часть из них может контролироваться путем до- или постэкспериментального регистрации и анализа технических и ситуационных характеристик, а также с помощью дополнительных форм контроля, как-то: применение специальных технических опросников, использование комплексного набора (батареи) методик с оценкой достоверности по всей совокупности методик, исключение из выборки «ненадежных», «недостоверных» участников. Опыт показывает, что при большой выборке это вполне возможно.

Следующим по важности вопросом, связанным с валидностью онлайновых исследований, является контроль за соблюдением формальных экспериментальных условий: день недели и время дня, отсутствие отвлечений во время выполнения заданий (это может фиксироваться, исходя из общей длительности работы над заданием), технических параметров системы. Формальные параметры могут говорить о многом. С одной стороны, возможность проводить эксперименты в произвольное время является преимуществом онлайнового метода, с другой стороны, для некоторых исследований оказывается важным, в какое время суток проводится исследование, ибо время может смешиваться с независимой переменной. Например, время проведения может быть связано с профессиональной деятельностью респондента, его увлечениями. Поэтому участие в опросе в три часа ночи по местному времени может свидетельствовать об определенном увлечении Интернетом, стиле жизни. Данная проблема допускает решение – можно либо задавать время доступа к серверу, либо регистрировать время прохождения эксперимента и использовать затем статистические методы контроля смешения.

В качестве примера рассмотрим исследование Д. Пагани и Л.Ломбпрди (Pagani & .Lombardi, 2000). Целями сетевого эксперимента было выяснение роли верхней части лица при восприятии эмоции удивления, а также межкультурные аспекты восприятия данной эмоции. Испытуемые должны были оценить степень выраженности удивления на схематических изображениях человеческого лица. Здесь обращает на себя внимание одна процедурная проблема. Если при проведении компьютеризированного исследования в условиях лаборатории экспериментаторы могли контролировать часть переменных, связанных с физическими особенностями предъявления изображений (в их роли могли выступать: освещение, размер и расстояние до монитора, и т.п.), то при применении Интернета такие переменные проконтролировать невозможно: у всех испытуемых компьютеры с мониторами разных размеров и разными настройками экрана, разные программы-браузеры.

Для проверки валидности исследователи параллельно провели лабораторный эксперимент с использованием того же стимульного материала, предъявляемого на мониторе компьютера. Выборка была сформирована из студентов психологического факультета университета. Поскольку на восприятие эмоции удивления могли оказать влияние культурные различия, результаты лабораторного исследования сравнивались лишь с частью данных, полученных в эксперименте: были отобраны протоколы тех участников исследования, которые указали место своего проживания Южную Европу. Коэффициент корреляции данных онлайнового и лабораторного экспериментов оказался очень высок, и авторы сделали вывод о валидности онлайнового исследования и об отсутствии влияния различий в оборудовании, используемом испытуемыми в онлайновом эксперименте, на его результаты.

Подбор участников



При проведении исследований с помощью Интернета одной из самых сложных проблем является подбор участников. С одной стороны, достоинством Интернета является возможность набрать в короткое время большую группу участников, с другой стороны, не ясно, что представляет собой эта группа. Однако, конкретные характеристики выборки могут повлиять на результаты исследования.

Требования к составу участников зависят от задач исследования. Если решается задача определения психологических качеств определенной группы людей (популяции), то основным требованием к выборке является репрезентативность популяции. Если же проводится эксперимент, в котором для разных групп предусмотрены разные уровни независимой переменной, то на первый план выступает проблема эквивалентности, уравнивания групп по существенным характеристикам. В квазиэксперименте, в котором аналогом независимой переменной выступают формальные различия между группами (регион, этнос, профессия, возраст и пол), группы должны быть уравнены по остальным параметрам.

Данную проблему можно решить, построив исследование по типу корреляционного, применяя разработанные методы статистического контроля, но этот способ требует привлечения весьма большого числа участников, обладающих разнообразными характеристиками (различные регионы, профессии, другие социально-демографические характеристики). Обычно набирают как можно больше участников, оперативно определяют неохваченные категории (например, «домохозяйки из Сибири» или «учителя дисциплин гуманитарного профиля» и т.п.) и далее целенаправленно «добирают» для участия в исследовании лиц из этих недостающих категорий.

Набор большой группы участников – мероприятие довольно сложное и относительно дорогостоящее. Следует отметить, что выбор метода привлечения участников может оказать влияние на характеристики окончательной выборки. В целом, все методы набора группы участников можно разделить по степени активности экспериментатора на активные (приглашение участвовать в эксперименте, размещенное в ньюсгруппах, конференциях, и т.д.) и пассивные – ожидается, что участники сами придут по ссылке, которую обнаружат в поисковой машине при поиске по какому-то родственному ключевому слову. Однако в обоих случаях используется принцип волонтеров, или “self-selected” - отвечают все те, кто откликнулся на объявление, т.е. «сам себя отобрал» (Walsh et al., 1992). «Приходится также признать, что сам выбор методики испытуемым может быть не случаен. Вполне может оказаться, что люди, испытывающие недостаточность, например, уверенности в себе, чаще проходят тест уверенности в себе, чем самоуверенные. Подобному искажению состава подвержены те тесты, в названии которых указана измеряемая ими психологическая черта» (Ромек, Сатин, 2000).

J. Krantz и R. Dalal (2000) указывают, что на данный момент в Интернете нет репрезентативных выборок испытуемых, представляющих всех пользователей Интернета. Основная причина этого кроется в том, что испытуемые сами решают, принимать им участие в эксперименте, или нет. Однако можно предположить, что в ближайшие 10-20 лет вместе с развитием Интернета в нем появятся и репрезентативные выборки испытуемых. Что касается гетерогенности выборки испытуемых, то в отношении многих параметров она, безусловно, является гетерогенной (по возрасту, полу, демографическим характеристикам).

Однако есть характеристики выборки, которые отличают ее от других выборок и в отношении которых она является достаточно однородной (например, навыки работы с компьютером, компьютерная тревожность). Кроме того, все испытуемые в онлайновом эксперименте являются волонтерами, что также может оказать влияние на результаты работы. С другой стороны, мотивация участия в эксперименте может быть управляемой переменной – это зависит от способа формирования выборки (так, уже делаются попытки оплачивать работу испытуемых, принявших участие в эксперименте, существует возможность проведения лотереи среди участников, обратной связи и т.п.).

Кроме того, имеется исследование, согласно которому при большом числе участников результаты исследования не очень зависят от конкретного метода привлечения участников-волонторов (Cooper et al., 2001). В нем приняло участие большое число испытуемых-волонтеров, а именно, 33 391 человек. Их результаты почти по всем параметрам тождественны результатам такого же исследования, в котором была применена известная строгая социологическая процедура подбора испытуемых pop-up (приглашение к участию в исследовании посылалось каждому тысячному посетителю некоторого веб-сайта), итогом которой явилась выборка размером 7 544 участника.

Еще один вопрос касается статистической репрезентативности и достоверности выводов по составу участников. К массовым психологическим Интернет-опросам становятся применимы методы социологии (Ядов, 1998), до этого ранее применявшиеся психологами только в отдельных случаях. При обычных для таких исследований выборках свыше двух тысяч участников статистическая надежность Интернет-исследований достаточно высока. Вместе с тем, в Интернет-исследованиях не следует чрезмерно увлекаться проблемами статистики, а стоит прислушаться к мнению известного специалиста по массовым опросам В.А.Ядова (Ядов, 1998), утверждающего, что в аналитических и экспериментальных исследованиях проблема статистической репрезентативности выборки оказывается второстепенной в сравнении с необходимостью обеспечить качественное представительство изучаемых социальных объектов.

Можно выделить несколько конкретных рекламных методов привлечения участников к исследованию:

  • общая реклама на популярных сайтах;

  • избирательная реклама на специализированных сайтах, в тематических группах рассылки и ньюс-группах (Usenet, Listserv и др.). Это позволяет провести агитацию среди конкретной категории респондентов, ибо контингент посетителей и подписчиков может быть хорошо изучен (например, путем включенного наблюдения, анализа списков, результатов других опросов, продуцированных потенциальными испытуемыми сообщений в ньюс-группах и т.п.).

  • публикация информации о проведении исследования в средствах массовой информации: радио, телевидении, газетах и журналах (Krantz et. Al., 1997).

  • публикация объявлений об исследовании на психологических серверах, например на сервере Американского Психологического Общества.

Вспомогательным методом, эффективным при «доборе» участников, является привлечение добровольных «ассистентов» исследователя, распространяющие информацию об опросе среди потенциальных респондентов, входящих в круг их сетевого и личного общения, и активно агитирующих их заполнить анкету (Арестова и др., 1995).

Особое место занимает целевая персональная рассылка сообщений об исследовании по электронной почте конкретным потенциальным участникам. Это трудоемкий и дорогостоящий метод, требующий от исследователя наибольшей активности. Основная проблема в этом методе: получение и формирование общего списка адресатов с указанием их социально-демографических характеристик. Далее могут быть использованы аналоги квотного принципа конструирования выборки из общего списка адресов для конкретного исследования. Адреса могут быть получены самостоятельно, либо получены от посторонней организации. Имеются организации, которые сами рассылают письма заказчика по своей адресной базе. Однако при этом, как правило, неизвестны социально-демографические характеристики адресатов. Это ограничивает способы конструирование подвыборок случайным отбором и распределением.

Часто основу адресной базы нового исследования составляют участники предыдущих исследований – ведь о них уже многое известно. Иногда психологи обмениваются адресными базами. Практикуется и формирование т.н. панелей респондентов (см. http://internet.strana.ru) – при этом обычно ставится задача выполнения репрезентативных исследований. Наиболее комплексно эта проблема решается подбором постоянных испытуемых в Онлайновых лабораториях (Ромек, Сатин, 2000).

При проведении Интернет-исследований необходимо регистрировать демографические данные, выяснять, каким образом участник узнал о проведении исследования, а также контролировать их и пресекать многократное выполнение задания одним испытуемым. Определенную помощь оказывают технические средства идентификации и регистрации пользователей, cookies (короткие файлы, оставляемые web-страницей на компьютере пользователя), пароли и другие способы аутентификации респондентов. Это помогает избежать, например, искажения итоговых данных путем многократного участия в исследовании.

Переход? Рассмотрим примеры исследований, в которых использовались разные способы набора испытуемых?

Изучение личности с использованием Интернета – сложная задача, в решении которой важную роль играет подбор испытуемых в экспериментальные группы. Этой проблеме большое внимание уделялось в работе по изучению самоконтроля Buchanan и Smith (2000). Под самоконтролем понималась тенденция наблюдать за своим экспрессивным поведением и управлять тем, как субъект представляется другим людям. Люди с высоким уровнем самоконтроля чувствительны к социальным нормам и обычаям, с низким – ведут себя в соответствии со своим собственным состоянием и собственным представлением о ситуации. В данном исследовании использовалась шкала самоконтроля Снайдера (Gangestad, Snyder, 1985).

Исследование проходило в несколько этапов. На первом этапе было показано, что при факторизации данных, полученных по результатам бланкового опросника и опросника, заполняемого через Интернет, выделяются одни и те же факторы, что свидетельствует о валидности онлайнового опросника (Buchanan, Smith, 2000, p. 128). Второй этап исследования был посвящен набору испытуемых, соответствующих определенному критерию. Авторы предположили, что благодаря распространению информации об исследовании в ньюсгруппах можно набрать испытуемых с определенными личностными особенностями. По результатам обзора литературы были определены ньюсгруппы, в которых предположительно можно найти в основном либо людей с высоким уровнем самоконтроля, либо с низким (например – люди с высокими баллами по этой шкале должны читать конференцию для артистов (rec.arts.theatre.misc, rec.arts.theatre.plays), а с низким – конференцию для застенчивых (alt.support.shyness).

При наборе испытуемых в ньюсгруппах или чатах следует иметь в виду, что эксперимент будет обсуждаться в этой же ньюсгруппе или чате. В данном исследовании, действительно, в некоторых ньюсгруппах появлялись отдельные реплики или т.н. «флейм» (упреки, грубые высказывания) в адрес экспериментаторов. Правда, в одной из ньюсгрупп развилось достаточно активное обсуждение эксперимента, включающее сравнение баллов читателей, догадок относительно целей эксперимента, однако, об истинной его цели никто не догадался. (Buchanan, Smith, 2000, С. 136.).

Третий этап исследования был направлен на попытку ответа на вопрос – действительно ли в онлайновом исследовании измерялся уровень самоконтроля? Для этого были выбраны испытуемые из двух описанных выше типов ньюсгрупп и сравнивались их показатели по шкале Снайдера. Действительно, испытуемые из ньюсгрупп, связанных с общением перед публикой, продемонстрировали более высокие результаты по данному тесту, чем испытуемые из групп “для застенчивых”. На четвертом этапе проверялось теоретическое предположение о том, что люди с высоким уровнем самопрезентации выбирают себе половых партнеров, опираясь на их внешность, а те, кто демонстрирует низкий уровень самопрезентации, опираются на личностные характеристики. Данное предположение было выдвинуто в отношении особой выборки – пользователей Интернета. Для проведения эксперимента было подготовлено два набора фотографий для каждого из полов – по две женских и мужских фотографии вместе с кратким описанием личностей. Экспертами оценивались и фотографии, и описания: была определена более привлекательная фотография и более привлекательное описание (менее привлекательной фотографии соответствовало более социально желательное описание). Действительно, результаты эксперимента показали, что люди с высокими показателями по самоконтролю имеют тенденцию ориентироваться на внешность предполагаемого партнера, а те, у кого эти показатели ниже среднего – на описание личности.
1   2   3

Похожие:

Интернет в психологических исследованиях Бабанин Л. Н, Войскунский А. Е., Смыслова О. В iconМетодическое пособие введение
Сектором психологических проблем борьбы с преступностью Всесоюзного института по изучению причин и разработке мер предупреждения...

Интернет в психологических исследованиях Бабанин Л. Н, Войскунский А. Е., Смыслова О. В iconРазработка макета интернет магазина dvd дисков Направление: 080100 Экономика
Ключевые слова: интернет магазин, интернет бизнес, электронная коммерция и электронная торговля, онлайновая модель бизнес процесса,...

Интернет в психологических исследованиях Бабанин Л. Н, Войскунский А. Е., Смыслова О. В iconНастоящий договор между интернет магазином
«Интернет магазин, и пользователем услуг интернет магазина, именуемым в дальнейшем «Покупатель» определяет условия приобретения товаров...

Интернет в психологических исследованиях Бабанин Л. Н, Войскунский А. Е., Смыслова О. В iconИнтернет-магазина
Настоящий договор между интернет-магазином ООО «АйПиЭнерджи» ипользователем услуг интернет-магазина, именуемым в дальнейшем «Покупатель»...

Интернет в психологических исследованиях Бабанин Л. Н, Войскунский А. Е., Смыслова О. В iconИнтернет-магазина
Настоящий договор между интернет-магазином ООО «АйПиЭнерджи» ипользователем услуг интернет-магазина, именуемым в дальнейшем «Покупатель»...

Интернет в психологических исследованиях Бабанин Л. Н, Войскунский А. Е., Смыслова О. В iconТеоретические аспекты swot и tows-анализа в маркетинговых исследованиях предприятия
Теоретические аспекты swot и tows-анализа в маркетинговых исследованиях предприятия 4

Интернет в психологических исследованиях Бабанин Л. Н, Войскунский А. Е., Смыслова О. В iconУважаемые клиенты!
Интернете, имеет собственный интернет магазин и Вы хотите расширить свой бизнес и предоставить своим клиентам возможность оплачивать...

Интернет в психологических исследованиях Бабанин Л. Н, Войскунский А. Е., Смыслова О. В iconМетодические материалы по реализации концепции профориентационной...
Мартынова А. В., доцент, кандидат психологических наук, доцент кафедры педагогики и психологии лоиро

Интернет в психологических исследованиях Бабанин Л. Н, Войскунский А. Е., Смыслова О. В iconТематика контрольных работ по дисциплине Экономическая теория
Почему марксистская политэкономия как наука оказалась в кризисном состоянии, а маржинализм развивается и используется в современных...

Интернет в психологических исследованиях Бабанин Л. Н, Войскунский А. Е., Смыслова О. В iconДанной работы
Понятие интернет-страхования и интернет-представительства страховой компании 4

Вы можете разместить ссылку на наш сайт:


Все бланки и формы на filling-form.ru




При копировании материала укажите ссылку © 2019
контакты
filling-form.ru

Поиск