Поступила: 18.01.2016
Принята к публикации: 02.02.2016
Дата публикации в журнале: 06.07.2016
Страницы: 31-44
DOI: 10.11621/npj.2016.0105
Ключевые слова: социальная тревожность; социофобия
Доступно в on-line версии с: 06.07.2016
Ениколопов С.Н., Григорьева И.В. Апробация опросников «Шкала социальной тревожности Либовица» и «Шкала страха негативной оценки (краткая версия)».. // Национальный психологический журнал 2016. № 1. c.31-44. doi: 10.11621/npj.2016.0105
Скопировано в буфер обмена
СкопироватьСоциальная тревожность отрицательно влияет на повседневную жизнь человека, нарушая его социальную адаптацию. Часто социально тревожные люди бывают одиноки, с трудом заводят знакомства, испытывают трудности в отношениях с окружающими. Социальная тревожность также может стать серьезным препятствием на пути профессионального и карьерного роста, получения новых навыков и знаний. Выраженная социальная тревожность нередко связана с целым рядом расстройств, среди которых депрессия, алкогольная и наркотическая зависимость, а также пищевые расстройства. Вместе с тем, социальная тревожность является достаточно распространенным явлением. В связи с этим, все большую важность приобретает диагностика этого явления. Поэтому целью нашего исследования стала апробация двух опросников, измеряющих социальную тревожность, – «Шкалы социальной тревожности Либовица» и «Шкалы страха негативной оценки». Апробация была проведена на выборке из 179 человек, из них 65 мужчин и 114 женщин, в возрасте от 18 до 35 лет. Опросник «Шкала социальной тревожности Либовица» измеряет степень тревоги и тенденции к избеганию, возникающих у субъекта в различного рода социальных ситуациях: ситуациях социального взаимодействия и ситуациях, в которых субъект является объектом внимания со стороны окружающих. Опросник «Шкала страха негативной оценки (краткая версия)» измеряет центральный конструкт, лежащий в основе социальной тревожности – страх негативной оценки. В результате факторного анализа полученных данных, была продемонстрирована трехфакторная структура «Шкалы социальной тревожности Либовица» и подтверждена однофакторная структура «Шкалы страха негативной оценки». Показано, что все субшкалы «Шкалы социальной тревожности Либовица» и «Шкалы страха негативной оценки» демонстрируют хорошую внутреннюю согласованность и высокую ретестовую надежность, а также внешнюю валидность.
В последние десятилетия социальная тревожность стала предметом активных эмпирических исследований в зарубежной психологии. Социальная тревожность встречается достаточно часто: распространенность социальной тревожности может достигать 40–50% (Zimbardo, 1977). Кроме того, она вызывает целый ряд трудностей социальной адаптации индивида. Социальная тревожность может влиять на академическую успеваемость, на достижения в профессиональной сфере, мешать развитию дружбы и отношений с противоположным полом, а в крайних своих проявлениях привести к полной социальной изоляции и инвалидизации субъекта (La Greca, Lopez, 1998; Kashdan, 2007; Olatunji et al., 2007; Schneier et al., 1994; Bodinger et al., 2002).
Социальную тревожность можно определить как тревогу, возникающую в различных ситуациях социального взаимодействия. Она характеризуется напряжением и повышенным физиологическим возбуждением, ожиданием негативной оценки от окружающих, отрицательной оценкой своих способностей и возможностей взаимодействия с людьми, страхом и избеганием социальных ситуаций (Rapee, Spence, 2007; Kashdan, 2007; Leitenberg, 1990). Понятие «социальной тревожности» относится к так называемым «зонтичным», оно имеет континуальную природу и включает в себя целый спектр явлений – от застенчивости до социальной фобии (Rapee, 2004; McNeil, 2001).
Как уже было сказано выше, социальная тревожность является весьма распространенным явлением и оказывает негативное влияние на качество жизни. Именно поэтому очевидна необходимость разработки и адаптации адекватных инструментов оценки социальной тревожности.
В то время как за рубежом имеется большое количество исследований, посвященных проблеме измерения социальной тревожности, в России они немногочисленны. На данный момент имеется дефицит адекватных инструментов оценки социальной тревожности и отдельных ее компонентов на русском языке. Поэтому задачей данного исследования была апробация зарубежных опросников, предназначенных для оценки социальной тревожности.
Апробируемые нами опросники «Шкала социальной тревожности Либовица» и «Шкала страха негативной оценки» уже несколько десятков лет используются за рубежом при решении исследовательских и практических задач и зарекомендовали себя как надежные инструменты измерения социальной тревоги.
Опросник был переведен, апробирован и валидизирован на российской выборке. Исследование включало в себя основное и повторное тестирование, которое проводилось через три недели после основного для оценки ретестовой надежности шкал опросников.
Шкала социальной тревожности Либовица (Liebowitz, 1987) состоит из описания 24 социальных ситуаций, в каждой из которых испытуемому предлагается оценить интенсивность возникающего страха (или тревоги) и частоту избегания той или иной социальной ситуации. Оценка производится по четырехбалльной шкале Лайкерта, где 0 – отсутствие страха/ избегания, а 3 – сильный страх/полное избегание. Социальные ситуации делятся на ситуации взаимодействия (interaction situation) и ситуации, в которых индивид потенциально может стать объектом наблюдения (performance situation). Таким образом, «Шкала Социальной Тревожности Либовица» содержит 4 подшкалы:
шкала страха ситуаций социальных взаимодействий;
шкала страха ситуаций, в которых индивид может стать объектом наблюдения окружающих;
шкала избегания ситуаций социального взаимодействия;
шкала избегания ситуаций, в которых индивид может стать объектом наблюдения окружающих.
Кроме того, отдельно вычисляется общий суммарный балл по подшкалам страха и общий суммарный балл по подшкалам избегания, отражающие тенденцию испытывать страх/тенденцию к избеганию в широком спектре социальных ситуаций. Общий суммарный балл по всем шкалам используется для оценки степени выраженности социальной тревожности.
Шкала страха негативной оценки (краткая версия) (Watson, Friend, 1969; Carleton et al., 2006) содержит 12 утверждений. Испытуемому предлагается оценить, насколько то или иное утверждение характеризует его/ее по пятибалльной шкале Лайкерта, где 1 – «совсем не характеризует меня», а 5 – «полностью характеризует меня». Предполагается, что данный опросник измеряет центральный конструкт, лежащий в основе социальной фобии – страх негативной оценки. Тем не менее, исследователи предлагают дополнять этот опросник другими методиками для комплексной, дифференцированной оценки структуры социальной тревожности (Hart et al., 1999).
Для оценки конструктной валидности методик были использованы «Шкала депрессии Бека», «Шкала личностной тревожности» и «Опросник социальной тревоги и социофобии».
Шкала депрессии Бека (Тарабрина, 2001) состоит из 21 пункта с вариантами ответов. Испытуемый выбирает утверждение, наиболее соответствующее его состоянию на текущий момент времени. Опросник включает в себя 2 субшкалы: когнитивно-аффективную и субшкалу соматических проявлений депрессии.
Шкала личностной тревожности Спилбергера (Hanin У. L., Spielberger С. D., 1981) направлена на оценку уровня тревожности как устойчивой характеристики субъекта (т.н. личностная тревожность). Включает в себя 20 утверждений, предполагающих 4 варианта ответа: 1 – «никогда», 2 – «иногда», 3 – «часто», 4 – «почти всегда».
Опросник социальной тревоги и социофобии (Сагалакова, Труевцев, 2012) включает в себя 29 вопросов, на которые требуется ответить по 4-балльной шкале: 1 – нет, 2 – скорее нет, 3 – скорее да, 4 – да. Каждый из пунктов содержит указание на определенный тип ситуации оценивания. Опросник включает в себя 5 субшкал:
Социальная тревога в ситуации «быть в центре внимания, под наблюдением». Эта шкала направлена на оценку тревоги в ситуациях, где субъект сталкивается с пристальным вниманием со стороны окружающих;
Постситуативные руминации и желание преодолеть тревогу в экспертных ситуациях. Эта шкала характеризует тенденцию к управлению тревогой и волнением, попытки совладать с ними, стремление к руминативному анализу прошедшей экспертной ситуации и, одновременно, желание избавиться от нерешительности и ее отдельных проявлений;
Сдержанность в выражении эмоций из-за страха отвержения и блокирование признаков тревоги в экспертных ситуациях. Эта шкала направлена на оценку особенностей поведения социально тревожных индивидов в ситуациях потенциальной негативной оценки;
Тревога при проявлении инициативы в формальных ситуациях из-за страха критики в свой адрес и потери субъективного контроля. Данная шкала оценивает социальную тревогу при непосредственном взаимодействии с незнакомыми или малознакомыми людьми;
Избегание непосредственного контакта при взаимодействии в субъективно экспертных ситуациях. Эта шкала направлена на оценку склонности к избеганию контакта в ситуациях, где субъект может стать объектом оценки со стороны окружающих.
Выборку составили 179 человек, из них 65 мужчин и 114 женщин, в возрасте от 18 до 35 лет (M=26,3, SD=7,4). Повторное тестирование прошли 75 человек из исходной выборки, из них 42 женщины и 35 мужчин.
«Шкала социальной тревожности Либовица»
В результате факторного анализа «Шкалы социальной тревожности Либовица» было выделено три фактора, объясняющие 41% дисперсии переменных. Выделенные факторы были обозначены как «страх и избегание ситуаций межличностного контакта» (1 фактор), «страх и избегание ситуаций формального общения и взаимодействия» (2 фактор), «страх и избегание совершения действий в общественных местах» (3 фактор).
Из последующего анализа мы исключили несколько пунктов исходного опросника, которые не были нагружены ни на один из факторов (либо были очень слабо нагружены на выделенные факторы — значение нагрузок ниже 0,3).
Описательные статистики и факторные нагрузки для итогового набора пунктов представлены в таблице 1. Значения ассиметрии и эксцесса указывают на то, что большая часть пунктов опросника характеризуется сдвигами распределения в сторону больших или меньших значений, что может демонстрировать уязвимость формулировок в отношении социальной желательности.
Пункт опросника |
Среднее |
Ст.отклон. |
Ассиметрия |
Эксцесс |
F1 |
F2 |
F3 |
|
Страх и избегание ситуаций межличностного контакта |
||||||||
11. Говорить с глазу на глаз с малознакомым человеком (страх). |
0,90 |
0,88 |
0,70* |
-0,30** |
0,33 |
|
|
|
19. Смотреть прямо в глаза малознакомому человеку (страх). |
0,79 |
0,88 |
1,01 |
0,33 |
0,39 |
|
|
|
24. Не поддаваться уговорам продавца, делая покупки (страх). |
0,61 |
0,80 |
1,01 |
-0,07 |
0,44 |
|
|
|
9. Писать, когда за мной наблюдают (страх). |
0,95 |
0,96 |
0,71 |
-0,49 |
0,46 |
|
|
|
8. Работать, когда за мной наблюдают (страх). |
1,34 |
0,97 |
0,21 |
-0,92 |
0,48 |
|
|
|
10. Звонить малознакомому человеку (страх). |
1,32 |
0,99 |
0,21 |
-0,97 |
0,51 |
|
|
|
11. Говорить с глазу на глаз с малознакомым человеком (избегание). |
0,82 |
0,84 |
0,77 |
-0,13 |
0,51 |
|
|
|
24. Не поддаваться уговорам продавца, делая покупки (избегание). |
0,73 |
0,95 |
1,05 |
-0,09 |
0,53 |
|
|
|
22. Возвращать товар в магазин (страх). |
1,13 |
1,02 |
0,38 |
-1,06 |
0,54 |
|
|
|
19. Смотреть прямо в глаза малознакомому человеку (избегание) |
0,86 |
0,93 |
0,84 |
-0,23 |
0,54 |
|
|
|
7. Идти в гости (страх). |
0,60 |
0,72 |
0,86 |
-0,20 |
0,54 |
|
|
|
10. Звонить малознакомому человеку (избегание). |
1,16 |
0,94 |
0,31 |
-0,85 |
0,57 |
|
|
|
7. Идти в гости (избегание). |
0,69 |
0,83 |
0,99 |
0,18 |
0,58 |
|
|
|
9. Писать, когда за мной наблюдают (избегание). |
0,93 |
1,00 |
0,78 |
-0,53 |
0,61 |
|
|
|
8. Работать, когда за мной наблюдают (избегание). |
1,33 |
1,05 |
0,21 |
-1,16 |
0,65 |
|
|
|
22. Возвращать товар в магазин (избегание). |
1,13 |
1,08 |
0,45 |
-1,10 |
0,66 |
|
|
|
23. Приглашать гостей (страх). |
0,59 |
0,81 |
1,28 |
0,87 |
0,72 |
|
|
|
23. Приглашать гостей (избегание). |
0,77 |
0,94 |
1,06 |
0,11 |
0,72 |
|
|
|
Страх и избегание ситуаций формального общения и взаимодействия |
||||||||
5. Говорить с вышестоящим лицом (начальством) (страх). |
1,21 |
0,88 |
0,27 |
-0,67 |
|
0,44 |
|
|
6. Выступать перед публикой (страх.) |
1,74 |
1,00 |
-0,29 |
-0,98 |
|
0,80 |
|
|
15. Находиться в центре внимания (страх). |
1,04 |
0,93 |
0,55 |
-0,57 |
|
0,61 |
|
|
16. Высказываться на собрании без предварительной подготовки (страх). |
1,29 |
1,00 |
0,27 |
-0,99 |
|
0,81 |
|
|
18. Высказывать свое неодобрение и несогласие малознакомому человеку (страх). |
0,93 |
0,87 |
0,50 |
-0,67 |
|
0,47 |
|
|
20. Выступать с подготовленной речью перед группой людей (страх). |
1,20 |
0,98 |
0,36 |
-0,87 |
|
0,83 |
|
|
5. Говорить с вышестоящим лицом (начальством) (избегание). |
0,98 |
0,82 |
0,35 |
-0,71 |
|
0,44 |
|
|
6. Выступать перед публикой (избегание.) |
1,24 |
0,99 |
0,28 |
-0,98 |
|
0,78 |
|
|
15. Находиться в центре внимания (избегание). |
0,97 |
0,87 |
0,64 |
-0,22 |
|
0,45 |
|
|
16. Высказываться на собрании без предварительной подготовки (избегание). |
1,22 |
0,95 |
0,29 |
-0,85 |
|
0,77 |
|
|
18. Высказывать свое неодобрение и несогласие малознакомому человеку (избегание). |
1,18 |
0,89 |
0,16 |
-0,87 |
|
0,35 |
|
|
20. Выступать с подготовленной речью перед группой людей (избегание). |
0,92 |
0,89 |
0,66 |
-0,39 |
|
0,76 |
|
|
Страх и избегание совершения действий в общественных местах |
||||||||
1. Говорить по телефону в общественных местах (страх). |
0,47 |
0,69 |
1,34 |
1,23 |
|
|
0,44 |
|
3. Есть в общественных местах (страх). |
0,53 |
0,74 |
1,11 |
0,01 |
|
|
0,75 |
|
4. Пить в общественных местах (страх). |
0,22 |
0,54 |
2,58 |
6,69 |
|
|
0,84 |
|
13. Справлять нужду в общественном туалете (страх). |
0,49 |
0,82 |
1,62 |
1,77 |
|
|
0,39 |
|
1. Справлять нужду в общественном туалете (избегание). |
0,63 |
0,88 |
1,05 |
-0,22 |
|
|
0,31 |
|
3. Говорить по телефону в общественных местах (избегание). |
0,76 |
0,86 |
0,92 |
0,06 |
|
|
0,32 |
|
4. Есть в общественных местах (избегание). |
0,62 |
0,79 |
0,93 |
-0,30 |
|
|
0,70 |
|
13. Пить в общественных местах (избегание). |
0,30 |
0,64 |
2,44 |
6,11 |
|
|
0,77 |
|
*Величина стандартной ошибки асимметрии для всех пунктов равна 0,189. **Величина стандартной ошибки эксцесса для всех пунктов равна 0,361. |
Таблица 1. Описательные статистики пунктов и факторные нагрузки итогового варианта «Шкалы социальной тревоги Либовица»
В результате факторизации пунктов «Шкалы социальной тревоги Либовица» были получены факторы, описывающие наиболее типичные группы ситуаций, вызывающих социальную тревогу. Хотя страх и избегание сильно коррелируют между собой, исследователи предлагают все же разделять шкалы страха и избегания (Safren, 1999; Heimberg et al, 1999; Baker et al, 2002; Fresco, 2001) для более детального анализа компонентов социальной тревоги при решении практических и исследовательских задач. На основе выделенных факторов было сформировано 6 подшкал «Шкалы социальной тревоги Либовица»:
«Шкала страха ситуаций межличностного контакта». Эта шкала направлена на оценку тревоги и страха, возникающих в ситуациях межличностного общения и взаимодействия в неформальной обстановке (например, «Смотреть прямо в глаза незнакомому человеку», «Возвращать товар в магазин»).
«Шкала страха ситуаций формального общения и взаимодействия». Эта шкала позволяет оценить тревогу и страх, возникающие в формальных ситуациях и ситуациях, где необходимо произвести положительное впечатление на группу незнакомых или малознакомых людей (например, «Выступать с подготовленной речью перед группой людей», «Говорить с вышестоящим лицом (начальством)»).
«Шкала страха совершения действий в общественных местах». Эта шкала связана с оценкой тревоги и страха, возникающих в ситуациях, когда индивид вынужден совершать некоторые достаточно личные действия в общественных местах (например, «Говорить по телефону в общественных местах», «Справлять нужду в общественном туалете»).
«Шкала избегания ситуаций межличностного контакта».
«Шкала избегания ситуаций формального общения и взаимодействия».
«Шкала избегания совершения действий в общественных местах».
Последние три шкалы описывают избегание в соответствующих ситуациях. Так же, как и в оригинальной версии опросника, был рассчитан общий суммарный балл для всех подшкал страха, для всех подшкал избегания и общий суммарный балл для всех подшкал «Шкалы социальной тревожности Либовица».
Общий балл, рассчитанный для шкал страха, отражает тенденцию испытывать страх в широком спектре социальных ситуаций, а общий балл, рассчитанный для шкал избегания, отражает тенденцию к избеганию в соответствующих ситуациях. Общий суммарный балл по всем шкалам используется для оценки выраженности социальной тревоги.
Для анализа надежности шкал опросника использовался критерий α-Кронбаха. Приведенные в таблице 2 значения указывают на приемлемую надежность тестовых шкал.
Шкала |
Альфа Кронбаха |
Коэф.корр.Пирсона |
Страх ситуаций межличностного контакта |
,835 |
,789** |
Страх ситуаций формального общения и взаимодействия |
,793 |
,801** |
Страх совершения действий в общественных местах |
,629 |
,812** |
Избегание ситуаций межличностного контакта |
,785 |
,773** |
Избегание ситуаций формального общения и взаимодействия |
,708 |
,799** |
Избегание совершения действий в общественных местах |
,609 |
,765** |
Суммарный балл «Страх» |
,870 |
,772** |
Суммарный балл «Избегание» |
,813 |
,807** |
«Общий суммарный балл» |
,908 |
,754** |
**Уровень значимости p=0,01 |
Таблица 2. Значения коэффициента альфа Кронбаха и ретестовой надежности для шкал опросника «Шкала социальной тревожности Либовица»
Для оценки ретестовой надежности применялся коэффициент корреляции Пирсона. Приведенные в таблице 2 результаты указывают на высокую ретестовую надежность шкал теста.
Шкала страха негативной оценки
В результате исследования факторной структуры данного опросника была подтверждена его однофакторная структура. В таблице 3 представлены факторные нагрузки и описательные статистики для всех пунктов опросника. Значения ассиметрии и эксцесса указывают на то, что целый ряд пунктов опросника характеризуется сдвигами распределения в сторону больших или меньших значений, что может демонстрировать уязвимость формулировок в отношении социальной желательности.
№ |
Пункт опросника |
Среднее |
Ст.отклонение |
Ассиметрия |
Эксцесс |
F1 |
1 |
Меня волнует мнение других людей обо мне, даже если я знаю, что оно не имеет особого значения. |
3,10 |
1,12 |
-0,27 |
-0,87 |
0,75 |
2 |
Я переживаю, если знаю, что обо мне составили неблагоприятное впечатление. |
3,37 |
1,14 |
-0,42 |
-0,67 |
0,77 |
3 |
Я очень переживаю из-за того, что окружающие могут заметить мои недостатки. |
2,92 |
1,15 |
-0,02 |
-0,81 |
0,72 |
4 |
Я беспокоюсь о том, какое произвожу впечатление на окружающих. |
3,26 |
1,12 |
-0,50 |
-0,60 |
0,84 |
5 |
Я боюсь того, что окружающие могут относиться ко мне с неодобрением. |
2,78 |
1,22 |
0,11 |
-1,08 |
0,75 |
6 |
Я боюсь, что ко мне могут придраться. |
2,63 |
1,24 |
0,26 |
-1,06 |
0,69 |
7 |
Я озабочен (-а) тем, какое мнение обо мне составили окружающие. |
2,96 |
1,24 |
-0,04 |
-1,04 |
0,83 |
8 |
Когда я с кем-нибудь разговариваю, я не перестаю думать о том, какое впечатление я произвожу на своего собеседник.а |
2,31 |
1,11 |
0,81 |
0,13 |
0,61 |
9 |
Я всегда думаю о том, какое впечатление я произвожу на других людей. |
2,62 |
1,19 |
0,33 |
-0,86 |
0,74 |
10 |
Если я знаю, что кто-то меня оценивает, я начинаю волноваться. |
3,07 |
1,25 |
-0,17 |
-1,02 |
0,66 |
11 |
Иногда мне кажется, что я слишком сильно озабочен тем, что обо мне думают окружающие. |
2,65 |
1,33 |
0,27 |
-1,21 |
0,78 |
12 |
Я часто беспокоюсь о том, что могу сказать или сделать что-то неправильно. |
2,99 |
1,24 |
-0,10 |
-1,07 |
0,66 |
Шкала страха негативной оценки |
35,33 |
11,17 |
-0,21 |
-0,63 |
|
|
*Величина стандартной ошибки асимметрии для всех пунктов равна 0,189. **Величина стандартной ошибки эксцесса для всех пунктов равна 0,361. |
Таблица 3. Описательные статистики и факторные нагрузки для пунктов «Шкалы страха негативной оценки»
Для анализа надежности шкал опросника использовался критерий α-Кронбаха. Приведенные в таблице 4 значения указывают на приемлемую надежность тестовых шкал.
Шкала |
Альфа Кронбаха |
Коэфф.корр.Пирсона |
Шкала страха негативной оценки |
0,912 |
,782** |
**Уровень значимости p=0,05 |
Таблица 4. Значения коэффициента альфа Кронбаха и коэффициента Пирсона для «Шкалы страха негативной оценки»
Для оценки ретестовой надежности применялся коэффициент корреляции Пирсона. Приведенные в таблице 4 результаты указывают на высокую ретестовую надежность шкал теста.
Опросник социальной тревоги и социофобии
Данный опросник использовался нами для оценки конструктной валидности апробируемых методик («Шкалы социальной тревожности Либовица» и «Шкалы страха негативной оценки»), однако результаты проверки его свойств показали изменение факторной структуры на нашей выборке. В результате было получено 5 факторов.
Факторные нагрузки и описательные статистики для пунктов опросника представлены в таблице 5. Значения ассиметрии и эксцесса указывают на то, что целый ряд пунктов опросника характеризуется сдвигами распределения в сторону больших или меньших значений, что может демонстрировать уязвимость формулировок в отношении социальной желательности.
№ |
Пункты опросника |
Среднее |
Ст.откл. |
Ассиметрия |
Эксцесс |
F1 |
F2 |
F3 |
F4 |
F5 |
|||||
Страх отвержения и критики при межличностных контактах |
|||||||||||||||
7 |
Когда Вы испытываете симпатию (или влюбляетесь), то не говорите об этом объекту своих чувств, боясь отвержения? |
2,59 |
0,96 |
-0,12 |
-0,90 |
0,83 |
|
|
|
|
|||||
22 |
Испытываете ли вы неловкость, если человек противоположного пола уделяет Вам знаки внимания? |
2,36 |
1,02 |
0,07 |
-1,14 |
0,78 |
|
|
|
|
|||||
25 |
Трудно ли Вам проявить инициативу, знакомясь с человеком противоположного пола? |
2,47 |
0,96 |
0,09 |
-0,92 |
0,53 |
|
|
|
|
|||||
11 |
Бывает ли, что Вы смущаетесь (краснеете, опускаете глаза), если с Вами заговорил человек противоположного пола? |
2,34 |
0,97 |
0,26 |
-0,87 |
0,51 |
|
|
|
|
|||||
4 |
Верно ли, что Вы с трудом заводите новые знакомства? |
2,19 |
1,03 |
0,39 |
-1,00 |
0,40 |
|
0,33 |
|
0,45 |
|||||
3 |
Трудно ли Вам, разговаривая с коллегами по работе (учебе), смотреть им прямо в глаза? |
1,72 |
1,03 |
1,21 |
0,13 |
0,40 |
|
|
|
|
|||||
15 |
Трудно ли Вам выполнять задание (какую-либо работу), если за Вами кто-то наблюдает? |
2,70 |
0,89 |
-0,31 |
-0,56 |
0,34 |
|
|
|
|
|||||
Стремление к преодолению тревоги в социальных ситуациях |
|||||||||||||||
16 |
Верно ли, что Вам хотелось бы преодолеть нерешительность при общении с некоторыми интересными людьми? |
2,65 |
1,09 |
-0,20 |
-1,24 |
|
0,36 |
|
|
|
|||||
21 |
Бывает ли, что у Вас учащается сердцебиение и/или возникает ком в горле от одной мысли, что завтра Вам придется беседовать с начальником о проделанной работе? |
2,22 |
0,98 |
0,26 |
-0,98 |
|
0,45 |
|
0,47 |
|
|||||
27 |
В беседе с начальником Вам с трудом удается не выдать признаки волнения и тревоги? |
2,20 |
0,90 |
0,26 |
-0,74 |
|
0,49 |
|
|
|
|||||
26 |
После сдачи экзамена (или аттестации или др.), вы продолжаете мысленно возвращаться к тому, как это было? |
2,86 |
1,00 |
-0,33 |
-1,03 |
|
0,51 |
|
|
0,31 |
|||||
19 |
Ваш голос звучит не так уверенно, как хотелось бы (дрожит, пропадает), если приходится выступать перед незнакомой аудиторией? |
2,43 |
1,19 |
0,04 |
-1,52 |
|
0,52 |
|
|
|
|||||
6 |
Стараетесь ли Вы скрыть признаки волнения (дрожание рук, голоса, потение ладоней и т.п.) в ситуации выступления перед аудиторией? |
2,95 |
1,02 |
-0,70 |
-0,58 |
|
0,55 |
|
|
|
|||||
10 |
Бывает ли так, что, даже при тщательной подготовке к проверке знаний (экзамену, аттестации), волнение не уменьшается, а, наоборот, усиливается при приближении этого события? |
2,98 |
1,01 |
-0,66 |
-0,69 |
|
0,58 |
|
|
|
|||||
Стремление к избеганию социальных ситуаций |
|||||||||||||||
2 |
Бывает ли так, что Вы хотите пойти на праздник в гости, но остаетесь дома, потому что стесняетесь чего-то, волнуетесь и не можете преодолеть это чувство? |
1,94 |
0,96 |
0,73 |
-0,46 |
|
|
0,47 |
|
|
|||||
13 |
Верно ли, что Вы скорее предпочтете самостоятельно искать нужный вам адрес, чем обратитесь за помощью к прохожему, даже если спешите? |
1,99 |
1,05 |
0,70 |
-0,74 |
|
|
0,78 |
|
|
|||||
14 |
Оформление документов для вас мучительно и вы стараетесь этого избегать, т.к. это требует проявления инициативы при общении с незнакомыми людьми? |
2,06 |
1,02 |
0,50 |
-0,95 |
|
|
0,73 |
|
|
|||||
20 |
Если Вам необходимо позвонить по телефону незнакомому человеку, Вы долго настраиваетесь и, не смотря на это, волнуетесь при разговоре? |
2,63 |
1,08 |
-0,22 |
-1,21 |
|
|
0,33 |
|
|
|||||
28 |
Вы предпочтете потерять деньги и не станете возвращать некачественный продукт в магазин из-за опасения критики или недовольства в свой адрес? |
2,04 |
0,90 |
0,34 |
-0,89 |
|
|
0,52 |
|
|
|||||
4 |
Верно ли, что Вы с трудом заводите новые знакомства? |
2,19 |
1,03 |
0,39 |
-1,00 |
0,40 |
|
0,33 |
|
0,45 |
|||||
Уверенность в критичном отношении и негативной оценке окружающих |
|||||||||||||||
9 |
Вы считаете, что окружающие Вас негативно оценивают и отвергают при общении? |
1,50 |
0,75 |
1,69 |
2,82 |
|
|
|
0,36 |
|
|||||
17 |
Бывает ли так, что в компании Вы ведете себя нарочито свободно, стараясь скрыть свое волнение (смущение)? |
2,27 |
0,92 |
0,11 |
-0,89 |
|
|
|
0,57 |
|
|||||
18 |
Бывает ли так: осознавая, что вряд ли ваш знакомый откажет Вам в просьбе одолжить книгу на пару дней, тем не менее, Вы не решаетесь попросить его об этом? |
1,86 |
0,88 |
0,81 |
-0,05 |
|
|
|
0,49 |
|
|||||
23 |
Бывает ли так, что Вы стесняетесь примерять одежду перед покупкой? |
1,54 |
0,89 |
1,40 |
0,68 |
|
|
|
0,77 |
|
|||||
24 |
Стараетесь ли Вы оттянуть на какое-то время (или избежать) участия в ситуации оценивания ваших знаний и умений? |
2,37 |
1,07 |
-0,01 |
-1,30 |
|
|
|
0,44 |
|
|||||
29 |
Иногда, находясь в кафе или столовой, Вы испытываете неловкость и дискомфорт, так как боитесь, что в глазах окружающих Вы выглядите «как-то не так» (хуже, чем обычно)? |
1,84 |
0,92 |
0,63 |
-0,84 |
|
|
|
0,65 |
|
|||||
21 |
Бывает ли, что у Вас учащается сердцебиение и/или возникает ком в горле от одной мысли, что завтра Вам придется беседовать с начальником о проделанной работе? |
2,22 |
0,98 |
0,26 |
-0,98 |
|
0,45 |
|
0,47 |
|
|||||
Переживание нехватки социальных навыков |
|||||||||||||||
1 |
Бывает ли так, что, встречаясь с незнакомыми людьми, Вы испытываете беспокойство и волнение, т.к. не знаете, как себя вести? |
2,71 |
0,93 |
-0,36 |
-0,66 |
|
|
|
|
0,48 |
|||||
5 |
Думаете ли Вы, что другие могут обсуждать ваше «неловкое поведение» или «недостатки» после общения с Вами? |
2,39 |
0,91 |
0,09 |
-0,78 |
|
|
|
|
0,31 |
|||||
8 |
Вы скорее промолчите, чем будете отстаивать свою точку зрения в спорной ситуации? |
1,99 |
0,85 |
0,41 |
-0,64 |
|
|
|
|
0,72 |
|||||
12 |
Чувствуете ли Вы себя неловко, если Вам приходится отказать в просьбе знакомому? |
3,10 |
0,87 |
-0,83 |
0,14 |
|
|
|
|
0,52 |
|||||
4 |
Верно ли, что Вы с трудом заводите новые знакомства? |
2,19 |
1,03 |
0,39 |
-1,00 |
0,40 |
|
0,33 |
|
0,45 |
|||||
26 |
После сдачи экзамена (или аттестации и др.), вы продолжаете мысленно возвращаться к тому, как это было? |
2,86 |
1,00 |
-0,33 |
-1,03 |
|
0,51 |
|
|
0,31 |
|||||
*Величина стандартной ошибки асимметрии для всех пунктов равна 0,238. **Величина стандартной ошибки эксцесса для всех пунктов равна 0,474. |
Таблица 5. Описательные статистики и факторные нагрузки пунктов «Опросника социальной тревоги и социофобии»
Некоторые пункты имеют нагрузки сразу на несколько факторов. Так, пункт 4 («Верно ли, что Вы с трудом заводите новые знакомства?») нагружен на факторы: «Страх отвержения и критики в межличностных контактах», «Стремление к избеганию социальных ситуаций», «Переживание нехватки социальных навыков». Пункт 21 («Бывает ли, что у Вас учащается сердцебиение и/или возникает ком в горле от одной мысли, что завтра Вам придется беседовать с начальником о проделанной работе?») нагружен на факторы: «Стремление к преодолению тревоги в социальных ситуациях», «Уверенность в негативной оценке». Пункт 26 нагружен на факторы: «Стремление к преодолению тревоги в социальных ситуациях», «Переживание нехватки социальных навыков». Для более детального анализа адекватности данных пунктов выделенным шкалам, был проведен анализ надежности этих шкал. Поэтому для следующего этапа анализа психометрических свойств «Опросника социальной тревоги и социофобии» было решено оставить данные пункты в составе выделенных шкал в виде прямых вопросов. Соответственно 4 пункт был включен в 1, 3 и 5 шкалы (с прямым ключом), пункт 21 – во 2 и 4 шкалы (с прямым ключом), а пункт 26 – во 2 и 5 шкалы (с прямым ключом).
Для анализа надежности шкал опросника использовался критерий α-Кронбаха. Приведенные в таблице 6 значения указывают на приемлемую надежность тестовых шкал.
Шкала |
Альфа Кронбаха |
Страх отвержения и критики в ситуациях межличностного контакта |
0,762 |
Стремление преодолеть тревогу в социальных ситуациях |
0,654 |
Стремление к избеганию социальных ситуаций |
0,701 |
Уверенность в критичном отношении окружающих |
0,714 |
Переживание нехватки социальных навыков |
0,564 |
Общий суммарный балл |
0,852 |
Таблица 6. Значения коэффициента альфа Кронбаха для шкал «Опросника социальной тревоги и социофобии»
Как оказалось, исключение пунктов, имеющих нагрузку сразу на несколько шкал, не повышало показателей надежности шкал, а, напротив, снижало их. Поэтому было решено оставить пункт 4 в составе 1, 3 и 5 шкалы, пункт 21 – в составе 2 и 4 шкалы, а пункт 26 – во 2 и 5 шкалы в виде прямых вопросов.
Для проверки валидности шкал опросников «Шкала социальной тревожности Либовица» и «Шкала страха негативной оценки» рассчитывался коэффициент корреляции Пирсона с «Опросником социальной тревоги и социофобии» и его подшкалами, а также со «Шкалой депрессии Бека» и «Шкалой личностной тревожности Спилбергера». Все показатели социальной тревоги коррелируют между собой, свидетельствуя в пользу валидности опросников. При этом все шкалы опросников, направленные на оценку социальной тревоги, значимо коррелиру ют с результатами по «Шкале личностной тревожности Спилбергера» и «Шкале депрессии Бека». Подобная корреляция вполне ожидаема и воспроизводит результаты, полученные в других исследованиях, посвященных оценке психометрических свойств рассматриваемых методик диагностики социальной фобии (Carleton, 2006; Levin, 2002; Heimberg, 1999; Safren, 1999; Safren, 1999; Fresco, 2001). Значения коэффициентов корреляции Пирсона «Шкалы социальной тревоги Либовица» и «Шкалы страха негативной оценки» приведены в таблице 7.
Название шкалы |
Страх отвержения и критики при межличностном контакте |
Стремление преодолеть тревогу в социальных ситуациях |
Стремление к избеганию в социальных ситуациях |
Уверенность в критичном отношении окружающих |
Переживание нехватки социальных навыков |
Общий балл «Опросника социальной тревоги и социофобии» |
«Шкала депрессии Бека» |
«Шкала личностной тревожности» |
Страх ситуаций межличностного контакта |
,527** |
,291** |
,599** |
,466** |
,420** |
,637** |
,241* |
,403** |
Страх ситуаций формального общения и взаимодействия |
,409** |
,598** |
,287** |
,379** |
,452** |
,546** |
,252* |
,498** |
Страх совершения действий в общественных местах |
,231* |
,196** |
,278** |
,268** |
,234* |
,320** |
0,16 |
,242* |
Избегание ситуаций межличностного контакта |
,589** |
,243* |
,619** |
,445** |
,396** |
,631** |
,265** |
,441** |
Избегание ситуаций формального общения и взаимодействия |
,394** |
,534** |
,398** |
,343** |
,404** |
,538** |
,203* |
,466** |
Избегание совершения действий в общественных местах |
,258** |
,197* |
,293** |
,191* |
,270** |
,318** |
,206* |
,308** |
Суммарный балл «Страх» |
,535** |
,448** |
,536** |
,494** |
,491** |
,678** |
,285** |
,503** |
Суммарный балл «Избегание» |
,601** |
,420** |
,630** |
,456** |
,484** |
,701** |
,303** |
,547** |
«Общий суммарный балл» |
,608** |
,466** |
,624** |
,511** |
,523** |
,739** |
,315** |
,562** |
Шкала страха негативной оценки |
,305** |
,275** |
,257** |
,338** |
,503** |
,468** |
0,19 |
,467** |
*Корреляция значима на уровне p=0,05 **Корреляция значима на уровне p=0,01 |
Таблица 7. Корреляция «Шкалы социальной тревожности Либовица» и «Шкалы страха негативной оценки» с различными психологическими характеристиками
Результаты исследования указывают на трехфакторную структуру «Шкалы социальной тревожности Либовица». Выделенные факторы соответствуют различным типам социальных ситуаций, в которых могут проявляться страх или избегание: межличностное общение и взаимодействие, общение и взаимодействие в формальных ситуациях, совершение каких-либо действий общественных местах.
Полученная факторная структура существенно отличается от исходной, предложенной автором опросника. Более того, в разных исследованиях, посвященных проверке психометрических свойств данной методики, было выделено разное количество факторов, которые также отличались и по содержанию. Так, в исследовании, проведенном на американской выборке (Safren et al., 1999), было выделено четыре фактора:
социальное взаимодействие;
выступление перед публикой;
быть под наблюдением;
пить и есть в общественных местах.
В другом исследовании (Terra et al., 2006), проведенном на португальской выборке, была получена пятифакторная структура:
высказываться в группе людей;
совершать действия на публике;
социальное взаимодействие с незнакомыми людьми;
выражение несогласия или неодобрения;
социальное взаимодействие в неформальных ситуациях.
В исследовании (Levin et al., 2002), проведенном на еврейской выборке, было получено 3 фактора:
общение и взаимодействие с группой;
диадическое общение и взаимодействие;
действия, совершаемые в общественных местах.
Факторная структура, предложенная автором опросника М.Р. Либовицем, включала в себя 2 типа ситуаций:
взаимодействие с людьми;
действие (в контексте какой-либо социальной ситуации).
Данные исследований, посвященных анализу психометрических свойств опросника «Шкала социальной тревожности Либовица», могут указывать на высокую чувствительность факторной структуры данного опросника к культурным различиям, что, в свою очередь, может демонстрировать межкультурные различия в структуре социальных страхов, характерных для представителей различных обществ.
Анализ показал высокий уровень надежности всех шкал опросника, за исключением шкал «Страха совершения действий в общественных местах» и «Избегание совершения действий в общественных местах», которые продемонстрировали невысокий, но приемлемый уровень надежности. Кроме того, шкалы опросника продемонстрировали достаточно высокие показатели надежности-устойчивости.
Анализ «Шкалы страха негативной оценки (краткая версия)» подтвердил его однофакторную структуру (Carleton, 2006; Carleton, 2007). Результаты анализа надежности данного опросника указывают на высокую надежность-согласованность и высокую ретестовую надежность.
Результаты анализа пунктов опросников «Шкала социальной тревожности Либовица» и «Шкала страха негативной оценки» указывают на необходимость внесения корректировок в формулировки ряда пунктов.
«Опросник социальной тревожности и социофобии» в настоящем исследовании предполагалось использовать для валидизации «Опросника Либовица» и «Шкалы страха негативной оценки». Однако анализ его факторной структуры показал отличия от оригинального исследования.
Авторы «Опросника социальной тревоги и социофобии» (Сагалакова, Труевцев, 2012) описывают 5 шкал:
Социальная тревога в ситуации «быть в центре внимания, под наблюдением»;
Постситуативные руминации и желание преодолеть тревогу в экспертных ситуациях;
Сдержанность в выражении эмоций из-за страха отвержения и блокирование признаков тревоги в экспертных ситуациях;
Тревога при проявлении инициативы в формальных ситуациях из-за страха критики в свой адрес и потери субъективного контроля;
Избегание непосредственного контакта при взаимодействии в субъективно экспертных ситуациях.
Анализ данных, полученных в нашем исследовании, показал неожиданные результаты. Нами также была выделена пятифакторная структура опросника, однако и содержание этих факторов, и их интерпретация отличались от исходных. Были выделены следующие факторы:
Страх отвержения и критики в межличностных контактах;
Стремление к преодолению социальной тревоги;
Стремление к избеганию социальных ситуаций;
Уверенность в негативной оценке и критичном отношении окружающих;
Переживание нехватки социальных навыков.
Полученные различия могут объясняться особенностями выборки. Вполне вероятно, что при увеличении репрезентативности выборки результаты факторизации больше соответствовали бы исходной модели. В то же время, учитывая высокую культурную обусловленность социальной тревожности, возможно, подобные результаты вызваны культурными различиями (опросник был создан на базе Алтайского государственного университета).
Тем не менее, для дальнейшего анализа мы использовали шкалы, сформированные на основании выделенных нами факторов. Каждая из полученных шкал продемонстрировала адекватную надежность.
Данный опросник использовался нами для проверки конструктной валид ности апробируемых методик. С одной стороны, полученные нами значимые и достаточно высокие корреляции шкал «Опросника социальной тревоги и социофобии» со шкалами опросников «Шкала социальной тревожности Либовица» и «Шкала страха негативной оценки» указывают на конструктную валидность апробируемых шкал. Существенные сдвиги в факторной структуре «Опросника социальной тревоги и социофобии» не позволяют нам говорить о валидности апробируемых шкал с полной уверенностью. Однако, можно утверждать, что все эти опросники направлены на оценку одного и того же конструкта.
Дальнейших исследований и подтверждений требует вопрос о дискриминантной валидности апробируемых методик. С одной стороны, результаты анализа указывают на то, что методики оценки социальной тревожности связаны между собой сильнее, чем со «Шкалой депрессии Бека», что говорит об адекватной дискриминантной валидности апробируемых методик относительно измерения депрессии. С другой стороны, связи шкал, направленных на оценку социальной тревожности, между собой иногда ниже, чем связи этих шкал со «Шкалой личностной тревожности Спилбергера». Социальная тревожность является одной из форм тревожности. Поэтому связи между опросниками, направленными на оценку социальной тревожности, могут быть для некоторых шкал этих опросников ниже, чем для «Шкалы личностной тревожности Спилбергера». Иными словами, достаточно высокие корреляции между этими шкалами не являются артефактами.
Хотелось бы сделать ряд замечаний по всем выявленным ограничениям. Во- первых, следует учитывать тот факт, что Россия – многокультурная страна, и факторы «Шкалы социальной тревожности Либовица», полученные на московской выборке, могут не соответствовать факторам, полученным при анализе свойств данной шкалы в других регионах России. То есть, структура ситуаций, вызывающих социальную тревогу, может существенно меняться от региона к региону. Следовательно, необходимо провести апробацию «Шкалы социальной структуры Либовица» на более широкой выборке. Во-вторых, в результате анализа «Опросника социальной тревоги и социофобии» была получена факторная структура, существенно отличающаяся от задуманной авторами. Значит, необходимо собрать большее количество эмпирических данных из разных регионов России, чтобы нивелировать влияние культурных различий и окончательно определить факторную структуру опросника. Кроме того, прежде чем проводить повторную апробацию, надо внести корректировки в формулировки ряда пунктов опросников. Далее, чтобы установить пригодность апробируемых шкал для оценки социофобии, нужно провести исследование на больных социофобией. Возможно, анализ связей между тревожностью и социальной тревожностью в группе с выраженными показателями последней, позволит более детально прояснить вопрос о дискриминантной валидности опросников социальной тревоги.
Мельникова О.Т., Хорошилов Д.А. Современные критериальные системы валидности качественных исследований в психологии. // Национальный психологический журнал. – 2014. – № 2(14). – С. 36-48. doi: 10.11621/npj.2014.0205
Сагалакова О.А., Труевцев Д.В. Опросник социальной тревоги и социофобии // Медицинская психология в России. – 2012. – № 4. (15) – Электронный ресурс. – Режим доступа : http://www.mprj.ru/archiv_global/2012_4_15/nomer/nomer19.php.
Тарабрина Н.В. Практикум по психологии посттравматического стресса. – Санкт-Петербург : Питер, 2001.
Baker M., Kim L.J., Hoffman S.G. The Liebowitz social anxiety scale as a self-report instrument: a preliminary psychometric analysis // Behaviour Research and Therapy. – 2002. – 40. – p. 701-715.
Bodinger L., Hermesh H., Aizenberg D., Valevski A., Marom S., Shiloh R. Sexual function and behavior in social phobia // Journal of Clinical Psychiatry. – 2002. – 63. – p. 874-879.
Carleton N.R., McCreary D.R., Norton P.J., Asmundson G.J.G. Brief Fear оf Negative Evaluation Scale-Revised // Depression and Anxiety. – 2006. – 23. – p. 297-303.
Carleton R., Social anxiety and fear of negative evaluation: Construct validity of the BFNE-II // Journal of Anxiety Disorders. – 2007. – 21. – p. 131-141.
Fresco D. et al The Liebowitz Social Anxiety Scale: a comparison of the psychometric properties of self-report and clinician-administered formats // Psychological Medicine. – 2001. – 31. – p. 1025-1035.
Handbook of social anxiety / Ed. Lietenberg H. – New York: Plenum Press, 1990.
Hanin У.L., Spielberger С.D. The development and validation of the Russian form of the state-trait-anxiety inventory. // С.D. Spielberger, R. Diaz- Guerrero (eds.) Cross-cultural anxiety. V. 2. – Washington: Hemisphere Publishing Corporation, 1981. – p. 15-26.
Hart T.A., MacAndrew S.J., Turk C.L., Heimberg R.G. Issues for the measurement of social phobia // H.G.M. Westenberg and J.A. den Boer (Eds.) Social phobia: Recent trends and progress. – Amsterdam: Syn-Thesis Publisher, 1990. – p. 133-155.
Heimberg R., Horner K.J., Juster H. R. , Safren S.A., Brown E.J., Schneier F.R., Liebowitz M.R. Psychometric properties of the Liebowitz Social Anxiety Scale // Psychological Medicine. – 1999. – 29. – p. 199-212.
Kashdan T.B. Social anxiety spectrum and diminished positive experiences: Theoretical synthesis and meta-analysis // Clinical Psychology Review. – 2007. – 27. – p. 348-365.
La Greca A.M., Lopez N. Social anxiety among adolescents: linkages with peer relations and friendships // Journal of Abnormal Child Psychology. – 1998. – 26(2). – p. 83-94.
Levin J., Marom S., Gur S., Wechter D., Hermesh H. Psychometric properties and three proposed subscales of a self-report version of the Liebowitz social anxiety scale translated into Hebrew // Depression and anxiety. – 2002. – 16. – p. 143-151.
Liebowitz M.R. Social phobia // Modern Problems in Pharmacopsychiatry. – 1987. – 22. – p. 141-173.
McNeil D.W. Terminology and evolution of constructs related to social phobia // From social anxiety to social phobia / Hoffman S. (ed.) – Boston: MA, 2001. – p. 8-19.
Melnikova O.T., & Khoroshilov D.À. (2014). Modern criteria system of identifying the validity of qualitative research in psychology. National Psychological Journal [Natsional’nyy psikhologicheskiy zhurnal], 2(14), 36-48. doi: 10.11621/npj.2014.0205
Olatunji B.O., Cisler J.M., Tolin D.F. Quality of life in the anxiety disorders: A metaanalytic review // Clinical Psychology Review. – 2007. – 27. – p. 572- 581.
Rapee R.M., Spence S.H. The etiology of social phobia: Empirical evidence and an initial model // Clinical psychology review. – 2007. – 27. – p. 737-767.
Safren S.A., Heimberg R.G. Factor Structure of Social Fears: The Liebowitz Social Anxiety Scale // Journal of Anxiety Disorders. – 1999. – 13(3). – p. 253- 270.
Schneier F.R., Heckelman L.R., Garfinkel R., Campeas R., Fallon B.A., Gitow A., Street, L., Del Bene D., Liebowitz M.R. Functional impairment in social phobia // Journal of Clinical Psychiatry – 1994. – 55. – p. 322-331.
Terra J., Barros H., Stein A., Figueira I., Athayde L., De Gonsalves M., Tergolina L., Rovani J., Da Silveira D. Internal consistency and factor structure of the Portuguese version of the Liebowitz Social Anxiety Scale // Rev. Bras. Psiquiatr. – 2006. – 28(4). – p. 265-269.
Watson D., Friend R. Measurement of Social-evaluative Anxiety // Journal of Consulting and Clinical Psychology. – 1969. – 33 (4). – p. 448-457.
Zimbardo P.G. Shyness: What is it and what to do about it. – New York: Symphony press, 1977.Ениколопов С.Н., Григорьева И.В.Апробация опросников «Шкала социальной тревожности Либовица» и «Шкала страха негативной оценки (краткая версия)».. // Национальный психологический журнал. 2016. № 1. c.31-44. doi: 10.11621/npj.2016.0105
Скопировано в буфер обмена
Скопировать