Психометрические свойства модифицированной батареи Интернационального Ресурса Когнитивных Способностей (ICAR)

Корнилова Татьяна Васильевна Московский государственный университет имени М.В. Ломоносова

Корнилов Сергей Александрович Московский государственный университет имени М.В. Ломоносова

Введение

Разработка общедоступного инструмента – Интернационального ресурса когнитивных способностей (International Cognitive Ability Resource, ICAR) была направлена на способствование фундаментальным исследованиям интеллекта и преодоления ограничения использования коммерческих методик (Condon,   Revelle, 2014). В этом международном проекте, охватившем к моменту обобщающей его результаты статьи около 97000 испытуемых из 199 стран, тестирование проводилось онлайн. Были  получены данные относительно профилей личностных черт испытуемых, которые заполнялись ими на SAPA-project.org (ранее названным test.personality-project.org). Для психометрической валидизации проводилось и специальное исследование данных в офф-лайн режиме (с целью контроля возможной помощи испытуемым). Интерес к этому исследовательскому проекту обусловлен его соответствием как теоретическим, так и практическим тенденциям развития современного интеллектуального тестирования. Назовем лишь некоторые особенности данного проекта: 

1. различие коммерческих тестов и исследовательских батарей с точки зрения необходимых больших теоретических и временных затрат для фундаментальных исследований и акцентировании на обратной связи для коммерческих; 

2. необходимость разработки общедоступного инструментария, чтобы фундаментальные исследования не ограничивались проблемами, связанными с интеллектуальной собственностью. Наряду с этим нас интересовало соотношение теоретических позиций, закладываемых в интеллектуальные тесты, а также возможность интеграции российских исследований в мировую психологическую исследовательскую практику.

Понимание интеллекта как когнитивной способности (интеллектуального потенциала или ментального ресурса) по измерениям которой можно выявлять межиндивидуальные различия, пришло в отечественную психологию вместе с тестами интеллекта. Разделение на вербальный и невербальный интеллекты зафиксировало различия в типах задач и соответствующих формах протекания когнитивных процессов. Частично это соотносилось с разной степенью их культурной обусловленности (культурно-исторической – в одних, средовой – в других интерпретациях). После выделения Р. Кеттэллом кристаллизованного и флюидного интеллектов (Cattell, 1987) первый стал вполне соответствовать «вербальному», в то время как для «флюидного» можно было предполагать две формы проявления – и вербальной, и не вербальной. Так, в исходном интеллектуальном тесте ICAR оба вида интеллекта представлены в субтесте «Словесного Рассуждения» (Verbal Reasoning, k=16 заданий), включающего разнообразие задач на логику, словарный запас и общую осведомленность.

Флюидный интеллект проявляется в логике рассуждений, в гибкости и скорости мышления, в успешности приспособления к новым ситуациям, овладении новыми знаниями и структурировании индивидуального опыта. В тесте ICAR с ним можно связывать успешность выполнения субтеста «Трехмерного Вращения» (Three-dimensional Rotation, k=24), в котором участникам даются кубические изображения и просят определить, какой из вариантов ответа является возможным результатом вращения эталонных стимулов. Наряду с этим в батарее представлен и субтест, аналогичный прогрессивным матрицам Равена («Матрицы», Matrix Reasoning, k=11), а также субтест с последовательностями чисел и букв (Letter and Number Series, k=11).

Вопросом остается представленность в разных типах задач единой способности, поскольку исходный анализ данных ICAR проводился в эксплораторном ключе, хоть и показал предварительную возможность выделения как частных факторов субтестов, так и стоящего за ними фактора второго порядка. Исследования также показали, что ICAR предсказывает около 20% дисперсии в самоотчетных данных успешности обучения.

Новые проблемы интеллектуального тестирования

Апробация на русском языке тестов «Прогрессивные матрицы»  Дж. Равена, WAIS Д. Векслера, ROADS Р. Стернберга, AST Р. Амтхауэра и ряда других позволила возродить в 90-е гг. в России практику интеллектуального тестирования. Но нельзя сказать, что это привело к существенному продвижению в его методологии. При разработке в отечественной психологии новых теоретических интерпретаций – структурно-динамической теории (Ушаков, 2003), ментального репрезентаций (Холодная, 1997) – в исследовательских работах продолжают сосуществовать разные подходы, диктуемые выбором конкретного теста. При этом, с одной стороны, принимаются заложенные в инструментарии классификации видов интеллекта: единого фактора g и групповых факторов Ч. Спирмена; дихотомии кристаллизованного и флюидного интеллекта в подходе Р. Кеттэлла; триархического интеллекта – аналитического (академического), практического интеллекта и креативности в подходе Р. Стернберга и т.д. При этом российские исследователи оставляют без должного внимания изменения в интерпретационном поле применительно к используемым тестам.

Авторы статьи, обосновывающие введение дихотомии «холодных» и «горячих» видов интеллекта, считают необходимым «осторожное обновление» систематизации способностей (Schneider et al., 2016). Это обусловлено не только развитием конструктов эмоционального и личностного интеллекта (представленных сегодня моделями когнитивных способностей и смешанными, включающими личностные черты, Salovey,  Mayer, 1990; Mayer, 2014; Mayer et al., 2016; и др.), что расширяет представления о множественных видах интеллекта (Гарднер, 2007), однако не как «первичных» –  специальных способностей, предполагавшихся Л. Терстоуном (Thurstone, 1938). Факторно-аналитические исследования Вернона, Гилфорда, Френча и Экстрома, Кеттелла и Хорна и многих других продемонстрировали, что первичные способности Терстоуна вовсе не были первичными; каждая из них могла быть разбита на еще более узкие способности. Дело в другом – во введении иных представлений о системных связях разных видов интеллекта с другими когнициями. Так, флюидное рассуждение оказывается в значимых связях с процессами рабочей памяти, эмоционального интеллекта (ЭИ) и понимания; сам же ЭИ связан с разными процессами зрительной и слуховой переработки информации, скоростью обработки и т.д. (Schneider et al., 2016) и выступает в связях как с академическим интеллектом, так и с личностными свойствами регуляции когнитивных стратегий (Красавцева, Корнилова, 2018; Корнилова, 2016).

Следует отметить и изменения в понимании самих когнитивных способностей. Так, невербальный характер заданий в матрицах Равена создал впечатление его культурной независимости, что сегодня обоснованно оспаривается (Низбетт, 2013). Продолжают изменяться представления об интеллекте как общей способности и так называемых широких способностях, выступающих в качестве дискретных функций разума с широким полем применения.  Хотя оценка генерального фактора g появляется практически в каждом наборе данных о когнитивных способностях (Carroll, 1993; Jensen, 1998), групповые факторы стали появляться сразу; и Спирмен даже обсудил их в своей основополагающей работе «Способности человека: их природа и измерение» (Spearman, 1927).

За рубежом к 90-м гг. ХХ века наиболее обсуждаемой стала теория, получившая название модель Кетэлла-Хорна-Кэролла. В ней было представлено уже 70 узких и 16 широких способностей. Эта модель, ставшая необычайно популярной, соединила идеи подразделения интеллекта на кристаллизованный и флюидный – Gf-Gc (Cattell, 1987; Horn, Blankson, 2005; Horn, Cattell, 1966) – с теорией трехуровневых когнитивных способностей – Three Stratum Theory of Cognitive Abilities (Carroll, 1993). Сегодня она подвергается необычайно яркой критике, которой, в частности, посвящен специальный выпуск «The Evolution of Cognitive Ability Tests and Score Interpretation» в 3-м выпуске (2019) журнала «Applied Measurement in Education». Кэрролл полагал, что имеются существенные доказательства для психологического выделения g, а Хорн и Кеттэлл были в равной степени убеждены, что психометрический g не представляет собой истинную психологическую конструкцию. Именно теоретические разногласия в исходных методологиях и двух соединенных в одну модель теорий интеллекта препятствуют практическому использованию этой теории и, как образно выразились Кэнивез и Юнгстром (Canivez, Youngstrom, 2019), «обрекают на неудачу этот брак».

В последние годы большое внимание в зарубежной литературе получила разработка понимания генерального фактора g в теории перекрывающихся процессов (process overlap theory), согласно которой когнитивные тесты позволяют диагностировать доменно-неспецифичные управляющие процессы, выявленные в основном в исследованиях рабочей памяти, а также более доменно-специфические процессы (Kovacs, Conway, 2016). Управляющие процессы, согласно этому подходу, задействованы в разных когнитивных тестах таким образом, что они затребованы более часто, чем доменно-специфичные процессы. Согласно этой теории, g не является единой константой, стоящей за выполнением различных тестовых батарей различными выборками испытуемых и в различных условиях. По замечанию МакГрея и Шнейдера (Schneider, McGrew, 2019), теория перекрывающихся процессов как бы выступает в роли вышестоящей категории, так же, как «христианство» описывает группу очень похожих религиозных традиций, которые местами могут иметь резкие теологические различия.

Л. Готтфредсон (Gottfredson, 2016) отмечает, что, несмотря на критику g как неконстантного и неуловимого конструкта, исходные посылки теории перекрывающихся процессов и современные данные, на которых она основана (в контексте рассмотрения экспериментальных и нейробиологических исследований), поддерживают, но не противоречат теоретическим позициям защитников g не только как одного из самых широко подкрепленных, но и практически значимых конструктов в психологии.

Так, в нейроимиджинговых исследованиях g выступает как значимый коррелят неспецифических функциональных состояний (паттернов коннективности) головного мозга (Takagi, Hirayama, Tanaka, 2018; Dubois, Galdi, Paul, Adolphs, 2018), а недавний структурный мета-анализ данных, полученных при использовании 31 тестовой батареи на материале общей выборки в более чем 1,5 миллиона человек показал, что в 90% случаев  оптимальные уровни пригодности данных показывает т.н. бифакторная модель (Reise, 2012), в которой индивидуальные субтесты имеют нагрузки как на соответствующие частные факторы способностей, так и на общий фактор g (Cucina, Byle, 2017), который концептуализируется как ортогональный по отношению к частным факторам. А. Божан (Beaujean, 2016) отмечает, что бифакторная модель соответствует исходным представлениям Кэрролла об общем интеллекте в не меньшей степени, чем иерархические модели.

Отметим, что в отечественной психологии Д.В. Ушаковым в его структурно-динамическом подходе обосновано иное понимание общего фактора g. «Он стоит за корреляциями, которые связывают между собой решение задач, использующих совершенно различные наборы когнитивных процессов» (Валуева и др., 2017, с. 495). Другая важная идея – интеллектуального потенциала – заложена в обосновании того, что генеральный фактор имеет иное происхождение, чем широкие или узкие способности. Он свидетельствует о культурной обусловленности интеллекта в том смысле, что в разных обществах к человеку предъявляются разные требования; и повышение ценности какой-либо интеллектуальной функции вызывает встречную активность по ее развитию, а тем самым увеличение ее нагрузки по генеральному фактору. Это принципиально отличает этот подход от «ресурсных» подходов (Холодная, 1997; и др.).

Не продолжая обзора современных изменений в соотнесении моделей интеллекта, представим интеллектуальную батарею ICAR, которая позволяет выделять как общий фактор, так и доменно-специфические (связанные с типом заданий), хотя сами авторы не указывают, какой именно теоретической позиции они следуют.

ICAR

При разработке интеллектуального теста  ICAR в него была заложена модель, предполагающая возможность иерархического выделения как единого фактора g, так и первичных факторов, соответствующих типам заданий, которые в свою очередь представляли два варианта невербальных и два варианта вербальных субтестов. Соответствующие невербальные субтесты традиционно рассматриваются как предоставляющие показатель флюидного интеллекта. Разработчики рассматривают субтесты, не суммируя показатели по вербальным и невербальным шкалам, но приводят среднее для удельного веса правильно решенных задач по двум невербальным тестам.

Время в их основном Исследовании 1 не ограничивалось, и испытуемые получали от 12 до 16 пунктов из 60 (поровну для всех субтестов). Авторы (Condon,   Revelle, 2014)  показали соответствие факторной структуры тестовой батареи из 60 пунктов, с одной стороны, предполагавшимся четырем сильно коррелирующим факторам, соответствующим каждому из четырех типов тестовых заданий, а с другой, возможности выделения единого фактора g на основе процедур вторичной факторизации Шмида-Леймана. Внутренняя согласованность оказалась высокой для заданий на Трехмерное Вращение и «едва адекватной» для пунктов Матриц Рассуждения. Это, по их мнению, свидетельствует о том, что пункты Трехмерного Вращения измеряют единый латентный конструкт, что спорно для заданий Матрицам. Таким образом, для двух типов невербальных заданий можно говорить о правомерности использования разного методического инструментария. Далее они продемонстрировали схожесть результатов IRT-анализа для 16-пунктного образца теста ICAR (с  выбором по 4 пункта на каждый фактор).

В Исследовании 2 оценивались корреляции между баллами ICAR и баллами по аттестационным тестам и опубликованными рейтингами средних баллов по специальностям в университете. Скорректированные корреляции между баллами аттестационных тестов и 16- и 60-пунктыми вариантами теста ICAR получены в диапазоне от 0,52 до 0,59 (р ≤ 0,016).

Целью Исследования 3 была оценка конструктной валидности заданий ICAR в сравнении с коммерческими измерениями когнитивных способностей. В этом случае тест в офф-лайн режиме проходили 137 студентов университета. Корреляции, в частности, с Тестом для Вандерлика (Wonderlic) составили 0.60 и 0.64 для разных версий ICAR, 0.77 и 0.72 – с баллами IQ для Сокращенной Шкалы Интеллекта Векслера (WASI) у взрослой выборки; и 0.86 и 0.85 для Полной Шкалы Интеллекта Взрослых Векслера.

В заключение делается общий вывод о том, что общедоступные методы измерения когнитивных способностей обладают весомым потенциалом, а также являются достойным фундаментом для сотрудничества с теми, кого интересует обогащение существующих или новые разработки общедоступных инструментов.

Целью нашего исследования стала апробация модифицированной батареи ICAR на русскоязычных выборках.  При этом для диагностики вербального интеллекта вместо исходных англоязычных были включены два субтеста, разработанные ранее для русскоязычной популяции в рамках адаптации интеллектуальной батареи ROADS и показавшие значимую предсказательную способность в отношении академических достижений студентов (Корнилов, Григоренко, 2010; Sternberg R.J., The Rainbow Project Collaborators, 2006). Субтесты Трехмерное Вращение и Матрицы были взяты в исходном для ICAR варианте.

Основными задачами исследования выступили: а) апробация этих невербальных субтестов и установление их психометрических свойств; б) построение факторной модели, репрезентирующей структуру модифицированного варианта интеллектуальной тестовой батареи в единстве вербальных и невербальных субтестов, а также: в) установление эффекта ограничения времени при выполнении тестовой батареи на ее психометрические свойства и структуру.

Ход исследования

Участники исследования

После удаления результатов испытуемых, не справившихся ни с одним заданием и выявленных с помощью оценки многомерных расстояний Махаланобиса многомерных аутлаеров (multivariate outliers), величина выборки составила n=681 чел. (из них 377 жен. и 304 муж.) в возрасте от 17 до 59 лет, Med=23 и средним по возрасту 25.83 лет (SD=7.58); это были студенты и взрослые лица с высшим образованием г. Москвы, тестировавшиеся на основе добровольного сотрудничества.

Методики исследования

1. Невербальный интеллект тестировался с помощью двух субтестов из методики ICAR (International Cognitive Ability Resource) (Condon, Revelle, 2014).  Первый субтест содержит 24 трехмерные фигуры на Вращение (субтест Вращение), второй – 11 матриц (субтест Матрицы). Трехмерные фигуры на Вращение представляют собой кубы; участникам исследования предлагают определить, какой из 6 предложенных вариантов ответа является возможным Вращением представленного куба; также есть варианты ответа «Ни один из кубиков не подходит» и «Я не знаю ответ». Субтест Матрицы является аналогичным прогрессивным матрицам Равена (Raven, 1989; Равен и др., 2012). Стимулы представлены в виде геометрических фигур 3 х 3 элементов с одним из девяти отсутствующих элементов. Респонденты должны идентифицировать, какой из шести предложенных элементов наилучшим образом завершит фигуру. Тестовый балл, интерпретируемый далее как показатель зрительно-пространственного и в данном случае флюидного интеллекта, получается усреднения равно-взвешенных результатов по этим двум субтестам.

2. Вербальный интеллект диагностировался с помощью двух субтестов, разработанных ранее в рамках апробации теста ROADS (Корнилов, Григоренко, 2010). Первый субтест является аналогом теста Милл-Хилл (далее шкала МХ) и включает 34 задачи на определение среди шести предложенных слов наиболее близкого по значению к заданному слову. Второй субтест – Аналогии – включает 30 задач на установление отношений синонимы/антонимы между парами слов (там же). Балл по вербальному интеллекту получается в результате суммирования равновзвешенных баллов по этим субтестам.

Обработка результатов.

Сырые баллы по субтестам были стандартизированы, усреднены и трансформированы в IQ­шкалу.  Для групповых данных, как и в исходном варианте ICAR, нами подсчитывались средние значения доли тех участников, которые правильно ответили на определенное задание, относительно общего количества участников, которым предъявлялся тот же пункт.

Для установления надежности использовался как классический коэффициент внутренней согласованности заданий a Кронбаха, так и набирающий в современной психометрической литературе популярность коэффициент w_h МакДональда, отражающий «насыщенность» изучаемых блоков заданий общим фактором (Zinbarg et al., 2005) при точно учете иерархической структуры теста через вторичную факторизацию матрицы корреляций между выделенными в эксплораторном факторном анализе значениями облических факторов (McDonald, 1999). Использование этого коэффициента в современных исследованиях отражает переход основанным на моделях (model-based) показателям надежности тестов, и аналитические исследования убедительно показывают более высокую точность (как числовую, так и интерпретационную) коэффициента МакДональда (Zinbarg et al., 2005). Анализ проводился в программном пакете psych для R. 

Анализ факторной структуры проводился в двух контекстах. Во-первых, адаптированные зрительно-пространственные субтесты анализовались на уровне отдельных заданий при помощи многомерной теории тестовых заданий (multidimensional item response theory, MIRT; Chalmers, 2012) в рамках т.н. 2PL (двухпараметрической модели), предполагающей одновременное моделирование вероятности правильного ответа на задание через сложность задания и его дискриминативность, а также через параметры способностей индивидов, прошедших тестирование. Анализ проводился в программном пакете mirt для R (Chalmers, 2012). 

Во-вторых, анализ структуры расширенной батареи проводился на уровне субтестов в рамках конфирматорного факторного анализа. Так, для получения наблюдаемых переменных, были суммированы значения правильности выполнения отдельно четных и нечетных заданий, формируя 8 индикаторов. Такой подход представляет собой пример т.н. парцелляции (parcellation) индикаторов для конфирматорного факторного анализа при необходимости снижения размерности моделируемых данных в сравнении с анализом на уровне отдельных пунктов. Конфирматорный факторный анализ проводился в программных пакетах lavaan и semTools для R (Rosseel, 2012). 

Анализ вклада демографических показателей и фактора ограничения времени на результативность выполнения заданий ICAR проводился с применением т.н. устойчивой (robust) регрессии в пакете robustbase для R. Устойчивые методы позволяют получать более точные оценки моделируемых параметров в сравнении с методами OLS регрессии через учет индивидуальных «весов» испытуемых в контексте нарушения одно- или многомерной нормальности данных, что является частым случаем в психологии (Koller, Stahel, 2011).

Результаты исследования

Психометрические показатели заданий и субтестов.

В Таблице 1 представлены коэффициенты внутренней согласованности и надежности данных по всем 4-м субтестам и при варьировании ограничения времени выполнения заданий. Нами были выявлены приемлемые показатели внутренней согласованности заданий как зрительно-пространственных субтестов, так и вербальных субтестов расширенной батареи ICAR. Отметим, что введение ограничения по времени привело к небольшому снижению показателей надежности получаемых баллов, что можно связывать со снижением g-насыщенности субтестов в соответствии с интерпретацией показетелей ECV – % дисперсии, объясняемой общим фактором.

Анализ вклада демографических показателей в успешность выполнения заданий ICAR, что возраст (B=0.14, SE=0.11, p=0.199), пол  (B=-0.10, SE=1.19, p=0.935), и их взаимодействие  (B=-0.21, SE=0.16, p=0.173)  объясняют 0% дисперсии в получаемых показателях флюидного интеллекта, тогда как введение ограничения времени связано со снижением баллов на -7.35 (SE = 1.58, p < 0.0001) баллов в шкале IQ, объясняя 3.39% дисперсии в выборке. Нами было установлено, что кристаллизованный вербальный интеллект показывает другие закономерности в отношении демографических показателей: возраст положительно связан с кристаллизованным интеллектом (B=0.91, SE=0.20, p<0.0001), а мужчины демонстрируют более низкие показатели (B=-10.55, SE=1.77, p<0.0001). В то же время, введение ограничения времени связано с общим снижением баллов (B=-13.56, SE=1.52, p<0.0001) для женщин, и статистически значимо меньшим снижением (на 8.55 баллов) для мужчин (что отражено в значимом взаимодействии между фактором пола и времени, B=8.55, SE=2.31, p<0.0001). Демографические показатели объясняют 14.5% дисперсии в показателях кристаллизованного интеллекта, и до 24.3% в сочетании с фактором ограничения времени.

Таблица 1. Психометрические свойства зрительно-пространственных шкал ICAR и вербальных шкал ROADS

	Временное ограничение -			Временное ограничение +
Субтест	α	wh	ECV	a	wh	ECV
Вращение	0.94	0.80	74%	0.90	0.67	58%
Матрицы	0.68	0.44	37%	0.55	0.44	34%
Шкала МХ	0.79	0.51	45%	0.79	0.55	49%
Аналогии	0.65	0.32	29%	0.56	0.20	16%
Вращение+Матрицы (gf)	0.92	0.74	66%	0.86	0.54	47%
Шкала МХ + Аналогии (gc)	0.84	0.48	37%	0.80	0.53	39%
Все 4 субтеста (g)	0.91	0.45	26%	0.80	0.41	18%

Примечание: α – коэффициент внутренней согласованности альфа Кронбаха. wh – коэффициент надежности омега Макдональда. ECV - % общей дисперсии, объясняемый генеральным фактором.

В Таблице 2 приведены показатели сложности отдельных заданий и факторные нагрузки заданий на выделенный общий фактор (Gf) и два специфичных фактора GS1, GS2 для вербального и невербального интеллекта) при использовании подхода MIRT. Отметим, что три зрительно-пространственных задания ICAR показали отрицательные коэффициенты корреляции с общим баллом по субтесту Вращение, что говорит о возможности дополнительных модификаций субтестов в дальнейших исследованиях.

Таблица 2. Психометрические свойства отдельных заданий зрительно-пространственных субтестов ICAR

		Временное Ограничение -		Временное Ограничение +		Временное Ограничение -			Временное Ограничение +
Субтест	Задание	M	pBis	M	pBis	Gf	GS1	GS2	Gf	GS1	GS2
Вращение	R3D.01	0.25	0.57	0.16	0.40	0.75	0.25	-	0.57	-0.39	-
	R3D.02	0.11	-0.25	0.15	-0.24	-0.45	-0.24	-	-0.46	0.24	-
	R3D.03	0.06	-0.24	0.07	-0.24	-0.54	-0.32	-	-0.66	0.40	-
	R3D.04	0.46	0.71	0.45	0.45	0.84	0.23	-	0.63	-0.36	-
	R3D.05	0.48	0.65	0.41	0.53	0.68	0.49	-	0.52	-0.55	-
	R3D.06	0.56	0.65	0.54	0.53	0.65	0.56	-	0.48	-0.58	-
	R3D.07	0.44	0.66	0.37	0.53	0.93	-0.08	-	0.78	-0.40	-
	R3D.08	0.50	0.73	0.38	0.51	0.81	0.40	-	0.56	-0.48	-
	R3D.09	0.56	0.65	0.50	0.56	0.72	0.47	-	0.59	-0.56	-
	R3D.10	0.41	0.68	0.31	0.57	0.73	0.43	-	0.50	-0.59	-
	R3D.11	0.35	0.67	0.24	0.54	0.74	0.48	-	0.61	-0.52	-
	R3D.12	0.41	0.69	0.35	0.60	0.81	0.29	-	0.50	-0.63	-
	R3D.13	0.33	0.68	0.23	0.54	0.82	0.25	-	0.58	-0.53	-
	R3D.14	0.48	0.67	0.40	0.52	0.93	-0.06	-	0.52	-0.53	-
	R3D.15	0.49	0.70	0.40	0.61	0.85	0.20	-	0.40	-0.71	-
	R3D.16	0.57	0.60	0.48	0.56	0.65	0.45	-	0.23	-0.76	-
	R3D.17	0.48	0.74	0.39	0.59	0.83	0.31	-	0.33	-0.74	-
	R3D.18	0.06	-0.29	0.07	-0.22	-0.87	0.07	-	-0.44	0.39	-
	R3D.19	0.52	0.64	0.39	0.57	0.89	-0.05	-	0.26	-0.76	-
	R3D.20	0.62	0.63	0.47	0.49	0.68	0.53	-	-0.10	-0.87	-
	R3D.21	0.32	0.66	0.18	0.47	0.81	0.30	-	0.14	-0.72	-
	R3D.22	0.60	0.62	0.37	0.46	0.64	0.57	-	-0.19	-0.85	-
	R3D.23	0.43	0.47	0.29	0.40	0.46	0.50	-	-0.18	-0.75	-
	R3D.24	0.45	0.64	0.31	0.60	0.67	0.42	-	0.01	-0.90	-
Матрицы	MR.43	0.86	0.37	0.85	0.16	0.28	-	0.60	0.05	-	0.29
	MR.44	0.73	0.29	0.75	0.18	0.08	-	0.50	0.36	-	0.21
	MR.45	0.74	0.32	0.70	0.21	0.25	-	0.47	0.36	-	0.20
	MR.46	0.70	0.37	0.66	0.22	0.24	-	0.56	0.24	-	0.26
	MR.47	0.76	0.28	0.73	0.22	0.40	-	0.35	0.32	-	0.34
	MR.48	0.69	0.37	0.72	0.18	0.08	-	0.61	0.06	-	0.32
	MR.50	0.43	0.23	0.39	0.27	0.31	-	0.26	0.07	-	0.40
	MR.53	0.75	0.36	0.66	0.35	0.34	-	0.46	0.10	-	0.62
	MR.54	0.43	0.16	0.42	0.21	-0.02	-	0.29	-0.08	-	0.42
	MR.55	0.54	0.42	0.35	0.31	0.31	-	0.59	-0.06	-	0.69
	MR.56	0.55	0.38	0.40	0.24	0.13	-	0.58	-0.23	-	0.62

Примечание: Идентификаторы заданий приведены в соответствии с исходной номенклатурой ICAR. М – сложность задания (% правильных ответов). pBis – точечно-бисериальный коэффициент корреляции между заданием и общим баллом шкалы. Gf – стандартизованная факторная нагрузка задания (общий фактор). GS1, GS2 – стандартизованная факторная нагрузка задания (субтест-специфичные факторы).

Факторная структура батареи ICAR на российской выборке

Факторная структура батареи ICAR была проанализирована как на уровне отдельных заданий зрительно-пространственного блока, так и на материале парцеллированых значений по субтестам для всей батареи в целом. Графически модели для расширенной батареи представлены на Рисунке 1. В обоих случаях сравнивались следующие модели. Модель М1 предполагала наличие одного фактора за выполнением всех заданий или субтестов. М2 предполагала наличие двух ортогональных факторов (на уровне отдельных заданий – факторы субтестов Матрицы и Вращение; на уровне субтестов – факторов флюидного и кристаллизованного интеллекта). М3 включила оценку параметра ковариации между заданными факторами. М4 представляла собой бифакторную модель, где все задания или субтесты имели нагрузки на общий фактор, ортогональный по отношению к частным факторам.

На уровне отдельных заданий мы также оценивали пригодность бифакторной модели М6 с отдельным фактором скорости, на который имели нагрузки те пункты, которые по результатам анализа сложности и пропущенных данных показали отличия между двумя условиями предъявления (Рисунок 2), а на уровне субтестов – пригодность модели М5, которая постулировала g как фактор второго порядка (для идентификации модели были уравнены нагрузки флюидного и кристаллизованного факторов на фактор второго порядка).

В Таблице 3 приведены показатели пригодности моделей в многомерных измерительных моделях MIRT на уровне отдельных заданий зрительно-пространственных субтестов ICAR и в конфирматорном факторном анализе (CFA) на основе блоков четырех субтестов расширенной батареи ICAR. В обоих случаях наилучшие показатели пригодности были получены для бифакторных моделей согласно анализу дельты индексов CFI и RMSEA для вложенных моделей, а также при формальном сопоставлении пригодности моделей через сравнение тестовых функций M2 и Y-B. Анализ факторных нагрузок заданий зрительно-пространственного блока, полученных для бифакторной модели (Таблица 2) также показывает, что несмотря на общее соответствие модели данным, ряд отдельных заданий демонстрирует отрицательные нагрузки на общий фактор интеллекта, что может быть использовано для дальнейшей модификации методики.

Отметим, что вычислительная параметризация моделей второго порядка идентична модели с двумя облическими факторами в контексте CFA при наличии двух латентных факторов первого порядка, и потому прямое их сопоставление невозможно.

Таблица 3. Показатели пригодности моделей способностей

	Зрительно-пространственные субтесты ICAR (MIRT)						Все 4 субтеста расширенной батареи (CFA)
Модель	М2	df	p	CFI	RMSEA	Y-B		df	p	CFI	RMSEA
М1 – 1 фактор	1141.05	560	<0.001	0.960	0.061	368.69		20	<0.001	0.627	0.245
М2 – 2 орт. фактора	915.16	560	<0.001	0.975	0.047	165.94		20	<0.001	0.838	0.158
М3 – 2 облич. фактора	888.33	559	<0.001	0.977	0.046	127.87		19	<0.001	0.879	0.140
М4 – бифактор*	679.80	525	<0.001	0.989	0.032	22.63		12	0.031	0.988	0.053
М5 – фактор 2-го порядка	-	-	-	-	-	127.87		19	<0.001	0.879	0.140
М6 – бифакторная модель с фактором Скорость**	949.25	539	<0.001	0.958	0.044	-		-	-	-

Примечание: Приведены показатели для условия «Временное Ограничение - » М2 – тест-функция модели; df – количество степеней свободы. p – уровень значимости при проверке гипотезы абсолютной пригодности модели. CFI – сравнительный индекс пригодности. Y-B – хи-квадрат с поправкой на ненормальность данных. RMSEA – корень из среднего квадрата ошибки аппроксимации. * - модель, показавшая лучшие индексы пригодности.

** Приведены показатели для условия «Временное Ограничение +».

Рис. 1. Альтернативные конфирматорные факторные модели (CFA) структуры расширенной тестовой батареи ICAR. Нумерация моделей приведена в соответствии с Таблицей 3.

Влияние условий ограничения времени тестирования на результат

Дополнительно к установлению эффектов ограничения времени на общие получаемые баллы, мы проанализировали влияние ограничения времени на выполнение отдельных заданий батареи ICAR: часть испытуемых проходила тестирование по ICAR в условиях ограничения времени, а другая часть – в условиях без ограничения времени. Сравнительный анализ показателей в этих подгруппах дан в графическом представлении на рисунке 2, где верхние два ряда графиков демонстрируют рост пропущенных данных (ПД) как показатель невыполнения задания – в зависимости от возрастания сложности заданий при отсутствии ограничения по времени. Анализ коэффициентов ранговой корреляции между сложностью заданий без ограничения времени и частотой ПД в условиях ограничения времени показало, что для трех из четырех субтестов (Матрицы, r = -.64, p <0.05; МХ, r = -.65, p < 0.05; Аналогии r =-.72, p < 0.05) частота ПД возрастает как функция сложности заданий, тогда как для Вращения такая закономерность не была обнаружена (r = .43, p > 0.05). Для всех четырех субтестов показано, что введение ограничения времени приводит к снижению успешности решения заданий во второй половине субтеста, что приводит к систематическому смещению плотностей распределений баллов в сторону более низких значений.

Рис. 2. Психометрические свойства заданий и распределения баллов зрительно-пространственных шкал ICAR и расширенной тестовой батареи. Сложность - % правильных ответов. ПД – пропущенные данные.

Обсуждение результатов

В настоящем исследовании были установлены базовые психометрические свойства расширенной батареи ICAR, состоящей из четырех субтестов. Как это было и в исходной версии ICAR, блок пунктов субтеста Трехмерное Вращение в наших данных показал существенно более высокую внутреннюю согласованность, чем субтест Матрицы. Авторы исходной версии рассматривали последнее с точки зрения возможности использования Матриц для диагностики совокупности общих способностей, в то время как за результатами теста Вращение можно идентифицировать единую латентную переменную (Condon, Revelle, 2014).

Критиками соединения теорий Кеттэлла-Хорна с моделью  Кэролла отмечается «непоследовательная» независимая репликация факторной структуры (Wasserman, 2019). Как видно из представляемой авторами ICAR результирующей модели, она прямо соотносится с типами заданий, а не с обсуждением представленных в них общих, широких или узких способностей. В полном согласии с результатами недавних мета-аналитических исследований (Cucina, Byle, 2017) мы показали, что паттерны выполнения заданий ICAR могут быть смоделированы с помощью применения бифакторной компенсаторной структуры, где вклад в успешность выполнения отдельных заданий и субтестов ICAR вносят частные факторы (субтест-специфические в рассмотрении зрительно-пространственных заданий; флюидный и вербальный в контексте рассмотрения всей расширенной батареи целиком), а также общий фактор g. Важно отметить, что выбор итоговой измерительной модели в конкретном исследовании должен соотноситься с его целями: так, несмотря на возможность выделения g в бифакторной CFA модели всех четырех субтестов, двухфакторная модель также показала удовлетворительные уровни пригодности данным, и может быть использована в случаях, где предполагается фокус на индивидуальных различиях во флюидном или кристаллизованном интеллекте.

Полученная нами факторная структура соотносится с методическим разведением собственно вербальных и невербальных форм процессов, которые можно считать проявлениями кристаллизованного и флюидного интеллектов; возможность выделения при этом общего фактора g возвращает к бифакторным моделям когнитивных способностей. В отличие от модели Кеттэлла-Хорна-Кэролла выделенный на материале отдельных заданий зрительно-пространственных субтестов общий фактор (Gf) не является иерархически надстраиваемым над двумя специфичными факторами (GS1 и GS2), соответствующими вербальным и невербальным заданиям, а является скорее рядоположенным и вносящим вклады в выполнение всех типов заданий.

В нашем исследовании показано, что дополнительное время дает значительное преимущество в успешности прохождения интеллектуального тестирования. Это иной результат, чем представленный в цитированной работе по результатам разработки полного ICAR, где указывалось, что заочное и неограниченное по времени проведение тестирования когнитивных способностей онлайн не приводит к более высоким баллам (Condon, Revelle, 2014). На российских выборках также устанавливалось, что при выполнении матриц Равена испытуемые, тратившие больше времени на выполнение задания, не показывают более высоких результатов, а «режим ограничения времени обеспечивает более высокую дискриминативность, достоверность и защиту от влияния мотивации» (Давыдов, Чмыхова, 2016, С. 137).

Как анализ значений ECV, так и проведенный нами дополнительный анализ метрической инвариантности шкал ICAR в контексте сопоставления моделей показал, что введение ограничения по времени приводит к размытию g-насыщенности отдельных заданий и субтестов расширенной батареи ICAR и нарушению метрической инвариантности (коэффициентов факторных нагрузок, средних, и остатков) батареи, прямо указывая на невозможность прямой сопоставимости баллов, полученных при использовании батареи с и без ограничения по времени. Эти результаты частично соотносятся с недавними работами Ш. Рен и коллег (Ren et al., 2018), которые показали, что введение ограничения времени приводит к появлению вторичного фактора скорости выполнения заданий, коррелирующего в большей степени со скоростью обработки информации, чем с показателями общего интеллекта. Хотя мы эмпирически не подтвердили гипотезу о наличии дополнительного фактора в контексте CFA анализа, как отмечает Ф. Голдхаммер (Goldhammer, 2017), его изучение предполагает, в частности, фиксацию времени решения заданий испытуемыми, что выходит за рамки проведенного нами исследования.

Итак, на материале русскоязычного варианта теста было показано, что модифицированная батарея ICAR представляет собой потенциально ценный ресурс для российских исследователей в области индивидуальных различий. Приведенные в статье данные могут быть использованы для направления дальнейших модификаций тестовой батареи (например, создания короткой версии ICAR из 16 заданий, аналогичной представленной в исходном исследовании) и принятия диагностических и измерительных решений, которые имеют важные последствия для интерпретации получаемых баллов и их распределений.

Выводы

1. Модифицированный тест ICAR, включивший невербальные субтесты исходной интеллектуальной батареи и вербальные субтесты, разработанные при апробации батареи ROADS, обладает достаточно хорошими психометрическими характеристиками для дальнейшего применения на российских выборках.

2. Анализ факторной структуры свидетельствует о применимости к результатам бифакторных представлений, включающих в выполнение заданий как вклад общего фактора g, так и вербального и невербального интеллектов (при выполнении соответствующих типов заданий).

3. Введение фактора ограничения времени приводит к искажению психометрических свойств батареи ICAR, что имеет важные последствия для диагностических решений при проведении фундаментальных исследований.

Благодарности

Авторы статьи выражают благодарность Ю.В. Красавцевой за участие в тестировании части выборки участников.

Приложение 1.

Примеры заданий субтеста Трехмерное Вращение

Задание 1. R3D.01

«У всех кубиков, расположенных внизу, на каждой стороне находятся разные картинки. Среди кубиков (А, В, С), расположенных справа, выберите тот, который является повернутой версией кубика слева (Х), и обведите свой ответ в бланке»:

Приложение 2.

Пример бланка ответов субтеста Трехмерное Вращение

Литература

Валуева Е.А., Белова С.С., Морозова О.А. Культурная востребованность способностей и психометрические свойства когнитивных тестов // Психология. Журнал Высшей школы экономики. – 2017. – Т. 14. – № 3. – С. 491–500.

Гарднер Г. Структура разума. Теория множественного интеллекта. – Москва : Вильямс, 2007.

Давыдов Д.Г., Чмыхова Е.В. Применение теста Стандартные прогрессивные матрицы Равена в режиме ограничения времени // Вопросы психологии. – 2016. – № 4. – С. 129–139.

Корнилов С.А., Григоренко Е.Л. Методический комплекс диагностики академических, творческих и практических способностей // Психологический журнал. – 2010. – Т. 31. – № 2. – С. 90–103.

Корнилова Т.В. Интеллектуально-личностный потенциал человека в условиях неопределенности и риска. –  М.: Нестор–История, 2016.

Красавцева Ю.В., Корнилова Т.В. Эмоциональный и академический интеллект как предикторы стратегий в игровой задаче Айова (IGT) // Психологический журнал. – 2018. – Т. 39. – № 3. – С. 29–43.

Низбетт Р. Что такое интеллект и как его развивать. – Москва : Альпина нонфикшн, 2013.

Равен Дж., Равен Дж.К., Корт Дж.Х. Руководство к Прогрессивным Матрицам Равена и Словарным Шкалам. – Москва : Когито-Центр, 2012.

Ушаков Д.В. Интеллект: структурно-динамическая теория. – Москва : Институт психологии РАН, 2003.

Холодная М.А. Психология интеллекта: парадоксы исследования. – Москва : Барс, 1997.

Beaujean, A.A. (2015). John Carroll’s view of intelligence: Bi-factor vs higher-order models. Journal of Intelligence, 3(4), 121–136. doi: 10.3390/jintelligence3040121

Becker, N., Koch, M., Schult, J., & Spinath, F.M. (2017). Setting Doesn’t Matter Much. A Meta-Analytic Comparison of the Results of Intelligence Tests Obtained in Group and Individual Settings. European Journal of Psychological Assessment, 33, 1–8.

Canivez, G.L., & Youngstrom, E.A. (2019). Challenges to the Cattell-Horn-Carroll Theory: Empirical, Clinical, and Policy Implications. Applied Measurement in Education, (32)3, 232–248. doi:10.1080/08957347.2019.1619562

Carroll, J. B. (1993). Human cognitive abilities: A survey of factor-analytic studies. New York: Cambridge University Press. doi: 10.1017/CBO9780511571312

Cattell, R.B. (1987). Intelligence: Its structure, growth and action. New York: Elsevier.

Chalmers, R.P. (2012). Mirt: a Multidimensional Item Response Theory Package for the R. Environment. Journal of Statistical Software, 48(6), 1–19. doi: 10.18637/jss.v048.i06

Condon, D.M., & Revelle, W. (2014). The International Cognitive Ability Resource: Development and initial validation of a public-domain measure. Intelligence, 43, 52–64.  doi: 10.1016/j.intell.2014.01.004

Cucina, J., & Byle, K. (2017). The bifactor model fits better than the higher-order model in more than 90% of comparisons for mental abilities test batteries. Journal of Intelligence, 5(27), 1–21. doi: 10.3390/jintelligence5030027

Dubois, J., Galdi, P., Paul, L.K., & Adolphs, R. (2018). A distributed brain network predicts general intelligence from resting-state human neuroimaging data. Philosophical Transaction of the Royal Society B: Biological Sciences, 373 (1756).

Gottfredson, L.S. (2016). A g theorist on why Kovacs and Conway’s Process Overlap Theory Amplifies, Not Opposes, g theory. Psychological Inquiry, 27(3), 210–217. doi: 10.1080/1047840X.2016.1203232

Hamel, R., & Schmittmann, V.D. (2006). The 20-Minute Version as a Predictor of the Raven Advanced Progressive Matrices Test. Educational and Psychological Measurement, 66(6), 1039–1046. doi: 10.1177/0013164406288169

Horn, J.L., & Blankson, N. (2005). Foundations for better understanding of cognitive abilities. In: D.P. Flanagan & P.L. Harrison (Eds.), Contemporary intellectual assessment. Theories, tests, and issues (2nd ed.). New York: Guilford Press, 41–68.

Horn, J.L., & Cattell, R.B. (1966). Refinement and test of the theory of fluid and crystallized general intelligences. Journal of Educational Psychology, 57(5б) 253–270. doi: 10.1037/h0023816

Horn, J.L., & Noll, J. (1997). Human cognitive capabilities: Gf-Gc theory. In: Flanagan, D.P., Genshaft, J.L., & Harrison, P.L., Eds. Contemporary Intellectual Assessment: Theories, Tests and Issues. New York: Guilford Press, 53–91.

Jensen, A.R. (1998). The g factor: The science of mental ability. Westport, CT: Praeger.

Kirkegaard, E.O.W., & Nordbjerg, O. (2015). Validating a Danish translation of the International Cognitive Ability Resource sample test and Cognitive Reflection Test in a student sample Group, 4(5). 10.26775/ODP.2015.07.31

Koller, M., & Stahel, W.A. (2011). Sharpening wald-type inference in robust regression for small samples. Computational Statistics & Data Analysis, 55(8), 2504-2515. doi: 10.1016/j.csda.2011.02.014

Kovacs, K., & Conway, A.R.A. (2016). Process overlap theory: A unified account of the general factor of intelligence. Psychological Inquiry, 27(3), 151–177. doi: 10.1080/1047840X.2016.1153946

Kyllonen, P., Hartman, R., Sprenger, A., Weeks, J., Bertling, M., McGrew, K., Kriz, S., Bertling, J., Fife, J., & Stankov, L. (2019). General fluid/inductive reasoning battery for a high-ability population. Behavior Research Methods, 51(2), 507–522. doi: 10.3758/s13428-018-1098-4

Mayer, J.D. (2014). Personal Intelligence: The power of personality and how it shapes our lives. N. Y.: Farrar, Straus and Giroux.

Mayer, J.D., Caruso, D.R., & Salovey, P. (2016). The ability model of emotional intelligence: principles and updates. Emotion review, 8(4), 290–300. doi: 10.1177/1754073916639667

McDonald, R.P. (1999). Test theory: A unified treatment. L. Erlbaum Associates, Mahwah.

Raven, J. (1989). The Raven Progressive Matrices: A Review of National Norming Studies and Ethnic and Socioeconomic Variation Within the United States. Journal of Educational Measurement, 26(1), 1–16. doi: 10.1111/j.1745-3984.1989.tb00314.x

Raven, J.C., Court J.H., &Raven J. (1992). Manual for Raven’s Progressive Matrices and Mill Hill Vocabulary Scales. Oxford: Oxford Psychologists Press. doi: 10.1080/00273171.2012.715555

Reise, S.P. (2012). The rediscovery of bifactor measurement models. Multivariate Behavioral Research, 47(5), 667–696.

Ren, X., Wang, T., Sun, S., Deng, M., & Schweizer, K. (2018). Speeded testing in the assessment of intelligence gives rise to a speed factor. Intelligence, 64–71. doi: 10.1016/j.intell.2017.11.004

Rosseel, Y. (2012). Lavaan: An r package for Structural Equation Modeling. Journal of Statistical Software, 48(2), 1–36. doi: 10.18637/jss.v048.i02

Salovey, P., & Mayer, J.D. (1990). Emotional intelligence. Imagin. Cogn. Personal,  9, 185–211. doi: 10.2190/DUGG-P24E-52WK-6CDG

Schneider, W.J., & McGrew, K.S. (2019). Process Overlap Theory is a milestone achievement among intelligence theories. Journal of Applied Research in Memory and Cognition.  32(3). doi: 10.1016/j.jarmac.2019.06.006

Schneider, W.J.,   Mayer, J.D., & Newman, D.A. (2016). Integrating Hot and Cool Intelligences: Thinking Broadly about Broad Abilities. Journal of Intelligence, 4(1), Art.1. doi: 10.3390/jintelligence4010001

Spearman, C.E. (1927). The abilities of man: Their nature and measurement. London: MacMillan.

Sternberg, R.J. (1999). The theory of successful intelligence. Review of General Psychology,  3(4), 292–316. doi: 10.1037/1089-2680.3.4.292

Sternberg R.J., & The Rainbow Project Collaborators (2006). The Rainbow Project: Enhancing the SAT through assessments of analytical, practical and creative skills. Intelligence. 34(4), 321–350. doi: 10.1016/j.intell.2006.01.002

Takagi, Y., Hirayama, J., & Tanaka, S.C. (2018) State-Unspecific Modes of Whole-Brain Functional Connectivity Predict intelligence and life outcomes. bioRxiv, preprint first posted.  doi: 10.1101/283846

Thurstone, L.L. (1938). Primary Mental Abilities. University of Chicago Press: Chicago, IL, USA.

Wasserman, J.D. (2019). Deconstructing CHC. Applied Measurement in Education, 32(3), 249–268. doi: 10.1080/08957347.2019.1619563

Zinbarg, R.E., Revelle, W., Yovel, I., & Li, W. (2005). Cronbach’s α, Revelle’s β, and McDonald’s ωH: Their relations with each other and two alternative conceptualizations of reliability. Psychometrika, 70(1), 123–133. doi: 10.1007/s11336-003-0974-7