ISSN 2079-6617 (Print)
ISSN 2309-9828 (Online)
Применение волн внимания в качестве маркера скрытых намерений

Применение волн внимания в качестве маркера скрытых намерений

Скачать в формате PDF

Поступила: 09.04.2019

Принята к публикации: 10.06.2019

Дата публикации в журнале: 30.07.2019

Страницы: 88-98

DOI: 10.11621/npj.2019.0212

Ключевые слова: внимание; фокус внимания; вызванные потенциалы мозга; системы безопасности; пупиллограмма; микросаккады; окулограмма

Доступно в on-line версии с: 30.01.2019

Для цитирования статьи:

Бороненко М.П., Зеленский В.И., Киселева Е.С. Применение волн внимания в качестве маркера скрытых намерений. // Национальный психологический журнал 2019. № 2. c.88-98. doi: 10.11621/npj.2019.0212

Скопировано в буфер обмена

Скопировать
Номер 2, 2019

Бороненко Марина П. Югорский государственный университет

Зеленский Владимир И. Югорский государственный университет

Киселева Елизавета С. Югорский государственный университет

Аннотация

Актуальность (контекст) тематики статьи. В последнее время научно-технический прогресс позволяет широко использовать высокотехнологичные электронные средства для создания систем безопасности. Преимущества выявления людей, находящихся в состояниях наркотического и алкогольного опьянения системами видеонаблюдения по пупиллограммам [1] неоспоримы. Однако те, кто является носителем неблаговидных агрессивных намерений, находятся в тени. Стандартный метод определения эмоций, ориентируемый на регистрацию мимики хорош, но, если человек хорошо владеет собой, то распознать негативные намерения сложно. Для решения этой проблемы мы предлагаем от пассивных систем безопасности перейти к активным. Поэтому сегодня актуальны исследования зрачковой реакции на предъявляемые стимулы.

Целью исследований является выявление закономерностей пупиллограмм, которые возможно применять для контроля зрачковой реакции на значимые для индивида стимулы. При этом решались следующие задачи: проверка возможности интерпретации пупиллограммы при помощи синхронизации их с треками центра внимания и поиск участков пупиллограмм, предположительно являющимися следствием эмоциональной реакции в ответ на предъявляемые стимулы;

Описание хода исследования. На первом этапе были отобраны изображения, используемые в качестве стимулов, предъявляемых испытуемым. Стимулы носили тематический характер и способствовали выявлению нестабильности психофизического состояния человека или его предрасположенность к агрессии. На втором этапе проводилась калибровка оптоэлектронной системы, регистрирующей пупиллограммы и окулограммы [1], а также стабилизация факторов, влияющих на размер зрачков. Пупиллограммы снимались у групп двух возрастных категорий (16–25 лет и 45–50 лет) по 10 и 5 человек соответственно, в которых присутствовали представители разных полов. Болезни глаз у людей отсутствовали, зрение было нормальным или скорректированным. 

Результаты исследования.Установлена зависимость размеров зрачков и смещения центра внимания. Проверка ранговой корреляции пупиллограмм, полученных при рассматривании разными людьми одинаковых последовательностей визуальных стимулов показала, что уровень значимости p, в основном, не превышал критическое значение альфа = 0,05. Достоверность корреляции подтверждает зависимость пупиллограмм от формы рассматриваемых человеком объектов и существование закономерностей, объединяющих пупиллограммы. Установлено, что микросаккады в пупиллограммах хорошо объясняются перемещением и фокусировкой взгляда на деталях рассматриваемого изображения, что позволяет интерпретировать их как волны внимания. Синхронизация пупиллограмм и окулограмм позволяет выделять участки, предположительно объясняемые эмоциональной реакцией индивида на слабый внешний раздражитель. Фурье-анализ пупиллограмм показал изменение наблюдаемого спектра частот, в зависимости от наличия или отсутствия эмоциональной реакции, скорости смещения центра внимания. 

Выводы.Наблюдаемый набор частот позволяет предположить наличие связи диаметров зрачков с потенциалами мозга. Прикладное значение полученных результатов заключается в расширении возможностей использования биометрических систем безопасности, в том числе для профилактики суицидов среди подростков.



1. Пупиллография (от лат. pupilla — зрачок и греч. grapho — записываю) — метод графической регистрации ширины зрачков.

Pupilography (Latin Pupilla – “an eye pupil” + Greek Grapho – “to write”) is a method of graphic registration of the width of the eye pupils.

2. Окулография(отслеживание движения глаз, трекинг глаз; айтрекинг) — определение координат взора («точки пересечения оптической оси глазного яблока и плоскости наблюдаемого объекта или экрана, на котором предъявляется некоторый зрительный раздражитель»)

Oculography (eye movement tracking, eye tracking; eytracking) is tracking gaze coordinates (“intersection point of the optical axis of the eyeball and the plane of the observed object or screen used to show the visual stimulus”)


Введение

В последнее время научно-технический прогресс позволяет широко использовать высокотехнологичные электронные средства для создания систем безопасности. Уже почти все иностранные компании не только используют биометрию в сотовых телефонах, но и создают специальные устройства, отслеживающие, распознающие и собирающие данные об испытываемых человеком эмоциях в течение дня. Установленное на мобильный телефон приложение предлагает рекомендации, соответствующие собранным данным и способствующие выработке у пользователя полезных привычек и положительных эмоций. Сенсоры успешно осуществляют мониторинг несколько физиологических параметров: пульс, кожно-гальванические реакции (КГР), температуру кожи, а алгоритмы системы переводят биологические сигналы на «язык» эмоций. Несмотря на широкое распространение биометрии, остаются нерешенными множество проблем. Разработка объективных показателей полярности эмоций, испытываемых индивидом, анализ эмоциональных процессов требуют многостороннего подхода. Как известно, индикация и диагностика эмоций, осуществляемая посредством анализа самоотчета испытуемых, фиксации выразительных движений и изменения результативности деятельности довольно субъективны. Традиционно применяемые для диагностики эмоций количественные методы (КГР, электрокардиограмма (ЭКГ), плетизмограмма также не лишены недостатков (Аракелов, 1998). Среди разнообразия применяемых методов предпочтение отдается дистанционным методам, позволяющим осуществлять непрерывный мониторинг измеряемых параметров психофизического состояния человека (Особенности зрачкового рефлекса ..., 2004; Cacioppo, 2004). Благодаря простоте реализации и экономической эффективности, особый интерес представляют пупиллограммы и показатели окуломоторной активности (Real-Time Eye-Tracking System ..., 2018; Аракелов, 1998).

Окулография применяется не только в маркетинговых исследованиях, но и для изучения когнитивных процессов мозга, механизмов принятия решения и пр. (Динамическая пупиллометрия как метод ..., 2018; Psychophysiological recording, 2001; Модели динамики нейронной ..., 2002). Метод окулографии основан на определении положения зрачка глаза и построении зависимости положения центра зрачка от времени с последующим спектральным анализом временных зависимостей Pritchard, 1981; Discrete structure of ..., 2019). Траектория перемещения взгляда регистрируется при помощи системы бесконтактной видеорегистрации движений глаз (обычно Eyegaze Analyzing System), использующей принцип отражения инфракрасного света от роговицы. Широкое распространение получил также метод пупилографии. Пупиллограф регистрирует изменение размеров зрачка во время речи (Stern, Ray, & Quigley, 2001). При этом, если человек обманывает, то он испытывает стресс, и размер его зрачков меняется. Применение пупиллометрии для изучения вегетативной нервной системы позволяет изучать различные неврологические аномалии, распознавать болезнь Альцгеймера, нейропсихиатрические расстройства, нарушения сна, мигрень, болезнь Паркинсона. По изменению нормальной зрачковой реакции можно судить о наличии сахарного диабета на ранних стадиях заболевания, амилоидных и ревматических расстройствах и болезни Шагаса – одного из наиболее распространенных паразитарных заболеваний в Латинской Америке. Пупиллограммы активно применяют для диагностики в офтальмологии, невропатологии, наркологии (Пашков, 2017; Detecting meaning in RSVP ..., 2014). Разработана диагностика психических расстройств в режиме реального времени (Ohayon, 2019). По результатам сравнительного анализа формы зрачков испытуемых с образцами зрачков людей с известными психическими расстройствами можно диагностировать заболевание. Преимущество этого метода в его неинвазивности и возможности дистанционного мониторинга. Известно также, что диаметр зрачков связан с theta-ритмом мозга (Mesin, 2018; Beatty, 2000), являющимся надежным маркером стресса (Scherberger, 2005; Sapountzis, 2018) и при необходимости применяющимся в качестве индикатора узнаваемости объектов индивидами (Otero-Millan, 2013; Multifocal pupillographic visual ..., 2009). Однако для измерения потенциалов нужен контакт с испытуемым. Спектр областей применения пупиллометрии постоянно расширяется. Преимущества выявления людей, находящихся в состояниях наркотического и алкогольного опьянения, системами видеонаблюдения по пупиллограммам неоспоримы (Куцало, 2019; Пупиллометрия в качестве метода экспресс-диагностики наркотической интоксикации). Однако те, кто является носителем неблаговидных агрессивных намерений, находятся в тени. Стандартный метод определения эмоций, ориентируемый на регистрацию мимики хорош, но, если человек хорошо владеет собой, то распознать негативные намерения сложно. Для решения этой проблемы мы предлагаем от пассивных систем безопасности перейти к активным.

Ход исследования

Целью исследований является выявление закономерностей пупиллограмм, которые возможно применять для контроля зрачковой реакции на значимые для индивида стимулы.

Приборы и методы исследования

В экспериментах использовались специфические тест-объекты, разрабатываемые для комплексных систем безопасности, позволяющих выявить нестабильность психофизического состояния человека или его предрасположенность к агрессии. Использовалась следующая гипотеза. У каждого человека есть тема, особенно волнующая его. Информация, относящаяся к этой теме, является значимо важной для него. Если человек слышит или видит информацию, касающуюся значимо важной темы, то она, как минимум, вызывает у него непроизвольное внимание. Реакция зрачков на такой тест-объект пропорциональна интенсивности испытываемых при этом эмоций ∑€<Ψ. Остается обеспечить ∑€<Ψactivation. Выполнение условия Ψ< Ψactivation соответствует афферентному синтезу, не приводящему к активным действиям. У человека, для которого данная информация не представляет интереса, эмоциональное состояние не меняется, размер зрачков остается обычным, флуктуации площади зрачка соответствуют норме (не более среднестатистического ΔS), что обуславливается факторами €=£0000. Алгоритм работы оптоэлектронных биометрических систем безопасности, задача которых заключается в оценке эмоциональной реакции человека на специфический тест-объект, должен включать маркер, по которому система будет различать заранее заданную эмоциональную реакцию человека. Биометрические системы, нацеленные на поиск определенных признаков психофизического состояния по пупиллограммам, должны уметь правильно их интерпретировать. Процесс расшифровки является очень сложным, т.к. на размеры зрачков влияет множество факторов. Таким образом, одной из важнейших задач, решение которой представляет собой фактор, определяющий работу разрабатываемой биометрической системы, является объяснение каждого участка пупиллограммы.

Мы рассматривали реакцию зрачка на раздражители (тест-объекты), имеющие определенную тематическую направленность, т.е. оказывающие эмоциональное влияние пропорционально степени внутреннего отношения индивида к данной теме.

На первом этапе в качестве эмоционально окрашенных тест-объектов, использовались изображения, демонстрируемые на мониторе ноутбука. Тематика информации, носителями которой являются тест-объекты, может определяться актуальными проблемами общества, насущными психологическими проблемами и др. Среднестатистическое значение уровня интенсивности эмоций считалось нормальной реакцией, т.к. принималось, что большинство людей психически уравновешены и толерантны. В целом интенсивность вызываемых эмоций по шкале от 1 до 10 не превышала 4, где 10 – самая сильная эмоция, какая только может быть. Пупиллограммы снимались у групп двух возрастных категорий (16–25 лет и 45–50 лет) по 10 и 5 человек соответственно, в которых присутствовали представители разных полов. Болезни глаз у людей отсутствовали, зрение было нормальным или скорректированным.

Процесс видеосъемки осуществляли при минимизации влияния освещенности от тест-объекта (с учетом его цвета) на размер зрачков. Дополнительный контроль освещенности осуществлялся по оттенку кожи испытуемого (в шкале серого, нормированному по среднему значению). Для данного испытания был отобран участник, имеющий чувствительность к скандалам в семье. Аппаратная часть экспериментального исследования включала в себя видеокамеру T7 Astro Camera Astronomical Astronomy Planetary High Speed Electronic Eyepice Telescope Digital Lens for Guiding Astrophotograp, режим видеосъемки 30 fps, объектив микроскопа с оптическим увеличением 1X-100X и специально разработанный шлем, создающий жесткую координатную связь между видеокамерой и головой.

Изображения анализировали в свободно распространяемой программе FiJi-это усовершенствованный и дополненный дистрибутив ImageJ, объединяющий множество плагинов, которые позволяют провести полный научный анализ изображения. Пупиллограммы и окулограммы получали в программе OriginPro 2019.

Синхронизация трека центра внимания (центр масс изображения зрачка) и записи пупиллограмм во время реакции на специфический тест-объект позволяет конкретизировать элемент тест-объекта, на который произошла эмоциональная реакция. Для этого на полученных видеокадрах выделяли изображение отраженного в зрачке монитора. Затем отслеживали в каждом кадре центр масс выделения и определяли его координаты.

Результаты исследования и их обсуждение

При изучении воздействия света на зрачок параметры единичной пупиллограммы, а также ее начало и конец регулируются величиной и длительностью светового импульса. В нашем случае в качестве раздражителя, стимулирующего отклик зрачка, использовались сложные картинки, детали которых можно при определенных условиях считать самостоятельными стимулами. Для упрощения задачи мы предполагали, что зрачковая реакция регламентируется наиболее существенными частями изображения. В приведенном примере будем считать, что воздействующий на зрачок импульс от одного слайда складывается из импульсов, полученных от наиболее значимых для испытуемого компонентов изображения. В нашем случае слайд содержал два самостоятельных компонента – это изображения мужчины и женщины. Единичным структурным элементом всей пупиллограммы мы считали ее часть, полученную при рассматривании одного компонента (см. ссылку: https://drive.google.com/file/d/1M_Jre-x07escEDGoT54FVwI4QR348OpC/view)

Координаты центра масс отражения монитора в зрачке и измеренный в каждом кадре диаметр зрачка использовали для построения пупиллограмм и окулограмм (см. ссылку: https://drive.google.com/file/d/1qf_Gctyj-Z85nJ8YPlKPXFKDru8kqQrA/view). При анализе трека центра внимания мы учитывали, что в программе FiJi, чем меньше модуль координаты Y, тем визуально выше она расположена. Поэтому очевидно, что основное время испытуемый уделил рассматриванию изображения кричащей на мужчину женщины, что и было подтверждено опросом. Совмещение пупиллограмм и окулограмм позволило разбить графики на области концентрации внимания на женщине и на мужчине (рис. 1).

Рис. 1. Пупиллограмма, синхронизированная с окулограммой. М.П. Бороненко, В.И. Зеленский, Е.С. Киселева. // Национальный психологический журнал. – 2019. – № 2(34). – С. 88-98

Рис. 1. Пупиллограмма, синхронизированная с окулограммой

При этом становится понятным, что изменение диаметра зрачков на пупиллограмме в первых трех зонах M, W, M можно объяснить фокусировкой с помощью микросаккад на деталях рассматриваемого изображения после перемещения взора (наблюдаются саккады). Однако в последней области W, скорее всего, нужно искать ответ в эмоциях. Испытуемый подтвердил, что его внимание основную часть времени было уделено женщине, при этом он испытал неприятные ощущения, интенсивность которых по 10-ти бальной шкале оценивается «2». Понятно, что зрительная информация, регистрируемая глазом, сначала должна быть проанализирована мозгом, прежде чем вызовет какие-то осознанные воспоминания или эмоции. Тогда получатся, что, если проводить аналогию с реакцией зрачка на световой раздражитель, каждый участок пупиллограммы после саккады, когда человек сосредотачивает свое внимание на анализе очередного элемента объекта, нужно считать началом пупиллограммы. Концом пупиллограммы будет начало следующей саккады. По современным данным, минимальное время просмотра, необходимое для визуального восприятия, составляет от 13 до 80 мс на изображение, без межстимульного интервала (Multifocal pupillographic visual ..., 2009; Strauch, 2018; Ocular drift reflects ..., 2019). На графике видно, что длительность самого первого восприятия изображения женщины составляет около 400 мс и мужчины – 300 мс. Такое продолжительное время можно объяснить отсутствием указаний выполнить задание как можно быстрее. По одной из существующих нейронных моделей обработки информации мозгом, восприятие проходит в два этапа. Можно предположить, что в данном случае именно до 0,72 с прошло оценочное выделение признаков рассматриваемых стимулов, их распознавание. Далее следовал этап повторного сканирования, он оказался более продолжителен. На графике можно наблюдать, что в каждый момент времени фокусировка внимания происходит на каком-либо элементе раздражителя. Предположительно именно в это время происходит тщательная детализация картины, находящейся в фокусе внимания. При последовательном смещении фокуса внимания от одной детали объекта к другой, скорее всего, осуществляется поиск наиболее значимого элемента стимула. На этом этапе, реализуемом с использованием осознанного внимания, формируется общее представление о рассматриваемом объекте. Как мы видим участок графика 1,64–2,18 с заметно отличается от остальной части, т.к. только на нем присутствуют две полноценных пупиллограммы. Кроме того, поскольку координата центра внимания на последнем участке графика W практически неизменна, в пупиллограмме прослеживается увеличением диаметра зрачков. Это может свидетельствовать о некоторой степени значимости эмоционального отклика индивида. При этом, как уже было сказано, вторую из пупиллограмм данного участка можно объяснить избирательностью внимания, указывающей на то, что именно эта часть тест-объекта является наиболее значимой. Во всех пупиллограммах участников отслеживалась фокусировка взгляда на интересующем испытуемого объекте. Структура волн внимания в пупиллограммах включает саккады при перемещении взгляда, микросаккады при концентрации внимания на отдельных элементах рассматриваемых объектов и эмоциональную компоненту при условии, что тест-объект значим для индивида.

Для выявления закономерностей в пупиллограммах проводились эксперименты по регистрации зрачковой реакции в ответ на предложенные простые стимулы, демонстрируемые на мониторе. Использовали единичные изображения различных предметов (глобус, звезда, прямоугольник, круг и др). От кадра к кадру масштаб изображения уменьшался до еле различимого. Демонстрационный экран был отнесен на расстояние, при котором изменение освещенности сетчатки несущественно. На рис. 2а (см. ниже), 2б (см. ссылку: https://drive.google.com/file/d/1rA7G6V3jtQTWgrXQkErlkYd1Gy4sLNmg/view),

2в (см. ссылку: https://drive.google.com/file/d/1ymX4WkGEViuo4Qz1D-57IzpN56vOdv4A/view),

2г (см. ссылку: https://drive.google.com/file/d/1OwMSerpK34w1fUe3p36IOPanNaQ_3jKb/view),

2д (см. ссылку: https://drive.google.com/file/d/1L5D2Px1qQNXz2PmCs8BMvN7S9PvjafQp/view) приведены пупиллограммы пятерых испытуемых (стимул уменьшающийся глобус).  В экспериментах контролировались координаты X, Y центра внимания и размеры зрачков. Несмотря на стабильную внешнюю освещенность, возможно ее изменение, обусловленное изменением положения головы или каким-то другим, неучтенным ранее фактором. На рис. 2е (см. ссылку: https://drive.google.com/file/d/1xf2U8J2T9jmGuuN44XuE2IqunXwQM_6r/view) показана реакция зрачков на специфический тест-объект.

Рис. 2. Зрачковая реакция на простые стимулы (а-д); Типичная реакция на специфический (Boronenko et al., 2019) тест-объект (е), снизу вверх: пупиллограмма, координата X центра внимания, координата Y центра внимания, коэффициент освещенности k. М.П. Бороненко, В.И. Зеленский, Е.С. Киселева. // Национальный психологический журнал. – 2019. – № 2(34). – С. 88-98

Рис. 2. Зрачковая реакция на простые стимулы (а-д); Типичная реакция на специфический (Boronenko et al., 2019) тест-объект (е), снизу вверх: пупиллограмма, координата X центра внимания, координата Y центра внимания, коэффициент освещенности k

Оценка уровня освещенности поверхности зрачка на изображении в каждом кадре осуществлялась по яркости I участка кожи (в градациях серого), расположенного в непосредственной близости от глаза. При необходимости значение яркости участка кожи I, нормированное к среднему по всем кадрам, используется как поправочный коэффициент. Размеры, а именно, площадь зрачков также нормируются к соответствующему медианному значению. На графиках пунктирными линиями выделены некоторые из областей пупиллограмм, в которых изменение размеров зрачков можно объяснить разными причинами. В первой области графика 2а координаты X и Y остаются практически неизменными, в то время как освещенность флуктуирует за счет изменения положения головы. На участке 2 при постоянной освещенности диаметр зрачка меняется в соответствии со смещением координат центра внимания. В данном случае наибольшее изменение размеров зрачков обеспечивается смещением взгляда по вертикали. На третьем участке пупиллограммы изменение размеров невозможно объяснить ни смещением центра внимания, ни изменением освещенности. Можно предположить, что в данный момент индивид испытывает эмоцию длительностью 3,1 с. Опрос показал, что при уменьшении масштабов тестовых изображений некоторые испытуемые испытывали раздражение, которое проходило после появления на экране предмета из следующей серии. Подобную ситуацию можно наблюдать на графике 2в, там длительность эмоции составляет 2,2 с. (см. ссылку: https://drive.google.com/file/d/1ymX4WkGEViuo4Qz1D-57IzpN56vOdv4A/view). На всех остальных графиках эмоциональная компонента в волнах внимания отсутствует, и все изменения размеров зрачков объясняются одной или обеими перечисленными выше причинами. Общей для любой пупиллограммы можно считать компоненту, объясняемую смещением центра внимания и последующей фокусировкой на рассматриваемом объекте. При этом амплитуда смещения зависит от размеров и формы рассмативаемого объекта. Эмоциональная компонента визуально отличается от остальной части пупиллограммы формой. Ее длительность и амплитуда будут зависеть от интенсивности испытываемых эмоций и значимости стимулов для испытуемых. Построение общей модели тербует более объемных исследований.

Гипотеза о нормальности распределения наблюдаемых размеров зрачков по критериям Колмогорова-Смирнова/Лиллифорcа, Колмогорова-Смирнова/Стифенса, Шапиро-Уилка была отклонена. В таблицах 1 и 2 представлена ранговая корреляция пупиллограмм и описательная статистика, соответственно.

 

Табл.1. Ранговая корреляция

Table 1. Rank Correlation

VAR

Rho

t

p

Тау

Инверс

Z

p

Гамма

R Пирсона

1S \ 2S

-,0.1561

-,3.9165

9.9938E-5

-,0.1074

-40,686.

,3.9874

6.6789E-5

-,0.1074

-,0.2603

1S \ 3S

-,0.0949

-,2.3629

,0.0184

-,0.0646

-24,468.

,2.398

,0.0165

-,0.0646

,0.0853

1S \ 4S

-,0.1355

-,3.3896

,0.0007

-,0.0896

-33,946.

,3.327

,0.0009

-,0.0896

-,0.1303

1S \ 4S

,0.6725

,22.5143

,0.

,0.4975

188,448.

,18.4701

,0.

,0.4976

,0.6693

2S \ 3S

-,0.3651

-,10.2789

,0.

-,0.2385

-113,026.

,9.3648

,0.

-,0.2385

-,0.2772

2S \ 4S

,0.0194

,0.5284

,0.5974

,0.0154

8,586.

,0.6302

,0.5285

,0.0154

,0.1319

2S \ 4S

-,0.1212

-,3.3564

,0.0008

-,0.085

-48,748.

,3.5007

,0.0005

-,0.085

-,0.2976

3S \ 4S

,0.4626

,13.6761

,0.

,0.3058

144,926.

,12.0082

,0.

,0.3058

,0.4568

3S \ 4S

-,0.1325

-,3.505

,0.0005

-,0.0953

-45,178.

,3.7434

,0.0002

-,0.0953

-,0.2054

4S \ 4S

-,0.3154

-,9.0705

,0.

-,0.2014

-112,198.

,8.236

,0.

-,0.2014

-,0.4566

Табл. 2. Описательная статистика

Table 2. Descriptive statistics

 

N total

Mean

Standard Deviation

Sum

Minimum

Median

Maximum

1S

364

0.99875

0.07096

363.54354

0.86444

0.992

1.33609

2S

758

0.98118

0.11338

743.73589

0.61018

1

1.26994

3S

689

0.99248

0.12762

683.82037

0.63156

1

1.43725

4S

747

0.98347

0.14308

734.65451

0.64147

1

1.30845

Поиск математической модели пупиллограммы на рис. 1 осуществляли в Origin методом анализа пиков. Пики хорошо аппроксимируются функцией Gaussian, параметры модели представлены в таблице 2. Функция Gaussian имеет вид:

Формула 1. М.П. Бороненко, В.И. Зеленский, Е.С. Киселева. // Национальный психологический журнал. – 2019. – № 2(34). – С. 88-98

Мы видим, что аппроксимирующая функции содержит экспоненту, как и соотношение динамики интегративно-порогового нейрона, учитывающего проблемы интеграции признаков внимания, распознавания и запоминания новой информации.

Наблюдаемые изменения размеров зрачков являются результатом воздействия всех факторов (эмоциональных и любых других). Все происходящие изменения управляются потенциалами мозга. Итоговый зашумленный сигнал можно представить в виде суммы синусоид и косинусоид различных частот.

Мы видим, что аппроксимирующая функции содержит экспоненту, как и соотношение динамики интегративно-порогового нейрона, учитывающего проблемы интеграции признаков внимания, распознавания и запоминания новой информации.

Наблюдаемые изменения размеров зрачков являются результатом воздействия всех факторов (эмоциональных и любых других). Все происходящие изменения управляются потенциалами мозга. Итоговый зашумленный сигнал можно представить в виде суммы синусоид и косинусоид различных частот.

Таблица 3. Значения параметров математической модели

Table 3. Value parameters of the mathematical model

Gaussian

Value

Standard Error

t-Value

Prob>|t|

Dependency

Peak1

y0

0

0

--

--

0

Peak1

xc

0.50834

0.0074

68.6652

1.61E-71

0.6891

Peak1

A

0.00535

0.00336

1.59155

0.11553

0.98495

Peak1

w

0.08917

0.02257

3.95112

1.70E-04

0.87623

Peak2

y0

0

0

--

--

0

Peak2

xc

0.61801

0.03141

19.6738

5.65E-32

0.95839

Peak2

A

0.00985

0.00485

2.03177

0.04558

0.98541

Peak2

w

0.17945

0.06334

2.83308

0.00587

0.96216

Peak3

y0

0

0

--

--

0

Peak3

xc

0.98483

0.01371

71.8127

5.14E-73

0.78469

Peak3

A

0.05751

0.00313

18.3937

4.29E-30

0.88686

Peak3

w

0.57918

0.03467

16.7059

1.74E-27

0.87518

Peak4

y0

0

0

--

--

0

Peak4

xc

1.71418

0.05683

30.1653

9.31E-45

0.91466

Peak4

A

-0.0074

0.00352

-2.105

0.03851

0.9568

Peak4

w

0.27994

0.10754

2.60306

0.01106

0.91192

Peak5

y0

0

0

--

--

0

Peak5

xc

1.98185

0.01743

113.679

2.00E-88

0.9043

Peak5

A

-0.0179

0.0033

-5.4389

5.96E-07

0.9581

Peak5

w

0.23862

0.02776

8.59698

6.54E-13

0.86043

Peak6

y0

0

0

--

--

0

Peak6

xc

2.57665

0.00437

589.804

0.00745

Peak6

A

-0.0374

9.92E-04

-37.735

7.38E-52

0.34456

Peak6

w

0.33779

0.01043

32.3847

5.49E-47

0.35634

При спектральном анализе пупиллограмм в Origin для обнаружения и оценки амплитуды синусоидальной компоненты, скрытой шумом, применяется периодограмма. Периодограмма производит оценку мощности по амплитуде данных, преобразованных Фурье. В общем случае спектр периодического сигнала x(t) на основе комплексного ряда Фурье является двухсторонним, т.е. определяется на положительных и отрицательных частотах. Спектр мощности может быть односторонним или двусторонним. Чтобы вычислить одностороннюю плотность мощности, необходимо сначала вычислить двустороннюю плотность мощности. Физический смысл имеет только вещественная часть. Оценку плотности мощности выполнили MSA-методом:

Формула 2. М.П. Бороненко, В.И. Зеленский, Е.С. Киселева. // Национальный психологический журнал. – 2019. – № 2(34). – С. 88-98

где Re и Im являются действительной и мнимой частями данных преобразования, n – длина входной последовательности; Δt – интервал выборки. Мы применяли оконную функцию Blackman, чтобы иметь минимально возможную утечку. Несмотря на то, что интенсивность эмоциональной окраски стимула, зрачковая реакция на который представлена на рисунке 1, оценивалась невысоко, возможно выделить эмоциональную реакцию индивида по введенным величинам, характеризующим изменение диаметра зрачка с изменением координаты: ∆S\∆X, ∆S\∆Y, ∆S\∆t. На рисунке 3а (см. ссылку: https://drive.google.com/file/d/1PpS-ds6Nflceob5A9Z7cYdC15hOkDVfo/view) и 3б (см. ссылку: https://drive.google.com/file/d/1ZnrZvFsnmwelJznvU6k8M56k-Q8mzgP8/view) представлены результаты спектрального анализа пупиллограммы. Figure 3 (a, b) presents the results of the spectral analysis of the pupilogram. Результаты спектрального анализа показали наличие размытого пика 13–14 Гц. Размытость пика можно объяснить неполным формированием эмоции. При этом с течением времени (смещение окна сканирования) пики сдвигаются, т.е. происходит постепенное формирование эмоции, появляются небольшие пики 15 Гц, что особенно хорошо видно на спектрах ∆S\∆X, ∆S\∆Y. Аналогичные результаты получены на другие стимулы (видео аварий), они представлены на рисунке 4а) Трек центра внимания за все время видеоролика (см. ссылку: https://drive.google.com/file/d/1zv7PDjgMB_YYMYq0QsE4MB54UW30IEUs/view); 4б) Спектр частот в начале просмотра видеоролика (см. ссылку: https://drive.google.com/file/d/1fn0yyYZQyPom-ng7wMM1BI-IaD4XB8mw/view); 4в) Спектр частот в конечный промежуток времени (см. ссылку: https://drive.google.com/file/d/1Zn9sn2WwcPVwqOqt0UL_d7h-uDT1VQXO/view).

.Figure 4 - a) the center of attention all the time tracking for a movie; b) The frequency spectrum at the beginning of the video; c) Frequency spectrum in a finite period of time.

Таким образом, индикаторами присутствия реакции на тест-объект является наличие эмоциональной компоненты в волне внимания и изменение спектра частот характеристик ∆S\∆X, ∆S\∆Y, ∆S\∆t. Безусловно, для большей достоверности результатов необходимо продолжить сбор статистических данных.

Если сравнить частоты волн внимания, определенные описанным выше методом, с частотами потенциалов мозга, то потенциал концентрации внимания субъекта на раздражитель относится к медленному β-ритму, наблюдаемому при умственной активности у взрослых. Также известен тетта-ритм от 5 до 7 Гц, характерный для поискового поведения или поведения в затруднительном положении. При отсутствии значимого раздражителя эмоциональный пик в волне внимания отсутствует.

Обсуждение

Условием применения современными системами безопасности пупиллограмм является их правильная интерпретация. Без четкого понимания работы мозга в процессе концентрации внимания составить правильную картину невозможно. Инвазивные электрофизиологические исследования на приматах и людях позволили существенно продвинуться в понимании нейрофизиологических механизмов внимания. При изучении потенциалов локального поля коры (LFP) мозга, являющихся суммой возбуждающих и ингибирующих дендритных потенциалов, учеными (Scherberger, Hansjörg, Murray, Jarvis, Andersen) в 2005 г. был зафиксирован процесс планирования и принятия решения, что позволяло предсказывать поведение животного (Andersen, 2009). Позже (Sapountzis, 2018; Новиков, 2018) нейронная активность была отмечена почти во всех областях мозга с визуально чувствительными нейронами. Выяснилось, что частоты ниже 60 Гц несут информацию о местоположении стимула и направлении саккады, но не дают никакой информации, связанной с вниманием. Существенную информацию о функциональной связи внимания и сигналов, полученных при максимальной точности с эпидуральных электродов ECoG, расположенных над зрительной корой, несет волновая деятельность мозга в диапазоне 60–80 Гц и низком гамма-диапазоне 30–60 Гц. Небольшие объемы информации также содержатся на частотах ниже, чем гамма, тета-диапазоне (4–8 Гц). Сообщалось, что поведенческое состояние также может быть оптимально декодировано из частот LFP в диапазоне 0–20 Гц.

Совсем недавно (2019 г.) L. Perotti, J. DeVito, D. Bessis, Y. Dabaghian представили результаты применения нового, более точного метода дискретного преобразования Паде (DPT) к ритмам LFP, записанным в гиппокампе мышей (Discrete structure of ..., 2019; Ершова, 2018). Частотно-модулированные колебания наблюдались в физиологически важных областях тета- (θ) (4,3 ± 0,45 Гц; 7,0 ± 1.5 Гц) и низких гамма- (γ) (7.0 ± 1.5 Гц; 10.1 ± 1.7 Гц) ритмов. Колебательные части спектральных волн характеризовались стабильным набором частот и амплитуд. Наиболее высокие амплитуды появляются в thetas-области, то есть в диапазоне частот от 4 до 12 Гц. Суперпозиция осцилляций воспроизводит исходный сигнал LFP с высокой точностью, из чего следует, что эти волны обеспечивают удивительно редкое представление колебаний LFP. Все результаты основывались на эмпирическом анализе данных, следовательно, представляют реальную физическую структуру синхронизированных нейронных колебаний, описываемых ранее как «мозговые волны». Несомненно, потенциалы мозга и пупиллограммы должны быть связаны. Генераторами саккад являются нервно-мышечные синапсы (Белов, 2016; Changes in visibility ..., 2017; Lowet, 2018). При изучении роли бета- и гамма-ритмов (Новиков, 2018) в реализации функций рабочей памяти выявлена роль этих ритмов в момент предъявления подлежащего запоминанию стимула и в момент удержания стимула в рабочей памяти (Pupil distortion measurement ..., 2017; System and method ..., 2013). Задача определения концентрации внимания субъекта на раздражитель была решена при помощи измерения микросаккадной динамики движения глаз субъекта (Otero-Millan, 2018; Кручинина, 2018; Ершова, 2014). Также было показано, что расширение зрачка достоверно отражает процесс принятия решений и существует заметная реакция зрачка при обнаружении цели даже при наличии отвлекающего фактора (Strauch, 2018; Microsaccade-related brain ..., 2015; Alertness Scanner: what ..., 2018). Подтверждение взаимосвязи потенциалов мозга и зрачковой реакции на визуальные стимулы можно найти в работах российских ученых МГУ имени М.В. Ломоносова (Ганин, Косиченко, Каплан, 2018, Меньшикова, Ковалёв, 2018, Пронина, Григорян, Каплан, 2018). Таким образом, поведение зрачка в значительной степени отражает как физическое, так и эмоциональное состояние человека. Поэтому предположение существования связи размеров зрачков, потенциалов мозга и окулограмм небезосновательно.

Выводы

Предложен метод регистрации волн внимания, основанный на синхронной записи пупиллограмм и окулограмм (не отбрасывая микросаккад).

Синхронизация пупиллограмм и окулограмм позволила интерпретировать микросаккады пупиллограмм как волны внимания, физическая природа которых – это фокусировка на деталях рассматриваемого изображения после перемещения взора (саккад).

Установлено, что основной вклад в формирование всех пупиллограмм вносит смещение центра внимания. Второй компонентой по частоте присутствия в пупиллограмммах является реакция зрачка на свет, даже при фиксированной внешней освещенности. Присутствие второй компоненты объясняется поворотом головы, затенением от ресниц и др.

В пупиллограммах обнаружена компонента волны внимания, которую нельзя объяснить ни изменением освещенности, ни смещением координаты центра внимания. Высказано предположение, что компонента объясняется кратковременным эмоциональным импульсом.

Установлена возможность выделения в пупиллограммах каждой из трех компонент. Метод можно использовать в качестве селективного индикатора присутствия эмоциональной реакции низкой интенсивности на специфические тест-объекты при условии, что стимул является значимым для индивида.

Дальнейшие исследования необходимо направить на построение обобщенной модели пупиллограмм и проверку существования взаимосвязи потенциалов мозга и спектра частот волн внимания.

Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта 18-47-860018 р_а.

The study was carried out with the financial support of the Russian Foundation for Basic Research within in research project 18-47-860018 р_а.

Литература

  1. Аракелов Г.Г., Шотт Е.К. Кожно-гальваническая реакция как проявление эмоциональных, ориентировочных и двигательных составляющих стресса // Психологический журнал. – 1998. – Т. 19. – № 4. – С. 70–79.
  2. Белов Д.Р., Милютина Е.А, Колодяжный С.Ф. Саккады и предсаккадные потенциалы при игре в Тетрис // Российский физиологический журнал имени И.М. Сеченова. – 2016. – Т. 102. – № 10. – С. 1233–1245.
  3. Ганин И.П., Косиченко Е.А., Каплан А.Я. Распознавание субъективного фокуса интереса к эмоционально значимым зрительным стимулам в интерфейсе мозг-компьютер на волне Р300 // Вестник Московского университета. Серия 14. Психология. – 2018. – №. – С. 3–20/ doi: 10.11621/vsp.2018.01.03
  4. Динамическая пупиллометрия как метод скрининг диагностики отравлений промышленными токсикантами / А.Л. Куцало и др. // Медицина экстремальных ситуаций. – 2018. – Т. 20. – № 3. – С. 487–493.
  5. Ершова Р.В., Ярмоц Е.В. Высокая чувствительность и ее связь с параметрами зрачковой реакции и личностными характеристиками  // Вестник ВятГУ. – 2018. – № 4. – С. 130–138.
  6. Ершова Р.В., Варченко Н.Н., Ганькин К.А. О психофизиологических предикторах личностных свойств  // Человеческий капитал. – 2014. – № 7. – С. 52–55.
  7. Кручинина, А.П., Якушев А.Г. Математическая модель оптимального саккадического движения глаза, реализуемого парой мышц  // Биофизика. – 2018. – Т. 63. – № 2. – С. 334–341. . doi: 10.1134/S0006350918020161
  8. Меньшикова Г.Я., Ковалёв А.И. Роль нистагменных движений глаз в формировании иллюзии движения собственного тела  // Вестник Московского университета. Серия 14. Психология.– 2018.– №4. – С. 135–148. doi: 10.11621/vsp.2018.04.135
  9. Модели динамики нейронной активности при обработке информации мозгом – итоги «десятилетия» / Г.Н. Борисюк и др. // Успехи физических наук. – 2002. – Т. 172. – № 10. – С. 1189–1214. doi: 10.3367/UFNr.0172.200210d.1189
  10. Новиков  Н.А., Гуткин Б.С. Роль бета-и гамма-ритмов в реализации функций рабочей памяти // Психология. Журнал Высшей школы экономики. – 2018. – Т. 15. – № 1. – С. 174–182.
  11. Особенности зрачкового рефлекса у больных наркоманией в период острой абстиненции / В.В. Колесников и др. // Вопросы наркологии. – 2004. – № 4. – С. 39–46.
  12. Пашков А.А., Дахтин И.С., Харисова Н.С. Электроэнцефалографические биомаркеры экспериментально индуцированного стресса // Вестник Южно-Уральского государственного университета. Серия «Психология». – 2017. – Т. 10. – № 4. – С. 68–82. doi: 10.14529/psy170407
  13. Пронина А.С., Григорян Р.К., Каплан А.Я. Движения глаз человека при наборе текста в интерфейсе мозг-компьютер на основе потенциала П300: эффект размера стимула и расстояния между стимулами // Вестник Московского университета. Серия 14. Психология. – 2018. – №4. – С. 120–134. doi: 10.11621/vsp.2018.04.120
  14. Andersen R.A. (2009). Intention, action planning, and decision making in parietal-frontal circuits. In R.A. Andersen, & H.Cui, Neuron, 63(5), 568–583. doi: 10.1016/j.neuron.2009.08.028
  15. Beatty J. (2000). The pupillary system. In J. Beatty, B. Lucero-Wagoner.  Handbook of psychophysiology. New York, 142–162.
  16. Boronenko M., Boronenko Y., Zelenskiy V., & Kiseleva E. (2020). Use of Active Test Objects in Security Systems. In: Ayaz H. (eds.) Advances in Neuroergonomics and Cognitive Engineering. AHFE 2019. Advances in Intelligent Systems and Computing, Vol. 953. Springer, Cham. doi: 10.1007/978-3-030-20473-0_43
  17. Cacioppo, J. T. (2004). Feelings and emotions: role for electrophysioogical markers. In J. T. Cacioppo. Biological Psychology, 67, 235–243. doi: 10.1016/j.biopsycho.2004.03.009
  18. Costela F.M. [et al.] (2017). Changes in visibility as a function of spatial frequency and microsaccade occurrence. European Journal of Neuroscience, 45(3), 433–439. doi: 10.1111/ejn.13487
  19. Kiran [et al.] R. (2018). Real-Time Eye-Tracking System to Evaluate and Enhance Situation Awareness and Process Safety in Drilling Operations. IADC/SPE Drilling Conference and Exhibition, 6–8 March, Fort Worth, Texas. [USA]. doi: 10.2118/189678-MS.
  20. Kutsalo A.L. et al.(2018). Dynamic pupillometry as a screening method for diagnosing poisoning with industrial toxicants. In [Meditsina ekstremalnykh situatsiy], 20(3), 487–493.
  21. Lowet E. (2018). Microsaccade-rhythmic modulation of neural synchronization and coding within and across cortical areas V1 and V2. In E. Lowet [et al.] PLoS biology,  16(5). Art. e2004132. doi:  10.1371/journal.pbio.2004132
  22. Maddess T. [et al.] (2009). Multifocal pupillographic visual field testing in glaucoma. Clinical & experimental ophthalmology, 37(7), 678–686. doi: 10.1111/j.1442-9071.2009.02107.x
  23. Mesin, L. (2018). Estimation of complexity of sampled biomedical continuous time signals using approximate entropy In L. Mesin, Frontiers in Physiology, 9(710). doi: 10.3389/fphys.2018.00710
  24. Meyberg S. [et al.] (2015). Microsaccade-related brain potentials signal the focus of visuospatial attention. NeuroImage, 104, 79–88. doi: 10.1016/j.neuroimage.2014.09.065
  25. Ohayon, Jacques. "Pupil Distortion Measurement and Psychiatric Diagnosis Method." U.S. Patent Application No. 15/853, 899.
  26. Ohayon J. Pupil distortion measurement and psychiatric diagnosis method: Patent US 10,182,755; applicant J. Ohayon. 15/853,899; filed 25.12.17. 10.
  27. Otero-Millan J., Macknik S. L., & Martinez-Conde S. System and method for using microsaccade dynamics to measure attentional response to a stimulus: Patent US  9,854,966; assignee D. Health. 14/359,235; filed 23.11.12; pub. date 30.05.13, pub. WO2013/078462. 10.
  28. Otero-Millan J. System and method for using microsaccade dynamics to measure attentional response to a stimulus : Patent US 9,854,966. In J. Otero-Millan, S. L. Macknik, S. Martinez-Conde; assignee: Dignity Health. 14/359,235; filed 23.11.12; pub. date 30.05.13, pub. WO2013/078462. – 10.
  29. Perotti L. [et al.] (2019). Discrete structure of the brain rhythms. Scientific reports,  9(1), 1105. doi: 10.1038/s41598-018-37196-0
  30. Potter M.C. [et al.] (2014). Detecting meaning in RSVP at 13 ms per picture. Attention, Perception, & Psychophysics, 76(2), 270–279. doi: 10.3758/s13414-013-0605-z
  31. Pritchard W. S. (1981). Psychophysiology of P300. Psychological Bulletin, 89, 506–540. doi: 10.1037/0033-2909.89.3.506
  32. Sapountzis, P. (2018). Neural signatures of attention: insights from decoding population activity patterns. In P. Sapountzis, & G. G. Gregoriou, Frontiers in Bioscience, 23, 221–246. doi: 10.2741/4588
  33. Scherberger, H. (2005). Cortical local field potential encodes movement intentions in the posterior parietal cortex. In H. Scherberger, M.R. Jarvis, & R.A. Andersen, Neuron, 46, 347–354. doi: 10.1016/j.neuron.2005.03.004
  34. Stern R. M. [et al.] (2001). Psychophysiological recording. Oxford [England]; New York: Oxford University Press, 282.
  35. Stern, R.M., W.J. Ray, & K.S. Quigley (2001). "Eyes: Pupillography and electrooculography." Psychophysiological recording. Oxford University Press, New York, 125–141.  doi: 10.1093/acprof:oso/9780195113594.003.0009
  36. Stern R.M. et al. (2001). Psychophysiological recording. Oxford University Press, USA. doi: 10.1093/acprof:oso/9780195113594.003.0003
  37. Strauch, C. (2018.) Pupil dilation but not microsaccade rate robustly reveals decision formation. In C. Strauch, L. Greiter, A. Huckauf, Scientific reports. 8. Art. 13165. 10.1038/s41598-018-31551-x
  38. Tseng V.W.S. [et al.] (2018). AlertnessScanner: what do your pupils tell about your alertness. Proceedings of the 20th International Conference on Human-Computer Interaction with Mobile Devices and Services.  New York, 41. doi: 10.1145/3229434.3229456
  39. Watanabe M. [et al.] (2019). Ocular drift reflects volitional action preparation– Electronic text data. European Journal of Neuroscience. Retrieved from: https://onlinelibrary.wiley.com/doi/10.1111/ejn.14365 (accessed 18.06.2019). doi: 10.1111/ejn.14365
Для цитирования статьи:

Бороненко М.П., Зеленский В.И., Киселева Е.С.Применение волн внимания в качестве маркера скрытых намерений. // Национальный психологический журнал. 2019. № 2. c.88-98. doi: 10.11621/npj.2019.0212

Скопировано в буфер обмена

Скопировать