Т.И. КОЛТУНОВА, Д.Г. ШАПОШНИКОВ, А.В. ДЬЯЧЕНКО, Л.Н. ПОДЛАДЧИКОВА НИИ нейрокибернетики им. А.Б. Когана Южного федерального университета, Ростов-на-Дону [email protected] ИНДИВИДУАЛЬНЫЕ ОСОБЕННОСТИ ТОПОЛОГИИ ОСМОТРА ИЗОБРАЖЕНИЙ Представлены результаты об индивидуальных особенностях топологии осмотра сложных изображений и параметров глазных движений. Наиболее выраженные различия обнаружены между испытуемыми с преобладанием механизмов фокального и пространственного внимания. Обсуждается использование полученных результатов при разработке алгоритмов идентификации локальных элементов текущей траектории осмотра изображений и адекватной функции притяжения взгляда в модели. Ключевые слова: фокальное и пространственное зрительное внимание, центр-масс и площадь области сканирования, траектория осмотра, длительность фиксаций, амплитуда саккад 1. ВВЕДЕНИЕ В большинстве работ, посвященных исследованию механизмов зрительного внимания по параметрам глазных движений, анализируются, в основном, длительность фиксаций и амплитуда саккад [1-6]. Вместе с тем, для разрешения противоречий в известных данных [7] и разработки реалистических моделей осмотра [8-12] необходимы количественные данные о различных параметрах, в частности, о топологии зоны осмотра изображений, поскольку общая геометрия траектории осмотра зависит от данного изображения [13], а ее детали - от мотивации (инструкции) испытуемого [3]. В ряде работ на качественном уровне отмечаются индивидуальные различия параметров глазных движений, однако при представлении результатов данные, полученные на различных испытуемых, как правило, усредняются [4-6]. Перспективная цель наших исследований - количественная оценка вклада различных факторов (или «детерминант» [1]) и механизмов в перевод взгляда в процессе осмотра изображений с помощью подхода, основанного на тесном взаимодействии психофизического тестирования и моделирования [8, 9]. В данной работе представлены результаты анализа индивидуальных особенностей топологии осмотра изображений. 2. ПОДХОД И МЕТОДЫ В концептуальном плане разрабатываемый подход [9] основан на теории активного зрительного восприятия (Active Vision [14-16] , идеях А.Л. Ярбуса [3], “Scanpath Theory” [13], представлениях “What-Where” [10, 17. 18] и проекте Аутотентичное Моделирование Личности [19]. Для регистрации движений глаз использовалась система iView X HiSpeed 1250. В качестве тестовых использованы 3 картины из [3]: «Не ждали» И.Е. Репина (Im1, 800х785 пикс.); И.И. Шишкина «В лесу графини Мордвиновой» (Im2, 800х615 пикс.); И.И. Левитана «Березовая роща» (Im 3, 900х535 пикс.). В тестах принимали участие студенты и аспиранты ЮФУ (8девушек и 4 юношей) в возрасте от 20 до 27 лет. На каждом испытуемом проведено две серии тестов: «свободный осмотр» и «поиск измененных (размытых) фрагментов». Размер измененных фрагментов – около 20. Каждый тест заканчивался по решению испытуемых. При обработке данных порог скорости саккад - 1000/сек. Для идентификации областей интереса (ОИ) как областей с максимальной плотностью точек фиксаций использовался метод ближайшего соседа [9]. 3. РЕЗУЛЬТАТЫ 3.1. Характеристика областей осмотра. индивидуальных особенностей топологии Для получения количественных параметров областей осмотра изображений было проведено несколько видов анализа экспериментальных данных. В частности, определялась площадь областей осмотра и расстояние между центрами-масс этих областей и ОИ, определенных по результатам осмотра каждого из изображений. Обнаружено, что эти параметры варьировались у разных испытуемых (2% - 75% от площади изображения; 0.42º - 8.40º, соответственно) и зависели от типа теста (в среднем, больше в тестах поиска, чем осмотра: 53±2% против 37±3%; 4.20 ± 0.31º против 2.74± 0.28º). Рис. 1 иллюстрирует такие различия у двух испытуемых с ярко выраженными особенностями топологии осмотра. Заметно, что в тесте поиска различия в величине области сканирования между данными испытуемыми уменьшаются, а координаты ее центра-масс во всех случаях приближаются к геометрическому центру изображения. Рис. 1. Области сканирования (выделены светлыми оконтуренными фигурами) и их центры-масс (отмечены крестом) при свободном осмотре изображений и поиске их измененных фрагментов. В каждом случае представлены результаты для исп. S1 (1) и S2 (2), первичные данные прорежены по плотности фиксаций в фовеальном поле зрения в окрестностях каждой фиксации. Был проведен еще один вид анализа экспериментальных данных для детализации топологии осмотра. Определялись индивидуальные траектории трех типов в последовательных периодах каждого теста по 30 фиксаций у каждого испытуемого: группированные (более 2/3 фиксаций расположены в пределах области фовеального поля зрения, ГТ, в среднем, 11%), сканирующие (более 2/3 не группированных фиксаций, СТ, в среднем, 53%) и смешанные (в среднем, 36%). Обнаружено, что количество траекторий того или иного типа существенно варьируется у разных испытуемыех (от 75% до 16% для СТ; от 33% до 5% для ГТ). В частности, ГТ преобладали на всех этапах свободного осмотра трех тестовых изображений у исп. S1., в то время как СТ доминировали у исп. S2. Соотношение ГТ и СТ у этих испытуемых было: 50% к 18% и 16% к 58%, соответственно. В качестве пространственно-временной характеристики текущих элементов траекторий был тестирован следующий параметр. Каждая точка фиксации описывалась ее длительностью и величиной угла, образуемого двумя саккадами (предшествующей данной фиксации и следующей за ней). Формировалось единое описание каждой точки фиксации траектории: Xi = fii * 7 +ti где fii – значение угла траектории в i-й точке (fii∈ 0-6, шаг 30° ), а ti – время фиксации в i-й точке (ti ∈ 0-6, шаг 200 мс) На основании полученного описания каждой точки фиксации формировалось распределение частот конкретных значений Xi (в диапазоне от 0 до 48) в каждой траектории. Сравнение таких описаний экспериментальных траекторий показало возможность количественной оценки индивидуальных различий между испытуемыми (коэффициент корреляции варьировал в диапазоне от 0.15 до 0.81). Рис. 2 иллюстрирует выраженное различие между распределениями этого параметра для испытуемых S1 и S2 в условиях свободного осмотра (r=0.17) в отличие от теста поиска (r=0.72). Рис. 2. Распределение параметра Xi у исп. S1 ( ) и S2. ( тесте свободного осмотра (1) и поиска измененных фрагментов (2). )в 3.2. Индивидуальные особенности параметров глазных движений. Было проведено сопоставление ряда параметров глазных движений у испытуемых S1 и S2, проявивших описанные выше выраженные различия в топологии свободного осмотра тестовых изображений. По ряду параметров (таких, как средняя амплитуда саккад) различия между этими испытуемыми незначительны, по другим раличия достоверны (средняя длительность фиксаций и тестов, частота морганий). Данные по этим параметрам приведены в Таблице. Таблица. Сравнение параметров глазных движений у испытуемых S1 и S2 во время свободного осмотра изображений Im1, Im2 и Im3. Испытуемый Параметры Средняя, мс Длительность фиксаций Амплитуда Коэффициент вариации, % Средняя, град. S1 621±20 S2 323±11 97 75 3.42±0.07 3.84±0.10 Коэффициент вариации, % Длительность теста, с 461±24 88.13±15 Частота морганий, n/с 0.30 0.05 саккад 70 79 4. Заключение Проведенное исследование показало наличие существенных индивидуальных различий в топологии свободного осмотра и параметрах глазных движений. Наиболее выраженные различия обнаружены между двумя испытуемыми, с преобладанием, по-видимому, механизмов фокального (исп. S1) и пространственного внимания (исп. S2). Предполагается, что детализация тестированных параметров (прежде всего, площадь областей сканирования и расстояние между координатами центров-масс таких областей и ОИ даст возможность объективно оценить вклад механизмов пространственного и фокального зрительного внимания и получить критерии оценки зрительной задачи, решаемой в текущем периоде теста. Полученные количественные данные о динамике топологии, типе траекторий в текущем периоде теста, величине саккад и длительности фиксаций, будут использованы для разработки алгоритмов идентификации локальных элементов текущей траектории осмотра изображений и адекватной функции притяжения взгляда в модели [9] для имитации результатов, получаемых в конкретном психофизическом тесте у конкретного испытуемого. Предполагается, что комплексное исследование индивидуальнотипологических особенностей зрительного внимания по параметрам глазных движений позволит преодолеть некоторые ограничения при обобщении и формализации данных психофизических исследований, обусловленных многофакторной зависимостью результатов, их неполнотой и противоречивостью. Одной из важных задач для проведения следующих этапов детального психофизического исследования представляется разработка правил формирования репрезентативной выборки испытуемых с выраженными индивидуальными различиями зрительного внимания, основанных на представленных в данной работе результатах и на количественной оценке когнитивного стиля. Работа поддержана грантом РГНФ 09-06-95218 а/F. Литература 1. Барабанщиков В.А. Окуломоторные структуры восприятия. – М: Издательство “Институт психологии РАН”, 1997. - 384 c. 2. Белопольский В.И., Функциональная структура и динамика взора человека. Автореф. докт. дисс., М., 2008. 2. Величковский Б.М. Успехи когнитивных наук. // В мире науки.- 2003. – 12. – 87-93. 3. Ярбус А.Л. Роль движений глаз в процессе зрения. - М.: Наука, 1965. 166с. 4. Irwin DE, Fixation location and fixation duration as indices of cognitive processing. In Henderson JM and Ferreira F, (Eds) The interface of language, vision, and action: eye movements and the visual world. New York. Psychology Press, 2004,105-134. 5. Over E.A.B. et al. Coarse-to-fine eye movement strategy in visual search. // J. Vis. Res. - 2007. - 47. -2272-2280. 6. Unema PJA et al. Time course of information processing during scene perception: The relationship between saccade amplitude and fixation duration. //J Vis Cogn.–2005.–12. - 473-494. 7. Liversedge S.P., Findlay J.M. Saccadic eye movements and cognition.// Trends in Cogn. Scie. - 2000. – 4. - 1. - 6-14. 8. Podladchikova L.N. et al. Temporal dynamics of fixation duration, saccade amplitude, and viewing trajectory // J. Int. Neurosci. - 2009. -v.8. - iss.4 - 487501. 9. Podladchikova L.N. et al. Model-based approach to study of mechanisms of complex image viewing. // Opt. Mem. Neu. Netw. (Inf. Optics). – 2009. - 18. – 2. 114–121. 10. Rybak I. et al. Attention-guided recognition based on "What"; and "Where" representations: behavioral model. //Neurobiol. Attent.,Elsevier,Academic.2005.663- 670. 11. Walther D.B., Koch C. Attention in Hierarchical Models of Object Recognition. // Prog. in Brain Res. – Elsevier, 2007. - v.165. – p.57-78. 12. Zelinsky G.J. Specifying the Components of Attention in a Visual Search Task. // Neurobiology of Attention. – Elsevier, 2005. – p.395-400. 13. Priviterra C.M., Stark L. Scanpath theory, attention and image processing algorithms for prediction of human eye fixations. //Neurobiol. Attent.,Elsevier,Academic.2005. 296-299. 14. Калинин К.В, Петрушан М.В, Самарин А.И., Шапошников Д.Г. Алгоритмы активного рассматривания в системах распознавания лиц для санкционированного доступа. // Известия ТРТУ. Информационная безопасность. Изд-во ТРТУ. – 2006. - т.62. – 7. – с.59-64. 15. Aloimonus J., Weiss I., Bandyopadhyay A. Active vision. // Proc. of the Int. Joint Conf. on Computer Vision, 1987. – p.35-54. 16. Bajcsy R. Active perception. // Proc. of the IEEE, 1988. – V.76. – P.9961005. 17. Величковский Б.М. Когнитивная наука: Основы психологии познания. 2 т. — Т. 1. М.: Смысл: Издательский центр «Академия», 2006. — 448 с. 18. Ungerleider, L.G., and Mishkin, M. (1982) Two cortical visual systems. In: Ingle D.J., Goodale, M.A., and Mansfield, R. J. W. (Eds). Analysis of visual behavior (pp. 549-586) Cambridge, MA: MIT Press. 19. Dunin-Barkowski W.L. On Neuroscience-Based Informational Technologies for Authentic Models of Individual Mind. - Optical Memory and Neural Networks, 2007, Vol. 16, No. 1, pp. 47-50.