Что такое отслеживание взгляда и как оно может работать на вас: определения, метрики и применение

Отслеживание взгляда: ключевая технология, которая помогает понять поведение человека и стоящие за ним мыслительные процессы. Её применение безгранично, как в исследованиях, так и в коммерции.

В целом технологии отслеживания глаз и взгляда дают бесценные инсайты и возможности. Чтобы разобраться в этой сложной теме, ответим на главные вопросы: что такое отслеживание взгляда, как оно работает и где применяется.

Что такое отслеживание взгляда?

Отслеживание взгляда позволяет измерять движения глаз, положение глаз и точки взгляда с помощью различных технологий. Иными словами, отслеживание взгляда определяет и фиксирует зрительное внимание человека: куда, на какие объекты и как долго он смотрит.

О технологии отслеживания взгляда часто говорят в связи с:

• измерением характера моргания;
• определением того, что человек игнорирует или на что не смотрит;
• оценкой реакции зрачка на зрительные или эмоциональные стимулы;
• развитием взаимодействия человека и компьютера и машинного обучения.

Основы отслеживания глаз и взгляда

Технология отслеживания взгляда основана на следующей идее:

Люди общаются через зрительный контакт. Если передать это качество компьютерам, они смогут работать более по-человечески. Твитнуть

Для этого психологи подробно изучили физиологию и анатомию глаза и когнитивные операции, связанные со зрительной системой.

Анатомия

Мозг обрабатывает изображения с помощью светочувствительных клеток сетчатки. Эти палочки и колбочки улавливают свет, проходящий через зрачок, и передают зрительные данные в мозг.

Колбочек в сетчатке гораздо меньше, чем палочек, но именно они позволяют человеку видеть в высоком разрешении и в полном цвете.

Источник: Blausen.com staff (2014). «Medical gallery of Blausen Medical 2014». WikiJournal of Medicine 1 (2). DOI:10.15347/wjm/2014.010. ISSN 2002-4436.

Колбочки расположены в центральной ямке (фовеа), в центре поля зрения. Это область с наибольшей остротой зрения, но она очень мала. За пределами зоны центрального зрения находится периферия, где чёткость заметно снижается.

Поэтому, чтобы обработать детальную визуальную информацию об интересующем объекте, глаз должен двигаться.

Именно этот компромисс между центральным зрением высокого разрешения и периферическим зрением низкого разрешения и делает отслеживание взгляда возможным.

Движения глаз

Глаз совершает множество движений, например вергентные или торсионные. Однако при отслеживании взгляда важнее всего фиксации, саккады и плавное слежение.

Фиксации происходят, когда глаз останавливается, чтобы собрать зрительные данные. Их длительность сильно варьируется, но чем дольше фиксация, тем больше визуальной информации обрабатывается.

Саккады: быстрые «скачки» глаза между фиксациями в статичной обстановке. Глаз переходит от одного объекта интереса к другому, чтобы получить новые зрительные данные в высоком разрешении.

Из-за огромной скорости саккад зрение во время них подавляется. Поэтому для отслеживания взгляда они не так важны, как фиксации. И всё же они дают информацию о последовательности фиксаций и о зрительном внимании.

Плавное слежение: движение глаз, когда человек смотрит на движущийся объект и следит за ним. Поскольку при плавном слежении зрительная информация воспринимается, это движение важно для отслеживания взгляда. 

Размер зрачка

Кроме того, отслеживание взгляда на основе видео позволяет измерять и анализировать размер зрачка. Чтобы получить точные данные о зрачке, условия нужно строго контролировать.

В надлежащих условиях тестирования можно наблюдать и фиксировать расширение зрачка в результате:

• сильных эмоциональных стимулов;
• напряжённого внимания;
• освещения;
• нагрузки на рабочую память.

Зрительное внимание

Самое важное: отслеживание взгляда позволяет изучать зрительное внимание.

Поскольку ресурсы для обработки изображений ограничены, мозг избирательно выбирает важную визуальную информацию на основе:

• интереса: осознанного или неосознанного решения посмотреть на объект;
• окружения: элементов, замеченных периферическим зрением.

В науке изучение зрительного внимания помогает понять механизмы внимания в целом. Оно проливает свет на когнитивную обработку, которая происходит при выполнении задачи.

По той же причине отслеживание взгляда и анализ внимания ценны и в коммерческой сфере.

Отслеживание взгляда: для качественных или количественных исследований?

Как исследовательский метод отслеживание взгляда используют и в качественных, и в количественных исследованиях.

Качественные исследования	Количественные исследования
✓ Интерпретация поведения	✓ Зависимая переменная
✓ Юзабилити (UX/UI)	✓ A/B-тестирование
✓ Ретроспективные интервью	✓ Измерение реакции на стимулы

Стандартное и 3D-отслеживание взгляда

У стандартного отслеживания взгляда есть ряд ограничений, а 3D-отслеживание взгляда для сенсоров глубины решает эти проблемы:

• большой радиус действия;
• отслеживание нескольких людей;
• 3D-линия взгляда;
• без калибровки;
• только ПО (если в устройство для отслеживания взгляда встроена 3D-камера).

На момент написания статьи Eyeware остаётся одной из немногих компаний, которые публично предлагают коммерческое решение для отслеживания взгляда для 3D-камер.

ПО Eyeware для 3D-кодирования взгляда в реальном времени GazeSense позволяет легко получать количественные и качественные данные отслеживания взгляда. Узнайте, как оно поможет вашему бизнесу, производству или исследованиям: gazesense.com.

Хотите попробовать отслеживание взгляда только с веб-камерой прямо сейчас? Наше приложение для веб-камеры на базе ИИ предлагает функции для игр, продуктивности и приватности. Попробуйте Beam Eye Tracker без риска.

Как работает отслеживание взгляда?

Отслеживание взгляда ненавязчиво следит за положением и движениями глаз. Источник невидимого ближнего инфракрасного или инфракрасного света освещает зрачок, и на роговице возникает отражение. Инфракрасная камера записывает это отражение, определяет центр зрачка, вычисляет поворот глаза и направление взгляда.

Pupil Center Corneal Reflection (PCCR, метод «центр зрачка и роговичный рефлекс»): так официально называется основной метод отслеживания взгляда, при котором зрачок и отражения от роговицы отслеживаются оптически.

Положение глаз, точка взгляда и движения глаз рассчитываются с помощью сложных математических алгоритмов.

Затем записанная информация превращается в необработанные данные, которые обрабатывает ПО для отслеживания взгляда. 

Как айтрекеры работают с калибровкой

Чтобы добиться точности отслеживания взгляда, нужно учитывать несовпадение оптической и зрительной осей. Оптическую ось можно измерить, а положение фовеа смещено от неё на несколько градусов.

Источник: Dorland’s Medical Dictionary for Health Consumers. (2007).

Это требует коррекции (калибровки), чтобы положение зрачка и направление взгляда совпадали.

Перед началом эксперимента система калибруется, отслеживая положение зрачка при взгляде на одну или несколько заданных точек.

Данные

После расчёта точки взгляда необработанные данные представлены в виде координат XY. Они показывают, куда на экране смотрит участник. Затем система отслеживания взгляда выдаёт координаты с частотой, равной её частоте кадров.

Для отслеживания взгляда и обработки данных, то есть для выделения фиксаций и саккад, обычно используют программные инструменты. Фиксации часто изображаются точками, размер которых соответствует их длительности. Саккады: линии, соединяющие эти точки. 

Очистить необработанные данные перед визуализацией помогают такие шаги:

• снизить уровень шума;
• повысить точность;
• применить алгоритм классификации движений глаз.

Метрики и визуализации для анализа данных отслеживания взгляда

От статичных до анимированных представлений: для изучения собранных данных отслеживание взгляда использует множество метрик и визуализаций.

Фиксации

Вместе с саккадами фиксации образуют путь сканирования (scanpath), то есть маршрут, по которому движутся глаза человека. Кроме того, отслеживание взгляда позволяет измерить:

• Время до первой фиксации (TTFF). Время между появлением стимула и фиксацией в области интереса (AOI). Показатель говорит о зрительном внимании.
• Длительность первой фиксации: общее время первой фиксации.
• Число фиксаций: сколько фиксаций пришлось на AOI.
• Средняя длительность фиксации: чем она выше, тем привлекательнее AOI для участника.
• Последовательности фиксаций: место и время фиксаций.

Точки и карты взгляда

Точка взгляда показывает, куда смотрит участник, а карта взгляда позволяет визуализировать путь сканирования. Карты траектории взгляда показывают хронологический порядок фиксаций и саккад.

Сводные карты взгляда используют, чтобы оценить пути сканирования нескольких участников и в итоге выявить модели поведения.

Области интереса (AOI)

Чтобы оценить различные метрики фиксаций, с помощью областей интереса (AOI) выделяют конкретные участки сцены.

Чтобы разграничить AOI, их рисуют на изображении вокруг элементов, выбранных для сравнения.

• Доля: число участников, которые фиксировали взгляд на AOI.
• Время задержки взгляда: сколько времени человек смотрел на AOI, то есть длительность наблюдения.
• Число наблюдений: сколько раз участник возвращался к AOI.

Тепловые карты

Тепловая карта как инструмент визуализации показывает, как распределены фиксации и точки взгляда. Зелёные, жёлтые и красные оттенки показывают плотность точек взгляда в отдельных частях AOI.

Тепловые карты строятся по принципу: чем больше фиксаций в определённой области, тем она краснее.

Карты фокуса и непрозрачности

Карта непрозрачности, или карта фокуса, показывает ту же информацию, что и тепловая карта, но иначе.

Вместо того чтобы закрашивать области, получившие больше всего зрительного внимания, карта фокуса чётко их высвечивает. А области с наименьшим числом фиксаций затемняются.

Единицы измерения

Стандартная единица измерения в отслеживании взгляда: точка взгляда.

1 точка взгляда = 1 необработанный отсчёт отслеживания взгляда

Например: частота 60 Гц = 60 отдельных точек взгляда в секунду (1 точка взгляда за 16,7 миллисекунды)

Частота дискретизации потребительского айтрекера может составлять от 30 до 60 Гц. Устройства для исследований работают на частоте примерно от 120 до 1000 Гц (а некоторые даже около 2000 Гц).

Средние значения скорости и частоты движений глаз:

• Фиксация
  • от 100 до более чем 600 миллисекунд;
  • обычная длительность: 100–300 миллисекунд;
  • типичная частота: около 3 Гц.

• Саккада
  • от 20 до 120 миллисекунд;
  • обычная длительность: 20–40 миллисекунд;
  • до 600–700 градусов в секунду;
  • типичная частота: 4 раза в секунду, около 4 Гц.

• Плавное слежение: до 30 градусов в секунду.

Оборудование и ПО: инструменты для отслеживания взгляда

Для отслеживания взгляда нужны устройство, которое собирает информацию, и система, которая её отслеживает и обрабатывает, то есть оборудование и ПО.

Что такое ПО для отслеживания взгляда?

Функции у разных производителей отличаются, но в стандартном процессе отслеживания взгляда обычно используют два типа ПО:

• ПО для сбора и записи данных;
• ПО для обработки и анализа данных.

Кроме того, в зависимости от разработчика может понадобиться отдельное ПО:

• для разных типов айтрекеров (например, очков или экранных устройств);
• для конкретного айтрекера;
• для разных стимулов (например, статичных или динамичных).

Впрочем, есть и интегрированные решения, которые совмещают сбор и анализ данных.

Какое бы ПО вы ни выбрали, стоит обратить внимание на ключевые характеристики:

• точность;
• время калибровки;
• оптимальное расстояние;
• задержка;
• частота дискретизации;
• углы отслеживания;
• диапазон движений головы;
• время восстановления отслеживания.

Отслеживание взгляда без очков: как работает 3D-отслеживание взгляда Eyeware?

Передовое ПО для отслеживания взгляда от Eyeware использует камеры глубины, чтобы упростить взаимодействие человека и машины в 3D.

GazeSense размечает 3D-объекты интереса и выдаёт данные в реальном времени для одновременных исследований с несколькими участниками. В результате оно даёт информацию о внимании, намерениях, интересе и вовлечённости.

Отмеченное наградами ПО не требует очков или других носимых трекеров и работает с самыми разными потребительскими и специализированными устройствами с сенсорами глубины. От смартфонов до комплектов разработчика, ноутбуков и игровой периферии: GazeSense совместимо со стереоскопическими камерами, камерами структурированного света и ToF-камерами, а также со специализированными 3D-сенсорами.

ПО для 3D-отслеживания взгляда применяется во многих областях: в автомобильной отрасли, робототехнике, потребительских устройствах, играх, ритейле и рекламе.

Чтобы узнать, как GazeSense поможет вашим коммерческим или академическим проектам благодаря мультимодальному взаимодействию человека и машины, свяжитесь с нашим специалистом по работе с клиентами.

Оборудование: что такое айтрекер?

Стандартному 2D-отслеживанию взгляда нужно устройство для измерения активности глаз: айтрекер.

Сегодня айтрекеры бывают дистанционными (экранными) и мобильными или носимыми (устройства на голове, например очки или VR-шлемы).

Дистанционные: экранные устройства

Чтобы отслеживать движения глаз на расстоянии в контролируемой обстановке, обычно используют экранные устройства.

Участник сидит перед монитором или ноутбуком, под экраном или рядом с ним закреплена панель или отдельный блок. Участнику показывают мультимедийные стимулы, например фотографии, сайты, видео или игры, чтобы вызвать, записать и проанализировать движения глаз.

В целом экранные айтрекеры дают разработчикам и исследователям инсайты о зрительном внимании, собирая качественные данные о глазах в статичных условиях тестирования.

Мобильные: очки для отслеживания взгляда и VR-шлемы

Носимые айтрекеры рекомендуют для поведенческих исследований в реальных условиях. Они позволяют выйти за пределы «зоны головы» (headbox), которой ограничены стационарные айтрекеры.

Айтрекеры на голове измеряют движения глаз с близкого расстояния. Тем не менее мобильные трекеры, например очки, могут работать нестабильно в некоторых условиях, например когда участники занимаются спортом.

В VR-приложениях отслеживание взгляда позволяет управлять функциями, просто посмотрев на виртуальную кнопку. 

VR-шлемы с отслеживанием взгляда можно использовать:

• для профессионального обучения в промышленности;
• в интерактивных развлечениях;
• для проверки зрительного внимания в ритейле и не только.

Словом, если в эксперименте участники должны реагировать в естественной, динамичной обстановке, лучшее решение: носимые айтрекеры.

Отслеживание взгляда и отслеживание головы

Разница между отслеживанием взгляда и отслеживанием головы проста.

Оба процесса отслеживают положение и движения, но первое следит только за глазами, а второе записывает только движения головы.

Вместе эти технологии дают ещё более ценные данные и создают богатый пользовательский опыт, например в играх.

Исследования и применение: как отслеживание взгляда работает в реальной жизни?

С технической точки зрения почти любой сценарий с визуальными элементами может выиграть от отслеживания взгляда. Твитнуть

Технология уже помогла добиться огромного прогресса в когнитивной науке, нейромаркетинге, ИИ, безопасности труда и многих других областях исследований и бизнеса.

Где применяется отслеживание взгляда?

Как и предсказывали, отслеживание взгляда уже произвело революцию в том, как люди общаются с устройствами, и наоборот.

Но технологию ещё нужно развивать, чтобы ею было оснащено каждое обычное потребительское устройство. А пока она помогает учёным, разработчикам и рекламодателям получать беспрецедентные инсайты о сознательном и подсознательном поведении человека.

Исследования

Как уже говорилось, отслеживание взгляда вносит большой вклад и в качественные, и в количественные исследования. В науке технологию можно использовать как инструмент для:

• изучения зрительного поведения;
• оценки механизмов внимания;
• измерения реакции на зрительные стимулы;
• понимания закономерностей обучения;
• сравнения поведения групп.

Автомобильная отрасль

Отслеживание взгляда играет важную роль в безопасности в автомобильной отрасли. Технология помогает определить, устал ли водитель или отвлёкся, и предотвратить аварии.

С 3D-отслеживанием взгляда за водителем следит система, которая помогает ему через взаимодействие с поддержкой взгляда. Твитнуть

Если встроить технологию в умные приборные панели, проекционные дисплеи с дополненной реальностью и виртуальный второй пилот становятся центральной частью вождения.

Психология

В психологии отслеживание взгляда позволяет изучать когнитивные процессы, например память, решение задач, речь, принятие решений, восприятие и внимание в целом.

Нейронауки используют отслеживание взгляда для изучения и ранней диагностики таких заболеваний, как болезнь Паркинсона, шизофрения, болезнь Альцгеймера и аутизм. Например, технология помогла исследователям показать, что взрослые с РАС распознают и понимают сложные эмоции.

Нейромаркетинг и реклама

Поскольку технология отслеживания взгляда помогает изучать зрительное внимание, она стала полезным инструментом для нейромаркетологов и рекламодателей.

И онлайн, и офлайн отслеживание взгляда помогает определить, что естественным образом больше всего интересует покупателей, а что они могут вовсе не заметить.

Кроме того, нейромаркетологи теперь используют отслеживание взгляда и анализ мимики, чтобы измерять эмоции при восприятии мультимедийных стимулов.

Видеоигры и развлечения

Фовеальный рендеринг, обволакивающая графика и расширенное управление взглядом: все эти передовые функции в игровой индустрии возможны благодаря отслеживанию взгляда.

Пользователь может исследовать окружение взглядом и взаимодействовать с разными элементами игры, просто глядя на них.

По тому же принципу люди уже несколько лет могут управлять телевизорами.

Доступность

С помощью отслеживания взгляда люди с инвалидностью могут управлять компьютерами и мобильными устройствами и даже создавать цифровое искусство. Люди, которые не могут двигаться или говорить, общаются с машинами движениями глаз.

Технология значительно повысила доступность и дала пользователям с инвалидностью возможность выполнять самые разные задачи на компьютере.

Ритейл

Профессионалы ритейла также могут использовать отслеживание взгляда для аналитики внимания к полкам. Иными словами, технология отслеживания взгляда даёт инсайты о поведении покупателей и о том, как они принимают решение о покупке. Твитнуть

В результате ритейлеры могут заметно улучшить дизайн выкладки, магазина и упаковки, а также планировку и размещение товаров.

Плюсы и минусы отслеживания взгляда

Преимуществ у технологии отслеживания взгляда, без сомнения, множество.

Преимущества

• Прогресс в таких областях, как ИИ, социальные науки и здравоохранение
• Вспомогательная технология для людей с ограниченной подвижностью
• Улучшение пользовательских интерфейсов и опыта
• Поддержка безопасности на опасных рабочих местах
• Качественные результаты маркетинговых исследований
• Глубокое понимание разума и тела человека в сочетании с другими биосенсорами, например:
  • FEA (анализ мимики)
  • ЭКГ (электрокардиограмма)
  • ЭЭГ (электроэнцефалограмма)
  • EDA (электродермальная активность)
  • ЭМГ (электромиография)

Отслеживание взгляда продолжает развиваться, и остаётся множество задач, которые предстоит решить.

Сложности

• Эффект Хоторна: человек меняет поведение, зная, что за ним наблюдают (например, в исследовании в тестовой обстановке)
• Интерпретация (например, большее или меньшее число фиксаций может вести к разным выводам в зависимости от контекста)
• Прищур: метод Pupil Center Corneal Reflection (PCCR) не работает, когда участник щурится
• Проблема «прикосновения Мидаса» в интерфейсах с управлением взглядом: пользователь случайно запускает нежелательное действие
• Потребность в более простой калибровке для стандартного отслеживания взгляда

Лучшие практики и этика

Проведение исследований и экспериментов с отслеживанием взгляда требует опыта. 

Вот лишь некоторые процедуры и этические аспекты, которые стоит учесть заранее:

• Сообщите каждому участнику о цели, процедурах, возможных рисках (если они есть) и пользе эксперимента
• Убедитесь, что каждый участник дал полное согласие на участие в исследовании
• Подготовьте подходящую тестовую обстановку: сбалансированное освещение, отсутствие отвлекающих факторов, настроенное оборудование для отслеживания взгляда
• Познакомьте участников с оборудованием и процедурами отслеживания взгляда

Стоит ли изучать отслеживание взгляда?

Безусловно.

С момента появления технология отслеживания взгляда открыла путь к огромному прогрессу в бесчисленных областях.

Отрасль отслеживания взгляда прогнозирует устойчивый рост в ближайшие годы. Она поможет: 

• R&D-инженерам находить реальные решения с помощью передовых технологий;
• лидерам инноваций внедрять креативные и передовые решения;
• разработчикам создавать более эффективные системы для решения текущих и будущих задач;  
• маркетологам создавать POC и улучшать потребительский опыт;
• преподавателям и исследователям прокладывать новые пути к лучшему миру;
• нейробиологам получать беспрецедентные знания о серьёзных когнитивных расстройствах;
• студентам участвовать в создании технологий будущего.

Готовы попробовать? Наше приложение для веб-камеры на базе ИИ предлагает функции для продуктивности и приватности. Попробуйте Beam Eye Tracker без риска.