Как компьютер знает, где вы смотрите?

Представьте, что вы водили машину, используя проекцию экрана на лобовом стекле для навигации по незнакомому городу. Это дополненная реальность (AR); эта информация используется не только для того, чтобы вести вас по маршруту, но и предупреждать вас о важной информации в вашем окружении, например, велосипедисты или пешеходы. Правильное размещение виртуального контента не только важно, но, возможно, вопрос жизни и смерти.

Информация не может скрывать другие материалы и должна отображаться достаточно долго, чтобы вы могли ее понять, но не слишком долго. Компьютерные системы должны делать эти определения в режиме реального времени, не вызывая отвлекающую или навязчивую информацию. Мы, конечно, не хотим предупреждать о том, что велосипедист собирается пересечь перед автомобилем, чтобы затмить велосипедиста!

Будучи исследователем в AR, я трачу много времени на то, чтобы выяснить, как получить нужную информацию на экране пользователя в нужном месте в нужный момент. Я узнал, что слишком много информации может ввести пользователя в замешательство, но недостаточно показать, что приложение может оказаться бесполезным. Мы должны найти сладкое пятно между ними.

Оказывается, решающим элементом этого является знание того, где ищут пользователи. Только тогда мы можем доставить информацию, которую они хотят, в том месте, где они могут ее обрабатывать. Наше исследование включает измерение того, где пользователь смотрит в реальную сцену, чтобы помочь решить, где разместить виртуальный контент. С AR, способным проникнуть во многие области нашей жизни - от вождение в работает в отдых - нам нужно решить эту проблему, прежде чем мы сможем полагаться на AR для поддержки серьезных или критических действий.

Определение места размещения информации

Имеет смысл отображать информацию, где пользователь смотрит. При навигации пользователь может посмотреть на здание, улицу или другой реальный объект, чтобы показать связанную виртуальную информацию; система будет знать, чтобы скрыть все другие дисплеи, чтобы избежать загромождения видимой сцены.


графика подписки внутри себя


Но как мы узнаем, на что кто-то смотрит? Оказывается, что нюансы человеческого зрения позволяют нам исследовать в глазах человека и рассчитать, где они выглядят, Сопоставляя эти данные с камерами, показывающими поле зрения человека, мы можем определить, что видит человек и что он или она смотрит.

Системы отслеживания глаз впервые появились в 1900s, Первоначально они в основном использовались для изучения моделей чтения; некоторые могут быть очень навязчивыми для читателя. Совсем недавно наблюдалось отслеживание в реальном времени и стало более доступным, простым в эксплуатации и меньшим.

Глазные трекеры могут быть прикреплены к экран или встроенный в пригодные для носки очки или навесные дисплеи, Глаза отслеживаются с использованием комбинации камеры, проекции и алгоритмы компьютерного зрения для вычисления положения глаза и точки зрения на мониторе.

Обычно мы рассматриваем две меры при исследовании данных отслеживания глаз. Первый называется фиксация, и используется для описания, когда мы останавливаем наш взгляд, часто в интересном месте на сцене, потому что это привлекло наше внимание. Второй - это саккада, одно из быстрых движений глаз, используемых для позиционирования взгляда. За короткими периодами фиксации следуют быстрые движения, называемые саккадами. В принципе, наши глаза быстро бросаются с места на место, беря кусочки информации о частях сцены. Затем наши мозги помещают информацию из этих фиксаций вместе, чтобы сформировать визуальный образ в наших умах.

{youtube}tdFIvRMvFQI{/youtube}

Сочетание отслеживания глаз с AR

Часто AR-контент привязан к реальному объекту или местоположению. Например, виртуальная метка, содержащая название улицы, должна отображаться на этой улице. В идеале мы хотели бы, чтобы метки AR отображались рядом с реальным объектом, с которым он связан. Но мы также должны быть осторожны, чтобы не накладывать несколько ярлыков AR и становиться нечитаемыми. Существует множество подходов к управлению размещением меток. Мы изучаем один вариант: вычисление того, где человек ищет реальную сцену и отображает метки AR только в этом месте.

Скажем, например, пользователь взаимодействует с мобильным приложением, которое помогает ему делать покупки для низкокалорийных зерновых в продуктовом магазине. В приложении AR каждое зерно имеет связанную с ним информацию о калориях. Вместо того, чтобы физически собирать каждую коробку с зерном и читать содержимое питания, пользователь может задержать свое мобильное устройство и указать его на конкретный ящик для зерновых, чтобы выявить соответствующую информацию.

Но подумайте о том, как переполненный просек в магазине зерновых с различными пакетами. Без какого-либо способа управлять отображением меток AR, будут отображаться информационные метки калорий для всех ящиков для зерновых культур. Было бы невозможно определить содержание калорий для зерновых, которых он интересует.

Отслеживая его глаза, мы можем определить, в какой отдельной коробке для зерновых, на которую смотрит пользователь. Затем мы показываем информацию о калориях для определенных зерновых культур. Когда он переключает свой взгляд на другую коробку, мы показываем цифры для следующего, который он считает. Его экран незагроможден, информация, которую он хочет, легко доступна, и когда ему нужна дополнительная информация, мы можем это отобразить.

Этот тип развития делает его интересным для исследования AR. Наша способность интегрировать реальные сцены с компьютерной графикой на мобильные дисплеи улучшается. Это подпитывает перспективы создания потрясающих новых приложений, которые расширяют нашу способность взаимодействовать, учиться и развлекаться окружающим миром.

Об авторе

Энн Макнамара, доцент визуализации, Техасский университет A & M

Эта статья изначально была опубликована в Беседа, Прочтите оригинал статьи.

Книги по этой теме

at