4.2. Стереоскопическая визуализация
Стереоскопическая визуализация — это вид визуализации, при котором синтезируются 2 изображения с 2х виртуальных камер, одно изображение — для левого глаза, другое — для правого. Это позволяет воспринимать форму, размер и расстояние до объектов. Стереовизуализация — основное средство создания виртуальной реальности.
Человек использует разные факторы для определения глубины до предметов. Ряд из них доступен для одного глаза: размеры предмета, тени, перекрытия предметов, априорные знания.
Три фактора доступны только при бинокулярном зрении, т.е. при использовании 2-х глаз [122]:
бинокулярная диспарантность — основана на параллаксе (изображения сдвинуты друг относительно друга из-за расстояния между глазами);
вергенция — вращение глазных яблок, чтобы сфокусироваться на предмете;
аккомодация — изменение кривизны хрусталика, необходимое, чтобы сфокусироваться на предмете.
В современных системах виртуального окружения стереоскопический эффект достигается за счет использования первых двух факторов: бинокулярной диспарантности и вергенции.
Первые системы виртуального окружения возникли более 30 лет назад. Они были громоздкие и дорогостоящие и применялись для узких задач. Однако последние годы, благодаря росту производительности персональных компьютеров, эта тема снова начала активно развиваться. Здесь нужно упомянуть Джеймса Кэмерона, который снял фильм Аватар в стерео в 2009 году и тем самым популяризировал идею стереовизуализации [123]. Фирма NVIDIA выпустила недорогие затворные очки 3d vision, а производители мониторов выпустили совместимые мониторы с частотой 120Гц [116].
4.2.1 Технологии стереовизуализации
Для обеспечения стереоскопической визуализации необходимо взаимодействие 3х компонентов: приложение, которая генерирует изображения для 2х глаз; видеокарты, которая может поддерживать специальный режим для стерео; системы отображения (включает в себя и очки).
В настоящее время существует множество систем отображений, которые применяют различные технологии для разделения изображений для 2х глаз. Кратко перечислим системы и соответствующие технологии:
Анаглиф: простейшая и наиболее примитивная технология, с плохим качеством восприятия. К изображениям для разных глаз применяются программные цветофильтры: к одному — синий, к другому — красный, после чего 2 изображения объединяются в одно, которое и выводится с помощью самого обычного монитора или проектора. Для просмотра стереоизображения нужно иметь очки со встроенными в них цветофильтрами [124, 125].
2х-проекторная система с использованием поляризации: используется горизонтальная стереопара, левая половина которой отображается одним проектором, а правая — другим. Для разделения изображений используются поляризационные фильтры с линейной или круговой поляризацией, фильтры устанавливаются на очки и на проекторы [111].
Черезстрочная поляризация: используется монитор или телевизор, пиксели четных строк которого имеют одну поляризацию, а пиксели нечетных строк — другую. Поэтому изображение, подаваемое на монитор, должно быть составлено из двух изображений: четные строки от одного изображения, а нечетные — от другого. Необходимы очки с поляризационными фильтрами.
Затворное стерео: изображение выводится на монитор или проектор с частотой 120Гц, при этом очки синхронно с монитором попеременно открывают и закрывают глаза.
Инфитек: используется спектральное разделение каналов. В компьютере любой цвет задается комбинацией 3х базовых цветов: красного, зеленого и синего. Но при выводе каждому из этих цветов соответствует диапазон длин волн. Для левого и правого глаз выводятся немного отличающиеся длины волн. Глаз отличия не воспринимает, но разница длин волн позволяет создать фильтры, которые устанавливаются на очки и на выходе из проектора [126].
Шлем виртуальной реальности, в котором каждому глазу соответствует свой мини-экран.
Некоторые стереорежимы могут работать без специальной поддержки видеокарты: анаглиф, поляризационные системы. Изображение, сгенерированное стандартным способом, просто посылается на систему отображения. Другие режимы — затворное стерео и инфитек — требуют специального режима работы видеокарты: квадробуфер, который доступен только на дорогих профессиональных видеокартах Nvidia Quadro и AMD FirePro [127, 128].
Иногда также применяются термины «пассивное стерео» и «активное стерео». Под пассивным стерео понимается система, когда изображения из 2х глаз выводятся одновременно. Обычно это системы, основанные на поляризации. Под активным стерео понимается система, когда изображения для 2х выводятся по очереди, с частотой 120Гц. Сюда же относятся затворное стерео и инфитек, хотя инфитек использует пассивные очки.
4.2.2. Настройка стереоэффекта в программном комплексе
Поддержать стереоэффект на уровне приложения можно несколькими способами. В работе [129] описаны несколько подходов:
используется одна виртуальная камера, которая рендерится в 2 прохода. После выполнения проекционного преобразования в вершинном шейдере усеченные координаты сдвигаются влево или вправо. Этот вариант также используется в стереодрайвере NVidia. Минус подхода — некорректное отсечение невидимых объектов (culling);
используется одна виртуальная камера, которая рендерится в 2 прохода. В каждом проходе используются свои модифицированные матрицы вида и проекции. Это позволяет организовать корректное отсечение;
используются две виртуальные камеры. Каждая камера использует свои матрицы вида и проекции.
Если приложение изначально разрабатывалось без учета стереоскопичекой визуализации, то для быстрого подключения стерео можно использовать 1-й или 2-й варианты. Но при разработке новых приложений рекомендуется использовать 3-й вариант с двумя виртуальными камерами, как более гибкий. Он позволяет поддержать различные стерео-режимы единообразным способом.
С точки зрения приложения можно выделить три основных стерео-режима, которые отличаются настройками виртуальных камер.
горизонтальная стереопара (side-by-side): выходное изображение состоит из двух половин, составленных рядом. Левая половина содержит изображение для левого глаза, а правая половина — для правого глаза;
черезстрочное стерео: четные строки выходного изображения — это строки изображения для левого глаза, а нечетные строки — для правого глаза;
квадробуфер: основан на использовании специального режима видеокарты, при котором в видеопамяти отдельно создается буфер для левого глаза и отдельно для правого. Каждый из них в свою очередь имеет задний буфер (туда идет рендеринг) и передний буфер (он выводится на экран). Отсюда и название режима.
Для настройки режимов в приложении нужно следовать следующим рекомендациям. Пусть width и height — ширина и высота экрана в пикселях.
Случай горизонтальной стереопары распадается на два: используется один видеовыход или два видеовыхода. Если видеовыход один, то нужно проинициализировать один графический контекст, а 2 виртуальные камеры должны различаться только портом просмотра (viewport). Левая камера должна занимать левую половину окна, а правая – правую половину, а значит настройки портов просмотра будут такие: (0, 0, width/2, height) и (width/2, 0, width/2, height).
Если видеовыхода два, то на каждый создается свой графический контекст, и для каждого своя виртуальная камера.
В случае квадробуфера обе виртуальные камеры должны занимать все окно, т.к порты просмотра будут одинаковые: (0, 0, width, height). Отличия будут в буферах отображения. Согласно спецификации OpenGL левая камера должна использовать буфер GL_BACK_LEFT, а правая — GL_BACK_RIGHT.
В случае черезстрочного стерео необходимо использовать буфер трафарета. Сначала в буфер рендерится маска. В четные строки записывается значение 1, а в нечетные — 0. Это удобно сделать с помощью функции OpenGL glPolygonStipple, либо вручную. Далее рендерится сама трехмерная сцена. Для левой камеры нужно включить тест буфера трафарета, который должен срабатывать только если в буфере трафарета значение 0. Для правой камеры — только если в буфере трафарета значение 1. Результат применительно к виртуальному глобусу показан на рисунке 4 .50.
|
Рис. 4.50. Виртуальный глобус в режиме черезстрочного стерео
| 4.2.3. Учет разброса масштабов для виртуального глобуса в программном комплексе
Математика стереоэффекта описана в приложении В, приведены формулы расчета матриц вида и проекции для виртуальных камер. В случае, если масштаб сцены слишком маленький или слишком большой по сравнению с реальными размерами системы отображения, то необходимо применять параметр «расстояние схождения» (fusion distance) для масштабирования виртуальной системы отображения.
Но в случае виртуального глобуса возникает осложнение: большой разброс масштабов. Мы хотим видеть глобус «объемным» из космоса и хотим ощущать «объем» для объектов у поверхности глобуса и для космических аппаратов на орбите. Для этого необходимо динамически изменять расстояние схождения в зависимости от положения наблюдателя.
Существует два основных варианта вычисления расстояния схождения:
брать расстояние от камеры до точки на рельефе вдоль луча зрения;
брать высоту камеры над рельефом.
Было проведено сравнение обоих вариантов. Субъективно второй вариант показал лучшее качество восприятия стереоэффекта особенно в гористом рельефе.
Отдельная проблема возникает, если нужно приблизиться к объекту, приподнятому над рельефом, например к космическому аппарату (спутнику), летящему по орбите. В этом случае мы не сможем увидеть его вблизи: он будет слишком маленьким по сравнению с расстоянием между камерами. Поэтому нужно брать минимальное расстояние схождения:
 ,
|
(4.27)
|
При приближении к поверхности формулу необходимо корректировать. Пусть ed — высота камеры над рельефом (earth distance). Если  , то на вершинах небоскребов будет ощущаться сильное расхождение изображений. Для отдельных зданий можно реализовать собственное вычисление  и применять по аналогии с формулой для спутников. Либо можно зафиксировать значение на высотах ниже предельной высоты:
 ,
|
(4.28)
|
В этом случае на высотах меньше  , а значит  , что соответствует реальным параметрам виртуальных камер.  можно взять, например, 100 м.
|
