Шестимерные фото предметов кажутся подлинниками

Нынешние системы создания объёмных изображений — 3D-дисплеи различных конструкций и голограммы — могут показаться детскими игрушками на фоне устройства, над которым работает группа под руководством Рамеша Раскара (Ramesh Raskar), профессора Массачусетского технологического института (MIT).

Он также является сотрудником исследовательской лаборатории Mitsubishi Electric (MERL), которая частично финансировала этот проект. Соавторами же данной работы выступили несколько специалистов из института информатики Макса Планка (MPI Informatik).

За прошлые годы инженеры в разных странах приложили немало усилий, чтобы трёхмерные изображения получались всё более и более достоверными.


Но с одним фактом они ничего поделать не могли: картинка на дисплее зависела лишь от того, что записано в памяти компьютера (так же как образ на голограмме — от того, что зафиксировано на пластике), в то время как реальные тела в окружающем нас мире меняют свой вид, среди прочего, и в зависимости от внешнего освещения.

Только представьте, какое сильное впечатление должно производить объёмное изображение предмета, отбрасывающего тень в нужную сторону, если осветить его сбоку фонариком. Или демонстрирующее яркое пятно от лампы в вашей комнате.

Какие просторы открываются для презентаций, игр или обучающих программ!

Именно такой эффект обеспечивают прототипы, созданные в рамках проекта "Пассивные шестимерные отражательные дисплеи светового поля" (Passive 6D Reflectance Field Displays).

Что удивительно, работают они исключительно за счёт армии хитроумно расположенных крошечных линз и экранчиков. Никакой электроники и никаких датчиков внешнего освещения тут нет.

Но прежде чем перейти к их начинке, немного поясним, почему авторы новинки говорят о "шестимерности".

Двухмерная картинка — это простое фото или изображение на дисплее. Если фотография (или, опять-таки, дисплей) показывает две разные картинки для двух глаз, — получается эффект объёма, то есть трёхмерное представление того или иного тела.

Очень часто это достигается путём помещения перед слоем пикселей вертикальных лентикулярных линз, благодаря которым правый и левый глаз видят разный набор точек. На такой экран стереопара выводится одновременно ("правые" и "левые" пиксели чередуются через один).



Но смещение головы вверх-вниз при работе с 3D-дисплеем не приводит к изменению картинки. И, скажем, посмотреть на вазу не снизу, а сверху (привстав со стула) так, чтобы заглянуть в её горлышко, у вас не получится. Если только сам компьютер не определит каким-либо образом, что наблюдатель переместился (например, при помощи камеры, направленной на лицо человека) и не подгрузит вам другую картинку.

Соответственно, если в системе трёхмерного отображения вы можете рассматривать предмет с разных сторон, просто смещаясь правее или левее, выше или ниже, — можно говорить уже о четырёхмерной картинке.

Но даже такие продвинутые дисплеи никак не будут реагировать на то, включили ли вы настольную лампу сбоку от экрана или верхний свет в комнате. Между тем реальная ваза, стоящая на вашем столе, в обоих случаях "покажет" вам новые блики и движущиеся тени.

Так вот, если аппарат, формирующий для вас 4D-образ, будет ещё и менять его синхронно с перемещением внешнего света вправо-влево или вверх-вниз, — это и окажутся дополнительные два измерения отображаемого предмета. Получим 6D.


Устройство, способное на такой трюк, Рамеш называет ultimate synthetic display.
Действительно, куда уж "предельнее и синтетичнее". Сильнее объёмного образа, отбрасывающего тени от фонарика в вашей собственной руке, может быть только объёмное изображение, которое ещё и пощупать можно. Но это — в будущем. А пока посмотрим, что сделали Раскар и его коллеги.

Они решили, что объёмный образ тела можно формировать за счёт не лентикулярных, но крошечных квадратных линз, заставляющих глаза видеть только нужные пиксели в зависимости от положения наблюдателя.

Иначе: при перемещении точки зрения не только по горизонтали, но и по вертикали в каждый из глаз попадает только предназначенная ему картинка. Это как "переливные" календарики, только с дополнительным измерением.
Но это лишь половина дела. Главное — такая иллюстрация должна оживать вместе с игрой внешнего света.



Чтобы достичь этого, исследователи создали набор специальных крошечных линз, собирающих лучи от задней подсветки, и специальную матрицу — модулятор.

В зависимости от принятой оптической схемы дисплея последняя может находиться в той же плоскости, что и линзы (то есть внутри них), либо в их фокусе.

Модулятор — это пластинка с набором прозрачных и непрозрачных участков, расположенных таким образом, что картина света, проходящего через линзы, меняется в зависимости от угла падения лучей.

К такому устройству остаётся только приспособить принцип переливного календарика, чтобы получить объёмную картинку, на которой предмет будет меняться одновременно как с перемещением наблюдателя, так и сообразно перемещению внешнего источника света.

Подробности можно найти в статье (PDF-документ), подготовленной авторами новинки для конференции по компьютерной технике SIGGRAPH 2008, на которой Раскар и представил своё изобретение.



Тут, кстати, мы видим сходство новой разработки с прежним впечатляющим достижением Раскара — удивительной камерой, способной наводить резкость в кадре уже после его съёмки.

Там тоже присутствовала тонкая кодирующая пластина со специальным паттерном, размещённая в нужной точке на пути лучей, идущих к светочувствительной матрице. На снимке того или иного предмета она была совершенно не видна, но её присутствие драматичным образом меняло всё.

Вот и в новом изобретении Раскара рисунок модулятора, который благодаря законам оптики сам на просвет не виден, формирует отклик снимка на меняющиеся внешние условия.

А уж что закодировать в матрице-модуляторе — дело авторов. Можно ту же самую тень от Солнца, а можно — просто набор букв, цифр или геометрических фигур, которые будут сменять друг друга по мере движения подсветки.



Прототип такого дисплея и был построен в Массачусетском технологическом. Авторы проекта собрали решётку из 49 (7 х 7) линз с модулятором. Коробку эту поставили в тёмном коридоре. Позади встал человек с лампой, а на некотором расстоянии перед решёткой водрузили камеру.

При движении руки с лампой вправо, влево, вверх или вниз камера видела на месте коробки самые разные знаки — растущий и сжимающийся ромб, вспыхивающий квадрат и так далее.
Учёные построили целый ряд прототипов подобных оптических "игрушек", которые помогли разобраться с работой тех или иных вариаций описанной схемы.



Раскар и его соратники по проекту отмечают, что все эти вещицы далеки пока от того шестимерного дисплея, о котором мечтают исследователи. Ведь в идеале данную технологию ещё предстоит совместить с жидкокристаллической матрицей. К тому же необходимо поработать над снижением стоимости 6D-аппаратов.

Так, в опытных устройствах, явно не отличающихся большим разрешением, затраты составили $30 на каждый пиксель изображения. Если вы хотите построить 6D-дисплей хотя бы на мегапиксель, вы обязаны предложить какую-то недорогую технологию для формирования нужной модулирующей матрицы.

А ведь хотелось бы, чтобы картинка на таком экране была ещё и подвижной (пока же учёные работали с отображением фото, а не с видео).

На решение всех этих вопросов потребуется ещё 10 лет, утверждает Рамеш. Но адаптация данной разработки к объёмным дисплеям, показывающим "шестимерную анимацию", реальна, заверяет экспериментатор. Займётся ли он далее экранами, отображающими осязаемые картинки, – изобретатель не говорит.