Научный журнал
Научное обозрение. Педагогические науки
ISSN 2500-3402
ПИ №ФС77-57475

ИНТЕГРАЛЬНАЯ ВИЗУАЛИЗАЦИЯ ПРИ ФОРМИРОВАНИИ ОБЪЕМНЫХ ТРЕХМЕРНЫХ ИЗОБРАЖЕНИЙ

Прохновский М.А. 1 Сальников И.И. 1
1 Пензенский государственный технологический университет
В статье рассмотрены вопросы формирования объемных трехмерных изображений, сделан акцент на метод интегральной визуализации, преимущества которого заключается в его простоте и способности реконструировать 3D-информацию без дорогостоящих устройств и требовательных условий. Дальнейшие достижения в устройствах отображения с меньшим размером пикселя могут привести к созданию интегральной визуализации на новом уровне, в котором мы можем потенциально достичь 3D-дисплея с высоким разрешением. Благодаря прогрессу в области оптико-электронных датчиков, таких как CMOS и CCDs, устройства отображения, такие как ЖК-дисплеи, и коммерчески доступные цифровые компьютеры, принципы интегральной визуализации получили новое развитие. В своей нынешней форме интегральная визуализация относится к более широкому классу многозональных систем визуализации и стала перспективным подходом к 3D-зондированию и визуализации. Интегральное воображение было исследовано для восприятия, захвата, и визуализации 3D предметов, используя современные оптические и цифровые приборы, а также различные методы обработки изображения. Мультиперспективная 3D-визуализация использует информацию из записи обычных 2D некогерентных изображений. Так как используются стандартные 2D изображения, системы мультиперспективной 3D-визуализации могут быть построены, используя один недорогой фотоаппарат или массив недорогих тепловизоров.
2D изображения
формирование 3D-изображений
интегральная визуализация
интегральная съемка
ЖК-дисплеи
1. Ives H.E. Optical properties of a Lippman lenticulated sheet // J. Opt. Soc. Am. 21, 171 (1931).
2. Javidi B., Okano F., Son J.Y. Three-Dimensional Imaging, Visualization, and Display (Springer, 2009). – 258 p.
3. Mishina T. 3D television system based on integral photography // Proceedings of the Picture Coding Symposium (PCS), 2010 (IEEE, 2010). – p. 20.
4. Schulein R., Do C.M., Javidi B. Distortion-tolerant 3D recognition of underwater objects using neural networks // J. Opt. Soc. Am. A 27, 461–468 (2010).
5. Park J.H., Jeong K.M. Frequency domain depth filtering of integral imaging // Opt. Express 19, 18729–18741 (2011).
6. Cho M., Javidi B. Three-dimensional visualization of objects in turbid water using integral imaging // J. Disp. Technol. 6, 544–547 (2010).
7. Levoy M., Zhang Z., McDowall I. Recording and controlling the 4D light field in a microscope using microlens arrays // J. Microsc. 235, 144–162 (2009).
8. Yeom S., Javidi B., Watson E. Photon counting passive 3D image sensing for automatic target recognition // Opt. Express 13, 9310–9330 (2005).
9. DaneshPanah M., Javidi B. Profilometry and optical slicing by passive three-dimensional imaging // Opt. Lett. 34, 1105–1107 (2009).
10. Tavakoli B., Javidi B., Watson E. Three dimensional visualization by photon counting computational integral imaging // Opt. Express 16, 4426–4436 (2008).
11. Aloni D., Stern A., Javidi B. Three-dimensional photon counting integral imaging reconstruction using penalized maximum likelihood expectation maximization // Opt. Express 19,19681–19687 (2011).
12. Stern A., Aloni D., Javidi B. Experiments with threedimensional integral imaging under low light levels // IEEE Photonics J. 4, 1188–1195 (2012).
INTEGRAL VISUALIZATION IN THE FORMATION OF VOLUME THREE-DIMENSIONAL IMAGES

Prochnovsky M.A. 1 Salnikov I.I. 1
1 Penza State Technological University

Abstract:
The article discusses the formation of three-dimensional three-dimensional images, focuses on the method of integrated visualization, the advantages of which are its simplicity and the ability to reconstruct 3D information without expensive devices and demanding conditions. Further advances in display devices with a smaller pixel size can lead to the creation of an integral visualization at a new level in which we can potentially achieve a high resolution 3D display. Thanks to advances in optoelectronic sensors such as CMOS and CCDs, display devices such as LCD displays, and commercially available digital computers, the principles of integral visualization have gained new development. In its current form, integral visualization belongs to a wider class of multi-zone visualization systems and has become a promising approach to 3D-sensing and visualization. Integral imagination was investigated for the perception, capture, and visualization of 3D objects using modern optical and digital devices, as well as various image processing methods. Multi-Perspective 3D-visualization uses information from the recording of ordinary 2D incoherent images. Since standard 2D images are used, multi-perspective 3D visualization systems can be built using one inexpensive camera or an array of low-cost thermal imagers.

Keywords:
2D images
3D imaging
integrated visualization
integral imaging
LCD displays

На протяжении многих десятилетий ученые и инженеры используют новые технологии трехмерного (3D) зондирования и визуализации реальных объектов. В отличие от традиционных методов двумерной (2D) визуализации, технологии 3D-визуализации могут существенно захватывать 3D-структуру, диапазон и текстурную информацию объектов. Существует множество технологий 3D-визуализации, таких как голография и связанные с ней методы интерферометрии, стереоскопия, методы подсветки рисунков и методы времени полета.

Мультиперспективная 3D-визуализация получатся когда в 3D-сцены встраивают обычные 2D некогерентные изображения нескольких ракурсов, для формирования которых может быть использован один недорогой фотоаппарат.

В 1908 году Липпман [1] предложил новую технику, названную интегральной съемкой (ИС), формирования истинного 3D-изображения, которое можно наблюдать с параллаксом и квази-непрерывными углами обзора. Этот метод, который основан на принципе обратимости световых лучей, производит автостереоскопические изображения. При этом для восприятия 3D-изображений не требуется никаких специальных устройств просмотра. Помимо раннего наблюдения за ИС Липпмана [1], на протяжении большей части 20–го века не было никакой существенной деятельности в этой области. Это получилось в основном из-за отсутствия отработанных технологий для экономически эффективных устройств такого высокого разрешения как дисплеи и микролинзовые матрицы.

Тем не менее, благодаря прогрессу в области оптико-электронных датчиков, таких как КMOП и ПЗС, а также устройств отображения, таких как ЖК-дисплеи, принципы ИС в настоящее время получили дальнейшее развитие. В своей нынешней форме ИС относится к более широкому классу многозональных систем визуализации и стала перспективным подходом к 3D-зондированию и визуализации. Методы ИС были развиты для восприятия, захвата и визуализации 3D-изображений с использованием современных оптических и цифровых приборов обработки изображений [2]. Положительные результаты исследований были достигнуты в том числе для 3D-дисплеев в телевидении [3], для автоматического распознавания целей [4], для разделения объектов по цвету [5], для формирования 3D-подводного изображения [6], для медицинской визуализации [7] и другие [8].

Профилометрическая 3D-реконструкция. При получении плоских 2D-изображений может быть восстановлен трехмерный профиль зарегистрированной сцены. Для этого может быть использована спектральная картина излучения (Spectral picture of a radiation – SRP) для захвата интенсивности излучения определенной длины волны, которая определяет цвет объектов в направлении нахождения поверхности объектов. В [5, 9] описан метод вывода глубины Ламбертовых поверхностей из статистики SRP в многоцветовой системе визуализации с использованием цветовой фильтрации отдельных объектов. Излучателем Ламберта в физике называют диффузно-излучающую поверхность, которая характеризуется диаграммой направленности рассеянного излучения, имеющая форму окружности с максимумом перпендикулярным к поверхности объекта.

Для каждой точки в трехмерном пространстве (x;y;z), SRP, L (θ;φ;λ), описывает интенсивность излучения в зависимости от направления (θ;φ) и длины волны (λ). На практике каждый пиксель изображения обеспечивает заданный цвет из SRP вдоль связанного главного луча. Для упрощения рассматривается интегральная схема визуализации, в которой датчики изображения расположены на плоскости K×L сетки. Лучевая диаграмма между двумя точками в пространстве и соответствующие изображения в интегральной системе изображений проиллюстрированы на рис. 1.

Для наглядности показана только система координат плоскости Y-Z. Для точек поверхности объекта p(o) x(o); y(o); z(o), K×L интенсивности выборки этой точки собираются датчиками изображения K×L с неидентичных точек (разные SRP). Однако, интенсивность (λ) среди этих SRP должны быть соотнесены друг с другом, если эта точка удовлетворяет предположению Ламберта. Если точка, P(v) (x(v); y(v); z(v)) , находится в свободном пространстве, то есть не принадлежит ни к одной поверхности объекта в 3D-пространстве, то K×L интенсивности собранных выборок, скорее всего, будут отличаться, поскольку эти выборки, вероятно, из разных частей анализируемого изображения.

Это изменение интенсивности среди собранных SRP может быть использовано для оценки глубины точек объекта с помощью следующей формулы:

pr1.wmf, (1)

где L – среднее значение SRP по всем направлениям и Z – диапазон объектов, представляющих интерес.

proh-1.tif

Рис. 1. Лучевая диаграмма между двумя точками в пространстве

Уравнение (1) можно объяснить как дисперсию. Функция SRP достигнет локального минимума на реальной глубине точек объекта. Как только глубина точек объекта восстанавливается, можно реконструировать 3D-профиль сцены.

proh-2.tif

Рис. 2. 3D-визуализация по цвету

Интегральная визуализация может использоваться также для трехмерной визуализации подводных объектов. Подводная съемка по своей сути отличается от аэрофотосъемки из-за поглощения и рассеяния света от различных подводных частицы и молекул воды. Метод интегральной визуализация учитывает пространственное положение объектов из-за разницы в показателе преломления воды.

Подсчет фотонов и 3D-визуализация. Подсчитывать фотоны в объединенном 2D-изображении было предложено для выполнения 3D-визуализации [10] и 3D распознавания целей [8] в условиях низких уровней освещенности сцены. При этом каждый объект имеет различную яркость и, как следствие, различный поток фотонов в зависимости от дальности до объекта. 3D-визуализация при этих условиях может быть выполнена с использованием алгоритма вычислительной реконструкции, основанного на оценке максимального правдоподобия [10] потока фотонов. Плотность вероятности потока фотонов задается функцией вероятности Пуассона [7]:

pr2.wmf (2)

где c – число наблюдаемых фотонов, а W – интегральная интенсивность за определенный период времени и постоянная. Фактически, параметр Пуассона W для количества фотонов в каждом пикселе изображения пропорционален интенсивности излучения пикселя изображения [8]. На основе алгоритма MAP-EM [9] восстановленную интенсивность объекта r можно получить по следующему итерационному уравнению:

pr3.wmf, (3)

proh-4.tif

Рис. 3. Метод подсчета фотонов для 3D-визуализации

где H(ij) построен дискретной функцией распространения точки объектива изображения приемистости, U(r) является функционалом предшествующей энергии (например, ограничение полной вариации, β – параметр регуляризации, n – время итерации, а i, j, k – индексы пикселей. Итерация останавливается, когда среднеквадратичная ошибка между r(n+1) и r(n) меньше заданного порога. На рис. 3 показаны две группы результатов подсчета фотонов c разным числом посчитанных фотонов N(p).

Ограничение полной вариации является эффективным для восстановления интегральных изображений, полученных с помощью фотонных счетных датчиков [11]. В [12] также было продемонстрировано, что он эффективен для восстановления мало-фотонных интегральных изображений, полученных с помощью обычных ПЗС- или КМОП-датчиков. Когда использованы обычные датчики, изображение типично повреждено шумом восходящего потока теплого воздуха и отсчетами шума Пуассона, источником которого является случайный процесс появления фотона. Но, используя алгоритм полного вариационного ожидания максимального правдоподобия формируется четкое изображение несмотря на то, что исходное изображение имеет отношение сигнал-шум намного ниже 1. В [12] реальные экспериментальные результаты показали успешную реконструкцию интегральных изображений, полученных обычной камерой, освещенной в среднем четырьмя фотонами на пиксель.


Библиографическая ссылка

Прохновский М.А., Сальников И.И. ИНТЕГРАЛЬНАЯ ВИЗУАЛИЗАЦИЯ ПРИ ФОРМИРОВАНИИ ОБЪЕМНЫХ ТРЕХМЕРНЫХ ИЗОБРАЖЕНИЙ // Научное обозрение. Педагогические науки. – 2019. – № 3-2. – С. 75-78;
URL: http://science-pedagogy.ru/ru/article/view?id=1960 (дата обращения: 20.01.2021).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074