手机端
or

欢迎您加入我爱方案网QQ群

1.智能产品外包服务群(311606115)
2.嵌入式项目开发群(491609563)

裸眼3D:起步于双眼显示,挑战高画质大范围观看(上)

我爱方案网| 裸眼3D,双眼显示,挑战高画质,大范围,[ZT-032]| 2012-01-09
1560 收藏
分享到: 
每日精选
热门文章
热门方案
中心议题:
    *  针对双眼显示的裸眼3D技术
解决方案:
    *  裸眼式三维显示器的概要
    *  改善三维显示时的画质下降问题的方法
    *  扩大立体图像的范围的方法

目前,无需使用眼镜即可观看立体影像的裸眼式3维显示器的研究开发势头正旺。本文将详细介绍裸眼式3维显示器的种类及工作原理。

在开始介绍裸眼式3维显示器之前,首先让我们了解一下立体视觉的基本原理。立体视觉的生理性成因是什么,也就是说人是怎样感知立体影像的?。主要有五个成因(图1)。



第1是水晶体的调节。当人看近处的物体时水晶体会变厚,看远处的物体时则会变薄。通过对这一变化进行认知,人便获得了立体感。
第2是双眼的辐辏角。当观看位于近处的物体时,眼球会发生倾斜,对于远处的物体,则是目光平行地观看。人能够通过这种眼球的角度(辐辏角)感知立体影像。
第3是双眼视差。由于右眼与左眼相距约65mm,由此导致右眼与左眼看到的景象会有若干差异。
第4是单眼的运动视差。人在看运动物体时,能够获得立体感。
第5是取像效果。该效果基于人在观看非常大的画面时可获得立体感这一生理现象。

在这五个成因中,效果最大的是双眼视差。因此,应用双眼视差的3维显示器开发势头正旺。

接下来,让我们对立体影像显示方式进行分类。目前的立体影像显示方式大致可分为3类,即眼镜式、头戴显示器(Head Mount Display)式、以及本文将介绍的裸眼式(图2)。裸眼式又可分为在空间中分离图像的方式(空间分割方式)以及时间分割方式(交互显示方式)。如果将空间分割方式进一步分类,则又包括设定视点的方式、以及在不特别设定视点的情况下再现光线空间的方式(光线空间再现方式)。


关于视点,大致可分为2视点和多视点方式。只能在正面观看的成为2视点方式,在2视点基础之上增加视点的方式称为多视点方式。后者的光线空间方式一般被称之为全景(Integral)方式。

 


其中,多视点方式及全景方式存在运动视差,其特点是,如果横向移动头部,则可看到环绕的图像。多视点方式及全景方式看到的图像几乎相同。

在多种多样的裸眼式立体视觉显示器中,最先开始开发的是2视点(双眼)方式。最先投放市场的也是双眼方式,因此可以说双眼方式一直领先其他方式一步。继双眼方式之后,多视点(多视点)方式、全景(光线空间再现)方式、以及视点数更多的超多视点方式相继被研发出来。

按照不同的对象采用不同的方式

虽然裸眼式包括许多种类,但这些种类只是开发对象不同,基本构造等可以说是相同的。这是因为,无论是双眼、还是超多视点,基本构造都是通过在液晶面板上设置多透镜(Lenticular Lens)及格栅等来分离图像的,其基本思路是相同的。

那么,为什么又会出现多种方式呢?这是因为根据开发重点是放在显示的清晰度上、还是放在平滑的3维显示上等不同的开发目标而导致的。笔者认为目前还无法断定是两视点更好还是超多视点更胜一筹。人体工程学也没有明确地给出答案。尽管经常听到“立体显示器累眼”的批评,但为了消除这种现象,是增加立体影像信息好呢,还是需要重视画质,这个问题目前也还没有明确的答案。

在开发实例中,采用双眼显示及多视点显示、或者采用光线空间再现的居多(图3)。如果更详细地进行划分,则双眼显示包括:配合头部的运动、影像的显示也随着同步移动的头部跟踪(Head Tracking)方式,HDDP方式,扫描式背光板(Scan Backlight)方式等。多视点显示方面有阶梯格栅(Step Barrier)方式以及倾斜透镜方式的开发先例。光线空间再现也有多种方式,目前不同的企业及研究机构都冠以各自的名称进行开发。关于这些方式的工作原理,将在后面予以介绍。



首先提升市场需求

让我们来看看近年来裸眼立体显示器的开发动向。与裸眼立体视觉相关的研究,旨在平滑显示立体视觉影像。多视点、高密度指向性显示等通过增加视点数来实现更自然立体视觉效果的显示器,是目前的开发趋势。依笔者近10年来从事多视点式立体显示器市场开拓的经验来看,笔者感到找到需求至关重要。以前,将开发出的多视点式显示器拿给用户看时,经常会听到“这是什么?画质真差”的疑问声。

为什么会出现这样的现象呢?事实上,目前对裸眼立体视觉的需求并不大。如果电影等会在电视上播发的话,也许会产生需求,但目前的实际情况是需求很少。在没有需求的时候拿出开发品让人评断的话,那么消费者自然会首先拿来与2维影像的画质进行比较。给看着2维影像的人看立体影像,结果只会是被指责画质差。

从这个意义上来说,提升市场的需求至关重要。近期电影界在3D电影方面的举措变成了起爆剂,各厂商都在加紧开发3维显示器商品。所以有内容才是最重要的。笔者到目前为止大约15年时间都在从事3维显示器业务,毎年都听着“今后是3维时代”的论调进行开发。然而,现实社会并没有出现3D热潮是不争的事实。但是,这次则不同。产业界被电影界的举措而触发。有了内容,电子产品厂商自然会随之跟进,现实社会也出现了“3维时代终于来临”的舆论。

如此想来,裸眼式立体显示器不必一步到位地执着于技术难度较大的多视点方式,而应从双眼方式循序渐进地逐渐启动市场。尽管双眼方式存在着只能从正前方看到立体影像的问题,但如果将目标锁定在有需求的消费者身上,那么市场就会形成。

那么,企业设想的3维显示器应用都包括什么呢?如果不限于裸眼方式的话,那么应该包括电影、弹子机以及游戏之类的娱乐领域。在信息通信领域,辅助设计、互联网以及电视等会存在3维显示器的用途。在医疗领域也值得期待,例如,拍摄立体影像信息用于手术等。笔者认为,3维显示器还适用于检查眼睛功能的装置以及图像诊断等。此外,可能还适用于艺术及广告类领域。

无论是哪种用途,如果3维显示使得画质变差,那么,对于看惯了清晰画面的用户而言就会感到欠缺。笔者认为,显示清晰度与视野范围的平衡至关重要。确保最低限度的显示清晰度,并在此基础上尽量扩大可视范围的挑战十分重要。

 


双眼视差格栅(Parallax Barrier)方式

下面,将从技术上对裸眼式3维显示器作一介绍。首先,让我们来看拥有大量应用实例的双眼视差格栅方式的基本构造(图4)。与普通的液晶面板一样,液晶面板的背面配置有背照灯。在液晶面板上交互显示R(右眼用)及L(左眼用)图像。如果在该液晶面板上设置起遮光板作用的狭长切口(例如,纵向条状遮光板),则上述交互显示的右眼图像将会只到达右眼,左眼图像只到达左眼。对于位于画面正前方的观看者而言,由于产生了双眼视差,结果便能获得立体视觉。



双眼视差格栅方式的3维显示器的设计流程如下。考虑在液晶面板的像素及其上面配置视差格栅,设液晶面板的间距为P,视差格栅的间距为Q,液晶面板像素与格栅开口部的距离为G。另外,设从视差格栅的观看距离为D,眼间距离为E。

此时,从图4中的A点线可以看出,形成了相似三角形。在该相似三角形中, E:P=D:G 的比例式成立。下面,让我们来观察图4中的B点线形成的三角形。此时,在三角形内 Q:D=2P:(D+G) 的比例式成立。满足该比例式,便意味着可通过在液晶面板上设置视差格栅来获得立体视觉。例如,从图4中①像素射出的光通过视差格栅后,则成为图4中的E实线。同样地,从图4中②像素射出的光成为C实线,从图4中③像素射出的光成为D实线。

事实上,必需解决串扰(Crosstalk)问题。为了使观看者能够清晰地观看图像,我们希望分离图4中的①②③。然而,实际上由于光会扩散,因此,有时未完全分离而产生串扰,最终表现为叠影。

这是立体显示器性能上的问题。虽然开发人员为了减少串扰而进行了设计,但又使得液晶面板与视差格栅的干涉条纹变得显著,从而出现了云纹(Moire)。仅仅分离图像,也会产生各种问题。

双眼多透镜方式

设置多透镜来取代格栅,也能通过透镜的折射来分离图像。这一原理可通过图5来说明。在液晶面板上显示R(右眼用)及L(左眼用)图像,通过多透镜使像素在空间成像。



像双眼视差格栅方式一样,让我们用比例式来表示。相当于在相同的比例式中增加了透镜成像的算式。设液晶面板像素与多透镜的距离为G,从多透镜的观看距离为D,再加上多透镜的f值,则可表达为:

1/D+1/G=1/f

 


适当地设计f值,就能清晰地分离图像。然而,必需考虑到液晶面板的黑色矩阵(Black Matrix)现象。液晶面板存在被称为黑色矩阵的、完全不透光的黑色区域。由于该区域同样通过多透镜成像,因此会反映到观看者的眼中。如果观看者横向移动头部,虽然有些地方图像清晰可见,但有的区域却是漆黑一片,看不到图像。

出现这种现象时,会使观看者产生不适感,因此,在配置多透镜的情况下使成像的焦点不完全重合,借此虚化黑色区域的应用实例相当多。此外,近年来还开发出了不将多透镜垂直于像素配置,而是采用略微倾斜设置的方法。这种故意使像素相关的做法,可实现消除云纹的设计。

解决清晰度变差以及观看范围较窄的问题

下面介绍一个双眼显示技术的开发事例。如果观察各厂商的举措会发现,双眼显示技术的一个开发方向是重视与2维显示的兼容性。也就是保证在2维显示时清晰度不会变差。

例如,在视差格栅中设置开关功能。夏普已将此技术应用于产品中,其他厂商进行开发的例子也相当多。另外,还有一种方法是使液晶面板具有2倍的清晰度。这就是NEC液晶科技正在开发的名为HDDP构造的技术。此外,三菱电机正在开发一种在光源上设置指向性功能、以倍速顺次(Sequential)显示的技术。笔者所属的开发小组,正致力于开发一种采用阶梯格栅构造、以减轻清晰度变差的显示方法。在采取清晰度变差对策的同时,还有试图解决只能观看正前方影像的这一观看范围狭窄难题的技术。例如,通过检测观看者的位置来控制显示器的方法。三洋电机以及德国SeeReal Technologies等厂商一直在进行这方面的开发。

通过像素分割以及背照灯的指向性实现高画质

接下来让我们仔细分析上述所说的各种相关技术。首先是NEC液晶科技开发的HDDP构造。HDDP是Horizontally Double-Density Pixels的缩写。普通像素为正方形,相对于正方形,RGB采用纵向条状构造。而HDDP构造的特点是,RGB采用横向条状构造(图6)。另外,为了立体显示用,还要将横条进行分割,分配给右眼用像素及左眼用像素。横向上具有2倍的像素密度。显示普通2维图像时,向右眼用像素及左眼用像素输入相同的图像数据,进行立体显示时,则分别输入右眼用图像及左眼用图像。左右各自的图像采用多透镜进行左右分离,从而使人能够得到立体视觉



下面介绍三菱电机开发的扫描式背光板。其特点在于使得背照灯具有了指向性。背照灯的导光板配备了右眼用LED及左眼用LED。当右眼用LED发光时,通过棱镜片(Prism Sheet)控制光的指向性,使其只能被观看者的右眼看到(图7)。相反,当左眼用LED发光时,通过棱镜片使光分离到与上述不同的方向,使其只能被左眼看到。如果像这样使背照灯的亮灯动作交互地高速进行切换,并且与此同步地在液晶面板是显示相应图像,则可实现立体视觉。要想清晰地进行显示,则必需以2倍速显示影像。这样做虽然技术难度会提高,但画质则完全不会变差。(未完待续,特约作者:滨岸 五郎,索尼移动显示公司开发部)



 


以方格状配置格栅,借此提高清晰度

接下来,来看看笔者研发的阶梯格栅构造。一般的条状格栅由纵向的条带(Stripe)排列而成。图8中的白线四方形所围绕的部分构成1个像素的RGB。一般情况下,表示像素的四方形的横向宽度是纵向长度的2倍。也就是说,水平清晰度为1/2。



与此不同,阶梯格栅构造是以方格状配置格栅。相对于R和B,G使用旁边或者下方的格栅,1个像素形成1个三角形(图8中的白色虚线)。图像变差现象在水平及垂直方向上均匀分布。也可以说,在水平及垂直方向上画质变差到原来的1/√2 。相对而言,画质变差的程度较小。

人眼对水平方向的清晰度非常敏感,而对垂直方向清晰度变差则不敏感。也就是说,保持水平清晰度能使画质看上去更清晰。从图8中的白色三角形可以看出,纵向长度为横向的2倍。换言之,就是使清晰度在水平方向上不变差,在垂直方向上变差1/2。

我们近期经常进行2维显示模式、3维显示模式、以及混合模式(在显示2维图像的同时,局部显示3维图像),其清晰度变差现象几乎观察不到。实际上,2维图像的清晰度的确变差了,但通过人眼观看,几乎看不出变差。如果是文字显示,观看者会发现若干斜线,但在显示图像时则没有这些问题。由于可在2维图像中局部性地显示3维图像,因此我们认为这种技术很容易推广到多种应用领域。

检测观看者头部位置,切换左右影像

让我们来看看与清晰度变差对策同时进行开发的、针对观看范围狭窄问题实施的对策。为了解决观看范围狭窄问题,主要有两个研究方向。一个是头部跟踪系统,另一个是近年来流行的多视点方式及全景方式。

头部跟踪系统的最大特点是,可检测到观看者的位置,并使显示器进行跟踪。其他的特点包括:视点数方面既可实现双眼、也可实现多视点,可将清晰度变差的程度控制在最小限度,如果对构造进行优化,原理上可支持一名到多名观看者。这种方式,由于必需使显示系统运动,因此,系统会变得复杂。

而多视点方式及全景方式则具有可再现运动视差的特点。另外,还具备可供多人同时观看的特点。当采用1枚显示器面板时,由于只需在面板上放置格栅或者多透镜即可实现立体视觉显示,因此,显示器构造非常简单。然而必需注意的是,如果增加视点数,虽然观看范围会扩大,但相应地清晰度会变差。

如果将头部跟踪系统与多视点方式及全景方式进行对比,注重画质时,头部跟踪系统更占优势。尽管如此,目前开发头部跟踪系统的厂商几乎没有。笔者个人认为,无论从哪个角度看都具有较高画质的3维显示器是最终目标,所以可提高画质的头部跟踪方法应受到更多的关注。

要想在头部跟踪系统上取得发展,传感技术不可或缺。目前,传感技术的进步显著,在数码相机上检测人物的脸部已轻而易举。所以在推进头部跟踪系统开发的过程中,这会起到非常有利的作用。

通过左右影像及格栅的移动扩大观看范围

作为头部跟踪系统的开发事例,下面介绍三洋电机采取的做法。三洋电机早就开发出了名为分割转换格栅(Shift Barrier)方式的头部跟踪系统。该系统呈阶段性地不断发展,到1997年该公司又开发出了可在观看者移动时移动左右(LR)图像的技术,1999年开发出了移动格栅的技术。通过这些举措,可以说成功地在横向上使观看范围大幅扩大。2001年发展出了分割控制技术,在前后方向上也扩大了观看范围。下面加以详细介绍。

首先,是1997年开发出来的LR图像切换技术(图9)。例如,当观看者向左移动了相当于其眼间距离的65mm时,此人最初看到的右眼用图像及左眼用图像会发生互换。这种状态称为“逆视”,此时无法产生立体视觉。该问题的对策非常简单,只需切换LR图像即可。笔者研制的头部跟踪系统就采用了这种方法。



 


当时开发的显示器具备横长型传感器,通过检测人的头部位置来显示与其位置相吻合的影像。位置检测的精度相当高,笔者曾将试制机带到日本九州大学供其用于手术。得到的评价是,在时间非常长的手术中,无需戴眼镜就能看清手术的状况。

1999年,我们开发出了当观看者的位置发生横向偏移时、可横向移动格栅位置的转换格栅技术(图10)。当移动了65mm时只需切换图像即可,但如果只移动该距离的一半、例如32.5mm时,会发生什么情况?会发生观看者的右眼同时看到右眼图像和左眼图像的串扰现象。左眼也会出现相同的串扰状态。在这种情况下,只需略微移动格栅,串扰状态就能恢复到正常状态,从而实现立体视觉。



这一过程的简单图解为图11所示。如果图11中立体视觉区的菱形位于观看者的两眼中央,则为正视区,可实现立体视觉。该菱形的旁边有逆视区。正视区与逆视区之间就是串扰区。在转换格栅方式下,为了改善这种串扰现象,通过移动格栅来移动可观看范围。然而,仅仅移动格栅的话,有可能进入逆视区,因此,LR图像的显示位置也要进行调整。这样一来,即使进行横向移动,也能在几乎任何位置实现立体视觉。



1999年试制的3维显示器中配备的传感器方面,我们决定通过CCD摄像头来检测观看者的位置。遗憾的是,当时由于检测精度还很低,我们让观看者在头部中央贴了一个反射板。是从显示器中配备的LED发出红外线,根据反射板所反射的光来检测头部位置的。(未完待续,特约作者:滨岸 五郎,索尼移动显示公司开发部)



点赞

深圳市中电网络技术有限公司 Copyright© www.52solution.com 粤ICP备10202284号