裸眼3D：起步于双眼显示，挑战高画质大范围观看（下）

中心议题：
    *  针对双眼显示的裸眼3D技术
解决方案：
    *  头部跟踪扩大观看者前后范围技术
    *  多眼显示扩大观看范围技术

上篇在阐述裸眼式三维显示器的概要的同时，介绍了对公认为裸眼式的课题、即三维显示时的画质下降问题进行改善的方法，以及对能够看到立体图像的范围进行扩大的方法。此次将继续就扩大观看范围，介绍一下通过头部跟踪扩大观看者前后范围的技术，以及通过多眼显示扩大观看范围的技术。

首先来看一下向前后方向扩大观看范围的方法。观看三维显示器的最佳距离（适看距离）是由能够看见右眼图像的区域和能够看见左眼图像的区域，以65mm的左、右眼间距进行交替显示形成的（图1（a ））。顺便提一句，左、右眼之间正好是串扰区域，可看到重叠图像。



那么，当观看者从适于观看的位置向后移动时，又会观看到怎样的图像呢？结果如图1（b）所示，看到的是右眼用和左眼用图像呈条纹状排列的图像。比如，右眼看到的是左眼用图像的一部分、串扰图像、右眼用图像、串扰图像及左眼用图像呈条纹状排列的图像。左眼也如此，是右眼用图像的一部分、串扰图像、左眼用图像、串扰图像及右眼用图像。如果是这种图像的话，观看者就无法看到立体的图像。

将屏幕分割成16份，并实现光栅移动

为了解决这一问题，采用的办法是将视差光栅（图像分割器）分割成16份，并使视差光栅能够在各区域自由移动（图2）。液晶面板也同样分割成16个区域，并能在各个区域对右眼图像和左眼图像进行优化。通过移动视差光栅，可使串扰最明显的区域实现移动。这样一来，便可改善右眼或左眼看到的屏幕内的串扰区域。







如图3所示，对眼中看到的图像示例进行分析便可发现，右眼存在先看到串扰图像，再依次看到右眼用图像、串扰图像及少许左眼用图像的状态。图3中右眼和左眼内的虚线表示右眼用图像或左眼用图像的中心位置。在该部位，液晶点阵和光栅开口的位置关系处于最理想状态，也就是能够正常看到图像的区域。串扰图像的中心（串扰最明显的位置）相对于观看者的眼睛，在液晶点阵的边界位置上存在光栅开口。如果将该区域的光栅移动1/4间距，串扰图像的中心就会变为右眼用图像或左眼用图像的中心。

在前后方向上将观看范围扩大3倍

这种方法被称为“分割移动光栅方式”，并于2001年发表。图4是假设在距离适看位置稍远的地方进行观看时，只使串扰图像附近的光栅移动后所发生的情况。图4中的①区域只进行了光栅移动，②区域没有进行任何控制，③区域分别使光栅以及右眼用图像和左眼用图像进行了移动。这样一来，右眼用图像只能右眼看到，左眼用图像只能左眼看到。其中的关键在于，这是通过移动光栅，将光栅拿到了图像的中心，并随之优化右眼用及左眼用图像这两种手段而实现的。通过这一措施，原来为条纹状的图像就完变成了右眼用图像或左眼用图像。





对基于该分割移动光栅方式的、前后方向上的观看范围进行理论计算后显示，其区域扩大到了约3倍。不过，理论计算时，当屏幕边缘的狭窄区域出现逆视（右眼用图像被左眼看到，左眼用图像被右眼看到）现象时，就会被判定为无法正确看到，因此理论计算的范围要比实际的可观看范围窄。实际上，即使屏幕边缘存在逆视现象，人们对此也大都不在意，所以感观上的立体视觉范围更大。在本公司内部进行的实验表明，可形成立体视觉的范围原来为距离屏幕76～106cm，而新方式则扩大到了约为5倍的60～200cm。试制机为检测观看者的位置使用了4部摄像头。（未完待续，特约撰稿人：滨岸 五郎，索尼移动显示公司开发部）

通过背照灯来追踪观看者的位置

除了使视差光栅移动之外，还有利用前照灯来扩大观看范围的方法。可通过控制背照灯来扩大观看范围。其基本思路是通过移动背照灯来追随观看者的位置（图5）。采用在液晶面板与背照灯之间配置透镜的结构。下面以观看者的右眼观看右眼用图像时为例，对该方法的机制做一介绍。假设现在观看者的右眼正在观看右眼用图像。这时观看者向左方移动的话，就使发光部追随观看者的动作向右方移动。通过这一操作，能够使右眼用图像送达右眼。这就是控制背照灯扩大观看范围的基本概念。在使图像送达左、右眼的手段中，还有以时间分割方式来显示右眼用图像和左眼用图像的方式，以及使用半反射镜合成右眼用图像（或左眼用图像）的技术。要想供多人观看时，只需根据观看者的数量来控制发光部即可，可非常轻松地实现。



这种追随观看者的眼睛来移动发光部，从而总是可实现立体视觉的概念得到了德国SeeReal公司的采用。该公司通过对液晶面板的光源进行控制，实现了微小的线状发光，并通过组合使用微小透镜和微小发光部，实现了与普通液晶面板相当的薄型化。

分辨率劣化明显的多眼显示

下面介绍通过多眼显示来扩大观看范围的方法。在裸眼式三维显示器中，目前多眼显示或全景方式受到越来越多的关注。笔者等组成的研究小组也在进行多眼显示的研究，目标是实现大观看范围，并利用运动视差提高立体视觉效果。

对多眼显示进行研究时，必须要注意的是越是多眼，图像就越差现象。换句话说，增加视点数量，分辨率就会随之下降。具体而言，2视点时降至1/2，4视点时降至1/4，8视点时降至1/8。虽然分辨率变差是不可避免的问题，但通过开发能够减轻这一问题，力争达到使观看者不易察觉的程度。

多眼显示的优点在于不易出现逆视现象。2视点时，观看距离适宜且位于正前方的观看者能够充分体验到立体视觉。不过，位置稍有偏移的话就会出现逆视现象，形成逆视的概率达到50％之多。而4视点时，液晶面板的像素中有1、2、3、4四个图像按照各个像素交替显示（图6）。在液晶面板上设置视差光栅的话，1的可见区域、2的可见区域、3的可见区域、4的可见区域就会交替延续。1和2配对为正视，2和3配对为正视，3和4配对为正视，而4和1配对时立体信息颠倒，从而造成逆视。也就是说，逆视的比例为25％。而反过来看，即使偏离了适看距离，屏幕内仍有约75％为正视区域，因此容易获得立体视觉。





通过光栅配置手段来解决分辨率下降问题

图7列出了笔者等在三洋电机开发的多眼显示方式的技术特点。原来的方式采用视差光栅、即条纹状的开口。图7（a）是通过开口观看液晶面板时的状态。该方式为4眼显示，在液晶面板上按照1、2、3、4、1、2、3、4的顺序横向依次显示视点图像。图7（a）为只观看4的像素时。白色方框圈起来的部位相当于一个三维图像的每视点的像素的大小、即立体图像的1个像素。将像素的纵向长度设定为a的话，那么横向长度就达到了4倍。由于像素的纵横比变成较差的1比4，且横向非常长，因此存在与理想的1比1相背离的问题。

如图7（a）所显示的那样，分辨率只在水平方向上降低。水平方向的分辨率降至1/4，而垂直方向的分辨率未下降。人眼对水平方向的分辨率较为敏感，因此水平方向降至1/4的话，就会给人以分辨率确实变差的感觉。



为了弥补原来的条纹光栅方式的缺点，三洋电机开发了利用阶梯光栅的方式。与条纹状不同，该方式呈阶梯状设置光栅开口（图7（b））。在1、2、3、4四个视点图像中，从4的视点来看一下阶梯光栅方式的特点。RGB在纵向上错开配置，由RGB构成的像素的尺寸在纵向上变为3倍。而横向上以RGBR为一个像素，长度变为4a/3。图像纵横比为9比4。

9比4的比例与原来方式的4比1相比更接近1比1的比例，从而改善了分辨率下降的比重。水平方向降至3/4，垂直方向降至1/3，说起来还是垂直方向的降低程度较大，但水平方向却控制在了3/4，因此就图像而言是适当可行的手段。

利用该阶梯光栅方式，笔者等于2002年开发出了使用22英寸QUXGA-W级900万像素高分辨率液晶面板的7视点型三维显示器。之后又于2003年开发出了40英寸WXGA级的、可在二维与三维间切换的4视点型三维显示器。（未完待续，特约撰稿人：滨岸 五郎，索尼移动显示公司开发部）

通过将视点图像宽度减半来扩大正视区域

笔者等于2008年优化了多眼显示时的观看方法。该研究以如何使三维图像的分辨率与视角形成最佳关系为出发点。而最近的研究多以竭力减细光线，实现更顺畅的立体视觉为目标。虽然增加视点数量可实现顺畅的立体视觉，但也由此导致分辨率下降，很难经得起实用的考验。尽管也有一些研究在使用10块、20块的复数个面板来弥补分辨率的下降，不过从厂商的角度而言，他们更希望在尽可能利用1块面板来抑制分辨率下降的同时，确保一定的视角。笔者等在2008年尝试进行了这种优化。



图8（a）为多视点方式的观看方法示例。下面以视点图像宽度设计为通常的62～65mm时来做一分析。由于是4视点，因此显示的是1、2、3、4四个视点图像。右眼分别看到1视点、2视点、3视点的图像。左眼也一样，看到的是2视点、3视点、4视点的图像。在这种状态下，基本可形成立体图像。但进行详细分析后，问题就暴露出来了（图8（b））。

1和2的图像因具有立体的两眼视差信息，因此大体上为正视。不过，其下一区域是2和2的图像，因此看到的是二维图像。然后看到的是2和3，为立体图像，接着是3和3，又是二维图像，而其旁边是3和4，又变成了三维。这样便形成了三维与二维混合的状态。

原来公认为多视点的方式是以近65mm的视点图像宽度来设计的。长久以来，这种设计并未认识到在三维图像中还存在着两维图像。为此，笔者等对去掉可看到二维图像的区域进行了尝试。虽然这时减小光线的宽度即可，但过度减小的话，分辨率就会显著下降。2008年发表的设计在抑制分辨率下降的同时对视点宽度进行了优化。



那么，当时是怎么做的呢？具体而言，就是将视点图像宽度从原来的65mm减小到了一半、即32.5mm。也就是说，将以前的4视点增加到了2倍，变成了8视点的立体图像（图9（a ））。这时，右眼看到的是2 到6的条纹图像，左眼看到的是3到8的条纹图像。将视点宽度减小至一半后，屏幕内就变成了2与3配对、2与4配对、3与4配对……，消除了二维图像的区域，从而实现了正视（图9（b））。在该设计中，虽然偏离适看距离2倍以上时，也会像上述一样出现可看到二维图像的区域，但可以断定的是，如果在适看距离的1倍的距离之内防止产生二维图像区域的话，就足可解决问题。



2008年作为开发成果发表的显示器在2.57英寸XGA液晶面板上组合使用了双凸透镜。将视点图像宽度设定为了32.5mm的8视点。虽说是8视点，但由于面板为XGA级别，因此可确保每视点相当于QVGA的分辨率。如果是2.5英寸QVGA的话，可以说即使是10年前的手机，画质也没有问题。而且既获得了顺畅的运动视差，同时又实现了25度的视角。

8视点显示器以阶梯结构形成立体图像的像素，分辨率在纵向上降至1/3，在横向上降至3/8（图10）。使用双凸透镜而非光栅，防止了光的损失。这时，在像素排列上，横向并排1、2、3、4、5、6、7、8这8个视点图像。接着，在第二行，子像素错1格并排1、2、3、4、5、6、7、8，然后第三行再错1格并排1、2、3、4、5、6、7、8。这样，1组三维图像用像素就变成了阶梯状的区域（图10中的X）。该面板已在2009年举行的展会“Wireless Technology Park ”上通过NTT DoCoMo的展台进行展出。



还有256视点的开发案例

下面来介绍一下其他的多眼显示案例。首先是荷兰皇家飞利浦电子公司（Royal Philips Electronics）的示例。开发出了分辨率在纵、横方向均等下降的9视点面板。纵向降至1/3，横向降至1/3。该面板组合使用斜向配置的双凸透镜。

另外，如图11所示，还有东京农工大学和精工爱普生的开发案例。将普通面板形成RGB纵条纹的地方进行各1/4间距的横向错位。普通条纹在像素开口部旁边存在可看到黑矩阵的区域。使用透镜后，有时只能看到该黑色部分，会出现非常密的波纹。因此，通过进行各1/4间距的错位，在结构上防止了波纹的出现。另外还试制了视点数为16个的三维显示器。



此外，东京农工大学在展出上述技术后，又开发出了256视点的三维显示器。使用16块16视点的面板，形成了256视点。在16视点的面板前配置双凸透镜，并在双凸透镜前面设置投射透镜，向屏幕投射液晶面板的图像。观看者通过屏幕观看图像。



全景方式、60视点的开发案例

接着来看一下全景（Integral）方式。日立制作所开发的“Integral Videography”技术与原来的RGB配置不同，采用特殊的像素结构（图12（a））。在一个绿色区域内放入60个像素，在红色区域、蓝色区域内也各设置60个像素。通过在这些区域设置透镜，向60个区域分离光线，获得60个视点。


东芝开发的“Integral Imaging”，其特点在于RGB的排列。采用倾斜方向的像素排列，即使只是纵向看，也可形成RGB（图12（b））。在此设置双凸透镜的话，便可横向实现视差。由于RGB是纵向排列，因此颜色也非常均匀自然。全景方式通常在纵向上也具有视差，而东芝仅以横向的视差实现了12视点。

在空间内是像素成像，还是平行光线再现？

多眼显示方式与全景方式有何不同？

首先是思路不同。多眼显示方式通过双凸透对液晶面板内具有像素大小的区域赋予指向性（图13（a））。由于在透镜作用下成像的空间内存在只有该像素大小的区域，因此将该区域定义为视点。

而全景方式是以平行光线的再现为目标（图13（b））。不过，由于像素较大，因此在原理上很难对平行光线进行准确再现。

多眼显示方式和全景方式还存在光线采样的不同。多眼显示方式以65mm的眼间距离进行设计时，可形成如图14（a）所示的光的聚光点。而全景方式则为平行光线。由于存在部分光线未到达的区域，因此整个屏幕容易产生无法立体显示的区域（图14（b））。对两者可聚光的区域进行比较时，多眼显示方式可实现更高效的聚光。





不过，多眼显示方式在区域内容易产生光线密度差。而全景方式从任何地方看都不易产生光线密度差，容易实现均匀的光线空间。

另外，多眼显示方式和全景方式也存在共同的课题。除了上述东京农工大学与精工爱普生的开发案例之外，其他案例都容易在液晶面板与双凸透镜的干扰，或者液晶面板与视差光栅的干扰下出现波纹。为了隐藏波纹而有意使串扰生产的话，图像越是立体浮起，模糊程度就越严重。

要想对这样的三维影像是否出色进行评测，重要的是要制定对波纹、串扰以及图像的模糊进行测定的方法。这时，关键是要在相同的条件下对各种方式进行比较，确定界限及目标。为此，就需要将人体工程学的观点纳入评测范围。这样的话，今后就有望为三维显示器找到理想的方式。（特约撰稿人：滨岸 五郎，索尼移动显示公司开发部）