基于FPGA的数字视频转换接口的设计与实现

发布时间:2014-09-28 阅读量:1058 来源: 我爱方案网 作者:

【导读】本文从实际应用的角度出发,采用FPGA作为主控芯片,设计了一款数字视频接口转换设备,该设备针对于MT9M111这款数字图像传感器产生的ITU-R BT.656格式数据进行采集、色彩空间变换、分辨率转换等操作。

整体方案设计


现实景物的采集与显示过程如图1所示。图像传感器MT9M111采集到现实景物后,将生成的ITU-R BT.656数据流由ITU数据输出端口发送给视频转换接口。视频转换接口将ITU数据输入端口送来的ITU-R BT.656数据流转换成TMDS数据流发送,通过DVI-I端口发送给显示终端显示。本设计方案中,MT9M111输出图像的分辨率为1280×960。


图1 系统采集与显示过程

在现实景物的采集与显示过程中,视频转换接口功能的实现通过以下步骤来完成:

1) 对收到的ITU-R BT.ITU656数据流解交织;

2) 对解交织后的数据流进行色彩空间转换;

3) 将转换后的每个像素的RGB值写入存储器中;

4) 从存储器中读出像素的RGB值,并将其转换成TMDS码元序列;

5) 从存储器中读出像素的RGB值,并将其转换成VGA模拟信号值。

硬件构架设计


系统的硬件构架框图如图2所示。图像传感器输出的ITU信号(包括YCbCr数据流、行场同步信号和像素时钟)经ITU输入接口送入FPGA主控芯片。FPGA主控芯片对ITU信号进行解交织和色彩空间转换,再将转换后的每个像素的RGB值写入SDRAM存储器。再由FPGA主控芯片按照输出分辨率的要求从SDRAM存储器中读出像素的RGB值,并按照VGA的时序标准,将像素的RGB值发送给TMDS发送芯片和D/A芯片,由TMDS发送芯片提供视频数据的数字通道,由D/A芯片提供视频数据的模拟通道,共同汇集到DVI-I输出接口,传送到数字显示器或模拟显示器上显示。


图2 硬件构架框图

输出图像的分辨率要求FPGA与TMDS发送芯片之间传送数据的带宽在100M(像素/秒)以上,因此要求FPGA的速度足够快。同时由于FPGA与外围器件之间的互联比较多,因此要求FPGA的引脚数足够多。同时由于晶振提供的时钟频率为50MHz,满足不了100M以上的传输速度,因此需要FPGA内部带有锁相环。另外,为了实现系统脱机工作,要求FPGA支持配置芯片。最后,考虑到系统占用的面积和以后版本的升级,要求FPGA的内部资源尽量丰富。为此,系统最终选用了Altera公司Cyclone系列FPGA。

考虑到视频数据的存储和显示是同时进行的,而SDRAM存储器是单端口器件,数据的写入和读出不能同时进行,故需要两块SDRAM同时进行乒乓操作来完成数据的连续读写。最终选用了MICron公司的型号为MT48LC2M32B2TG-6的SDRAM存储器;TMDS发送芯片选用的是Silicon Image公司的SiI164CT64型号。由于输出图像的分辨率要求FPGA与TMDS发送芯片之间传送数据的带宽在100M以上,这一数据流同时又要送入D/A芯片完成数模转换,因此要求D/A芯片的转换速率在100MHz以上。同时由于R、G、B的数据宽度都为8位,因此需要选用专用的图像D/A芯片,它需要具有R、G、B三路数据通道,每路的宽度至少为8位。根据以上要求,系统最终选定CSEMIC公司的CSV7123型号的图像D/A芯片。

FPGA功能设计


FPGA作为系统的主控芯片,是软件设计的核心。根据整体方案的设计思路,FPGA主控芯片的工作过程为:首先接收由图像传感器送来的ITU-R BT.656格式的视频数据流,经过解交织操作,将像素数据流中交织在一起的串行YCbCr值解成独立的并行YCbCr值。然后对解交织的YCbCr值进行色彩空间转换,转换成对应的RGB值。接着将此RGB值存入一块SDRAM存储器。与此同时,从另一块SDRAM存储器中读出像素的RGB值,并发送给TMDS发送芯片和D/A芯片,经过数字通道和模拟通道后,传送到DVI显示器或VGA显示器上显示。根据FPGA主控芯片的工作过程,设计的软件功能框图如图3所示。


图3 软件功能框图

 图3中FPGA内部的工作时钟有两个,以图中的虚线为界,虚线左侧部分使用的时钟为图像传感器的54MHz像素时钟;虚线右侧使用的时钟是经过锁相环将晶振的50MHz时钟倍频成108MHz以后的时钟,其中108MHz的时钟是由输出图像的分辨率所决定的。两个时钟域通过异步FIFO相连。整个系统共分成6个模块:解交织模块、YCbCr转RGB模块、异步FIFO模块、乒乓操作模块、SDRAM控制器模块和VGA发送模块。此外,系统还可实现图像静止、系统待机、模式选择等功能。

图像显示效果


图4是输出图像分辨率为1280×960模式下的显示效果,图中显示器检测到的视频图像分辨率为1280×960


图4 1280×960模式下的显示效果
本文讲解了基于FPGA的数字视频转换接口的设计与实现 ,完成了从ITU-R BT.656格式数据到DVI格式数据的转换,使得MT9M111数字图像传感器的BT656数据格式图像能够以1280×960(60Hz)和1280×1024(60Hz)两种显示格式在DVI-I接口的显示器上显示,并且还具有图像静止功能,在系统空闲时的待机状态实现了整机的低功耗,适用于使用移动设备的工业现场。

相关文章

基于多域视频联网监控解决方案


使用NI VideoMASTER和PXI创建无线HDMI MIMO数字视频测试系统

CEVA数字视频稳定器降低手持设备视频捕捉抖
相关资讯
红外传感器的选型要素与应用场景解析

红外传感器是一种利用红外线进行检测的电子设备,广泛应用于工业自动化,安防监控,智能家居,医疗设备等领域

DigiKey发布《机器人技术探秘》系列:联合Eaton与SICK深入探索机器人自动化新纪元

随着全球制造业迈向集成化与数字化,独立机器人单元正逐渐融入更广泛的自动化系统。DigiKey 本季发布的《机器人技术探秘》的第 5 季《未来工厂》视频系列,联合行业领先企业 Eaton 和 SICK,系统解析了从电气控制、传感技术到数据互联等多个层面的前沿解决方案。新一季邀请了多名专家,一起探讨支撑现代机器人制造与自动化的基础设施与创新技术。

SEMI-e 2025深圳半导体展9月启幕!全产业链覆盖,超千家龙头集结

SEMI-e深圳国际半导体展暨2025集成电路产业创新展将于2025年9月10日至12日在深圳国际会展中心(宝安新馆)隆重开幕。本届展会由CIOE中国光博会与集成电路创新联盟联合主办,中新材会展与爱集微共同承办,以“IC设计与应用”、“IC制造与供应链”及“化合物半导体”为核心主题,系统覆盖集成电路全产业链环节。

超11万人次观展,5723名海外买家到场!IOTE 2025深圳物联网展圆满落幕​

​在AIoT技术加速赋能全球数字化转型、中国持续引领物联网产业创新的大背景下,IOTE 2025第24届国际物联网展·深圳站于8月29日在深圳会展中心(宝安新馆)圆满落幕。本届展会以“生态智能·物联全球”为主题,联合AGIC人工智能展与ISVE智慧商显展,汇聚1001家产业链企业,覆盖8万平方米展区,三日内吸引观众超11万人次,其中海外专业买家达5723人,来自30多个国家和地区,充分彰显了展会的国际影响力与行业凝聚力。