基于Blackfin的图像处理及其性能与CMOS传感器中ISP的比较

中心议题：
        *基于Blackfin的图像处理及其性能与CMOS传感器中ISP的比较

图像是人类获取和交换信息的主要来源，因此，图像处理的应用领域必然涉及到人类生活和工作的方方面面。随着人类活动范围的不断扩大，图像处理的应用领域也将随之不断扩大。遍布航天航空、医疗设备、通信工程、军事安防、文化艺术等众多方面。近年来，随着消费类产品尤其是拍照手机、数码相机、数码摄像机等一系列数码产品的问世，这些视频设备中蕴含的图像信号处理功能也逐渐被人们所认知和关注。而伴随近年来数字电视、IP摄像机、网络摄像头以及监控摄像头这类安防产品的迅速发展，更表明市场对智能监控需求的不断增长，这也是图像信号处理技术不断丰富和完善的过程。在这些图像信号处理中，包括自动对焦、自动曝光、自动白平衡以及颜色变换、背光补偿等都是一些基本的图像处理算法。

传统的图像信号处理是通过专用的图像处理器完成的。而随着CMOS技术的不断发展，也出现了将图像信号处理（ISP）内置于CMOS图像传感器中的单芯片产品，这类传感器产品可借助其内部集成的功能模块完成一些图像信号处理的算法，包括自动曝光、自动白平衡、颜色变换等这些基本的算法。这类ASIC产品的出现曾一度颇具争议，因为虽然将ISP内置于传感器中具有降低功耗和节省占用面积的优点，但单就手机应用而言，从成本来讲，将ISP集成在传感器上的成本比ISP集成在移动多媒体处理器或基带上要高很多。随着传感器分辨率的提高，越来越多的传感器将只整合输出数字信号所必需的电路，而将图像处理及压缩等功能集成于移动多媒体处理器或基带中。而从成像质量来看，在移动多媒体处理器中集成功能强大的图像处理功能效果更佳，而且此趋势随分辨率的提高会愈加明显。所以业界一直有ISP与CMOS传感器将背离集成的趋势预言。但从近年来的CMOS传感器供应商推出的新产品线来看，这一预言未能兑现。因为我们看到，不断有一线的CMOS传感器供应商如Aptina、OmniVision推出最新的内置ISP的CMOS图像传感器单芯片产品，并在不断完善其功能、扩展其应用领域。目前已推出的这类单芯片产品除拥有包括曝光控制、伽玛校正、白平衡、色彩饱和度调节以及灰度控制等多种图像处理功能外，还可提供出色的低照度性能，在夜视环境下还具有优异的近红外响应性能，能为摄像头制造商提供更完善的自动白平衡和自动曝光功能，图像性能毫不逊色。一系列优异性能使其已由最初的拍照手机、数码相机、数码摄像机应用逐渐发展到网络摄像头、监控摄像头等新兴安防产品领域，其扩张态势仍在继续，大有星火燎原之势。

应该说在数码相机等追求小巧轻薄的消费类产品应用中，内置ISP的CMOS传感器存在一定的竞争优势，低功耗和小面积的表现以及随生产规模而不断降低的成本使其成为众多应用厂商的宠儿。在这同时我们要看到，这种内置ISP的CMOS传感器方案目前还只能完成一些不太复杂的算法，而随着智能化要求的不断提高，消费类产品，尤其是视频监控等安防产品都要求更高的视频处理功能，也就要求更复杂的算法，而复杂的算法对主芯片的处理能力提出更高的要求。如传统上许多监控摄像机基于像素分辨率为NTSC(352×240)或PAL(352×288)的准普通媒体格式(CIF)，同时在压缩格式方面主要采用了不太复杂的M-JPEG格式，从而对DSP处理性能要求不高。但是随着视频监控市场的迅速发展，人们期待更高的图像清晰度和更高的帧率。在分辨率方面，业界期待D1（704×576）或者更高的解析度；在编解码方面，则期待采用复杂的MPEG-4压缩格式。同时，随着网络互联的发展，当DVR、DVS或者IP摄像机作为网络终端时，还需要考虑如何在传输过程中占用更少的带宽，因此MPEG-4正在向压缩比更高的H.264和AVS的编码格式演进。而这些更为先进的视频信号分辨率和压缩格式则会大大提高对核心处理器中处理能力的需求。除了强大的处理能力之外，还需要处理器平台提供足够的灵活性。从目前来看，在压缩格式方面虽然H.264最受业界青睐，有望成为未来几年的的主流。但是，由于M-JPEG、H.263、MPEG4和H.264等编解码算法各有优势，再加上市场需求的多元化，这些标准将会在一段时间内共存。要使方案具有竞争力，必须对尽可能多的标准给予支持。同时，媒体处理格式和算法也在不断更新，当更为先进的算法出现时，工程师希望只需在原有解决方案基础上进行基于软件的简便的升级，而不是重新设计。同时，视频监控又有其对保密性等安全技术的特殊要求，无论是商业还是家庭应用，设备本身都存在着被非法侵入和黑客攻击的威胁，要充分保障设备的安全性对产品设计无疑是很大的挑战。在这时，内置ISP的单芯片CMOS传感器产品就显示出先天不足的缺点，因其尚不能完成如此复杂的功能，而要配备单独的图像处理器才能满足要求。ASIC虽然具有成本优势，但是在应对媒体格式、算法的改进和升级方面则具有天生的弊端，在音视频标准不断演进以及算法不断改进的视频监控市场，ASIC显得逊色很多。

在这里，传统的处理器供应商如ADI、TI、NXP等具有不可替代的竞争力。其中ADI公司专为满足当今嵌入式音视频和通信应用的计算要求及功耗约束条件而设计的新型嵌入式处理器Blackfin系列以其突出的性能表现而格外抢眼。

图像是人类获取和交换信息的主要来源，因此，图像处理的应用领域必然涉及到人类生活和工作的方方面面。随着人类活动范围的不断扩大，图像处理的应用领域也将随之不断扩大。遍布航天航空、医疗设备、通信工程、军事安防、文化艺术等众多方面。近年来，随着消费类产品尤其是拍照手机、数码相机、数码摄像机等一系列数码产品的问世，这些视频设备中蕴含的图像信号处理功能也逐渐被人们所认知和关注。而伴随近年来数字电视、IP摄像机、网络摄像头以及监控摄像头这类安防产品的迅速发展，更表明市场对智能监控需求的不断增长，这也是图像信号处理技术不断丰富和完善的过程。在这些图像信号处理中，包括自动对焦、自动曝光、自动白平衡以及颜色变换、背光补偿等都是一些基本的图像处理算法。

传统的图像信号处理是通过专用的图像处理器完成的。而随着CMOS技术的不断发展，也出现了将图像信号处理（ISP）内置于CMOS图像传感器中的单芯片产品，这类传感器产品可借助其内部集成的功能模块完成一些图像信号处理的算法，包括自动曝光、自动白平衡、颜色变换等这些基本的算法。这类ASIC产品的出现曾一度颇具争议，因为虽然将ISP内置于传感器中具有降低功耗和节省占用面积的优点，但单就手机应用而言，从成本来讲，将ISP集成在传感器上的成本比ISP集成在移动多媒体处理器或基带上要高很多。随着传感器分辨率的提高，越来越多的传感器将只整合输出数字信号所必需的电路，而将图像处理及压缩等功能集成于移动多媒体处理器或基带中。而从成像质量来看，在移动多媒体处理器中集成功能强大的图像处理功能效果更佳，而且此趋势随分辨率的提高会愈加明显。所以业界一直有ISP与CMOS传感器将背离集成的趋势预言。但从近年来的CMOS传感器供应商推出的新产品线来看，这一预言未能兑现。因为我们看到，不断有一线的CMOS传感器供应商如Aptina、OmniVision推出最新的内置ISP的CMOS图像传感器单芯片产品，并在不断完善其功能、扩展其应用领域。目前已推出的这类单芯片产品除拥有包括曝光控制、伽玛校正、白平衡、色彩饱和度调节以及灰度控制等多种图像处理功能外，还可提供出色的低照度性能，在夜视环境下还具有优异的近红外响应性能，能为摄像头制造商提供更完善的自动白平衡和自动曝光功能，图像性能毫不逊色。一系列优异性能使其已由最初的拍照手机、数码相机、数码摄像机应用逐渐发展到网络摄像头、监控摄像头等新兴安防产品领域，其扩张态势仍在继续，大有星火燎原之势。

应该说在数码相机等追求小巧轻薄的消费类产品应用中，内置ISP的CMOS传感器存在一定的竞争优势，低功耗和小面积的表现以及随生产规模而不断降低的成本使其成为众多应用厂商的宠儿。在这同时我们要看到，这种内置ISP的CMOS传感器方案目前还只能完成一些不太复杂的算法，而随着智能化要求的不断提高，消费类产品，尤其是视频监控等安防产品都要求更高的视频处理功能，也就要求更复杂的算法，而复杂的算法对主芯片的处理能力提出更高的要求。如传统上许多监控摄像机基于像素分辨率为NTSC(352×240)或PAL(352×288)的准普通媒体格式(CIF)，同时在压缩格式方面主要采用了不太复杂的M-JPEG格式，从而对DSP处理性能要求不高。但是随着视频监控市场的迅速发展，人们期待更高的图像清晰度和更高的帧率。在分辨率方面，业界期待D1（704×576）或者更高的解析度；在编解码方面，则期待采用复杂的MPEG-4压缩格式。同时，随着网络互联的发展，当DVR、DVS或者IP摄像机作为网络终端时，还需要考虑如何在传输过程中占用更少的带宽，因此MPEG-4正在向压缩比更高的H.264和AVS的编码格式演进。而这些更为先进的视频信号分辨率和压缩格式则会大大提高对核心处理器中处理能力的需求。除了强大的处理能力之外，还需要处理器平台提供足够的灵活性。从目前来看，在压缩格式方面虽然H.264最受业界青睐，有望成为未来几年的的主流。但是，由于M-JPEG、H.263、MPEG4和H.264等编解码算法各有优势，再加上市场需求的多元化，这些标准将会在一段时间内共存。要使方案具有竞争力，必须对尽可能多的标准给予支持。同时，媒体处理格式和算法也在不断更新，当更为先进的算法出现时，工程师希望只需在原有解决方案基础上进行基于软件的简便的升级，而不是重新设计。同时，视频监控又有其对保密性等安全技术的特殊要求，无论是商业还是家庭应用，设备本身都存在着被非法侵入和黑客攻击的威胁，要充分保障设备的安全性对产品设计无疑是很大的挑战。在这时，内置ISP的单芯片CMOS传感器产品就显示出先天不足的缺点，因其尚不能完成如此复杂的功能，而要配备单独的图像处理器才能满足要求。ASIC虽然具有成本优势，但是在应对媒体格式、算法的改进和升级方面则具有天生的弊端，在音视频标准不断演进以及算法不断改进的视频监控市场，ASIC显得逊色很多。

在这里，传统的处理器供应商如ADI、TI、NXP等具有不可替代的竞争力。其中ADI公司专为满足当今嵌入式音视频和通信应用的计算要求及功耗约束条件而设计的新型嵌入式处理器Blackfin系列以其突出的性能表现而格外抢眼。