智能视频监控系统--开源软件MJPG_Streamer

发布时间:2015-04-11 阅读量:1268 来源: 我爱方案网 作者:

【导读】我爱方案网小编为大家介绍软件MJPG_Streamer视频监控系统,具有实时性好,远程监控,上位机简易,开发周期短,易于实现的特点。系统实现了语音报警的功能,充分利用了ARM 平台的特性,不需要设计额外的语音模块电路。

针对目前开发数字化的视频监控设备普遍成本较高、周期较长的特点,在ARM+Linux嵌入式平台,应用开源免费软件MJPG_Streamer实现视频图像的采集以及通过TCP/IP网络协议传输到上位机进行远程显示。同时提出了一种结合三帧差分算法和背景减法的目标检测算法,实现智能控制。实验结果表明,该系统能够进行实时的、远程的监控,同时能够快速对入侵目标进行语音报警。

1 引言

近年来,随着计算机技术、光电技术、数字图像处理技术、嵌入式技术和网络通信技术的不断发展,高度集成的数字化、网络化、智能化的数字视频技术已经了取代传统的模拟视频监控技术。目前,世界各国对视频监控的需求与应用不断扩大,推动着全球视频监控市场迅速的发展。根据市场调查公司IMSResearch的预测,全球视频监控市场将从2008年的115亿美元增加至2015年的377亿美元,年复合增长率达到20.4%.在这一市场中,监控摄像头、服务器、编码器以及软件是视频监控系统的主角。

本文提出一种基于ARM+Linux嵌入式平台的的智能视频监控系统,充分利用开源操作系统和开源免费软件MJPG_Streamer的特点,实现了在线实时监控。同时提出了一种目标检测算法,该算法在后台运行,实现了智能控制,能够对入侵目标进行语音报警。该监控适合针对一些特定场合的监控。

2 系统硬件平台


视频监控系统以S3C2440处理器为核心,外围器件有Flash、SDRAM、以太网卡DM9000、声卡UDA1341以及CMOS接口摄像头OV9650,在Linux环境下对摄像头采集到的原始图像帧进行处理以及压缩,通过网络协议传输到PC上位机进行显示。系统硬件平台结构如图1所示。

智能视频监控系统--开源软件MJPG_Streamer

图 1

3 构建ARM+Liunx嵌入式平台

在系统硬件平台上构建嵌入式Liunx系统,需要引导程序BootLoader和Linux源码,本系统需要移植bootloader源码,然后用Jtag接口将其烧写到Flash中,从Flash中启动,引导在PC机上交叉编译后的Linux镜像及根文件系统,之后启动Linux系统。

3.1 网卡和声卡驱动移植

由于在Linux内核中提供了以太网卡DM9000设备驱动功能层主要的数据结构和函数,所以在实际移植网络设备驱动程序时,要完成的工作就是根据实际以太网卡DM9000参数修改相应的内核代码。同样,在Linux内核源码中的标准音频编程模型已经包含一套完整的内核驱动程序模块,为各种各样的声卡提供了统一并且简单易用的编程接口,如open()、read()、ioctl(()等函数,所以在声卡UDA1341移植过程中对内核源码做简单修改即可。

3.2 语音播放功能的实现


完成了声卡驱动移植后,为了方便对音频文件的播放,停止等操作进行控制,还需要移植专业的高精度解码器Madplay.Madplay是一个根据MAD算法写的MP3播放器,解码效果相当出色,而且支持命令行,特别适合于在嵌入式系统使用。移植过程中分别编译zlib库、libid3tag库和libmad库,最后编译madplay源码并且把编译出来的madplay下载到系统中即可,之后就可以对录制好的音频文件进行播放。

嵌入式平台构建完成后,先后用命令ifcongfig和madplay进行网卡和语音模块测试,从图2可以看出Linux系统启动成功,网卡和声卡驱动配置成功了,并且可以使用Madplay播放器播放录制的音频文件。

智能视频监控系统--开源软件MJPG_Streamer

智能视频监控系统--开源软件MJPG_Streamer

图3

 

4 MJPG_Streamer功能的实现


MJPG_Streamer是一款免费的视频流服务器软件,采用的是V4L2视频设备开发框架,它能够将从摄像头采集到的图像以JPEG格式通过TCP/IP网络协议传输到上位机进行显示。

4.1 MJPG_Streamer移植


在MJPG_Streamer源码目录中,把所有Makefile文件的CC=gcc改为CC=arm-linux-gcc,然后进行编译,生成的主要组件及功能如下:

input_uvc.so组件:主要完成了摄像头图像的抓取,同时将原始YUV 格式图像转换和压缩为JPEG格式图像。

input_control.so组件:主要完成对支持调整方向摄像头的转动方向的控制。例如云台控制器,云台控制是为了实现多角度监控的功能。

output_http.so组件:这是一个功能完整的WEB服务器,它将压缩后的JPEG 图像以HTTP视频数据服务流形式输出。

output_file.so组件:这个组件的功能是将压缩后的JPEG图像存储到特定的文件夹下,用来抓拍和存储网络摄像机监控中的静态图像。

4.2 目标检测算法的研究

基于帧间差分法对光照变化干扰不敏感,提取前景目标容易产生“空洞”的现象,而背景减法对光照变化较敏感的现象,本文提出了一种结合三帧差分算法和背景减法的目标检测算法。经过与目前常用的算法相比,例如混合高斯模型和改进的混合高斯模型,本文的算法不仅降低了运算的复杂度,适合在ARM 平台运行,同时又可以达到准确检测的效果。算法实现流程如下:

(1)建立背景模型,提取前景目标先把采集到的彩色图像利用式(1)转为灰度图,取前n帧图像,对每个位置像素的像素值求均值作为背景像素,表示为式(2)。利用当前帧减去背景帧得到包含前景的图像,根据阈值Th对图像进行二值化处理得到T(x,y),如式(3)、(4)所示。

智能视频监控系统--开源软件MJPG_Streamer

式中,Th代表阈值,T(x,y)代表二值化后图像。

考虑到摄像头固定,背景像素灰度值变化比较缓慢,而前景目标像素灰度值变化相对较快。为了让背景模型适应光照缓慢的变化,需要对背景模型进行实时更新。其中a为背景更新率,取值范围是(0,1)。

Bn+1(x,y)=(1-a)Bn(x,y)+apn(x,y) (5)在差分图像S(x,y)中大量存在的是具有较高灰度值的前景像素和具有较低灰度值的背景像素。

所以,提出一种阈值根据当前差分帧S(x,y)自动更新的方法。

求出当前差分帧S(x,y)图像灰度的最大值和最小值,求得二者均值T.利用均值将图像分为目标和背景两部分,利用式(6)求出两部分均值k1和k2,最后由式(7)得到阈值Th。

智能视频监控系统--开源软件MJPG_Streamer

(2)利用三帧差分算法提取目标选取连续三帧图像Dk-1(x,y),Dk(x,y)和Dk+1(x,y),进行两两差分得到D1(x,y)和D2(x,y),二值化处理后,二者进行与运算,提取前景目标。

(3)前景目标融合将背景减法的前景图像T(x,y)和三帧差分算法得到图像D(x,y)进行或运算,该运算利用了背景减法的优点,避免了单独利用三帧差法带来的空洞现象。同时发挥三帧差法对动态背景变化适应性强的特点。

智能视频监控系统--开源软件MJPG_Streamer

(4)前景目标形态学处理由于融合后的图像Q(x,y)中存在着噪声点和一些空洞,有必要对图像进行中值滤波,然后交替的应用开运算和闭运算,起到既去毛刺又填充的双滤波目的。

根据本文的算法,采用静止的摄像头采集视频序列。图3所示为在Visual C++2005平台上的仿真结果。根据结果可得,本文算法能完整的提取运动目标,有效的消除空洞,检测结果准确。此时系统可以快速的检测到入侵物体,同时用Madplay播放录制好的音频文件进行语音报警。智能监控实现流程如图4所示。

智能视频监控系统--开源软件MJPG_Streamer

图4    智能监控实现流程

4.3监控平台测试


在Linux平台输入以下命令,启动监控系统。在PC上位可以通过MJPG_Streamer软件自带的图形界面进行显示,也可以通过网页浏览器进行页面显示。经试验,当有物体进入场景时,能够快速的进行语音报警。当平台测试完毕后,把MJPG_Streamer设置为在Linux启动后自动运行。见图5。

智能视频监控系统--开源软件MJPG_Streamer

系统的目标检测功能已完成,下一个研究方向是利用软件MJPG_Streamer对云台控制的支持,实现模式识别和跟踪算法,使系统的功能更强大,应用范围更广。

相关文章

智能安防节能型视频监控终端的设计方案

机车视频监控系统的设计与实现方案

应用于智能无线视频监控系统的WiMAX设计方案
相关资讯
华虹半导体2025年Q1业绩解析:逆势增长背后的挑战与破局之路

2025年第一季度,华虹半导体(港股代码:01347)实现销售收入5.409亿美元,同比增长17.6%,环比微增0.3%,符合市场预期。这一增长得益于消费电子、工业控制及汽车电子领域需求的复苏,以及公司产能利用率的持续满载(102.7%)。然而,盈利能力显著下滑,母公司拥有人应占溢利仅为380万美元,同比锐减88.05%,环比虽扭亏为盈,但仍处于低位。毛利率为9.2%,同比提升2.8个百分点,但环比下降2.2个百分点,反映出成本压力与市场竞争的加剧。

边缘计算新引擎:瑞芯微RV1126B四大核心技术深度解析

2025年5月8日,瑞芯微电子正式宣布新一代AI视觉芯片RV1126B通过量产测试并开启批量供货。作为瑞芯微在边缘计算领域的重要布局,RV1126B凭借3T算力、定制化AI-ISP架构及硬件级安全体系,重新定义了AI视觉芯片的性能边界,推动智能终端从“感知”向“认知”跃迁。

半导体IP巨头Arm:季度营收破12亿,AI生态布局能否撑起估值泡沫?

2025财年第四季度,Arm营收同比增长34%至12.4亿美元,首次突破单季10亿美元大关,超出分析师预期。调整后净利润达5.84亿美元,同比增长55%,主要得益于Armv9架构芯片在智能手机和数据中心的渗透率提升,以及计算子系统(CSS)的强劲需求。全年营收首次突破40亿美元,其中专利费收入21.68亿美元,授权收入18.39亿美元,均刷新历史纪录。

Arrow Lake的突破:混合架构与先进封装的协同进化

2024年10月,英特尔正式发布Arrow Lake架构的酷睿Ultra 200系列处理器,标志着其在桌面计算领域迈入模块化设计的新阶段。作为首款全面采用Chiplet(芯粒)技术的桌面处理器,Arrow Lake不仅通过多工艺融合实现了性能与能效的优化,更以创新的混合核心布局和缓存架构重新定义了处理器的设计范式。本文将深入解析Arrow Lake的技术突破、性能表现及其对行业的影响。

暗光性能提升29%:深度解析思特威新一代AI眼镜视觉方案

2025年5月8日,思特威(股票代码:688213)正式发布专为AI眼镜设计的1200万像素CMOS图像传感器SC1200IOT。该产品基于SmartClarity®-3技术平台,集成SFCPixel®专利技术,以小型化封装、低功耗设计及卓越暗光性能,推动AI眼镜在轻量化与影像能力上的双重突破。公司发言人表示:"AI眼镜的快速迭代正倒逼传感器技术升级,需在尺寸、功耗与画质间实现平衡,这正是SC1200IOT的核心价值所在。"