『壹』 运动目标检测——光流法与opencv代码实现
运动目标的检测的其主要目的是 获取目标对象的运动参数(位置、速度、加速度等)及运动轨迹 ,通过进一步分析处理,实现对目标行为更高层级上的理解。
运动目标检测技术目的是 从序列图像中将变化区域从背景图像中提取出来 ,常用于视频监视、图像压缩、三维重构、异常检测等。
运动目标检测主流方法有帧差法、背景差法、光流法等。光流法源于 仿生学 思想,更贴近于直觉,大量昆虫的视觉机理便是基于光流法。
二十世纪五十年代心理学家Gibson在他的著作“The Perception of Visual World”中首次提出了以心理学实验为基础的光流法基本概念,而直到八十年代才由Horn、Kanade、Lucash和Schunck创造性地将灰度与二维速度场相联系,引入光流约束方程的算法,对光流计算做了奠基性的工作。
光流(optical flow):由于目标对象或者摄像机的移动造成的图像对象在连续两帧图像中的移动。
小球在连续五帧运动构成的光流 小球在连续五帧运动构成的光流通俗说,对于一个图片序列,把每张图像每个像素在连续帧之间的运动速度和方向( 某像素点在连续两帧上的位移矢量 )找出来就是光流场。
第t帧的时A点的位置是(x1, y1),第t+1帧时A点位置是(x2,y2),则像素点A的位移矢量:(ux, vy) = (x2, y2) - (x1,y1)
如何知道第t+1帧的时候A点的位置涉及到不同的光流计算方法,主要有四种:基于梯度的方法、基于匹配的方法、基于能量的方法、基于相位的方法。
光流法依赖于三个假设:
根据所形成的光流场中 二维矢量的疏密程度 ,光流法可分为稠密光流与稀疏光流。
基于区域匹配生成的稠密光流场 基于区域匹配生成的稠密光流场 稀疏光流只对有 明显特征的组点 (如角点)进行跟踪,计算开销小。
http://www.opencv.org.cn/opencvdoc/2.3.2/html/moles/video/doc/motion_analysis_and_object_tracking.html#calcopticalflowfarneback
(1)calcOpticalFlowPyrLK
基于金字塔LK光流算法,计算某些点集的稀疏光流。
参考论文《Pyramidal Implementation of the Lucas Kanade Feature TrackerDescription of the algorithm》
(2)calcOpticalFlowFarneback
基于Gunnar Farneback 的算法计算稠密光流。
参考论文《Two-Frame Motion Estimation Based on PolynomialExpansion》
(3)CalcOpticalFlowBM
通过块匹配的方法来计算光流
(4)CalcOpticalFlowHS
基于Horn-Schunck 的算法计算稠密光流。
参考论文《Determining Optical Flow》
(5)calcOpticalFlowSF
论文《SimpleFlow: A Non-iterative, Sublinear Optical FlowAlgo》的实现
『贰』 无人机摄影测量相关数据处理软件有哪些要求得到真正射影像的,
目前,国内绝大多数无人机摄影测量系统基本都是通过引进国外数据处理引擎二次开发的,不具有自主产权,功能受限。
SmartDPS是由河海大学遥感与空间信息工程研究所底层研发、具有全自主产权的无人机智能化摄影测量系统。系统研发成功解决了无序自由影像智能化空中三角测量、基于GPU并行计算的影像特征提取与特征匹配、无人机影像密集匹配、数字正射影像(DOM)快拼、超大规模稀疏矩阵高效解算等关键技术问题,具有普通数码相机高精度标定、影像全自动定向、光束法空三高效平差、影像稠密匹配、三维点云与DEM自动生成、DOM快速纠正与镶嵌、等高线自动生成、数字化测图等完整功能。系统主要技术优势有:
(1)算法稳定、可靠,对无人机摄影条件要求低,可处理无序自由无人机影像,且无需惯导POS数据支持,适合各种型号无人机;
(2)算法性能卓越,对计算机硬件配置要求低,在普通电脑上即可高效处理;
(3)基于GPU/CPU和多线程技术,运行高效、稳定,可在3小时内处理1000张以上影像;
(4)具有超大规模矩阵高效解算能力,不受影像数量限制,具有海量无人机影像数据处理能力;
(5)影像匹配算法具有鲁棒性,可快速获得稠密、均匀、精确的三维点云;
(6)具有强大的三维可视化数字测图功能,数字线划图(DLG)生产效率高;
(7)自动化程度高,一键操作;同时具备较强的人机交互功能;
(8)无控制点依赖,可实现无控制点的拍摄目标三维精细重建。