『壹』 運動目標檢測——光流法與opencv代碼實現
運動目標的檢測的其主要目的是 獲取目標對象的運動參數(位置、速度、加速度等)及運動軌跡 ,通過進一步分析處理,實現對目標行為更高層級上的理解。
運動目標檢測技術目的是 從序列圖像中將變化區域從背景圖像中提取出來 ,常用於視頻監視、圖像壓縮、三維重構、異常檢測等。
運動目標檢測主流方法有幀差法、背景差法、光流法等。光流法源於 仿生學 思想,更貼近於直覺,大量昆蟲的視覺機理便是基於光流法。
二十世紀五十年代心理學家Gibson在他的著作「The Perception of Visual World」中首次提出了以心理學實驗為基礎的光流法基本概念,而直到八十年代才由Horn、Kanade、Lucash和Schunck創造性地將灰度與二維速度場相聯系,引入光流約束方程的演算法,對光流計算做了奠基性的工作。
光流(optical flow):由於目標對象或者攝像機的移動造成的圖像對象在連續兩幀圖像中的移動。
小球在連續五幀運動構成的光流 小球在連續五幀運動構成的光流通俗說,對於一個圖片序列,把每張圖像每個像素在連續幀之間的運動速度和方向( 某像素點在連續兩幀上的位移矢量 )找出來就是光流場。
第t幀的時A點的位置是(x1, y1),第t+1幀時A點位置是(x2,y2),則像素點A的位移矢量:(ux, vy) = (x2, y2) - (x1,y1)
如何知道第t+1幀的時候A點的位置涉及到不同的光流計算方法,主要有四種:基於梯度的方法、基於匹配的方法、基於能量的方法、基於相位的方法。
光流法依賴於三個假設:
根據所形成的光流場中 二維矢量的疏密程度 ,光流法可分為稠密光流與稀疏光流。
基於區域匹配生成的稠密光流場 基於區域匹配生成的稠密光流場 稀疏光流只對有 明顯特徵的組點 (如角點)進行跟蹤,計算開銷小。
http://www.opencv.org.cn/opencvdoc/2.3.2/html/moles/video/doc/motion_analysis_and_object_tracking.html#calcopticalflowfarneback
(1)calcOpticalFlowPyrLK
基於金字塔LK光流演算法,計算某些點集的稀疏光流。
參考論文《Pyramidal Implementation of the Lucas Kanade Feature TrackerDescription of the algorithm》
(2)calcOpticalFlowFarneback
基於Gunnar Farneback 的演算法計算稠密光流。
參考論文《Two-Frame Motion Estimation Based on PolynomialExpansion》
(3)CalcOpticalFlowBM
通過塊匹配的方法來計算光流
(4)CalcOpticalFlowHS
基於Horn-Schunck 的演算法計算稠密光流。
參考論文《Determining Optical Flow》
(5)calcOpticalFlowSF
論文《SimpleFlow: A Non-iterative, Sublinear Optical FlowAlgo》的實現
『貳』 無人機攝影測量相關數據處理軟體有哪些要求得到真正射影像的,
目前,國內絕大多數無人機攝影測量系統基本都是通過引進國外數據處理引擎二次開發的,不具有自主產權,功能受限。
SmartDPS是由河海大學遙感與空間信息工程研究所底層研發、具有全自主產權的無人機智能化攝影測量系統。系統研發成功解決了無序自由影像智能化空中三角測量、基於GPU並行計算的影像特徵提取與特徵匹配、無人機影像密集匹配、數字正射影像(DOM)快拼、超大規模稀疏矩陣高效解算等關鍵技術問題,具有普通數碼相機高精度標定、影像全自動定向、光束法空三高效平差、影像稠密匹配、三維點雲與DEM自動生成、DOM快速糾正與鑲嵌、等高線自動生成、數字化測圖等完整功能。系統主要技術優勢有:
(1)演算法穩定、可靠,對無人機攝影條件要求低,可處理無序自由無人機影像,且無需慣導POS數據支持,適合各種型號無人機;
(2)演算法性能卓越,對計算機硬體配置要求低,在普通電腦上即可高效處理;
(3)基於GPU/CPU和多線程技術,運行高效、穩定,可在3小時內處理1000張以上影像;
(4)具有超大規模矩陣高效解算能力,不受影像數量限制,具有海量無人機影像數據處理能力;
(5)影像匹配演算法具有魯棒性,可快速獲得稠密、均勻、精確的三維點雲;
(6)具有強大的三維可視化數字測圖功能,數字線劃圖(DLG)生產效率高;
(7)自動化程度高,一鍵操作;同時具備較強的人機交互功能;
(8)無控制點依賴,可實現無控制點的拍攝目標三維精細重建。