A. 運動目標檢測 高斯混合模型 matlab
--------------------------------------------------------------------------
% 基於中位數演算法的運動目標檢測
% 第1種實現方法
%--------------------------------------------------------------------------
%*******************************讀取視頻數據********************************
% 調用aviread函數讀取視頻文件
vid = aviread('WalkingMan.avi')
size(vid(1).cdata) % 查看第1幀的大小，也是每一幀的大小
vid(1).colormap % 查看第1幀的colormap值
%*****************************數據類型的轉換********************************
% 把vid的cdata欄位的取值轉換成一個240×360×3×80的四維數組IM
IM = cat(4,vid.cdata);
size(IM) % 查看IM的大小
[m,n,k,h] = size(IM); % 把IM的大小賦給四個變數
% 把IM轉換成一個80行，240×360×3列的矩陣
I = reshape(IM,[m*n*k,h])';
%********************調用median函數求中位數，進行視頻圖像分割****************
I = median(I); % 求I矩陣中各列元素的中位數
I = reshape(I,[m,n,k]); % 將向量I轉成240×360×3的三維數組，得到背景圖像
figure; % 新建一個圖形窗口
imshow(I); % 顯示背景圖像
figure; % 新建一個圖形窗口
imshow(IM(:,:,:,1) - I); % 顯示第1幀中的目標圖像
%--------------------------------------------------------------------------
% 基於中位數演算法的運動目標檢測
% 第1種實現方法
%--------------------------------------------------------------------------
% 調用mmreader函數創建讀取視頻文件的多媒體閱讀對象WalkManObj
WalkManObj = mmreader('WalkingMan.avi');
% 根據多媒體閱讀對象WalkManObj，讀取視頻的各幀圖像數據
IM = read(WalkManObj, [1, inf]);
[m,n,k,h] = size(IM); % 把IM的大小賦給四個變數
% 把IM轉換成一個80行，240×360×3列的矩陣
I = reshape(IM,[m*n*k,h])';
I = median(I); % 求I矩陣中各列元素的中位數
I = reshape(I,[m,n,k]); % 將向量I轉成240×360×3的三維數組，得到背景圖像
figure; % 新建一個圖形窗口
imshow(I); % 顯示背景圖像
figure; % 新建一個圖形窗口
imshow(IM(:,:,:,1) - I); % 顯示第1幀中的目標圖像
B. 運動目標檢測——光流法與opencv代碼實現
運動目標的檢測的其主要目的是 獲取目標對象的運動參數（位置、速度、加速度等）及運動軌跡 ，通過進一步分析處理，實現對目標行為更高層級上的理解。
運動目標檢測技術目的是 從序列圖像中將變化區域從背景圖像中提取出來 ，常用於視頻監視、圖像壓縮、三維重構、異常檢測等。
運動目標檢測主流方法有幀差法、背景差法、光流法等。光流法源於 仿生學 思想，更貼近於直覺，大量昆蟲的視覺機理便是基於光流法。
二十世紀五十年代心理學家Gibson在他的著作「The Perception of Visual World」中首次提出了以心理學實驗為基礎的光流法基本概念，而直到八十年代才由Horn、Kanade、Lucash和Schunck創造性地將灰度與二維速度場相聯系，引入光流約束方程的演算法，對光流計算做了奠基性的工作。
光流（optical flow）：由於目標對象或者攝像機的移動造成的圖像對象在連續兩幀圖像中的移動。
小球在連續五幀運動構成的光流 小球在連續五幀運動構成的光流通俗說，對於一個圖片序列，把每張圖像每個像素在連續幀之間的運動速度和方向（ 某像素點在連續兩幀上的位移矢量 ）找出來就是光流場。
第t幀的時A點的位置是(x1, y1)，第t+1幀時A點位置是(x2,y2)，則像素點A的位移矢量：(ux, vy) = (x2, y2) - (x1,y1)
如何知道第t+1幀的時候A點的位置涉及到不同的光流計算方法，主要有四種：基於梯度的方法、基於匹配的方法、基於能量的方法、基於相位的方法。
光流法依賴於三個假設：
根據所形成的光流場中 二維矢量的疏密程度 ，光流法可分為稠密光流與稀疏光流。
基於區域匹配生成的稠密光流場 基於區域匹配生成的稠密光流場 稀疏光流只對有 明顯特徵的組點 （如角點）進行跟蹤，計算開銷小。
http://www.opencv.org.cn/opencvdoc/2.3.2/html/moles/video/doc/motion_analysis_and_object_tracking.html#calcopticalflowfarneback
（1）calcOpticalFlowPyrLK
基於金字塔LK光流演算法，計算某些點集的稀疏光流。
參考論文《Pyramidal Implementation of the Lucas Kanade Feature TrackerDescription of the algorithm》
（2）calcOpticalFlowFarneback
基於Gunnar Farneback 的演算法計算稠密光流。
參考論文《Two-Frame Motion Estimation Based on PolynomialExpansion》
（3）CalcOpticalFlowBM
通過塊匹配的方法來計算光流
（4）CalcOpticalFlowHS
基於Horn-Schunck 的演算法計算稠密光流。
參考論文《Determining Optical Flow》
（5）calcOpticalFlowSF
論文《SimpleFlow: A Non-iterative, Sublinear Optical FlowAlgo》的實現
C. 目標跟蹤檢測演算法（一）——傳統方法
姓名：劉帆；學號：20021210609；學院：電子工程學院
https://blog.csdn.net/qq_34919792/article/details/89893214
【嵌牛導讀】目標跟蹤演算法研究難點與挑戰在於實際復雜的應用環境 、背景相似干擾、光照條件的變化、遮擋等外界因素以及目標姿態變化，外觀變形，尺度變化、平面外旋轉、平面內旋轉、出視野、快速運動和運動模糊等。而且當目標跟蹤演算法投入實際應用時，不可避免的一個問題——實時性問題也是非常的重要。正是有了這些問題，才使得演算法研究充滿著難點和挑戰。
【嵌牛鼻子】目標跟蹤演算法，傳統演算法
【嵌牛提問】利用目標跟蹤檢測演算法要達到何目的?第一階段的單目標追蹤演算法包括什麼?具體步驟有哪些?它們有何特點?
【嵌牛正文】
第一階段
目標跟蹤分為兩個部分，一個是對指定目標尋找可以跟蹤的特徵，常用的有顏色，輪廓，特徵點，軌跡等，另一個是對目標特徵進行跟蹤。
1、靜態背景
1）背景差： 對背景的光照變化、雜訊干擾以及周期性運動等進行建模。通過當前幀減去背景圖來捕獲運動物體的過程。
2）幀差： 由於場景中的目標在運動，目標的影像在不同圖像幀中的位置不同。該類演算法對時間上連續的兩幀或三幀圖像進行差分運算，不同幀對應的像素點相減，判斷灰度差的絕對值，當絕對值超過一定閾值時，即可判斷為運動目標，從而實現目標的檢測功能。
與二幀差分法不同的是，三幀差分法（交並運算）去除了重影現象，可以檢測出較為完整的物體。幀間差分法的原理簡單，計算量小，能夠快速檢測出場景中的運動目標。但幀間差分法檢測的目標不完整，內部含有「空洞」，這是因為運動目標在相鄰幀之間的位置變化緩慢，目標內部在不同幀圖像中相重疊的部分很難檢測出來。幀間差分法通常不單獨用在目標檢測中，往往與其它的檢測演算法結合使用。
3）Codebook
演算法為圖像中每一個像素點建立一個碼本，每個碼本可以包括多個碼元（對應閾值范圍），在學習階段，對當前像素點進行匹配，如果該像素值在某個碼元的學習閾值內，也就是說與之前出現過的某種歷史情況偏離不大，則認為該像素點符合背景特徵，需要更新對應點的學習閾值和檢測閾值。
如果新來的像素值與每個碼元都不匹配，則可能是由於動態背景導致，這種情況下，我們需要為其建立一個新的碼元。每個像素點通過對應多個碼元，來適應復雜的動態背景。
在應用時，每隔一段時間選擇K幀通過更新演算法建立CodeBook背景模型，並且刪除超過一段時間未使用的碼元。
4）GMM
混合高斯模型（Gaussian of Micture Models，GMM）是較常用的背景去除方法之一（其他的還有均值法、中值法、滑動平均濾波等）。
首先我們需要了解單核高斯濾波的演算法步驟：
混合高斯建模GMM（Gaussian Mixture Model）作為單核高斯背景建模的擴展，是目前使用最廣泛的一種方法，GMM將背景模型描述為多個分布，每個像素的R、G、B三個通道像素值的變化分別由一個混合高斯模型分布來刻畫，符合其中一個分布模型的像素即為背景像素。作為最常用的一種背景建模方法，GMM有很多改進版本，比如利用紋理復雜度來更新差分閾值，通過像素變化的劇烈程度來動態調整學習率等。
5）ViBe（2011）
ViBe演算法主要特點是隨機背景更新策略，這和GMM有很大不同。其步驟和GMM類似。具體的思想就是為每個像素點存儲了一個樣本集，樣本集中采樣值就是該像素點過去的像素值和其鄰居點的像素值，然後將每一個新的像素值和樣本集進行比較來判斷是否屬於背景點。
其中pt（x）為新幀的像素值，R為設定值，p1、p2、p3….為樣本集中的像素值，以pt（x）為圓心R為半徑的圓被認為成一個集，當樣本集與此集的交集大於設定的閾值#min時，可認為此為背景像素點（交集越大，表示新像素點與樣本集越相關）。我們可以通過改變#min的值與R的值來改變模型的靈敏度。
Step1：初始化單幀圖像中每個像素點的背景模型。假設每一個像素和其鄰域像素的像素值在空域上有相似的分布。基於這種假設，每一個像素模型都可以用其鄰域中的像素來表示。為了保證背景模型符合統計學規律，鄰域的范圍要足夠大。當輸入第一幀圖像時，即t=0時，像素的背景模型。其中，NG（x,y）表示空域上相鄰的像素值，f(xi,yi)表示當前點的像素值。在N次的初始化的過程中，NG（x,y）中的像素點(xi,yi)被選中的可能次數為L=1,2,3,…,N。
Step2：對後續的圖像序列進行前景目標分割操作。當t=k時，像素點(x,y)的背景模型為BKm(x,y)，像素值為fk(x,y)。按照下面判斷該像素值是否為前景。這里上標r是隨機選的；T是預先設置好的閾值。當fk(x,y)滿足符合背景#N次時，我們認為像素點fk(x,y)為背景，否則為前景。
Step3：ViBe演算法的更新在時間和空間上都具有隨機性。每一個背景點有1/ φ的概率去更新自己的模型樣本值，同時也有1/ φ的概率去更新它的鄰居點的模型樣本值。更新鄰居的樣本值利用了像素值的空間傳播特性，背景模型逐漸向外擴散，這也有利於Ghost區域的更快的識別。同時當前景點計數達到臨界值時將其變為背景，並有1/ φ的概率去更新自己的模型樣本值（為了減少緩慢移動物體的影響和攝像機的抖動）。
可以有如下總結，ViBe中的每一個像素點在更新的時候都有一個時間和空間上隨機影響的范圍，這個范圍很小，大概3x3的樣子，這個是考慮到攝像頭抖動時會有坐標的輕微來回變化，這樣雖然由於ViBe的判別方式仍認為是背景點，但是也會對後面的判別產生影響，為了保證空間的連續性，隨機更新減少了這個影響。而在樣本值保留在樣本集中的概率隨著時間的增大而變小，這就保證了像素模型在時間上面的延續特性。
6）光流
光流是由物體或相機的運動引起的圖像對象在兩個連續幀之間的視在運動模式。它是2D矢量場，其中每個矢量是一個位移矢量，顯示點從第一幀到第二幀的移動。
光流實際上是一種特徵點跟蹤方法，其計算的為向量，基於三點假設：
1、場景中目標的像素在幀間運動時亮度（像素值或其衍生值）不發生變化；2、幀間位移不能太大；3、同一表面上的鄰近點都在做相同的運動；
光流跟蹤過程：1）對一個連續視頻幀序列進行處理；2）對每一幀進行前景目標檢測；3）對某一幀出現的前景目標，找出具有代表性的特徵點（Harris角點）；4）對於前後幀做像素值比較，尋找上一幀在當前幀中的最佳位置，從而得到前景目標在當前幀中的位置信息；5）重復上述步驟，即可實現目標跟蹤
2、運動場（分為相機固定，但是視角變化和相機是運動的）
1）運動建模（如視覺里程計運動模型、速度運動模型等）
運動學是對進行剛性位移的相機進行構型，一般通過6個變數來描述，3個直角坐標，3個歐拉角（橫滾、俯仰、偏航）。
Ⅰ、對相機的運動建模
由於這個不是我們本次所要討論的重點，但是在《概率機器人》一書中提出了很多很好的方法，相機的運動需要對圖像內的像素做位移矩陣和旋轉矩陣的坐標換算。除了對相機建立傳統的速度運動模型外，也可以用視覺里程計等通關過置信度的更新來得到概率最大位置。
Ⅱ、對於跟蹤目標的運動建模
該方法需要提前通過先驗知識知道所跟蹤的目標對象是什麼，比如車輛、行人、人臉等。通過對要跟蹤的目標進行建模，然後再利用該模型來進行實際的跟蹤。該方法必須提前知道要跟蹤的目標對象是什麼，然後再去跟蹤指定的目標，這是它的局限性，因而其推廣性相對比較差。（比如已知跟蹤的物體是羽毛球，那很容易通過前幾幀的取點，來建立整個羽毛球運動的拋物線模型）
2）核心搜索演算法（常見的預測演算法有Kalman(卡爾曼)濾波、擴展卡爾曼濾波、粒子濾波）
Ⅰ、Kalman 濾波
Kalman濾波器是通過前一狀態預測當前狀態，並使用當前觀測狀態進行校正，從而保證輸出狀態平穩變化，可有效抵抗觀測誤差。因此在運動目標跟蹤中也被廣泛使用。
在視頻處理的運動目標跟蹤里，每個目標的狀態可表示為(x,y,w,h)，x和y表示目標位置，w和h表示目標寬高。一般地認為目標的寬高是不變的，而其運動速度是勻速，那麼目標的狀態向量就應該擴展為(x,y,w,h,dx,dy)，其中dx和dy是目標當前時刻的速度。通過kalman濾波器來估計每個時刻目標狀態的大致過程為：
對視頻進行運動目標檢測，通過簡單匹配方法來給出目標的第一個和第二個狀態，從第三個狀態開始，就先使用kalman濾波器預測出當前狀態，再用當前幀圖像的檢測結果作為觀測值輸入給kalman濾波器，得到的校正結果就被認為是目標在當前幀的真實狀態。(其中，Zt為測量值，為預測值，ut為控制量，Kt為增益。)
Ⅱ、擴展卡爾曼濾波（EKF）和無跡卡爾曼濾波（UKF）
由於卡爾曼濾波的假設為線性問題，無法直接用在非線性問題上，EKF和UKF解決了這個問題（這個線性問題體現在用測量量來計算預測量的過程中）。EKF是通過構建線性函數g(x)，與非線性函數相切，並對每一時刻所求得的g（x）做KF，如下圖所示。
UKF與EKF去求解雅可比矩陣擬合線性方程的方法不同，通過對那個先驗分布中的採集點，來線性化隨機變數的非線性函數。與EKF所用的方法不同，UKF產生的高斯分布和實際高斯分布更加接近，其引起的近似誤差也更小。
Ⅲ、粒子濾波
1、初始狀態：基於粒子濾波的目標追蹤方法是一種生成式跟蹤方法，所以要有一個初始化的階段。對於第一幀圖像，人工標定出待檢測的目標，對該目標區域提出特徵；
2、搜索階段：現在已經知道了目標的特徵，然後就在目標的周圍撒點(particle), 如：a)均勻的撒點;b)按高斯分布撒點，就是近的地方撒得多，遠的地方撒的少。論文里使用的是後一種方法。每一個粒子都計算所在區域內的顏色直方圖，如初始化提取特徵一樣，然後對所有的相似度進行歸一化。文中相似性使用的是巴氏距離；
3、重采樣：根據粒子權重對粒子進行篩選，篩選過程中，既要大量保留權重大的粒子，又要有一小部分權重小的粒子；
4、狀態轉移：將重采樣後的粒子帶入狀態轉移方程得到新的預測粒子；
5、測量及更新：對目標點特徵化，並計算各個粒子和目標間的巴氏距離，更新粒子的權重；
6、決策階段：每個粒子都獲得一個和目標的相似度，相似度越高，目標在該范圍出現的可能性越高，將保留的所有粒子通過相似度加權後的結果作為目標可能的位置。
3）Meanshift演算法
MeanShift演算法屬於核密度估計法，它不需要任何先驗知識而完全依靠特徵空間中樣本點的計算其密度函數值。對於一組采樣數據，直方圖法通常把數據的值域分成若干相等的區間，數據按區間分成若干組，每組數據的個數與總參數個數的比率就是每個單元的概率值；核密度估計法的原理相似於直方圖法，只是多了一個用於平滑數據的核函數。採用核函數估計法，在采樣充分的情況下，能夠漸進地收斂於任意的密度函數，即可以對服從任何分布的數據進行密度估計。
Meanshift演算法步驟
1、通過對初始點（或者上一幀的目標點）為圓心，繪制一個半徑為R的圓心，尋找特徵和該點相似的點所構成的向量；
2、所有向量相加，可以獲得一個向量疊加，這個向量指向特徵點多的方向；
3、取步驟二的向量終點為初始點重復步驟一、二，直到得到的向量小於一定的閾值，也就是說明當前位置是特徵點密度最密集的地方，停止迭代，認為該點為當前幀的目標點；
4）Camshift演算法
Camshift演算法是MeanShift演算法的改進，稱為連續自適應的MeanShift演算法。Camshift 是由Meanshift 推導而來 Meanshift主要是用在單張影像上，但是獨立一張影像分析對追蹤而言並無意義，Camshift 就是利用MeanShift的方法，對影像串列進行分析。
1、首先在影像串列中選擇目標區域。
2、計算此區域的顏色直方圖（特徵提取）。
3、用MeanShift演演算法來收斂欲追蹤的區域。
4、通過目標點的位置和向量信息計算新的窗口大小，並標示之。
5、以此為參數重復步驟三、四。
Camshift 關鍵就在於當目標的大小發生改變的時候，此演算法可以自適應調整目標區域繼續跟蹤。
3、小結
第一階段的單目標追蹤演算法基本上都是傳統方法，計算量小，在嵌入式等設備中落地較多，opencv中也預留了大量的介面。通過上面的兩節的介紹，我們不難發現，目標檢測演算法的步驟分為兩部分，一部分是對指定目標尋找可以跟蹤的特徵，常用的有顏色，輪廓，特徵點，軌跡等，另一部分是對目標特徵進行跟蹤，如上文所提及的方法。所以目標檢測方法的發展，也可總結為兩個方面，一個是如何去獲得更加具有區分性的可跟蹤的穩定特徵，另一個是如何建立幀與幀之間的數據關聯，保證跟蹤目標是正確的。
隨著以概率為基礎的卡爾曼濾波、粒子濾波或是以Meanshift為代表向量疊加方法在目標檢測的運用，使得目標檢測不再需要假設自身的一個狀態為靜止的，而是可以是運動的，更加符合復雜場景中的目標跟蹤。
D. 目前國際上最先進的運動目標檢測演算法
運動目標檢測
基於統計背景模型的運動目標檢測方法
問題： （1） 背景獲取：需要在場景存在運動目標的情況下獲得背景圖像 （2） 背景擾動：背景中可以含有輕微擾動的對象，如樹枝、樹葉的搖動，擾動部分不應該被看做是前景運動目標 （3） 外界光照變化：一天中不同時間段光線、天氣等的變化對檢測結果的影響 （4） 背景中固定對象的移動：背景里的固定對象可能移動，如場景中的一輛車開走、一把椅子移走，對象移走後的區域在一段時間內可能被誤認為是運動目標，但不應該永遠被看做是前景運動目標 （5） 背景的更新：背景中固定對象的移動和外界光照條件的變化會使背景圖像發生變化，需要及時對背景模型進行更新，以適應這種變化 （6） 陰影的影響：通常前景目標的陰影也被檢測為運動目標的一部分，這樣講影響對運動目標的進一步處理和分析 首先利用統計的方法得到背景模型，並實時地對背景模型進行更新以適應光線變化和場景本身的變化，用形態學方法和檢測連通域面積進行後處理，消除雜訊和背景擾動帶來的影響，在HSV色度空間下檢測陰影，得到准確的運動目標。
編輯本段背景模型提取
前提假設 在背景模型提取階段，運動目標在場景區域中運動，不會長時間停留在某一位置 視頻流中某一像素點只有在前景運動目標通過時，它的亮度值才發生大的變化，在一段時間內，亮度值主要集中在很小的一個區域中，可以用這個區域內的平均值作為該點的背景值。具體實現過程：在YUV顏色空間下，Y值的變化范圍為0~255，將該范圍劃分成若干區間[0,T][T,2T]…[Nt,255],n=255/T，對於每個像素點，統計一段時間內每個區間內亮度值的出現的次數。找出出現次數最多的那個區間，將該區間內所有值的平均值作為背景模型在該點的亮度值。這種方法不受前景運動目標的影響。
編輯本段運動目標檢測
檢測當前圖像和背景圖像中對應像素點的差異，如果差值大於一定閾值，則判定該像素為前景運動目標
編輯本段後處理
雜訊的影響，會使檢測結果中出現一些本身背景的區域像素點被檢測成運動區域，也可能是運動目標內的部分區域被漏檢。另外，背景的擾動，如樹枝、樹葉的輕微搖動，會使這部分也被誤判斷為運動目標，為了消除這些影響，首先對上一步的檢測結果用形態學的方法進行處理，在找出經過形態學處理的後的連通域，計算每個連通域中的面積，對於面積小於一定值的區域，將其拋棄，不看做是前景運動目標。[1]
E. 運動目標檢測與跟蹤技術有哪些演算法
第一章介紹運動的分類、計算機視覺領域中運動分析模型、計算機視覺領域運動檢測和目標跟蹤技術研究現狀、計算機視覺領域中運動分析技術的難點等內容；第二章介紹傳統的運動檢測和目標跟蹤演算法，包括背景差分法、幀間差分法、光流場評估演算法等；第三章介紹具有周期性運動特徵的低速目標運動檢測和跟蹤演算法，並以CCD測量系統為例介紹該演算法的應用；第四章介紹高速運動目標識別和跟蹤演算法，並以激光通信十信標光捕獲和跟蹤系統為例介紹該演算法的應用；第五章介紹具有復雜背景的目標運動檢測過程中採用的光流場演算法，包括正規化相關的特性及其改進光流場評估演算法，並介紹改進光流場演算法的具體應用；第六章介紹互補投票法實現可信賴運動向量估計。
F. mtd文件干嗎用
1、英文縮寫MTD若指內存技術設備的話(memory technology device）。起作用是用於訪問內存設備包括ROM、flash等Linux子系統。為了使新的內存設備驅動更加簡單，它為硬體與上層之間提供了一個抽象的介面。MTD所有源代碼在/drivers/mtd子目錄下。CFI介面的MTD設備分為四層，從上到下依次分別是：設備節點、MTD設備層、MTD原始設備層和硬體驅動層。
2、MTD若指動目標檢測（moving targets detection），即指雷達系統中，檢測運動目標和雜波在於它們速度上的差別。由於速度不同，多普勒引起回波信號的頻率也不相等，mtd可以通過多普勒頻率的不同將雜波和運動目標區分開來。動目標檢測不僅能濾除雜波，還可以將不同運動速度的目標區分開來，從而大大改善了在雜波背景下檢測運動目標的能力，提高了雷達性能。