基于視頻的體育運動分析系統(tǒng)的研究與實現(xiàn)

    近年來，利用運動員的訓練、比賽視頻圖像作為體育訓練的參考，進行體育運動分析是國內外普遍采用的一種行之有效方法。體育運動分析運用了當今流行的圖像處理、人體仿真學、計算機視覺等多領域的研究熱點，以運動員為研究對象，對其進行定性以及定量分析，達到科學輔助訓練的目的。
    文中擬以體育運動視頻圖像為主要研究對象，以視頻處理技術為主要研究手段，設計并實現(xiàn)一種集合視頻控制、全景圖合成、靜態(tài)背景抑制、運動目標跟蹤及量化等功能為一體的體育運動分析系統(tǒng)。

1 系統(tǒng)設計需求分析
    傳統(tǒng)的體育運動分析主要是基于經驗和人眼的觀察和分析方法，顯然此類方法具有明顯的局限性和不足。
    體育運動分析的主要目的就是通過分析運動員訓練和比賽的視頻圖像，利用視頻圖像在時間和空間上的相關性，得到各種人體運動學參數(shù)以及運動員和教練員感興趣的各類信息，實現(xiàn)科學指導訓練。
    文中借助Visual C++．net 2003開發(fā)平臺，研究和設計了—個基于視頻的體育運動分析系統(tǒng)，實現(xiàn)了對運動視頻的定性和定量分析，具有很強的實用性。

2 系統(tǒng)功能設計及其算法實現(xiàn)
2．1 系統(tǒng)總體功能設計
    文中主要針對單目視頻進行人體運動分析，利用Directshow技術對運動視頻進行控制；利用基于馬賽克的圖像拼接技術，提取視頻中的背景信息，對視頻圖像進行時域分割，提取視頻中的運動目標，最后合成全景圖像；利用幀間差分法濾除靜態(tài)背景，實現(xiàn)背景抑制；結合卡爾曼濾波和色塊匹配技術，對運動關鍵部位進行自動跟蹤，并獲取人體運動學參數(shù)建立基于視頻的體育運動分析系統(tǒng)。
    系統(tǒng)主要功能框架，如圖1所示。整個系統(tǒng)由4部分組成。

2．2 視頻控制
    DirectShow使用一種叫Filter Graph的模型來管理整個數(shù)據(jù)流的處理過程；參與數(shù)據(jù)處理的各個功能模塊叫做。Filter；各個Fiher在Filter Graph中按一定的順序連接成一條“流水線”協(xié)同工作。本系統(tǒng)采用先進的DirectShow視頻播放技術，根據(jù)教練和運動員進行動作分析的需要，增加各種速率視頻播放、視頻圖像剪輯、逐幀圖像顯示等功能。
2．3 全景圖合成
    相鄰幀間兩幅圖像的關系便歸結為初等坐標變換，即平移、旋轉、仿射、雙線性和透視變換的組合。實際上當攝像機的移動的幅度不是很大并且離景物很遠的情況下，對視頻圖像進行拼接時就可以不考慮圖像間的變形失真，此時兩圖像間的變換矩陣M由下式確定

對于8個參數(shù)的確定需要準確的確定4個匹配點，然后通過式(2)就可以確定變換矩陣M，M的確定，如圖2所示。

   
    4組匹配點就可以完全確定含有8個未知數(shù)的8個方程。這些方程全是線性方程組，可以通過Gauss全選主元消去法進行求解。
    假設已經通過相關匹配到3組點(A，A')，(B，B')，(C，C')，由于幀間變化的漸變性，A點的位移幅度應該和B點及C點的位移幅度相近，否則就說明有誤匹配出現(xiàn)。取如下定義
    rang(A)=| A-A'| (3)
    若出現(xiàn)|rang(A)-rang(B)|>ε(此處ε為合適的閾值)說明出現(xiàn)了誤匹配，結合| rang(A)-rang(C)|就可以確定出哪個點出現(xiàn)了誤匹配，然后重新選取模板進行匹配；重復執(zhí)行以上過程直到A，B，C都滿足條件。
    整個誤匹配的消除過程中采用的舉手表決的方式，對于4組點誤匹配的消除，選取模板的時至少選5組，只有這樣才不會出現(xiàn)類似于正確對錯誤為2：2的情況。
    由于在重疊區(qū)域直接取兩幅圖像中其中的一幅進行圖像合成，很容易在重疊區(qū)域的邊界處形成明顯的拼縫，因此，需要采用圖像融合技術合成全景圖。
    以左右拼接的兩幅圖像I1(i，j)和I2(i，j)為例，則重疊區(qū)域圖像的像素值I(x，y)可表示為
    I(i，j)=d(i)I1(i，j)+(1-d(i))I2(i，j)(4)
    其中，d(i)為融合系數(shù)，它與離邊界的距離成正比關系，上述計算是按掃描線逐條進行的，因此該方法適用于任意形狀的兩幅圖像的融合。
    圖3為全景圖合成結果。圖3(a)～圖3(d)為要合成的視頻圖像中提取的4幀，圖3(e)為合成的背景全景圖，圖3(f)為添加了運動目標后的全景圖。

2．4 靜態(tài)背景抑制
    靜態(tài)背景抑制功能是對定點拍攝的運動圖像進行圖像融合，得到純凈背景下的整個運動過程圖像，對于削弱背景及拍攝條件對成象質量以及成象效果的影響有著很明顯的效果。
    對于靜態(tài)背景抑制，本系統(tǒng)在相鄰幀差分方法的基礎上提出了利用多幀圖像差分進行目標分割的方法，對于做差得到的對應的殘差圖進行二值化操作后進行相與運算，這樣可以很好的提取運動區(qū)域，消除噪聲的影響。其算法流程圖，如圖4所示。

    多幀圖像的差分運算就是取當前幀和它前面的Ir+1～In以及它后面的Ir-1～I1分別做差，其公式如下
    di= |I(x，y，r)-I(x，y，i)| i=1， 2，…，r-1，r+1，…，n (5)
    對于差分得到的圖像，對它們進行閾值分割，將差分圖像轉換為二值圖像。
   
其中，T為閾值，閾值的設定采用經驗法。之所以采用這種方法是因為此方法同其它方法相比，無需較多計算量，滿足實時性的要求。
    對二值化的殘差圖進行與操作就可得到運動目標Ir的二值圖像。
    Ir=ID1&&ID2&&…&&IDn (7)
    由于獲取視頻序列場景中各種因素的影響，與操作得到的運動區(qū)域中不可避免地會留下大量的噪聲點。另外，圖像中對應于運動目標的區(qū)域也會出現(xiàn)不同程度的碎化。二值形態(tài)學中閉運算，即先膨脹后腐蝕運算，在鄰域合并和噪聲去除方面效果明顯。
    對于經過上述一系列操作得到的運動區(qū)域圖像，采用將運動區(qū)域圖像與原圖像中的像素點逐個比較，對于二值化運動區(qū)域圖像中為0的點，原圖像對應點的灰度值標定為0；對于二值化運動區(qū)域圖像中為1的點，原圖像對應點的灰度值保持不變。這樣，運動目標就被提取出來，結果如圖5所示。

2．5 運動目標跟蹤及量化
    用Kalman濾波和色塊匹配可以搜索出視頻文件中的各個關鍵點在每一幀的具體位置，從而可以算出每一幀圖像的各個關鍵點的速度(和像素對應)，然后將這個速度對應到具體的人上就可以求出運動員各個部位的運動參數(shù)：位置速度，加速度。非常方便對運動員訓練的分析。
    Kalman濾波是以最小均方誤差為準則的最佳線性估計和濾波。Kalman濾波只需要根據(jù)前一個估計值和最近一個觀測值來估計信號的當前值。它是以狀態(tài)方程和遞推的方法進行估計的，而且所得到的解是以估計值的形式給出的。文中將Kalman濾波應用與預測目標在下一幀中的參數(shù)，對于體育運動視頻圖像，近似認為目標做勻加速直線運動，由牛頓力學公式可得
   
其中，T為兩幀時間間隔，根據(jù)Kalman濾波方程
   
    因此在系統(tǒng)中選取

   
    由此，可以通過狀態(tài)方程和量測方程得到運動目標下一幀的預測信息，并根據(jù)預測信息進行匹配，實現(xiàn)跟蹤。文中采用了一種基于子像素的相似度算法。設源目標的矩形左上角坐標為X0，Y0。矩形的長為m，寬為n，X1，Y1點是Kalman濾波預測的下一幀目標左上角的坐標。
    那么要匹配的目標的左上角的坐標，在以預測點X1，Y1為中心長為dy寬為dx的矩形內，其中dx，dy可由用戶確定。
    以X1，Y1點為中心長為dy，寬為dx的矩形中的任何一點為匹配目標矩形的左上角，將該矩形內的顏色信息保存下來和源目標對應點的RGB分別作差再取絕對值，并將所有的值加起來，記為diff，最后再對diff取倒數(shù)，記為S。將S記為兩個圖像之間的相似度，S越大相似度越高。即

    對于沒有遮擋的平動目標這樣的方法完全可以解決問題。但是當運動過程中又一部分被遮擋了匹配出來的位置將會很不準確。這是一個非常實際的問題，因為人體運動的復雜性在運動時如果假設沒有遮擋，實際就沒有解決問題，適應性太差。應該考慮一種可以解決遮擋的辦法。
    文中是將目標分為幾個子塊，對每個子塊進行匹配，如果有一個子塊匹配的相似度較高就認為找到目標，停止匹配；如果相似度較低，則繼續(xù)下一子塊的匹配，直到找到相似度較高時停止。如果所有子塊的相似度都很低，也就是說該目標全被遮擋。這時將上一幀的源目標繼續(xù)保存為原目標而不需要更新，用這個原目標繼續(xù)和下一幀的圖像進行比較。這個方法可以有效的處理遮擋。
    這樣就實現(xiàn)了人體關鍵部位跟蹤的功能，由于人體運動的復雜性和不可預測性，在跟蹤過程中還必須加入適當?shù)娜斯じ深A，跟蹤結果更加準確并能提取出所需要的位移、速度等各類參數(shù)。跟蹤結果，如圖6所示，圖6(a)為用戶設定的3個跟蹤點，圖6(b)可以看到point1跟蹤出現(xiàn)了誤差，此次時需要人工校正圖6(c)，校正后繼續(xù)跟蹤圖6(d)，圖6(e)為跟蹤過程中，3個跟蹤點構成的角度變化曲線。

2．6 實現(xiàn)技術與平臺
    本系統(tǒng)實在Windows XP操作系統(tǒng)下，利用Visual C++．net 2003開發(fā)實現(xiàn)，已經進行了大量測試，其運行穩(wěn)定、可靠性強、準確率高。由于VC++具有較強的靈活性，所以該系統(tǒng)具有一定的可擴充性。本系統(tǒng)對硬件環(huán)境沒有特殊要求，IntelPentium III以上的CPU都可以滿足運動需要。

3 結束語
    文中以單目視頻中的人體運動為研究對象，設計并實現(xiàn)了一個基于視頻的體育運動分析系統(tǒng)，為體育運動分析領域提供了一套完整的定性和定量分析系統(tǒng)。實驗過程是：首先獲取攝象機拍攝的體育運動視頻圖像，然后對其進行檢測、分割和跟蹤，獲得人體或者某一部位的運動信息以及人體運動學參數(shù)，并得到直觀的數(shù)據(jù)和曲線，達到進一步分析人體運動的目的。系統(tǒng)各功能模塊的算法具有一定的魯棒性，得到的結果令人滿意。