風(fēng)電場風(fēng)機(jī)葉片無人機(jī)自主巡檢系統(tǒng)分析設(shè)計(jì)與研究

引言

目前,風(fēng)電機(jī)組外觀巡檢主要以高倍望遠(yuǎn)鏡觀察或“蜘蛛人”高空繞行下降的方式目測檢查。但以上人工巡檢方式耗費(fèi)人力嚴(yán)重,效率低下,且工作質(zhì)量受人體疲勞、參差不齊的人員素質(zhì)等因素影響較大,“蜘蛛人”的方式還存在人身安全風(fēng)險(xiǎn)高的問題,同時這種人工作業(yè)的模式缺乏對巡檢數(shù)據(jù)的規(guī)范化管理。尤其是海上風(fēng)電,受風(fēng)浪環(huán)境、離岸距離、交通工具等因素影響,人員出海進(jìn)行日常巡檢存在難度大、風(fēng)險(xiǎn)高、效率低下等一系列問題。同時,相較于陸上風(fēng)電,海上風(fēng)電機(jī)組運(yùn)行環(huán)境惡劣,風(fēng)機(jī)缺陷風(fēng)險(xiǎn)更高。為此,相較于陸地風(fēng)電場,海上風(fēng)電場的日常維護(hù)及巡檢難度更大。

為了解決高空巡檢作業(yè)的問題,近年來多旋翼無人機(jī)逐漸被引入風(fēng)電機(jī)組外觀巡檢工作中。但是由于風(fēng)機(jī)巡檢內(nèi)容的復(fù)雜性, 目前多旋翼無人機(jī)風(fēng)機(jī)巡檢的模式主要為人員在風(fēng)機(jī)機(jī)位下手動操控?zé)o人機(jī)巡檢,少數(shù)廠家可以通過預(yù)先設(shè)置固定風(fēng)機(jī)停機(jī)位的方式實(shí)現(xiàn)半自動飛行巡檢。但是以上模式依舊需要人員到達(dá)每臺風(fēng)機(jī)的機(jī)位下方,存在效率低下、自動化程度較低的問題,尤其是海上風(fēng)電開船出海到達(dá)每臺機(jī)位的效率非常低下;并且手動飛行還存在人員操作不穩(wěn)定、不規(guī)范等問題,對后續(xù)數(shù)據(jù)集約化處理不利。

因此,面向風(fēng)電場尤其是海上風(fēng)電場提高風(fēng)機(jī)外觀巡檢自動化水平、減少人工巡檢作業(yè)頻次、提高巡檢作業(yè)效率的需求,為適應(yīng)風(fēng)電場運(yùn)維工作智能化的發(fā)展趨勢^[1—7],本文研究設(shè)計(jì)以大疆多旋翼無人機(jī)為核心檢測設(shè)備的風(fēng)機(jī)葉片 自主巡檢系統(tǒng),以實(shí)現(xiàn)無人機(jī)對風(fēng)電機(jī)組葉片外觀巡檢的自動化功能。

1主要功能

無人機(jī)自主巡檢的全過程實(shí)施方案可以劃分為以下幾個主要步驟:①目標(biāo)風(fēng)機(jī)停機(jī)→②一鍵啟動巡檢任務(wù),無人機(jī)起飛→③無人機(jī)抵近,獲取風(fēng)機(jī)停機(jī)狀態(tài)關(guān)鍵參數(shù)→④計(jì)算巡檢關(guān)鍵點(diǎn), 自動規(guī)劃巡檢飛行路徑→⑤沿葉片定距飛行→⑥高分辨率攝像頭進(jìn)行連續(xù)拍照→⑦巡檢任務(wù)結(jié)束,開始返航→⑧高精度降落到啟航點(diǎn)。

對應(yīng)以上實(shí)施步驟,無人機(jī)自主巡檢系統(tǒng)需要實(shí)現(xiàn)的主要功能劃分如下。

1.1 巡檢前準(zhǔn)備和巡檢任務(wù)啟動

將風(fēng)電場的風(fēng)機(jī)進(jìn)行編號,和該風(fēng)機(jī)的葉片長度、輪轂高度、輪轂半徑、塔筒基座GPS坐標(biāo)等已知固定參數(shù)關(guān)聯(lián),形成風(fēng)機(jī)數(shù)據(jù)表。巡檢任務(wù)啟動時,操作人員可在人機(jī)交互界面上輸入待檢風(fēng)機(jī)編號,操作無人機(jī)系統(tǒng)啟動自主巡檢任務(wù)。

1.2停機(jī)狀態(tài)參數(shù)獲取

風(fēng)力發(fā)電機(jī)組主要停機(jī)狀態(tài)數(shù)據(jù)是風(fēng)機(jī)風(fēng)輪的偏航角、葉片的傾角等隨機(jī)停機(jī)參數(shù),停機(jī)姿態(tài)的確定為后續(xù)自主路徑規(guī)劃提供了基礎(chǔ)。

1.3 巡檢路徑點(diǎn)規(guī)劃

根據(jù)風(fēng)機(jī)停機(jī)狀態(tài)參數(shù),結(jié)合飛行安全距離等配置參數(shù),風(fēng)機(jī)葉片長度、輪轂高度、輪轂半徑等已知固定參數(shù),計(jì)算完成巡檢任務(wù)的關(guān)鍵路徑點(diǎn),按照關(guān)鍵路徑點(diǎn)依次飛行,形成飛行路徑。

1.4 定距飛行功能

無人機(jī)在對風(fēng)機(jī)進(jìn)行外觀巡檢時保持恒定距離,以保證攝像有效性。

1.5 云臺追蹤調(diào)整及自動連拍

巡檢葉片過程中,云臺實(shí)時調(diào)整攝像頭位置,將風(fēng)機(jī)葉片始終保持在視野中心位置,并連續(xù)拍攝照片。

1.6高精度降落

無人機(jī)能夠安全返航,高精度降落至指定降落回收位置。

2自主巡檢系統(tǒng)軟硬件

2.1 系統(tǒng)硬件構(gòu)成

圖1所示是無人機(jī)葉片 自主巡檢系統(tǒng)的硬件設(shè)備組成示意圖,包含無人機(jī)平臺、地面設(shè)備、遙控器、嵌入式計(jì)算平臺和傳感器等。

無人機(jī)平臺(圖2):無人機(jī)應(yīng)具有可靠的飛行控制技術(shù),能夠廣泛兼容第三方開發(fā)平臺。搭載開發(fā)者所使用的負(fù)載設(shè)備和計(jì)算平臺,并向開發(fā)者開放應(yīng)用接口,保證使用者能夠根據(jù)實(shí)際應(yīng)用需求自行開發(fā)所需的應(yīng)用程序。本文選用大疆M300 RTK型號作為無人機(jī)平臺,該無人機(jī)最長續(xù)航時間可達(dá)55 min,可抗7級風(fēng)力,同時具有六向定位避障與15 km遠(yuǎn)距離圖傳功能,保障了葉片自主飛行巡檢的要求。

地面設(shè)備:地面設(shè)備用于運(yùn)行開發(fā)者的上位機(jī)程序。上位機(jī)程序采用交互式模式,以便巡檢人員輸入待檢風(fēng)機(jī)編號, 自定義的風(fēng)機(jī)安全飛行距離參數(shù)、飛行速度等數(shù)據(jù),并含任務(wù)執(zhí)行啟動和重要傳感器數(shù)據(jù)實(shí)時顯示。為了便于巡檢人員攜帶,可選用Android 或IoS平板電腦,上位機(jī)程序由Java等程序設(shè)計(jì)語言編寫。

遙控器:無人機(jī)與地面設(shè)備之間的數(shù)據(jù)鏈路包括控制鏈路、數(shù)傳鏈路和圖傳鏈路等,地面設(shè)備首先通過有線(USB)或無線(wi—Fi)連接傳遞到大疆無人機(jī)的遙控器上,并最終通過Wi—Fi、LightBridge、OcuSynC等鏈路傳遞到無人機(jī)上,因此需要以遙控器作為媒介來進(jìn)行通信和數(shù)據(jù)傳輸。

嵌入式計(jì)算平臺:嵌入式計(jì)算平臺用于運(yùn)行下位機(jī)程序,包含核心應(yīng)用算法功能模塊,應(yīng)與無人機(jī)適配并兼具較高的性能,具備圖像處理程序的良好運(yùn)行效果。本文選用ManiFold 2C/2G機(jī)載計(jì)算機(jī)。

感知設(shè)備:無人機(jī)平臺上需掛載高清相機(jī)或激光 雷達(dá)等感知設(shè)備,用以滿足復(fù)雜多樣的圖像處理和分析任務(wù),而云臺能夠?qū)崿F(xiàn)搭載相機(jī)俯仰角和偏航角的實(shí)時變化和調(diào)整,通過拍攝角度的調(diào)整從而達(dá)到所拍攝圖片具有良好效果的功能。本文選用的H20T攝像頭包含2000萬像素變焦相機(jī)、1200萬像素廣角相機(jī)、1 200 m激光測距儀與熱成像相機(jī),具備強(qiáng)大的功能,如圖3所示。

2.2 系統(tǒng)軟件組成

系統(tǒng)軟件包含應(yīng)用算法和控制程序,是風(fēng)機(jī)葉片自主巡檢系統(tǒng)的基礎(chǔ)部分,可分為人機(jī)交互層、數(shù)據(jù)傳輸層、下位機(jī)層和功能支撐層,其中人機(jī)交互層和下位機(jī)層分別運(yùn)行著上位機(jī)系統(tǒng)程序和下位機(jī)系統(tǒng)程序,是軟件系統(tǒng)的核心。

上位機(jī)程序運(yùn)行在地面設(shè)備上并與遙控器連接,本質(zhì)上為一個人機(jī)交互式程序。該上位機(jī)系統(tǒng)保留參數(shù)輸入位置,在巡檢前可輸入待巡檢風(fēng)機(jī)的編號和巡檢時離風(fēng)機(jī)的安全距離、巡檢飛行速度等自定義參數(shù),上位機(jī)程序可以實(shí)現(xiàn)一鍵點(diǎn)擊啟動,可以在無人機(jī)巡檢飛行時進(jìn)行狀態(tài)監(jiān)控,包含相機(jī)實(shí)時拍攝畫面展示、坐標(biāo)位置與飛行速度展示、剩余電量和百分號表示的巡檢完成程度顯示等功能。本文的上位機(jī)系統(tǒng)基于大疆MSDK開發(fā)套件進(jìn)行開發(fā),是實(shí)現(xiàn)在移動端手持設(shè)備上操控?zé)o人機(jī)的重要組成部分。

下位機(jī)程序運(yùn)行在嵌入式計(jì)算平臺上,包含為實(shí)現(xiàn)無人機(jī)自主巡檢任務(wù)而設(shè)計(jì)的各種核心應(yīng)用算法與控制程序。在計(jì)算平臺上,巡檢任務(wù)開啟后,這些應(yīng)用算法與控制程序可以實(shí)現(xiàn):粗定位到待巡檢風(fēng)機(jī)塔柱上方附近位置處停留;控制攝像機(jī)與云臺,實(shí)現(xiàn)視頻流的拍攝與高分辨率圖像的獲取;檢測風(fēng)機(jī)葉片和輪轂等目標(biāo),實(shí)現(xiàn)無人機(jī)風(fēng)機(jī)偏航角、輪轂位置與風(fēng)機(jī)葉片傾角等重要參數(shù)的求解; 自動生成巡檢路徑的關(guān)鍵點(diǎn),由航點(diǎn)任務(wù)規(guī)劃最終實(shí)現(xiàn)無人機(jī)自主飛行功能。本文的下位機(jī)系統(tǒng)基于大疆OSDK開發(fā)套件進(jìn)行開發(fā),可通過調(diào)用指定的接口來獲取無人機(jī)上的各類數(shù)據(jù),執(zhí)行相應(yīng)的計(jì)算和處理,生成對應(yīng)的控制指令控制無人機(jī)執(zhí)行相應(yīng)的動作。

系統(tǒng)軟件功能模塊示意圖如圖4所示。

3自主巡檢關(guān)鍵技術(shù)

對于無人機(jī)風(fēng)機(jī)葉片全自主巡檢而言,核心技術(shù)包含對于風(fēng)機(jī)以任意姿態(tài)停機(jī)后相關(guān)參數(shù)的測算,結(jié)合已知和測算參數(shù)的巡檢路徑的自動規(guī)劃和攝像頭將風(fēng)機(jī)葉片盡量保持在視野中央位置的云臺自動追蹤。

3.1風(fēng)機(jī)停機(jī)姿態(tài)參數(shù)測算

當(dāng)風(fēng)機(jī)以任意狀態(tài)停機(jī)時,風(fēng)輪偏航角α和風(fēng)機(jī)葉片傾角θ參數(shù)是隨機(jī)的,需要無人機(jī)上搭載的感知設(shè)備進(jìn)行姿態(tài)參數(shù)的測算。

從感知設(shè)備處理圖像的維度,可以分為2D圖像數(shù)據(jù)與3D點(diǎn)云數(shù)據(jù)。

3.1.1 2D圖像數(shù)據(jù)設(shè)備

風(fēng)機(jī)是由三扇兩兩互成120°角的葉片組成,具有特殊的外觀結(jié)構(gòu),三扇葉片基本在同一平面上。對于2D平面圖像,可選取風(fēng)機(jī)葉片作為目標(biāo)特征,并采用深度學(xué)習(xí)圖像識別算法識別出葉片(與導(dǎo)流罩),繪制葉片矩形識別框,計(jì)算其位置和大小。在與輪轂等高的位置上，環(huán)繞風(fēng)機(jī)飛行一周'攝像頭實(shí)時采集風(fēng)機(jī)外觀視頻流并檢測風(fēng)機(jī)葉片,計(jì)算葉片矩形識別框的橫縱比(即矩形邊界框的寬度與高度比),將檢測出的矩形框橫縱比中的最小值作為此位置的矩形框度量值,在環(huán)繞飛行的過程中,找到矩形框度量值最小的兩個位置P₁和P₂,如圖5所示。

再結(jié)合塔柱GPS坐標(biāo)和P₁、P₂位置的坐標(biāo),即可計(jì)算風(fēng)輪平面所在位置,再根據(jù)環(huán)繞飛行過程中識別出導(dǎo)流罩的無人機(jī)相對位置,計(jì)算出風(fēng)輪平面的朝向。最終,無人機(jī)結(jié)合輪轂高度和測算的風(fēng)輪偏航角α, 自行飛行至風(fēng)輪平面正前方'根據(jù)逆時針方向下距離豎直塔柱最近的葉片矩形識別框的對角線與豎直方向的夾角,估算出風(fēng)機(jī)葉片傾角θ,如圖6所示。

3.1.2 3D點(diǎn)云數(shù)據(jù)設(shè)備

對于3D點(diǎn)云數(shù)據(jù),當(dāng)使用激光雷達(dá)、毫米波雷達(dá)等硬件設(shè)備或SFM與MVS等三維成像算法獲取風(fēng)機(jī)外觀3D點(diǎn)云數(shù)據(jù)后,首先采用點(diǎn)云濾波去除風(fēng)機(jī)點(diǎn)云的噪點(diǎn)和無關(guān)點(diǎn)云數(shù)據(jù),再使用點(diǎn)云模型分割等方法得到風(fēng)電機(jī)組各部分模型,最后利用葉片點(diǎn)云的點(diǎn)云投影、空間擬合和骨架提取等算法計(jì)算獲取風(fēng)輪偏航角α和風(fēng)機(jī)葉片傾角θ。

3.2自主巡檢路徑規(guī)劃

自主巡檢路徑規(guī)劃技術(shù)需要計(jì)算巡檢路徑上關(guān)鍵點(diǎn)在GPS模塊下的經(jīng)緯高坐標(biāo)(LLA)數(shù)據(jù),使無人機(jī)依次飛行到這些關(guān)鍵點(diǎn)的位置上,從而形成對風(fēng)機(jī)三扇葉片前緣、后緣和迎風(fēng)面、背風(fēng)面的表面巡檢。

技術(shù)功能實(shí)現(xiàn)方面,首先是建立坐標(biāo)系計(jì)算關(guān)鍵位置,分別以風(fēng)機(jī)塔柱地面中心為原點(diǎn)建立起東北天坐標(biāo)系(ENU)R₁,以三扇葉片中心線的交匯點(diǎn)(在輪轂內(nèi)部)為原點(diǎn),建立輪轂坐標(biāo)系R₂。在輪轂坐標(biāo)系R₂上,結(jié)合輪轂半徑r、葉片長度L、距離葉片的安全飛行距離w和測算的葉片傾角參數(shù)θ,計(jì)算出輪轂坐標(biāo)系R₂下各個關(guān)鍵點(diǎn)的空間坐標(biāo)。之后結(jié)合輪轂高度h、風(fēng)輪偏航角α和塔柱與葉片中心線交匯點(diǎn)之間的平移距離s參數(shù),生成東北天坐標(biāo)系R₁和輪轂坐標(biāo)系R₂之間的旋轉(zhuǎn)變換矩陣,將輪轂坐標(biāo)系R₂下的關(guān)鍵點(diǎn)坐標(biāo)換算到東北天坐標(biāo)系R₁下。最后再將東北天坐標(biāo)系R₁下的關(guān)鍵點(diǎn)空間數(shù)據(jù)根據(jù)坐標(biāo)系換算公式計(jì)算生成經(jīng)緯高坐標(biāo),輸入給無人機(jī)的飛行模塊,并根據(jù)飛行的位置調(diào)整變換無人機(jī)機(jī)頭朝向和云臺角度,保證相機(jī)始終正對葉片,拍攝出清晰的風(fēng)機(jī)表面外觀圖像或視頻數(shù)據(jù)。圖7所示為當(dāng)風(fēng)機(jī)葉片呈倒Y字型停機(jī)時的巡檢飛行仿真路徑。

3.3視覺伺服云臺追蹤

在沿著風(fēng)機(jī)預(yù)設(shè)路徑點(diǎn)飛行時,可能會由若干因素的影響而導(dǎo)致相機(jī)在飛行到葉尖的過程中稍稍偏離葉片,所以在拍攝時,需要盡量保持風(fēng)機(jī)葉片位于相機(jī)視野中央。本文采用先對視頻流圖像幀中的葉片進(jìn)行分割,再對分割出的葉片區(qū)域進(jìn)行邊緣檢測和直線擬合的方法,提取出最后的中軸線。根據(jù)中軸線的圖像位置,云臺控制相機(jī),使拍攝的葉片圖像盡量位于相機(jī)視野中央,方便后續(xù)的葉片圖像拼接等工作。可采用基于HSV顏色模型的傳統(tǒng)圖像處理方法:HSV顏色模型是一種直觀的顏色模型,符合人眼的視覺感知特性,另一方面亮度分量與圖像的色彩信息無關(guān),對于光照的抗干擾能力強(qiáng)。針對含有特定顏色信息的 目標(biāo)圖像分割,顏色特征是區(qū)分前景和背景的一個重要特征信息。

對于初始目標(biāo)幀選取兩個特征定位點(diǎn),框選出一個矩形區(qū)域來提取顏色特征,求取該區(qū)域的HSV 通道閾值范圍;顏色特征提取到的特征值構(gòu)成了對目標(biāo)區(qū)域分割的先驗(yàn)信息,通過該信息進(jìn)行圖像分割;形態(tài)學(xué)處理得到連通區(qū)域,并選取其中的最大連通域作為檢測到的葉片區(qū)域來提取其邊界;根據(jù)邊緣信息計(jì)算左邊緣直線和右邊緣直線,并計(jì)算提取中軸線的位置;根據(jù)中軸線中點(diǎn)與圖像中間點(diǎn)之間的偏移來調(diào)整云臺姿態(tài),效果如圖8所示。

4檢測內(nèi)容與應(yīng)用

基于本文所研究的無人機(jī)風(fēng)機(jī)葉片自主巡檢技術(shù),無人機(jī)能夠自動對風(fēng)電場中風(fēng)機(jī)葉片的前緣、后緣、迎風(fēng)面和背風(fēng)面等外觀關(guān)鍵部位進(jìn)行巡檢,通過在關(guān)鍵路徑點(diǎn)位置拍攝高清相片或視頻,獲取海量的外觀巡檢數(shù)據(jù)。搭建智能識別系統(tǒng)和采用基于深度學(xué)習(xí)的缺陷檢測算法,對這些外觀數(shù)據(jù)進(jìn)行學(xué)習(xí)和訓(xùn)練,能夠自主識別出風(fēng)機(jī)葉片外觀缺陷的種類和面積。通過后續(xù)巡檢數(shù)據(jù)的收集和積累,缺陷檢測模型也能夠不斷更新和完善。智能識別系統(tǒng)根據(jù)無人機(jī)傳輸?shù)膱D像,利用AI云計(jì)算、圖像處理技術(shù),實(shí)時識別缺陷, 自動診斷設(shè)備故障。同時結(jié)合攝影測量技術(shù),對故障部位進(jìn)行定位,自動完成初步診斷工作,協(xié)助檢修人員快速識別和分析問題,并提供實(shí)時預(yù)警。圖9所示為無人機(jī)風(fēng)機(jī)巡檢葉片的幾種典型缺陷。

5 結(jié)束語

本文對風(fēng)機(jī)葉片無人機(jī)自主巡檢系統(tǒng)的軟硬件平臺和關(guān)鍵技術(shù)核心算法實(shí)現(xiàn)等進(jìn)行了研究設(shè)計(jì)和分析,通過使用無人機(jī)相關(guān)技術(shù)對風(fēng)機(jī)葉片進(jìn)行自主化智能巡檢,不僅有效降低了人力成本,簡化了巡檢流程,極大地提高了風(fēng)機(jī)葉片的巡檢效率,而且還促進(jìn)了風(fēng)機(jī)運(yùn)維巡檢工作由傳統(tǒng)方式向數(shù)字化、自動化、智能化轉(zhuǎn)型,對于新能源風(fēng)電場場站風(fēng)機(jī)葉片的巡檢工作開展具有較強(qiáng)的現(xiàn)實(shí)意義。

[參考文獻(xiàn)]

[1]馬敏敏,劉昊,高毓欣,等.基于無人機(jī)與人工智能的風(fēng)機(jī)葉片全自主巡檢[J].電氣時代,2023(增刊2):44一48.

[2] 卜勇濤,焦巖,王凝哲,等.基于無人機(jī)的風(fēng)電智能巡檢系統(tǒng)分析[J].電子技術(shù),2023,52(7):370一371.

[3]魏昂昂,姚中原,張宇,等.面向無人機(jī)自主巡檢的風(fēng)電機(jī)組姿態(tài)計(jì)算和航跡規(guī)劃方法[J].風(fēng)能,2023(1):68一77.

[4]趙文璇,李明,周筑博.海上風(fēng)電無人系統(tǒng)自主巡檢應(yīng)用構(gòu)想[J].海洋技術(shù)學(xué)報(bào),2022,41(2):110一118.

[5]王馥華,顧沈驊,姚凱,等.基于無人機(jī)技術(shù)的風(fēng)力發(fā)電機(jī)葉片自主巡檢系統(tǒng)[J].機(jī)械制造,2022,60(3):63一65.

[6]湯翔,楊源.海上風(fēng)電場智能無人巡檢方案研究[J].電工技術(shù),2021(20):12一14.

[7]張晗,李存義,曹淑剛,等.無人機(jī)在海上風(fēng)電機(jī)組葉片巡檢中的應(yīng)用[J].能源科技,2020,18(5):67一70.

2024年第19期第2篇