SAR圖像數(shù)據(jù)集：BBox-SSDD、RBox-SSDD和PSeg-SSDD
[導(dǎo)讀]本文和之前的兩篇：《SSDD數(shù)據(jù)集的標(biāo)準(zhǔn)規(guī)范》和《SAR圖像船舶目標(biāo)檢測(cè)數(shù)據(jù)集SSDD》均來(lái)自文獻(xiàn)：SARShipDetectionDataset(SSDD)-Of?cialReleaseandComprehensiveDataAnalysis。需要英文原文的請(qǐng)給“雷達(dá)通信電子戰(zhàn)...
本文和之前的兩篇：《SSDD數(shù)據(jù)集的標(biāo)準(zhǔn)規(guī)范》和《SAR圖像船舶目標(biāo)檢測(cè)數(shù)據(jù)集SSDD》均來(lái)自文獻(xiàn)：SAR Ship Detection Dataset (SSDD)-Of?cial Release and Comprehensive Data Analysis。需要英文原文的請(qǐng)給“雷達(dá)通信電子戰(zhàn)”發(fā)送“1018”，鐵桿會(huì)員可進(jìn)入日常更新文件夾下載中文WORD版。
01BBox-SSDD數(shù)據(jù)集統(tǒng)計(jì)信息介紹
BBox-SSDD的標(biāo)簽采用PASCAL VOC格式進(jìn)行標(biāo)注。一個(gè)BBox由x-y圖像坐標(biāo)中的兩個(gè)點(diǎn)描述，即A（xmin，ymin）和B（xmax，ymax）。一些基于CNN的檢測(cè)器采用BBox的一些其他描述，例如YOLO的（xmin，ymin，w，h），用戶可以靈活轉(zhuǎn)換它們。
通過(guò)BBox-SSDD數(shù)據(jù)集上的數(shù)計(jì)結(jié)果可以得出以下結(jié)論：
SSDD中的船舶普遍較小，船舶的平均尺寸只有大約35×35像素，要發(fā)現(xiàn)這樣的小船是非常困難的，因此學(xué)者們應(yīng)該特別關(guān)注這一現(xiàn)象。
船舶的寬度和長(zhǎng)度在圖像坐標(biāo)系中沒(méi)有完全區(qū)分，有時(shí)BBox的寬度和高度會(huì)混淆，BBox船舶的長(zhǎng)寬比嚴(yán)重失衡，大多數(shù)船舶的長(zhǎng)寬比小于1，由于缺乏訓(xùn)練數(shù)據(jù)，一些具有極端長(zhǎng)寬比的船舶很容易漏檢，可以使用90°旋轉(zhuǎn)數(shù)據(jù)增強(qiáng)來(lái)緩解這一問(wèn)題。此外，還可以只對(duì)長(zhǎng)寬比較大的船舶數(shù)據(jù)進(jìn)行選擇性增強(qiáng)，從而實(shí)現(xiàn)網(wǎng)絡(luò)的學(xué)習(xí)平衡。
可以發(fā)現(xiàn)SAR船非常小但BBox區(qū)域的上限相當(dāng)大，即有些船的尺寸非常大，但數(shù)量卻非常少。例如，在整個(gè)數(shù)據(jù)集中，>50000的區(qū)域數(shù)只有4個(gè)。這些船可能具有最高的分辨率，因?yàn)锽Box的面積是根據(jù)像素?cái)?shù)計(jì)算的。同一船舶在高分辨率圖像中的面積大于低分辨率圖像中的面積。這種大型跨尺度船舶檢測(cè)是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。
為了實(shí)現(xiàn)多分辨率條件下的多尺度船舶檢測(cè)，學(xué)者們可以對(duì)大型船舶進(jìn)行適當(dāng)?shù)南虏蓸樱蕴岣呔W(wǎng)絡(luò)多尺度特征學(xué)習(xí)的效益。此外，對(duì)于太小的船舶，可以通過(guò)上采樣插值來(lái)改進(jìn)，以避免其在網(wǎng)絡(luò)中的信息丟失。
02RBox-SSDD數(shù)據(jù)集統(tǒng)計(jì)信息介紹
下圖顯示了RBox-SSDD的標(biāo)注格式。一個(gè)RBox可以由四個(gè)頂點(diǎn)描述，即A（x1，y1），B（x2，y2），C（x3，y3）和D（x4，y4），稱這種方案為四點(diǎn)類型，這里四邊形的四個(gè)角是直角。上述表示可能是最直觀的，但一些檢測(cè)采用不同的編碼模式，即圖中的（x，y，w，h，θ），其中x，y是中心P的坐標(biāo)，θ是方向角，稱這種方案為中心角類型。在RBox SSDD中，θ∈[0°，90°]基于角度系統(tǒng)，而不是弧度系統(tǒng)。θ是船舶主軸和負(fù)y軸之間的角度。
通過(guò)RBox-SSDD數(shù)據(jù)集上的數(shù)據(jù)統(tǒng)計(jì)結(jié)果可以看出，與BBox尺寸分布相比，船舶的尺寸分布更靠近漏斗邊緣，即幾乎沒(méi)有一艘船是方形的，這符合常識(shí)。BBox船呈對(duì)角出現(xiàn)，因?yàn)榇姆较蚣s為45°，
所以BBox的寬度等于高度。這表明RBox比BBox更先進(jìn)，能更好地描述真實(shí)船舶。RBox的寬高比分布規(guī)律不同于BBox，當(dāng)長(zhǎng)寬比為3左右時(shí)，會(huì)出現(xiàn)一個(gè)小波峰。這是因?yàn)镽Box可以成功識(shí)別船舶的長(zhǎng)邊和短邊，因此長(zhǎng)寬比大多大于1。
然而，事實(shí)上，RBox對(duì)于非常小的船仍然無(wú)能為力，因?yàn)榇南袼乜倲?shù)太小了。還可以看出，大多數(shù)船舶在SAR圖像中保持相對(duì)的垂直和水平狀態(tài)，但一些?？吭诟劭诘拇翱赡軙?huì)產(chǎn)生較大的方向角。根據(jù)這一現(xiàn)象，可大致識(shí)別近岸船舶，然后有針對(duì)性地設(shè)計(jì)網(wǎng)絡(luò)，提高近岸船舶的檢測(cè)精度。
03PSeg-SSDD數(shù)據(jù)集統(tǒng)計(jì)信息介紹
下圖顯示了PSeg-SSDD測(cè)試集中的船舶多邊形分割標(biāo)簽。在圖中不同的船舶被不同的顏色覆蓋，采用多邊形分割標(biāo)簽檢測(cè)船舶是最令人滿意的，該任務(wù)是在像素級(jí)執(zhí)行的，類似于傳統(tǒng)的恒虛警檢測(cè)。
下圖顯示了PSeg-SSDD的標(biāo)簽格式，可以看出，有一系列點(diǎn)用于描述船舶的輪廓。這些點(diǎn)可以連接成閉合多邊形，可使用標(biāo)注工具LabelMe來(lái)獲取這些點(diǎn)。需要明確的是，由于SSDD中船舶的尺度差異，不同尺度或尺寸的船舶必須產(chǎn)生不同數(shù)量的輪廓點(diǎn)。大型船只提供更多的點(diǎn)，而小型船只提供更少的點(diǎn)。
基于PSeg-SSDD，可以使用完全卷積網(wǎng)絡(luò)（FCN）或U-Net來(lái)研究語(yǔ)義切分任務(wù)。語(yǔ)義分割是指對(duì)圖像中的每個(gè)像素進(jìn)行分類。對(duì)于SAR船舶檢測(cè)，這將是一項(xiàng)船舶背景二進(jìn)制像素級(jí)分類任務(wù)。
如果用“1”標(biāo)簽預(yù)測(cè)一個(gè)像素，那么它將被視為一個(gè)像素。相反，對(duì)于“0”標(biāo)簽，它是背景。在圖7b中，遮罩中的黑色區(qū)域?qū)儆诒尘跋袼?，而綠色區(qū)域?qū)儆诒尘跋袼亍Ｒ驗(yàn)橹挥幸粋€(gè)船舶類別，所以遮罩中的顏色只有黑色和綠色。
此外，基于PSeg-SSDD，可以使用Mask R-CNN或PANet研究實(shí)例分割任務(wù)。實(shí)例分割是指用目標(biāo)檢測(cè)方法從圖像中自動(dòng)框出不同的實(shí)例，然后用語(yǔ)義分割方法在不同的實(shí)例區(qū)域逐像素進(jìn)行標(biāo)記。對(duì)于實(shí)例分割任務(wù)，訓(xùn)練標(biāo)簽下圖所示。實(shí)際上，多邊形分割的標(biāo)簽可以用作BBox和RBox的標(biāo)簽。
在上圖中，每艘船都同時(shí)有一個(gè)多邊形輪廓標(biāo)簽和一個(gè)水平矩形框。對(duì)于同一艘船，多邊形輪廓標(biāo)簽和水平矩形框的顏色相同。此外，不同船舶的顏色是不同的，因?yàn)樗鼈兪遣煌膶?shí)例，這取決于實(shí)例分割的定義。
根據(jù)PSeg-SSDD數(shù)據(jù)集上的數(shù)據(jù)統(tǒng)計(jì)結(jié)果可以看出，大型船舶的數(shù)量遠(yuǎn)小于小型船舶的數(shù)量。這種數(shù)量上的不平衡將不可避免地使網(wǎng)絡(luò)難以有效地了解大型船舶的特性。因此，大型船舶的檢測(cè)精度低于小型船舶。這種現(xiàn)象似乎與常識(shí)相反，因?yàn)槭聦?shí)上，小型船舶通常更難被發(fā)現(xiàn)。通過(guò)下采樣可以降低大型船舶圖像的分辨率，提高大型船舶的檢測(cè)性能。
一艘船的面積越大，并不一定意味著它的周長(zhǎng)越大。這是由船的扁平形狀造成的。此外，散斑噪聲的存在可能會(huì)影響船舶實(shí)際周長(zhǎng)的統(tǒng)計(jì)，因?yàn)樵肼晻?huì)使船舶邊緣更加不均勻，從而增加船舶與海洋之間的接觸面積。因此，在使用SSDD時(shí)，最好考慮抑制散斑噪聲。
從統(tǒng)計(jì)結(jié)果可以看出，SAR船舶在整個(gè)圖像中所占的比例很小，大多數(shù)小于4%。這展示了SAR“鳥(niǎo)瞰”視圖的特點(diǎn)。因此，SAR遙感圖像不同于具有“人眼”視角的自然場(chǎng)景的光學(xué)圖像。這表明將計(jì)算機(jī)視覺(jué)領(lǐng)域的深度學(xué)習(xí)檢測(cè)器直接應(yīng)用于SAR船舶檢測(cè)是不可行的。學(xué)者們應(yīng)該根據(jù)SAR的特點(diǎn)設(shè)計(jì)網(wǎng)絡(luò)，從而實(shí)現(xiàn)有目的的船舶檢測(cè)，而不是一般的目標(biāo)檢測(cè)。
往期推薦
本文和之前的兩篇：《SSDD數(shù)據(jù)集的標(biāo)準(zhǔn)規(guī)范》和《SAR圖像船舶目標(biāo)檢測(cè)數(shù)據(jù)集SSDD》均來(lái)自文獻(xiàn)：SAR Ship Detection Dataset (SSDD)-Of?cial Release and Comprehensive Data Analysis。需要英文原文的請(qǐng)給“雷達(dá)通信電子戰(zhàn)”發(fā)送“1018”，鐵桿會(huì)員可進(jìn)入日常更新文件夾下載中文WORD版。
01BBox-SSDD數(shù)據(jù)集統(tǒng)計(jì)信息介紹
BBox-SSDD的標(biāo)簽采用PASCAL VOC格式進(jìn)行標(biāo)注。一個(gè)BBox由x-y圖像坐標(biāo)中的兩個(gè)點(diǎn)描述，即A（xmin，ymin）和B（xmax，ymax）。一些基于CNN的檢測(cè)器采用BBox的一些其他描述，例如YOLO的（xmin，ymin，w，h），用戶可以靈活轉(zhuǎn)換它們。
通過(guò)BBox-SSDD數(shù)據(jù)集上的數(shù)計(jì)結(jié)果可以得出以下結(jié)論：
SSDD中的船舶普遍較小，船舶的平均尺寸只有大約35×35像素，要發(fā)現(xiàn)這樣的小船是非常困難的，因此學(xué)者們應(yīng)該特別關(guān)注這一現(xiàn)象。
船舶的寬度和長(zhǎng)度在圖像坐標(biāo)系中沒(méi)有完全區(qū)分，有時(shí)BBox的寬度和高度會(huì)混淆，BBox船舶的長(zhǎng)寬比嚴(yán)重失衡，大多數(shù)船舶的長(zhǎng)寬比小于1，由于缺乏訓(xùn)練數(shù)據(jù)，一些具有極端長(zhǎng)寬比的船舶很容易漏檢，可以使用90°旋轉(zhuǎn)數(shù)據(jù)增強(qiáng)來(lái)緩解這一問(wèn)題。此外，還可以只對(duì)長(zhǎng)寬比較大的船舶數(shù)據(jù)進(jìn)行選擇性增強(qiáng)，從而實(shí)現(xiàn)網(wǎng)絡(luò)的學(xué)習(xí)平衡。
可以發(fā)現(xiàn)SAR船非常小但BBox區(qū)域的上限相當(dāng)大，即有些船的尺寸非常大，但數(shù)量卻非常少。例如，在整個(gè)數(shù)據(jù)集中，>50000的區(qū)域數(shù)只有4個(gè)。這些船可能具有最高的分辨率，因?yàn)锽Box的面積是根據(jù)像素?cái)?shù)計(jì)算的。同一船舶在高分辨率圖像中的面積大于低分辨率圖像中的面積。這種大型跨尺度船舶檢測(cè)是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。
為了實(shí)現(xiàn)多分辨率條件下的多尺度船舶檢測(cè)，學(xué)者們可以對(duì)大型船舶進(jìn)行適當(dāng)?shù)南虏蓸樱蕴岣呔W(wǎng)絡(luò)多尺度特征學(xué)習(xí)的效益。此外，對(duì)于太小的船舶，可以通過(guò)上采樣插值來(lái)改進(jìn)，以避免其在網(wǎng)絡(luò)中的信息丟失。
02RBox-SSDD數(shù)據(jù)集統(tǒng)計(jì)信息介紹
下圖顯示了RBox-SSDD的標(biāo)注格式。一個(gè)RBox可以由四個(gè)頂點(diǎn)描述，即A（x1，y1），B（x2，y2），C（x3，y3）和D（x4，y4），稱這種方案為四點(diǎn)類型，這里四邊形的四個(gè)角是直角。上述表示可能是最直觀的，但一些檢測(cè)采用不同的編碼模式，即圖中的（x，y，w，h，θ），其中x，y是中心P的坐標(biāo)，θ是方向角，稱這種方案為中心角類型。在RBox SSDD中，θ∈[0°，90°]基于角度系統(tǒng)，而不是弧度系統(tǒng)。θ是船舶主軸和負(fù)y軸之間的角度。
通過(guò)RBox-SSDD數(shù)據(jù)集上的數(shù)據(jù)統(tǒng)計(jì)結(jié)果可以看出，與BBox尺寸分布相比，船舶的尺寸分布更靠近漏斗邊緣，即幾乎沒(méi)有一艘船是方形的，這符合常識(shí)。BBox船呈對(duì)角出現(xiàn)，因?yàn)榇姆较蚣s為45°，
所以BBox的寬度等于高度。這表明RBox比BBox更先進(jìn)，能更好地描述真實(shí)船舶。RBox的寬高比分布規(guī)律不同于BBox，當(dāng)長(zhǎng)寬比為3左右時(shí)，會(huì)出現(xiàn)一個(gè)小波峰。這是因?yàn)镽Box可以成功識(shí)別船舶的長(zhǎng)邊和短邊，因此長(zhǎng)寬比大多大于1。
然而，事實(shí)上，RBox對(duì)于非常小的船仍然無(wú)能為力，因?yàn)榇南袼乜倲?shù)太小了。還可以看出，大多數(shù)船舶在SAR圖像中保持相對(duì)的垂直和水平狀態(tài)，但一些?？吭诟劭诘拇翱赡軙?huì)產(chǎn)生較大的方向角。根據(jù)這一現(xiàn)象，可大致識(shí)別近岸船舶，然后有針對(duì)性地設(shè)計(jì)網(wǎng)絡(luò)，提高近岸船舶的檢測(cè)精度。
03PSeg-SSDD數(shù)據(jù)集統(tǒng)計(jì)信息介紹
下圖顯示了PSeg-SSDD測(cè)試集中的船舶多邊形分割標(biāo)簽。在圖中不同的船舶被不同的顏色覆蓋，采用多邊形分割標(biāo)簽檢測(cè)船舶是最令人滿意的，該任務(wù)是在像素級(jí)執(zhí)行的，類似于傳統(tǒng)的恒虛警檢測(cè)。
下圖顯示了PSeg-SSDD的標(biāo)簽格式，可以看出，有一系列點(diǎn)用于描述船舶的輪廓。這些點(diǎn)可以連接成閉合多邊形，可使用標(biāo)注工具LabelMe來(lái)獲取這些點(diǎn)。需要明確的是，由于SSDD中船舶的尺度差異，不同尺度或尺寸的船舶必須產(chǎn)生不同數(shù)量的輪廓點(diǎn)。大型船只提供更多的點(diǎn)，而小型船只提供更少的點(diǎn)。
基于PSeg-SSDD，可以使用完全卷積網(wǎng)絡(luò)（FCN）或U-Net來(lái)研究語(yǔ)義切分任務(wù)。語(yǔ)義分割是指對(duì)圖像中的每個(gè)像素進(jìn)行分類。對(duì)于SAR船舶檢測(cè)，這將是一項(xiàng)船舶背景二進(jìn)制像素級(jí)分類任務(wù)。
如果用“1”標(biāo)簽預(yù)測(cè)一個(gè)像素，那么它將被視為一個(gè)像素。相反，對(duì)于“0”標(biāo)簽，它是背景。在圖7b中，遮罩中的黑色區(qū)域?qū)儆诒尘跋袼?，而綠色區(qū)域?qū)儆诒尘跋袼亍Ｒ驗(yàn)橹挥幸粋€(gè)船舶類別，所以遮罩中的顏色只有黑色和綠色。
此外，基于PSeg-SSDD，可以使用Mask R-CNN或PANet研究實(shí)例分割任務(wù)。實(shí)例分割是指用目標(biāo)檢測(cè)方法從圖像中自動(dòng)框出不同的實(shí)例，然后用語(yǔ)義分割方法在不同的實(shí)例區(qū)域逐像素進(jìn)行標(biāo)記。對(duì)于實(shí)例分割任務(wù)，訓(xùn)練標(biāo)簽下圖所示。實(shí)際上，多邊形分割的標(biāo)簽可以用作BBox和RBox的標(biāo)簽。
在上圖中，每艘船都同時(shí)有一個(gè)多邊形輪廓標(biāo)簽和一個(gè)水平矩形框。對(duì)于同一艘船，多邊形輪廓標(biāo)簽和水平矩形框的顏色相同。此外，不同船舶的顏色是不同的，因?yàn)樗鼈兪遣煌膶?shí)例，這取決于實(shí)例分割的定義。
根據(jù)PSeg-SSDD數(shù)據(jù)集上的數(shù)據(jù)統(tǒng)計(jì)結(jié)果可以看出，大型船舶的數(shù)量遠(yuǎn)小于小型船舶的數(shù)量。這種數(shù)量上的不平衡將不可避免地使網(wǎng)絡(luò)難以有效地了解大型船舶的特性。因此，大型船舶的檢測(cè)精度低于小型船舶。這種現(xiàn)象似乎與常識(shí)相反，因?yàn)槭聦?shí)上，小型船舶通常更難被發(fā)現(xiàn)。通過(guò)下采樣可以降低大型船舶圖像的分辨率，提高大型船舶的檢測(cè)性能。
一艘船的面積越大，并不一定意味著它的周長(zhǎng)越大。這是由船的扁平形狀造成的。此外，散斑噪聲的存在可能會(huì)影響船舶實(shí)際周長(zhǎng)的統(tǒng)計(jì)，因?yàn)樵肼晻?huì)使船舶邊緣更加不均勻，從而增加船舶與海洋之間的接觸面積。因此，在使用SSDD時(shí)，最好考慮抑制散斑噪聲。
從統(tǒng)計(jì)結(jié)果可以看出，SAR船舶在整個(gè)圖像中所占的比例很小，大多數(shù)小于4%。這展示了SAR“鳥(niǎo)瞰”視圖的特點(diǎn)。因此，SAR遙感圖像不同于具有“人眼”視角的自然場(chǎng)景的光學(xué)圖像。這表明將計(jì)算機(jī)視覺(jué)領(lǐng)域的深度學(xué)習(xí)檢測(cè)器直接應(yīng)用于SAR船舶檢測(cè)是不可行的。學(xué)者們應(yīng)該根據(jù)SAR的特點(diǎn)設(shè)計(jì)網(wǎng)絡(luò)，從而實(shí)現(xiàn)有目的的船舶檢測(cè)，而不是一般的目標(biāo)檢測(cè)。
往期推薦
本文和之前的兩篇：《SSDD數(shù)據(jù)集的標(biāo)準(zhǔn)規(guī)范》和《SAR圖像船舶目標(biāo)檢測(cè)數(shù)據(jù)集SSDD》均來(lái)自文獻(xiàn)：SAR Ship Detection Dataset (SSDD)-Of?cial Release and Comprehensive Data Analysis。需要英文原文的請(qǐng)給“雷達(dá)通信電子戰(zhàn)”發(fā)送“1018”，鐵桿會(huì)員可進(jìn)入日常更新文件夾下載中文WORD版。
下載文檔
