領(lǐng)先的機(jī)器學(xué)習(xí)工具，深度學(xué)習(xí)將如何改變醫(yī)療成像領(lǐng)域？

深度學(xué)習(xí)在數(shù)據(jù)分析方面正在呈現(xiàn)持續(xù)增長(zhǎng)的趨勢(shì)，并被稱(chēng)為2013年的10項(xiàng)突破性技術(shù)之一 [1]。它是對(duì)神經(jīng)網(wǎng)絡(luò)的改進(jìn)，包含更多的計(jì)算層，從而能夠在數(shù)據(jù)中進(jìn)行更高層次的抽象和預(yù)測(cè) [2]。到目前為止，它正成為通用成像和計(jì)算機(jī)視覺(jué)領(lǐng)域領(lǐng)先的機(jī)器學(xué)習(xí)工具。

特別地，卷積神經(jīng)網(wǎng)絡(luò)（CNN）已經(jīng)被證明是可用于許多計(jì)算機(jī)視覺(jué)任務(wù)的有利工具。深度卷積神經(jīng)網(wǎng)絡(luò)（Deep CNN）可以自動(dòng)學(xué)習(xí)從原始數(shù)據(jù)（例如，圖像）獲得的中級(jí)和高級(jí)的抽象概念。最近的結(jié)果表明，從CNN提取的通用描述符（generic descriptor）在自然圖像的對(duì)象識(shí)別和定位中非常有效。世界各地的醫(yī)學(xué)圖像分析組正在迅速進(jìn)入該領(lǐng)域，并將CNN和其他的深度學(xué)習(xí)方法應(yīng)用于廣泛的應(yīng)用當(dāng)中。許多不錯(cuò)的成果正在涌現(xiàn)。

在醫(yī)學(xué)成像領(lǐng)域，疾病的準(zhǔn)確診斷或評(píng)估取決于圖像采集和圖像解譯。近年來(lái)，隨著技術(shù)的發(fā)展，設(shè)備能以更快地速率和更強(qiáng)大的分辨率來(lái)收集數(shù)據(jù)，這大大提高了圖像采集的質(zhì)量。然而，計(jì)算機(jī)技術(shù)對(duì)圖像解譯的改進(jìn)，才剛剛開(kāi)始。目前，大部分的醫(yī)學(xué)圖像解譯都由醫(yī)生來(lái)進(jìn)行?？墒牵祟?lèi)進(jìn)行的圖像解譯因?yàn)槠渲饔^性、不同解讀者的較大變化和產(chǎn)生的疲勞，往往是片面的。許多診斷任務(wù)需要初始搜索過(guò)程來(lái)檢測(cè)異常，并且量化測(cè)量值和時(shí)間的變化。計(jì)算機(jī)化的工具，尤其是圖像分析和機(jī)器學(xué)習(xí)，對(duì)改善診斷起到關(guān)鍵作用。他們通過(guò)幫助識(shí)別需要治療的部位來(lái)支持專(zhuān)家工作流程。在這些工具當(dāng)中，深度學(xué)習(xí)被迅速的證實(shí)了其作為基礎(chǔ)的優(yōu)越性，能夠提高準(zhǔn)確性。它還開(kāi)辟了數(shù)據(jù)分析的新領(lǐng)域，并以一種前所未有的速度不斷發(fā)展。

A. 歷史上的網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)背后的基本思想已經(jīng)存在了幾十年了 [3]。它們通常只有幾個(gè)層。反向傳播算法的出現(xiàn)，使得神經(jīng)網(wǎng)絡(luò)的性能有了顯著的提升。然而，性能仍然不夠。其他分類(lèi)器逐漸發(fā)展開(kāi)來(lái)，包括決策樹(shù)、boosTIng和支持向量機(jī)。其中每一個(gè)都已經(jīng)應(yīng)用于醫(yī)學(xué)圖像分析，特別是用于檢測(cè)異常，而且他們也在分割（segmentaTIon）等其它一些相關(guān)領(lǐng)域得到了應(yīng)用。盡管取得了這樣的發(fā)展，相對(duì)高的假陽(yáng)性率依然很普遍。

早在1996年在Sahiner等人的工作中，CNN（卷積神經(jīng)網(wǎng)絡(luò)）就被應(yīng)用在醫(yī)學(xué)圖像處理上 [4]。在這項(xiàng)工作中，從乳腺X光照片中提取包含活檢證實(shí)的腫塊或者正常組織的ROIs（Region of Interests）。CNN包含一個(gè)輸入層、兩個(gè)隱含層和一個(gè)輸出層以及使用的反向傳播。在這個(gè)前GPU時(shí)代，訓(xùn)練時(shí)間被描述為“計(jì)算密集型”，但是卻沒(méi)有給出具體的時(shí)間。1993年，CNN被用于肺結(jié)節(jié)檢測(cè) [5]。1995年，CNN被用于檢測(cè)乳腺X光照片上的微鈣化 [6]。

一個(gè)典型的用于圖像處理的CNN，其結(jié)構(gòu)包含一連串卷積濾波器的層，夾雜著一連串?dāng)?shù)據(jù)壓縮或者池化層。卷積濾波器（convoluTIon filter）處理輸入圖像的一小塊。類(lèi)似于人腦的低級(jí)像素處理，卷積濾波器能夠檢測(cè)相關(guān)度高的圖像特征，比如可以代表明顯邊緣的線或圓（例如用于器官檢測(cè)）或者圓形（比如用于圓形的物體，像結(jié)腸息肉），然后是高階特征比如局部或是全局形狀和紋理。CNN的輸出通常是一個(gè)或多個(gè)概率或者圖像對(duì)應(yīng)的類(lèi)別的標(biāo)簽。卷積濾波器能夠直接從訓(xùn)練的數(shù)據(jù)當(dāng)中學(xué)習(xí)。這正是人們所需要的，因?yàn)樗档土藢?duì)很花費(fèi)時(shí)間的手動(dòng)標(biāo)記特征的需求。如果不用卷積濾波器，那么在預(yù)處理圖像階段，針對(duì)特定應(yīng)用設(shè)計(jì)的濾波器以及一些需要計(jì)算的特征是離不開(kāi)這些人工特征的。

CNN是高度并行化的算法。與單獨(dú)的的CPU處理相比，使用CNN的實(shí)用性一大部分是來(lái)源于圖像處理單元（GPU）促成的巨大的速度提升（大約40倍）。早期描述GPU 對(duì)訓(xùn)練的CNN 和其他機(jī)器學(xué)習(xí)技術(shù)價(jià)值的論文是在2006年發(fā)表的 [8]。在醫(yī)學(xué)圖像處理中，GPU 首先被引入用于分割、重建和配準(zhǔn)，然后才是機(jī)器學(xué)習(xí) [9]，[10]。有趣的是，雖然Eklund et al. [10] 在他們的2013年的論文中廣泛談?wù)摼矸e，但卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)一點(diǎn)也沒(méi)有被提及。這突出了深度學(xué)習(xí)的重大改革對(duì)醫(yī)學(xué)圖像處理研究的迅速調(diào)整有多迅猛。

B. 今天的網(wǎng)絡(luò)

由于CNN 的新變體的開(kāi)發(fā)和針對(duì)現(xiàn)代 GPU 優(yōu)化的高效并行求解器（parallel solver）的出現(xiàn)，深度神經(jīng)網(wǎng)絡(luò)最近已經(jīng)獲得了相當(dāng)大的商業(yè)利益。CNN 的強(qiáng)大得益于它的深層架構(gòu)，這讓它在不同抽象級(jí)別上，提取一系列辨別特征。從頭開(kāi)始訓(xùn)練一個(gè)深層的卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)巨大的挑戰(zhàn)。首先，CNN 需要很大數(shù)量的標(biāo)記數(shù)據(jù)，而這這在醫(yī)學(xué)領(lǐng)域很難達(dá)到。這是因?yàn)檎?qǐng)專(zhuān)家來(lái)進(jìn)行標(biāo)記是很昂貴的，并且疾病（比如，病變）的樣本十分稀少。其次，訓(xùn)練深度 CNN 需要大量的計(jì)算和存儲(chǔ)器資源，沒(méi)有它們的話，訓(xùn)練的過(guò)程會(huì)非常耗時(shí)。第三，訓(xùn)練一個(gè)深度 CNN 經(jīng)常由于過(guò)擬合和收斂問(wèn)題而變得復(fù)雜化，通常需要對(duì)網(wǎng)絡(luò)的學(xué)習(xí)參數(shù)或者架構(gòu)重復(fù)調(diào)整以確保所有的層都以相當(dāng)?shù)乃俣葘W(xué)習(xí)。鑒于以上的困難，一些被稱(chēng)為“遷移學(xué)習(xí)（transfer learning）”和“微調(diào)（fine-tuning）”的新的學(xué)習(xí)方案被提出來(lái)提供解決方案，并且被越來(lái)越多的人接受。這些將在 II-C 節(jié)進(jìn)一步討論。

C. 醫(yī)學(xué)領(lǐng)域的網(wǎng)絡(luò)

領(lǐng)域深度學(xué)習(xí)（domain Deep learning）方法當(dāng)應(yīng)用到大型訓(xùn)練集時(shí)最為有效，但在醫(yī)學(xué)領(lǐng)域，并不總能獲得大的數(shù)據(jù)集。因此，我們面臨著一系列重大的挑戰(zhàn)，這包括，(a) 深度神經(jīng)網(wǎng)絡(luò)可以被有效地用在醫(yī)學(xué)任務(wù)上嗎？(b) 從一般意象到醫(yī)學(xué)領(lǐng)域的轉(zhuǎn)移學(xué)習(xí)是否相關(guān)？(c) 我們是否可以單獨(dú)依靠學(xué)習(xí)的特征，還是可以將它們與人工制作的功能結(jié)合起來(lái)完成任務(wù)？這種關(guān)于醫(yī)學(xué)成像的深度學(xué)習(xí)的 IEEE 成像 ( IEEE-TMI ) 特殊問(wèn)題集中在機(jī)器學(xué)習(xí)這個(gè)新時(shí)代的進(jìn)展以及它在醫(yī)學(xué)圖像處理領(lǐng)域的角色。這個(gè)問(wèn)題介紹了最近 CNN 和其他深度學(xué)習(xí)應(yīng)用在醫(yī)療任務(wù)方面的成就。它包含來(lái)自世界各地的各種調(diào)查員的50份論文中挑選出來(lái)的18篇文章，這對(duì)于 IEEE 的特殊問(wèn)題是一個(gè)非常高的數(shù)字，并且這是在從論文征集公布到提交截止日期的時(shí)長(zhǎng)比以往要短的時(shí)間內(nèi)實(shí)現(xiàn)的。論文集中在從檢測(cè)到類(lèi)別化（例如，病變檢測(cè)、圖像分割、形狀建模、圖像配準(zhǔn)）等 這些大量傳統(tǒng)的任務(wù)，也有一些開(kāi)放的新穎的應(yīng)用領(lǐng)域。其中還包括了一些重點(diǎn)在網(wǎng)絡(luò)探索的工作，并給出了對(duì)不同的任務(wù)、參數(shù)、訓(xùn)練集應(yīng)該如何選擇架構(gòu)的看法。

A. 病變檢測(cè)

電腦輔助檢測(cè) ( CAD/Computer-aided detecTIon ) 是一個(gè)完善的醫(yī)學(xué)圖像分析領(lǐng)域，非常適合深度學(xué)習(xí)。在 CAD 的標(biāo)準(zhǔn)方法 [11] 中，通過(guò)監(jiān)督方法或者經(jīng)典的圖像處理技術(shù)（比如濾波和數(shù)學(xué)形態(tài)學(xué)（mathematical morphology））檢測(cè)病變。候選病變通常被分割出來(lái)，而且通常由大量的手動(dòng)設(shè)計(jì)的特征來(lái)描述。分類(lèi)器將特征向量與對(duì)應(yīng)的候選部位是實(shí)際病變的概率做映射。使用深度學(xué)習(xí)而不是手動(dòng)設(shè)計(jì)的特征的直接方法是訓(xùn)練在以候選病變?yōu)橹行牡囊唤M圖像圖像數(shù)據(jù)上操作的 CNN。本期的幾篇文章都使用了這種方法。為了 獲取3D 胸部 CT 掃描的肺結(jié)節(jié)的候選以及提取以這些候選部位為中心的9個(gè)不同的方向的2D 貼片，Setio et al. [12] 結(jié)合了先前開(kāi)發(fā)的三種候選探測(cè)器。結(jié)合不同的 CNN 來(lái)對(duì)每個(gè)候選者進(jìn)行分類(lèi)。報(bào)告顯示，與先前公布的用于相同任務(wù)的經(jīng)典 CAD 的結(jié)果相比，這種方法取得了微小的進(jìn)步。

Roth et al. [13] 將 CNN 用于改進(jìn)3個(gè)現(xiàn)有的 CAD 系統(tǒng)用于檢測(cè)結(jié)腸鏡 CT 中結(jié)腸息肉的存在，以及利用體 CT，檢測(cè)硬化脊柱轉(zhuǎn)移和擴(kuò)大淋巴結(jié)。他們也用了先前開(kāi)發(fā)的候選檢測(cè)器和3個(gè)正交方向的2D 貼片，以及多達(dá) 100個(gè)隨機(jī)旋轉(zhuǎn)視圖。隨機(jī)旋轉(zhuǎn)的“2.5D”視圖是一種從原始 3D 數(shù)據(jù)分解圖像表示的方法。隨后通過(guò)整合 在 2.5D 視圖上的 CNN 的預(yù)測(cè)結(jié)果來(lái)獲得額外的準(zhǔn)確度提升。對(duì)于所有使用 CNN 的 3 個(gè) CAD 系統(tǒng)，病變檢測(cè)的靈敏度改善了 13 – 34%，這表明該方法是通用的可調(diào)整的。若使用非深度學(xué)習(xí)分類(lèi)器 ( 例如支持向量機(jī)族 )，幾乎不可能達(dá)到這種程度的改進(jìn)。

Dou et al. [14] 從磁敏性加權(quán)磁共振成像掃描中檢測(cè)出腦微出血。他們使用 3D CNN 并且用 CNN 替換原始的候選檢測(cè)階段，提出了兩階段方法。報(bào)告提出，在相同的數(shù)據(jù)集上重新實(shí)施、訓(xùn)練和測(cè)試，他們的 3D CNN 的結(jié)果與現(xiàn)有文獻(xiàn)中的其他經(jīng)典的方法和 2D CNN 方法相比，有了改進(jìn)。

Sirinukunwattana et al. [15] 在組織病理學(xué)圖像中檢測(cè)和分類(lèi)細(xì)胞核。他們使用一個(gè) CNN，使用一個(gè)小塊作為輸入，而不僅僅是預(yù)測(cè)小塊的中心像素是否是細(xì)胞核，他們對(duì)輸出進(jìn)行建模，每個(gè)細(xì)胞核中心會(huì)產(chǎn)生一個(gè)峰值而其他地方較為平坦。這種空間約束的 CNN 與在測(cè)試階段中的重疊貼片的融合相結(jié)合，產(chǎn)生了比先前基于 CNN 和基于經(jīng)典特征方法的先前提出的技術(shù)更好的結(jié)果。

Anthimopoulos et al. [16] 側(cè)重于利用 2D 胸部 CT 掃描圖像來(lái)探測(cè)間質(zhì)性肺病的模式。他們是研究這個(gè)問(wèn)題的三個(gè)組之一 ( 其他兩個(gè)是 Shin et al. [17] 和 van Tulder et al. [18]）使用來(lái)自 [19] 的公開(kāi)數(shù)據(jù)集。他們訓(xùn)練 CNN，讓其能區(qū)分 32 × 32 個(gè)像素的小塊屬于 7 個(gè)類(lèi)中的哪一個(gè)。報(bào)告顯示，他們的結(jié)果達(dá)到了比以前三個(gè)使用手動(dòng)設(shè)計(jì)特征的方法更高的精度。

在研究此類(lèi)問(wèn)題的其他幾篇文章中，病變檢測(cè)也是一個(gè)感興趣的話題，但是這些文章的側(cè)重點(diǎn)在于更廣泛或?qū)Ｗ⒂谔囟ǖ姆椒▎?wèn)題。這些論文將在下面簡(jiǎn)要談?wù)摗?/p>

B. 分割和形狀建模

對(duì)于一個(gè)由 2891 個(gè)心臟超聲檢查構(gòu)成的大數(shù)據(jù)集，Ghesu 等人結(jié)合了深度學(xué)習(xí)和邊緣區(qū)空間學(xué)習(xí)來(lái)做物體探測(cè)和分割。“大參數(shù)空間的有效探索”與一種增強(qiáng)深度網(wǎng)絡(luò)中的稀疏性的方法的結(jié)合增強(qiáng)了計(jì)算效率，且該方法相較于同一個(gè)小組發(fā)布的另一個(gè)參考方法將平均分割誤差減少了 13.5%。

有三組研究人員關(guān)注于大腦結(jié)構(gòu)分割或腦病變。多發(fā)性硬化癥腦病變分割的磁共振成像（MRI）問(wèn)題由 Brosch 等人解決。他們開(kāi)發(fā)了一種 3D 深度卷積編碼網(wǎng)絡(luò)，這種網(wǎng)絡(luò)能夠結(jié)合相互關(guān)聯(lián)的卷積與反卷積過(guò)程。卷積過(guò)程學(xué)習(xí)到更高層次的功能，而反卷積過(guò)程預(yù)測(cè)出體素水平分割。他們將這種網(wǎng)絡(luò)應(yīng)用到兩個(gè)公用數(shù)據(jù)集和一個(gè)臨床試驗(yàn)數(shù)據(jù)集中，并將自己的方法與 5 種公用方法進(jìn)行了比較。報(bào)告稱(chēng)，稱(chēng)該方法的表現(xiàn)“可與當(dāng)前最先進(jìn)的方法相媲美”。

Pereira 等人研究了磁共振成像中的腦腫瘤分割。[ 22 ]。他們使用了小的內(nèi)核、更深層的架構(gòu)、灰度歸一化和數(shù)據(jù)增強(qiáng)。不同卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)被用于低級(jí)別和高級(jí)別的腫瘤。該方法分別對(duì)腫瘤的增強(qiáng)部分和核心部分進(jìn)行了分割。他們?cè)?2013 年的數(shù)據(jù)集公共挑戰(zhàn)賽上排名第一，并在 2015 年的現(xiàn)場(chǎng)挑戰(zhàn)賽上排名第二。

對(duì)于大腦結(jié)構(gòu)分割問(wèn)題，Moeskops 等人的一項(xiàng)研究顯示，卷積神經(jīng)網(wǎng)絡(luò)在涵蓋了從早產(chǎn)兒到老年人的五個(gè)不同年齡組病人的數(shù)據(jù)集上表現(xiàn)出色。一種多尺度的方法被用于實(shí)現(xiàn)其可靠性。該方法在 8 種組織類(lèi)別中取得了良好的效果，其中 5 個(gè)數(shù)據(jù)集的 Dice 相似性系數(shù)平均值為 0.82 至 0.91。

C. 網(wǎng)絡(luò)探究

1）數(shù)據(jù)維度問(wèn)題——二維 vs 三維：我們看到的大部分?jǐn)?shù)據(jù)研究采用的是二維分析。二維向三維的過(guò)渡經(jīng)常遭到質(zhì)疑——它是否會(huì)是性能大幅提升的一個(gè)關(guān)鍵所在。數(shù)據(jù)增強(qiáng)過(guò)程中存在一些變化，包括 2.5 維。例如在 Roth 等人的研究中，軸位、冠狀位和矢狀位圖像以候選的結(jié)腸息肉或淋巴結(jié)中的體素為中心，并被輸入到 cuda-convnet 卷積神經(jīng)網(wǎng)絡(luò)中，該網(wǎng)絡(luò)包含了通常用于表示一張自然光圖像的紅、綠、藍(lán)三色通道。三維卷積神經(jīng)網(wǎng)絡(luò)被 Brosch 和 Dou 等人明確用在了這個(gè)問(wèn)題上。

2）學(xué)習(xí)方法論——無(wú)監(jiān)督型 vs 監(jiān)督型：當(dāng)我們看網(wǎng)絡(luò)文獻(xiàn)時(shí)會(huì)明顯發(fā)現(xiàn)，大部分研究為了實(shí)現(xiàn)分類(lèi)而專(zhuān)注于監(jiān)督型卷積神經(jīng)網(wǎng)絡(luò)。這種網(wǎng)絡(luò)對(duì)許多應(yīng)用來(lái)說(shuō)非常重要，包括檢測(cè)、分割和標(biāo)記。然而仍有一些研究專(zhuān)注于無(wú)監(jiān)督型方案，它們大多在圖像編碼、高效圖像表征計(jì)劃以及作為深入監(jiān)督型方案的一種預(yù)處理步驟方面被證明是有用的。無(wú)監(jiān)督型表征學(xué)習(xí)方法如受限波爾茲曼機(jī)（Restricted Boltzmann Machines/RBM）可能會(huì)超越標(biāo)準(zhǔn)的濾波器組，因?yàn)樗鼈冎苯訌挠?xùn)練數(shù)據(jù)中學(xué)習(xí)特征描述。RBM 由一個(gè)生成型學(xué)習(xí)目標(biāo)來(lái)訓(xùn)練；這使得網(wǎng)絡(luò)可以從未標(biāo)記的數(shù)據(jù)中學(xué)習(xí)表征，但不一定會(huì)產(chǎn)生最佳分類(lèi)特征。Van Tulder 等人進(jìn)行了一項(xiàng)調(diào)查研究，它結(jié)合了卷積分類(lèi) RBM 中生成型和判別型學(xué)習(xí)目標(biāo)的優(yōu)點(diǎn)。該研究表明學(xué)習(xí)任務(wù)的組合形式優(yōu)于純粹的判別型或生成型學(xué)習(xí)。

3）訓(xùn)練數(shù)據(jù)注意事項(xiàng)：卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)數(shù)據(jù)驅(qū)動(dòng)型、極具表征性、分層遞階的圖像特征的學(xué)習(xí)。在許多應(yīng)用領(lǐng)域中（見(jiàn)期刊），這些特征已被證明是一個(gè)十分強(qiáng)大且可靠的表征。要提供這樣一個(gè)豐富的表征和成功的分類(lèi)，需要足夠多的訓(xùn)練數(shù)據(jù)。所需數(shù)據(jù)量是一個(gè)有待探討的關(guān)鍵問(wèn)題。相關(guān)問(wèn)題包括以下內(nèi)容：我們?nèi)绾巫钣行У厥褂盟鶕碛械挠?xùn)練數(shù)據(jù)？在無(wú)法獲得數(shù)據(jù)的情況下我們能做些什么？以及最后是否存在獲取數(shù)據(jù)并進(jìn)行醫(yī)學(xué)注釋的替代方法？

其中一些問(wèn)題由該期刊中的一些論文解決。Van Grinsven 等人試圖通過(guò)動(dòng)態(tài)選擇訓(xùn)練期間被錯(cuò)誤分類(lèi)的負(fù)樣本來(lái)改善和加速解決醫(yī)學(xué)圖像分析任務(wù)的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練。卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程是一個(gè)連續(xù)的過(guò)程，需要多次迭代（或多個(gè)時(shí)期）來(lái)優(yōu)化網(wǎng)絡(luò)參數(shù)。在每一個(gè)時(shí)期，一個(gè)樣本的子集是從訓(xùn)練數(shù)據(jù)中隨機(jī)選擇的，并通過(guò)反向傳播和最小化代價(jià)函數(shù)來(lái)呈給網(wǎng)絡(luò)以更新其參數(shù)。醫(yī)學(xué)領(lǐng)域中的分類(lèi)任務(wù)往往是一個(gè)正常型/病理型的判別任務(wù)。在這種情況下，正常型類(lèi)別尤其會(huì)被過(guò)度表征；此外由于每張圖像中正常型組織的重復(fù)型模式，大多數(shù)正常型訓(xùn)練樣本是高度相關(guān)的。其中只有一小部分會(huì)包含有用信息。在學(xué)習(xí)過(guò)程中對(duì)這些數(shù)據(jù)進(jìn)行同等處理會(huì)導(dǎo)致在無(wú)用的正常型樣本上浪費(fèi)許多次訓(xùn)練迭代，使卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程花費(fèi)不必要的時(shí)間。能夠識(shí)別有用的正常型樣本的一種方法（如該研究所示）提高了卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程的效率并減少了訓(xùn)練時(shí)間。

4）遷移學(xué)習(xí)和微調(diào)：在像 ImageNet 一樣全面注解的醫(yī)療成像領(lǐng)域中獲取數(shù)據(jù)仍然是一個(gè)挑戰(zhàn)。當(dāng)沒(méi)有足夠多的數(shù)據(jù)可用時(shí)，有幾種方法可以提供幫助：1）遷移學(xué)習(xí)：由自然的圖像數(shù)據(jù)集或由一個(gè)不同醫(yī)療領(lǐng)域中所預(yù)訓(xùn)練過(guò)的卷積神經(jīng)網(wǎng)絡(luò)模型（監(jiān)督型）被用于手頭一個(gè)新的醫(yī)療任務(wù)。一種方案是，一個(gè)預(yù)訓(xùn)練過(guò)的卷積神經(jīng)網(wǎng)絡(luò)被施加到一張輸入圖像中，然后其輸出從網(wǎng)絡(luò)層中被提取出來(lái)。所提取的輸出被當(dāng)做特征并被用于訓(xùn)練一個(gè)單獨(dú)的模式分類(lèi)器。例如在 Bar 等人的研究中，預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)被用來(lái)作為一個(gè)鑒定胸部病理的特征生成器。在 Ginneken 等人的研究中，基于卷積神經(jīng)網(wǎng)絡(luò)的特征與手動(dòng)添加的特征被整合在一起，實(shí)現(xiàn)了一個(gè)結(jié)節(jié)（nodule）檢測(cè)系統(tǒng)中的性能提升。2）微調(diào)：確實(shí)有一個(gè)中等大小的數(shù)據(jù)集可用于手頭任務(wù)，一個(gè)參考方案是，在進(jìn)一步的監(jiān)督型訓(xùn)練完成后，將一個(gè)預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)作為幾個(gè)（或全部）網(wǎng)絡(luò)層的初始化來(lái)使用，在手頭任務(wù)中使用新數(shù)據(jù)。

遷移學(xué)習(xí)和微調(diào)是在醫(yī)療成像應(yīng)用中使用深度卷積神經(jīng)網(wǎng)絡(luò)的關(guān)鍵部分。對(duì)這些問(wèn)題進(jìn)行探討的是 Shin 和 Tajbakhsh 等人的研究工作。其研究中的實(shí)驗(yàn)結(jié)果一致表明，使用帶有微調(diào)的預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)能夠達(dá)到最佳效果，無(wú)論是特定應(yīng)用領(lǐng)域（Tajbakhsh 等人）還是所有網(wǎng)絡(luò)架構(gòu)（Shin 等人）。Tajbakhsh 等人的進(jìn)一步分析表明，深度微調(diào)在性能提升方面優(yōu)于淺度微調(diào)，而訓(xùn)練集尺寸的降低也使得使用微調(diào)的重要性得到提高。在 Shin 等人的研究中，GoogleNet 架構(gòu)相比其他較淺深度架構(gòu)實(shí)現(xiàn)了最先進(jìn)的縱隔淋巴結(jié)檢測(cè)。

5）真實(shí)標(biāo)注數(shù)據(jù)（Ground Truth）——來(lái)源于專(zhuān)家與非專(zhuān)家：對(duì)公開(kāi)真實(shí)標(biāo)注數(shù)據(jù)的缺乏，以及每次醫(yī)療任務(wù)中收集這些數(shù)據(jù)的難度，加上成本和時(shí)間開(kāi)銷(xiāo)，這些都是醫(yī)療領(lǐng)域中令人望而卻步的限制因素。雖然眾包實(shí)現(xiàn)了對(duì)現(xiàn)實(shí)世界圖像的大型數(shù)據(jù)庫(kù)的注釋?zhuān)湓谏镝t(yī)學(xué)目的上的應(yīng)用卻需要一個(gè)更加深入的理解力，因而需要對(duì)實(shí)際注釋任務(wù)有更精確的定義（Nguyen 和 McKenna 等人）。專(zhuān)家任務(wù)被外包給非專(zhuān)家用戶(hù)的事實(shí)可能會(huì)導(dǎo)致雜亂的注釋?zhuān)鹩脩?hù)之間的分歧。許多問(wèn)題出現(xiàn)在醫(yī)學(xué)專(zhuān)家與非專(zhuān)業(yè)人士的知識(shí)結(jié)合上，比如怎樣結(jié)合信息源，如何由他們?cè)谛阅芎推渌矫姹皇孪茸C明過(guò)的準(zhǔn)確性來(lái)評(píng)估和混合輸入權(quán)重。這些問(wèn)題由 Albarqouni 等人解決。他們提出一種結(jié)合了聚合層 aggregation layer 的網(wǎng)絡(luò)，該聚合層被集成到卷積神經(jīng)網(wǎng)絡(luò)中，從而將源于群眾注釋的學(xué)習(xí)輸入作為網(wǎng)絡(luò)學(xué)習(xí)過(guò)程的一部分。顯示結(jié)果對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的功能給出了有價(jià)值的見(jiàn)解。有關(guān)醫(yī)學(xué)領(lǐng)域中眾包研究最驚人的事實(shí)竟是這樣一個(gè)結(jié)論：一群非專(zhuān)業(yè)的、沒(méi)有經(jīng)驗(yàn)的用戶(hù)實(shí)際上可以做得像醫(yī)學(xué)專(zhuān)家一樣好。Nguyen 和 McKenna 等人在放射圖像的研究中也觀察到了這點(diǎn)。

D.創(chuàng)新應(yīng)用和新奇應(yīng)用案例

Kallenberg[32] 的工作是以乳腺 X 片圖像為輸入數(shù)據(jù)源，運(yùn)用無(wú)監(jiān)督式特征學(xué)習(xí)來(lái)為乳腺的疾病風(fēng)險(xiǎn)打分。他們展示了一種從無(wú)標(biāo)記數(shù)據(jù)來(lái)學(xué)習(xí)層次特征的方法，然后這些特征將會(huì)直接輸入到一個(gè)簡(jiǎn)單分類(lèi)器中。在這個(gè)分類(lèi)器中，將會(huì)進(jìn)行 2 類(lèi)不同的操作：1）乳房密度的圖像分割，2）乳腺 X 片紋理的打分。分類(lèi)器在這兩方面的表現(xiàn)都非常優(yōu)秀。為了控制訓(xùn)練模型的容量，通過(guò)一個(gè)稀疏正則化優(yōu)化來(lái)控制稀疏的時(shí)間和范圍。無(wú)監(jiān)督式學(xué)習(xí)過(guò)程中卷積層其實(shí)可以看成是一個(gè)自動(dòng)編碼器 autoencoders；在監(jiān)督學(xué)習(xí)部分，（預(yù)先訓(xùn)練好的）權(quán)值和偏差值會(huì)進(jìn)一步運(yùn)用 softmax 回歸函數(shù)來(lái)微調(diào)。

Yan[33] 等人的工作中設(shè)計(jì)了一個(gè)多階段（multi-stage）深度學(xué)習(xí)框架來(lái)處理圖像分類(lèi)問(wèn)題并且將其用于人體局部特征識(shí)別。在預(yù)訓(xùn)練階段，通過(guò)多示例學(xué)習(xí)（multi-instance learning）來(lái)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，從而獲取當(dāng)前訓(xùn)練數(shù)據(jù)切片中里最具有辨別力的局部圖塊和無(wú)效訊息的局部圖塊。在強(qiáng)化階段，預(yù)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)將進(jìn)一步通過(guò)相應(yīng)局部圖像來(lái)訓(xùn)練圖像分類(lèi)器，從而強(qiáng)化他的分類(lèi)能力。這個(gè)多示例深度學(xué)習(xí)方法的突出點(diǎn)在于可以自動(dòng)的完成區(qū)分性的局部圖像和無(wú)效訊息的局部圖像的識(shí)別。因此，不需要事先的人工標(biāo)注工作。

回歸網(wǎng)絡(luò)在醫(yī)療圖像里的使用不是很常見(jiàn)。Miao 等人提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的回歸網(wǎng)絡(luò)，來(lái)實(shí)現(xiàn)實(shí)時(shí)的二維/三維配準(zhǔn)。他們提出了三個(gè)算法來(lái)簡(jiǎn)化潛在的映射對(duì)象回歸，并且在 CNN 回歸模型中加入了一種強(qiáng)壯的非線性模型。從這個(gè)網(wǎng)絡(luò)的輸出結(jié)果來(lái)看，深度學(xué)習(xí)算法比之前的最優(yōu)算法的結(jié)果更準(zhǔn)確且魯棒性更好，大幅度提升了基于灰度的二維/三維配準(zhǔn)進(jìn)程。

目前我們?nèi)匀辉谔剿魃窠?jīng)網(wǎng)絡(luò)可以應(yīng)用的領(lǐng)域，以及在哪些領(lǐng)域上他們的應(yīng)用和任務(wù)維度上會(huì)產(chǎn)生持續(xù)的影響。在一個(gè)開(kāi)創(chuàng)性的研究中，Golkov[35] 提出了一個(gè)原始化的論證，他運(yùn)用深度學(xué)習(xí)來(lái)簡(jiǎn)化彌散 MRI（核磁共振）圖像數(shù)據(jù)處理，優(yōu)化后僅需一步。他們的研究表明，這種改進(jìn)使得人們從一個(gè)先進(jìn)的模型獲取標(biāo)量測(cè)量數(shù)據(jù)的掃描時(shí)間減少了 12 倍，并且不需要運(yùn)用擴(kuò)散模型就能識(shí)別異常。揭示擴(kuò)散加權(quán)信號(hào)和顯微組織特性之間的關(guān)系是值得正視的。Golkov[35] 表示，運(yùn)用深度神經(jīng)網(wǎng)絡(luò)也許可以揭示這樣的關(guān)系：彌散加權(quán)成像（DWIs）可以直接被作為輸入數(shù)據(jù)，而不是通過(guò)模型擬合獲得的標(biāo)量測(cè)量值來(lái)處理。這項(xiàng)研究表明基于逐個(gè)立體像素的顯微組織預(yù)測(cè)，以及基于彌散加權(quán)成像值的自動(dòng)無(wú)模型圖像分割可以用于健康組織和 MS 病灶的模型訓(xùn)練中。擴(kuò)散峰廣為人知的是通過(guò) 12 個(gè)數(shù)據(jù)點(diǎn)、凸起方向彌散以及僅 8 個(gè)數(shù)據(jù)點(diǎn)的密度估計(jì)來(lái)得到。這個(gè)為臨床研究提供了快速且魯棒性更好的方法，同時(shí)也表明標(biāo)準(zhǔn)的數(shù)據(jù)處理過(guò)程可以用深度學(xué)習(xí)的方法來(lái)簡(jiǎn)化。

已有的很多工作顯示，深度網(wǎng)絡(luò)的的使用提升了目前的最高水平，且這些提升在很多領(lǐng)域都是一致的。通常情況下，深度學(xué)習(xí)給出解決方案的所取得的進(jìn)步是相對(duì)直接的，這一點(diǎn)我們可以從醫(yī)療計(jì)算領(lǐng)域看到這一明顯的進(jìn)步。在《醫(yī)療影像中的深度學(xué)習(xí)：一項(xiàng)令人激動(dòng)的新科技的綜述和展望》一文中，提出了這樣一些問(wèn)題：2012 年的大規(guī)模種類(lèi)識(shí)別理論有了 10% 的進(jìn)步，但如何在應(yīng)用方面獲得實(shí)質(zhì)性的飛躍呢？所提出的問(wèn)題正確嗎？探索的方向正確嗎？使用的圖像表達(dá)技術(shù)足以支撐嗎（比如，2D 還是 3D）？需要從每個(gè)醫(yī)療案例中獲得更多的數(shù)據(jù)嗎？還是轉(zhuǎn)向深度學(xué)習(xí)更高效？還有更多的相關(guān)問(wèn)題在這篇文章的第二部分被提出來(lái)。大部分的問(wèn)題丞待解決。

在這篇文獻(xiàn)中，可以看出，雖然通過(guò)深度網(wǎng)絡(luò)可以接觸到監(jiān)督式學(xué)習(xí)和無(wú)監(jiān)督式學(xué)習(xí)，但是似乎大部分的工作都在使用監(jiān)督式學(xué)習(xí)。那么在醫(yī)學(xué)領(lǐng)域呢？數(shù)據(jù)量是一個(gè)關(guān)鍵因素，在形式上就要求結(jié)合監(jiān)督式學(xué)習(xí)和無(wú)監(jiān)督式學(xué)習(xí)雙方的優(yōu)點(diǎn)。在醫(yī)學(xué)領(lǐng)域，由于很難獲取大數(shù)據(jù)（人工標(biāo)注難以獲得），所以該領(lǐng)域需要更多的半監(jiān)督式學(xué)習(xí)和監(jiān)督式學(xué)習(xí)。

此文包括很多的網(wǎng)絡(luò)構(gòu)架。從當(dāng)前已發(fā)表的論文中可以看出可變性是非常大的。選擇已知的構(gòu)架，設(shè)計(jì)任務(wù)穩(wěn)定的構(gòu)架，跨構(gòu)架融合等都可能導(dǎo)致可變性。我們可以就此提出一個(gè)有趣的問(wèn)題：如果一個(gè)非常深層的殘差網(wǎng)絡(luò)，跨過(guò)了 152 層，在 ILSVRC 2015 層分類(lèi)任務(wù)上表現(xiàn)最好，那么應(yīng)用到醫(yī)療上也可以獲得很好的結(jié)果嗎？

深度學(xué)習(xí)一個(gè)很重要的方面就是它可以從大量的訓(xùn)練數(shù)據(jù)中獲益。基于 ImageNET 數(shù)據(jù)集在 ILSVRC 競(jìng)賽后，獲得了計(jì)算機(jī)視覺(jué)上的巨大突破（）。相比于其他論文中所用到的訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，這個(gè)特殊問(wèn)題所用到的數(shù)據(jù)集非常大（百萬(wàn)和一千一百相比）。如果我們能構(gòu)建了類(lèi)似這么大的公共醫(yī)學(xué)圖像數(shù)據(jù)集，我們的社會(huì)將受益很大。

為什么這項(xiàng)工作非常有挑戰(zhàn)性呢？第一，很難為構(gòu)建這樣一個(gè)數(shù)據(jù)集籌措資金；第二，要對(duì)醫(yī)學(xué)圖像數(shù)據(jù)進(jìn)行高質(zhì)量的注解，就需要醫(yī)學(xué)專(zhuān)業(yè)知識(shí)，這不僅非常稀缺且非常昂貴；第三，與自然圖像相比，隱私問(wèn)題使得醫(yī)療數(shù)據(jù)更難以獲得；第四，醫(yī)療成像的應(yīng)用廣度需要收集更多不同的數(shù)據(jù)集。盡管存在著這么多障礙，我們還是在數(shù)據(jù)收集和共享數(shù)據(jù)方面有了很快的進(jìn)展。許多公共數(shù)據(jù)集已經(jīng)發(fā)布，并且現(xiàn)在在實(shí)踐中使用它們了。例如，VISCERAL 和癌癥成像檔案，Roth et al. [13] 和 Shin et al.[17]，通過(guò)對(duì) CT 掃描擴(kuò)大的淋巴結(jié)圖像進(jìn)行分析而獲得的數(shù)據(jù)集，已經(jīng)在癌癥成像檔案上公開(kāi)，同一研究組也在線上公開(kāi)了胰腺數(shù)據(jù)集。

自 2007 年以來(lái)，在諸如 MICCAI，ISBI 和 SPIE 醫(yī)學(xué)成像等醫(yī)學(xué)成像會(huì)議上舉辦競(jìng)賽研討會(huì)已經(jīng)成為一種習(xí)慣。網(wǎng)站上有大量的數(shù)據(jù)集和正在進(jìn)行的研究（）。使用這些公共基準(zhǔn)數(shù)據(jù)集相對(duì)于僅使用公共數(shù)據(jù)集具有明顯的優(yōu)勢(shì)：競(jìng)賽提供了要解決的任務(wù)的精確定義，并且已經(jīng)定義一個(gè)或多個(gè)評(píng)估度量，給各種算法提供了公平的評(píng)價(jià)標(biāo)準(zhǔn)。如果沒(méi)有這樣的評(píng)價(jià)標(biāo)準(zhǔn)，即使各個(gè)算法使用相同的數(shù)據(jù)集，也難以將相同問(wèn)題的不同方法進(jìn)行比較。例如，其中的三個(gè)研究（Anthimopoulos 等 [16]，Shin 等 [17] 和 van Tulder 等 [18]）使用帶有醫(yī)學(xué)注釋的相同胸部間質(zhì)性肺疾病 CT 掃描數(shù)據(jù)集，但是他們所報(bào)告結(jié)果卻不同。

在這一方面，一項(xiàng)關(guān)于這個(gè)問(wèn)題的研究 (Setio et al. [12]) 在一個(gè)對(duì)肺結(jié)節(jié)的挑戰(zhàn)上初見(jiàn)成果。這項(xiàng)挑戰(zhàn)是由 IEEE 和 ISBI 會(huì)議共同組織，所使用的是公開(kāi)的 LIDC/IDRI 數(shù)據(jù)集，這篇文章中所提建立的系統(tǒng)可直接與其替代方法進(jìn)行比較。

去年已經(jīng)有了一個(gè)以醫(yī)療圖像分析為平臺(tái)，基于機(jī)器學(xué)習(xí)應(yīng)用的比賽。Kaggle 組織了一次關(guān)于識(shí)別糖尿病患者眼底彩色圖像的競(jìng)賽，獎(jiǎng)金為 100000 美金。661 支隊(duì)伍提交了結(jié)果，一共提供了 8000 張圖片。這些數(shù)據(jù)被用于一項(xiàng)特殊研究 (van Grinsven et al. [24])。最近。第二屆通過(guò)核磁共振圖片測(cè)量心臟體積，得出射血分?jǐn)?shù)圖像醫(yī)學(xué)圖像分析競(jìng)賽結(jié)束了。一共 192 支隊(duì)伍參加了比賽，獎(jiǎng)金為 200000 美金。 在這兩個(gè)比賽中，最優(yōu)秀的競(jìng)爭(zhēng)者都在使用卷積神經(jīng)網(wǎng)絡(luò)。在所使用的較為好的算法中，使用大數(shù)據(jù)集和深度學(xué)習(xí)的參賽者顯出了更大的優(yōu)勢(shì)，我們希望這種趨勢(shì)能繼續(xù)下去。在這種情況下，在接下來(lái)的一系列世界范圍內(nèi)關(guān)于提高各種成像的癌癥篩查的準(zhǔn)確性的競(jìng)爭(zhēng)，可能會(huì)引起相關(guān)人士的關(guān)注。

Albarqouni 等人的研究顯示，在線平臺(tái)，例如比賽中的那些平臺(tái)，可以用于多種目的。它們會(huì)促進(jìn)新的合作，形成解決方案，也能夠通過(guò)眾包而獲得大量數(shù)據(jù)的。