骨科醫(yī)生最好的練習(xí)對(duì)象，基于VR技術(shù)的虛擬骨科手術(shù)

目前VR(虛擬現(xiàn)實(shí))技術(shù)在各行業(yè)都有不同程度的應(yīng)用，在醫(yī)學(xué)教育領(lǐng)域，它是醫(yī)生學(xué)習(xí)的新選擇。醫(yī)生只需要戴上VR眼鏡就可以完全沉浸式地體驗(yàn)身臨手術(shù)室的感覺(jué)，可以讓醫(yī)生全面了解手術(shù)的各個(gè)環(huán)節(jié)，第一視角學(xué)習(xí)手術(shù)技巧。

視覺(jué)學(xué)習(xí)之外，虛擬現(xiàn)實(shí)技術(shù)與計(jì)算機(jī)技術(shù)相結(jié)合用于建立具有實(shí)時(shí)力反饋的手術(shù)模擬訓(xùn)練系統(tǒng)，似乎更能夠在一定程度上緩解當(dāng)下醫(yī)學(xué)所面臨的瓶頸。例如用VR進(jìn)行解剖教學(xué)，極大地緩解了醫(yī)學(xué)教育中尸體標(biāo)本短缺的情況。

“我們開(kāi)發(fā)的系統(tǒng)，就是針對(duì)國(guó)際和國(guó)內(nèi)市場(chǎng)上還沒(méi)有較為通用、商業(yè)化的骨科手術(shù)訓(xùn)練系統(tǒng)的情況，以期解決骨科醫(yī)生的手術(shù)訓(xùn)練問(wèn)題。”中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院人機(jī)交互中心執(zhí)行主任王瓊在接受專訪時(shí)告訴《中國(guó)科學(xué)報(bào)》記者。

滿足手術(shù)訓(xùn)練需求

據(jù)介紹，骨科手術(shù)訓(xùn)練系統(tǒng)以椎弓根釘手術(shù)為基本背景，提供了不同種類的手術(shù)工具在脊柱上進(jìn)行操作的三維交互場(chǎng)景模擬，主要仿真了圓鉆磨骨、長(zhǎng)鉆打孔和置釘這幾種椎弓根釘手術(shù)中風(fēng)險(xiǎn)較高、也最具有訓(xùn)練意義的手術(shù)操作。

“我們搭建了一套具有動(dòng)態(tài)反饋、視覺(jué)變化的虛擬環(huán)境，與人機(jī)交互反饋的設(shè)備連接。對(duì)手術(shù)工具與骨骼交互時(shí)產(chǎn)生的控制力進(jìn)行建模，并且模擬骨頭被鉆后的視覺(jué)變化，并通過(guò)VR眼鏡和力反饋設(shè)備反饋給用戶，模擬醫(yī)生拿著鉆頭鉆骨頭的真實(shí)場(chǎng)景，這可以做到手眼協(xié)調(diào)方面的訓(xùn)練。”王瓊說(shuō)。

在系統(tǒng)中，王瓊團(tuán)隊(duì)采用了融合體數(shù)據(jù)和面數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，不僅可以滿足在骨骼拓?fù)浣Y(jié)構(gòu)頻繁改變狀態(tài)下的三維手術(shù)工具與骨骼模型之間100Hz的碰撞檢測(cè)刷新率，同時(shí)還可以精準(zhǔn)地對(duì)磨削后的骨骼表面進(jìn)行重建，并建立了基于磨削原理的手術(shù)工具交互反饋力模型，通過(guò)GPU硬件的加速，可以保證力覺(jué)的刷新率在1000Hz以上，避免視、觸覺(jué)交互場(chǎng)景的失真。

該項(xiàng)目可以為醫(yī)生進(jìn)行椎弓根釘手術(shù)訓(xùn)練提供較為真實(shí)的、具有實(shí)時(shí)力覺(jué)反饋的虛擬三維場(chǎng)景，解決臨床骨科醫(yī)生缺乏手術(shù)訓(xùn)練機(jī)會(huì)的問(wèn)題。

因?yàn)橛貌煌挠?jì)算機(jī)程序可以產(chǎn)生新的交互環(huán)境，滿足不同的手術(shù)訓(xùn)練的情況。“系統(tǒng)可以設(shè)置手術(shù)的難易程度，開(kāi)始訓(xùn)練時(shí)，系統(tǒng)給出固定的骨釘位置和下鉆方向，進(jìn)階后把所有預(yù)設(shè)信息全部刪除，訓(xùn)練者自己判斷病情與鉆頭位置，增加難度，這樣的訓(xùn)練方式更加有效。”王瓊說(shuō)。

不同的變化方式，一方面提供精細(xì)、有效、重復(fù)的訓(xùn)練，既節(jié)約經(jīng)濟(jì)成本，又可以實(shí)現(xiàn)傳統(tǒng)訓(xùn)練做不到的進(jìn)階訓(xùn)練。

四大總體框架

王瓊介紹，一般虛擬骨科手術(shù)系統(tǒng)的總體設(shè)計(jì)框架主要包括： 三維骨組織建模、虛擬手術(shù)工具建模、形變仿真和力覺(jué)模擬以及人機(jī)交互模塊等四個(gè)主要組成部分。

三維骨組織建模主要負(fù)責(zé)從原始的CT 掃描的二維數(shù)據(jù)圖像中，利用圖像處理方法將目標(biāo)骨骼區(qū)域分割出來(lái)，然后利用三維重建方法，將骨骼三角面片網(wǎng)格提取出來(lái)，同時(shí)還可以融合體數(shù)據(jù)表示的三維骨骼模型。為了方便給后續(xù)的力覺(jué)建模打下基礎(chǔ)，進(jìn)而對(duì)不同的骨骼部位所具有的物理材料屬性進(jìn)行設(shè)定，這些參數(shù)一般需要通過(guò)真實(shí)的組織承壓拉伸測(cè)試或者有限元建模的方法進(jìn)行確定。

虛擬手術(shù)工具的建模對(duì)手術(shù)中會(huì)用到的手術(shù)器械，創(chuàng)建它們的三維幾何模型和物理模型，并實(shí)時(shí)接收交互硬件設(shè)備傳送的信息，用來(lái)確定手術(shù)工具模型當(dāng)前的位置、姿態(tài)和運(yùn)動(dòng)狀態(tài)。

形變仿真和力覺(jué)模塊要通過(guò)虛擬手術(shù)工具與三維骨骼模型之間的碰撞檢測(cè)來(lái)確定兩者之間的交互區(qū)域，獲取交互信息，并對(duì)骨骼的三維模型進(jìn)行相應(yīng)的形變。通常碰撞檢測(cè)算法的選取與力覺(jué)交互建模有十分緊密的聯(lián)系，根據(jù)力模型的計(jì)算特性選擇恰當(dāng)?shù)呐鲎矙z測(cè)算法可提高整體的運(yùn)算效率。隨后，可根據(jù)獲取的交互信息，計(jì)算碰撞交互力。

人機(jī)交互模塊提供人與計(jì)算機(jī)交互接口。一方面將用戶控制力反饋設(shè)備時(shí)，對(duì)設(shè)備的空間位置坐標(biāo)、變化矩陣以及用戶手移動(dòng)的速度等，傳送給虛擬手術(shù)工具模塊，用于力覺(jué)計(jì)算。此外，還負(fù)責(zé)對(duì)交互模擬的力覺(jué)反饋結(jié)果進(jìn)行實(shí)時(shí)渲染，使用戶感受到手術(shù)工具上所受到的力覺(jué)效果。

遵循總體框架建構(gòu)的骨科手術(shù)訓(xùn)練系統(tǒng)，與傳統(tǒng)的訓(xùn)練模式效果比較之后，得到了合作醫(yī)院的認(rèn)可。但同時(shí)，系統(tǒng)建立的每個(gè)環(huán)節(jié)也存在很多困難。

模擬系統(tǒng)目前大多采用標(biāo)準(zhǔn)化的模型，個(gè)性化的病人數(shù)據(jù)案例比較少，因?yàn)樵趯⒉∪酸t(yī)學(xué)圖像數(shù)據(jù)處理做成個(gè)性化三維模型時(shí)，中間涉及到的環(huán)節(jié)非常多，包括：圖像處理、圖像分割、三維重建、模型修補(bǔ)等步驟。一方面它們復(fù)雜費(fèi)時(shí)，很多步驟仍需要人工介入處理，另外在將模型用于虛擬手術(shù)系統(tǒng)時(shí)，考慮到計(jì)算速率的問(wèn)題，又需要對(duì)模型的體量進(jìn)行控制，使用過(guò)于精細(xì)的數(shù)據(jù)會(huì)影響交互、計(jì)算速度，而使用簡(jiǎn)化的模型，雖然可以提升計(jì)算速率，但又可能會(huì)丟失了病人的疾病特征。“這些要素之間要做到平衡，由圖像數(shù)據(jù)轉(zhuǎn)變?yōu)榭山换サ娜S模型，中間環(huán)節(jié)多，目前還沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)和成熟的解決方案。”王瓊說(shuō)。

應(yīng)用仍有條件

在高盛2016年的報(bào)告中對(duì)VR醫(yī)療的市場(chǎng)規(guī)模進(jìn)行了預(yù)測(cè)：2020年VR/AR(增強(qiáng)現(xiàn)實(shí))的市場(chǎng)規(guī)模將達(dá)到800億美元，其中在醫(yī)療保健領(lǐng)域市場(chǎng)達(dá)到51億美元，覆蓋340萬(wàn)用戶。未來(lái)幾年VR將會(huì)給醫(yī)療行業(yè)帶來(lái)巨大的想象空間，而中國(guó)必然將為VR+醫(yī)療提供巨大的發(fā)展空間。但在目前的實(shí)際應(yīng)用中，某些領(lǐng)域似乎并不順利。

“不論應(yīng)用在哪個(gè)行業(yè)，虛擬現(xiàn)實(shí)普遍存在內(nèi)容生成不夠豐富，以及重度VR應(yīng)用真實(shí)感、沉浸感不強(qiáng)的情況。”在解釋經(jīng)歷2016的火熱，虛擬現(xiàn)實(shí)逐漸回歸理性的原因時(shí)，王瓊說(shuō)道。從醫(yī)學(xué)的角度來(lái)看，一套模型只能用在一套系統(tǒng)上，換一個(gè)病種或手術(shù)工具，算法、數(shù)據(jù)模型就要重新來(lái)做，整套虛擬場(chǎng)景的建立非常緩慢，這導(dǎo)致虛擬手術(shù)系統(tǒng)的開(kāi)發(fā)周期相對(duì)較長(zhǎng)。

醫(yī)生接受度也是影響虛擬手術(shù)系統(tǒng)應(yīng)用的方面，“我國(guó)的醫(yī)生有嚴(yán)格的行業(yè)規(guī)范，要破壞原有的訓(xùn)練流程，提高醫(yī)生的接受度，仍需要進(jìn)一步努力。”王瓊說(shuō)。

對(duì)比臨床手術(shù)領(lǐng)域，VR應(yīng)用在康復(fù)醫(yī)療領(lǐng)域接受度更高，先進(jìn)院醫(yī)工所醫(yī)學(xué)圖像與數(shù)字手術(shù)研究室吳劍煌團(tuán)隊(duì)研發(fā)的虛擬腦卒中康復(fù)訓(xùn)練系統(tǒng)正在推進(jìn)應(yīng)用。該系統(tǒng)向腦卒中患者提供了一種成本低廉且有效的康復(fù)訓(xùn)練方案。利用虛擬現(xiàn)實(shí)系統(tǒng)，患者可以在虛擬環(huán)境完成可控的功能性運(yùn)動(dòng)和操作，完成有意義的任務(wù)性訓(xùn)練和得到視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)的反饋。

而對(duì)于醫(yī)療美容領(lǐng)域的VR應(yīng)用，相比骨科精度要求更高，涉及軟組織處理容易發(fā)生形變，王瓊認(rèn)為，整形領(lǐng)域的VR應(yīng)用也有很多需要解決的問(wèn)題。

人才短缺、硬件設(shè)備價(jià)格、穿戴設(shè)備的舒適度、軟件系統(tǒng)如何快速開(kāi)發(fā)等都是VR發(fā)展過(guò)程中需要面對(duì)的問(wèn)題。但從長(zhǎng)遠(yuǎn)看，“硬件的計(jì)算速率不斷提升，整體還是會(huì)平穩(wěn)推動(dòng)行業(yè)的發(fā)展”。王瓊說(shuō)。

中國(guó)工程院院士趙沁平對(duì)VR在醫(yī)療領(lǐng)域的應(yīng)用十分樂(lè)觀：“虛擬人體已經(jīng)成為‘實(shí)驗(yàn)室到病床’轉(zhuǎn)化醫(yī)學(xué)研究的新概念平臺(tái)和實(shí)驗(yàn)手段，并已廣泛應(yīng)用在醫(yī)學(xué)研究、新藥開(kāi)發(fā)、虛擬手術(shù)、醫(yī)療器械開(kāi)發(fā)、醫(yī)學(xué)教育培訓(xùn)、康復(fù)訓(xùn)練等方面。未來(lái)十年，虛擬人體可能在生命科學(xué)和醫(yī)藥領(lǐng)域產(chǎn)生顛覆性的影響。”