靠強(qiáng)化學(xué)習(xí)來調(diào)整機(jī)器人假肢的系統(tǒng) 讓假肢更加靈活

來自北卡羅來納州立大和亞利桑那州立大學(xué)的研究人員開發(fā)了一種智能系統(tǒng)，可以“調(diào)節(jié)”動(dòng)力假肢膝蓋，讓患者在幾分鐘內(nèi)就能自如地使用假肢行走，而不是由訓(xùn)練有素的臨床醫(yī)生來調(diào)節(jié)所需的幾個(gè)小時(shí)。該系統(tǒng)是第一個(gè)完全依靠強(qiáng)化學(xué)習(xí)來調(diào)整機(jī)器人假肢的系統(tǒng)。當(dāng)患者接受機(jī)器人假膝時(shí)，該設(shè)備需要進(jìn)行調(diào)整以適應(yīng)特定的患者。新的調(diào)整系統(tǒng)調(diào)整了12個(gè)不同的控制參數(shù)，處理假體動(dòng)力學(xué)，如關(guān)節(jié)剛度，在整個(gè)步態(tài)周期。通常情況下，醫(yī)生會(huì)與患者一起修改一些參數(shù)。這可能需要幾個(gè)小時(shí)。新系統(tǒng)依靠一個(gè)計(jì)算機(jī)程序，利用強(qiáng)化學(xué)習(xí)來修改所有12個(gè)參數(shù)。它允許患者使用動(dòng)力假膝在大約10分鐘的時(shí)間內(nèi)在平坦的地面上行走。

博科園-科學(xué)科普：研究人員從隨機(jī)選擇一組參數(shù)為患者提供動(dòng)力假膝開始，然后讓病人在可控的情況下開始行走。設(shè)備上的數(shù)據(jù)和病人步態(tài)是通過設(shè)備上的一套傳感器收集。一個(gè)計(jì)算機(jī)模型對設(shè)備上的參數(shù)進(jìn)行調(diào)整，并將患者的步態(tài)與實(shí)時(shí)正常行走步態(tài)進(jìn)行對比。該模型可以判斷哪些參數(shù)設(shè)置提高了性能，哪些設(shè)置損害了性能。利用強(qiáng)化學(xué)習(xí)，計(jì)算模型可以快速識(shí)別出患者能夠正常行走的參數(shù)集?，F(xiàn)有的方法，依靠訓(xùn)練有素的臨床醫(yī)生，需要半天的時(shí)間。雖然這項(xiàng)工作目前是在一個(gè)可控的臨床環(huán)境中完成，但目標(biāo)之一是開發(fā)該系統(tǒng)的無線版本，這將允許用戶在真實(shí)環(huán)境中使用時(shí)繼續(xù)微調(diào)動(dòng)力假肢參數(shù)。

該論文的合著者、亞利桑那州立大學(xué)電氣、計(jì)算機(jī)和能源工程教授詹妮·西(Jennie Si)說：這項(xiàng)工作是針對病人在平地上行走的情況進(jìn)行，但原則上，也可以針對上下樓梯等情況開發(fā)強(qiáng)化學(xué)習(xí)控制器。從動(dòng)態(tài)系統(tǒng)控制的角度進(jìn)行了強(qiáng)化學(xué)習(xí)，它考慮了傳感器的噪音、來自環(huán)境的干擾，以及系統(tǒng)安全和穩(wěn)定的要求，研究人員意識(shí)到學(xué)習(xí)實(shí)時(shí)控制一個(gè)同時(shí)受到人體使用者影響假體設(shè)備是一個(gè)前所未有的挑戰(zhàn)。這是一個(gè)協(xié)同適應(yīng)問題，沒有現(xiàn)成的解決方案，無論是從經(jīng)典的控制設(shè)計(jì)或目前的，最先進(jìn)的強(qiáng)化學(xué)習(xí)控制機(jī)器人。研究人員很激動(dòng)地發(fā)現(xiàn)，強(qiáng)化學(xué)習(xí)控制算法確實(shí)學(xué)會(huì)了在如此激動(dòng)人心的應(yīng)用環(huán)境中讓假肢設(shè)備作為人體的一部分工作。研究人員希望使這一過程更加有效，例如，通過識(shí)別或多或少可能成功的參數(shù)組合，并訓(xùn)練模型首先關(guān)注最有希望的參數(shù)設(shè)置，可能能夠改進(jìn)流程。

研究人員指出，盡管這項(xiàng)研究很有前途，但在廣泛應(yīng)用之前，還需要解決許多問題。例如本研究的假體調(diào)整目標(biāo)是滿足正常的步行膝關(guān)節(jié)運(yùn)動(dòng)，沒有考慮其他步態(tài)性能(如步態(tài)對稱性)或用戶的偏好。另一個(gè)例子是，調(diào)優(yōu)方法可用于在診所和實(shí)驗(yàn)室之外對設(shè)備進(jìn)行微調(diào)，使系統(tǒng)隨著時(shí)間的推移適應(yīng)用戶需要。但是需要確保實(shí)際使用中的安全性，因?yàn)榭刂浦械腻e(cuò)誤可能會(huì)導(dǎo)致絆倒和摔倒，還需要更多的測試來證明安全性。研究人員還指出，如果該系統(tǒng)被證明是有效的，并得到廣泛使用，它可能會(huì)通過限制患者與醫(yī)生進(jìn)行臨床訪問的需求，從而降低患者的成本。其研究成果論文名為《機(jī)器人膝關(guān)節(jié)假體個(gè)性化的在線強(qiáng)化學(xué)習(xí)控制》，發(fā)表在《IEEE控制學(xué)報(bào)》(IEEE Transactions on CyberneTIcs)上。