神經科學家正在教導計算機直接從人腦中讀出單詞。近日，《科學》（Science）雜志的專職撰稿人凱利·塞維克（Kelly Servick）報道了預印本網站bioRxiv發(fā)表的3篇論文。在論文中，3個研究團隊各自展示了他們如何將神經活動記錄解碼成語音。在這3個研究中，研究人員在進行腦外科手術的患者大腦上直接放置了電極，當他們聽取語音或者大聲朗讀文字時，這些電極就記錄神經元的活動。接著，研究人員嘗試解讀患者聽到或說出的內容，患者大腦的電活動都轉化成了某種程度上能夠理解的聲音文件。
第一篇論文發(fā)表在bioRxiv上，描述了研究人員向正在進行腦外科手術的癲癇患者播放語音的實驗。需要指出的是，實驗中采集的神經活動記錄必須非常詳細，才能用于解讀。而且這種詳細的程度必須在十分罕見的條件（比如腦外科手術）下才能達到，此時大腦暴露在空氣中，電極直接放在上面。
當患者聽取聲音文件時，研究人員記錄了患者大腦中處理聲音部分的神經元活動。他們嘗試了多種方法將神經元活動數據轉化成語音，發(fā)現“深度學習”的效果最佳。深度學習是機器學習的分支，計算機可以在無人管理的情況下，通過深度學習來解決問題。當研究人員通過一個合成人類聲音的聲碼器播放轉化結果時，由11個聽眾組成的小組解讀這些詞的準確率是75%。
第二篇論文采用的是正在進行切除腦腫瘤手術的患者的神經元記錄。當患者大聲朗讀單音節(jié)詞時，研究人員記錄了他們嘴里發(fā)出的聲音，以及他們大腦中發(fā)音區(qū)域的神經元活動。研究人員沒有訓練計算機深度學習每一位患者的語音，而是教導人工神經網絡將神經記錄轉化成音頻文件。結果顯示，這些音頻文件至少在相當程度上是可以理解的，并且類似麥克風錄音的效果。以上這兩項研究的聲音文件都可以在網上下載。
第三篇論文采用的神經元活動記錄來自大腦中將決定說出的特定單詞轉化為肌肉運動的區(qū)域。盡管目前該實驗的記錄還沒有在網上公布，但研究人員報道稱，他們成功重建了整個語句（也是在癲癇患者進行腦外科手術時記錄的），而且聽到這些語句的人在多項選擇測試（共有10個選項）中準確進行解釋的成功率是83%。該實驗的方法依賴于識別出生成單個音節(jié)（而非整個單詞）所涉及的模式。
所有這些實驗的目標都是相同的，即有朝一日使失去說話能力（由于肌萎縮側索硬化癥或類似疾病）的人通過腦機界面來說話。不過，目前這些應用的科學基礎還未達到。
據《科學》雜志的報道，解讀一個人只在頭腦里想象說話的神經元活動模式，要比解讀一個人聆聽或發(fā)出語音的神經模式復雜得多。不過，第二篇論文的作者表示，解讀一個人想象話說時的大腦活動也許是可能的。
必須說明的是，這些都還只是很小型的研究。第一篇論文采用的只是來自5名患者的數據，而第二篇論文采用數據來自6名患者，第三篇則只有3名患者。這些研究中記錄的神經元活動都沒有持續(xù)超過1個小時。盡管如此，科學仍然在向前發(fā)展。直接連接到大腦的人工語音設備似乎已經有了真正的可能性，也許不遠的將來我們就將見證它的誕生。
神經科學家正在教導計算機直接從人腦中讀出單詞。近日，《科學》（Science）雜志的專職撰稿人凱利·塞維克（Kelly Servick）報道了預印本網站bioRxiv發(fā)表的3篇論文。在論文中，3個研究團隊各自展示了他們如何將神經活動記錄解碼成語音。在這3個研究中，研究人員在進行腦外科手術的患者大腦上直接放置了電極，當他們聽取語音或者大聲朗讀文字時，這些電極就記錄神經元的活動。接著，研究人員嘗試解讀患者聽到或說出的內容，患者大腦的電活動都轉化成了某種程度上能夠理解的聲音文件。
第一篇論文發(fā)表在bioRxiv上，描述了研究人員向正在進行腦外科手術的癲癇患者播放語音的實驗。需要指出的是，實驗中采集的神經活動記錄必須非常詳細，才能用于解讀。而且這種詳細的程度必須在十分罕見的條件（比如腦外科手術）下才能達到，此時大腦暴露在空氣中，電極直接放在上面。
當患者聽取聲音文件時，研究人員記錄了患者大腦中處理聲音部分的神經元活動。他們嘗試了多種方法將神經元活動數據轉化成語音，發(fā)現“深度學習”的效果最佳。深度學習是機器學習的分支，計算機可以在無人管理的情況下，通過深度學習來解決問題。當研究人員通過一個合成人類聲音的聲碼器播放轉化結果時，由11個聽眾組成的小組解讀這些詞的準確率是75%。
第二篇論文采用的是正在進行切除腦腫瘤手術的患者的神經元記錄。當患者大聲朗讀單音節(jié)詞時，研究人員記錄了他們嘴里發(fā)出的聲音，以及他們大腦中發(fā)音區(qū)域的神經元活動。研究人員沒有訓練計算機深度學習每一位患者的語音，而是教導人工神經網絡將神經記錄轉化成音頻文件。結果顯示，這些音頻文件至少在相當程度上是可以理解的，并且類似麥克風錄音的效果。以上這兩項研究的聲音文件都可以在網上下載。
第三篇論文采用的神經元活動記錄來自大腦中將決定說出的特定單詞轉化為肌肉運動的區(qū)域。盡管目前該實驗的記錄還沒有在網上公布，但研究人員報道稱，他們成功重建了整個語句（也是在癲癇患者進行腦外科手術時記錄的），而且聽到這些語句的人在多項選擇測試（共有10個選項）中準確進行解釋的成功率是83%。該實驗的方法依賴于識別出生成單個音節(jié)（而非整個單詞）所涉及的模式。
所有這些實驗的目標都是相同的，即有朝一日使失去說話能力（由于肌萎縮側索硬化癥或類似疾病）的人通過腦機界面來說話。不過，目前這些應用的科學基礎還未達到。
據《科學》雜志的報道，解讀一個人只在頭腦里想象說話的神經元活動模式，要比解讀一個人聆聽或發(fā)出語音的神經模式復雜得多。不過，第二篇論文的作者表示，解讀一個人想象話說時的大腦活動也許是可能的。
必須說明的是，這些都還只是很小型的研究。第一篇論文采用的只是來自5名患者的數據，而第二篇論文采用數據來自6名患者，第三篇則只有3名患者。這些研究中記錄的神經元活動都沒有持續(xù)超過1個小時。盡管如此，科學仍然在向前發(fā)展。直接連接到大腦的人工語音設備似乎已經有了真正的可能性，也許不遠的將來我們就將見證它的誕生。
下載文檔
