自然語言處理的技術(shù)難點與挑戰(zhàn)_發(fā)展現(xiàn)狀分析

借助移動互聯(lián)網(wǎng)技術(shù)、機器學(xué)習(xí)領(lǐng)域深度學(xué)習(xí)技術(shù)的發(fā)展，以及大數(shù)據(jù)語料的積累，自然語言處理技術(shù)發(fā)生了突飛猛進(jìn)的變化。越來越多的科技巨頭開始看到了這塊潛在的“大蛋糕”中蘊藏的價值，通過招兵買馬、合作、并購的方式、拓展自己在自然語言處理研究領(lǐng)域的業(yè)務(wù)范圍，進(jìn)一步提升自然語言處理在整個公司中的主導(dǎo)地位。與此同時，也不斷有新興的科技公司涌現(xiàn)，提出自己的在智能交互、語音識別、機器翻譯等方面的解決方案，試圖在自然語言處理這片廣闊的藍(lán)海上劃分自己的領(lǐng)土、樹立自己的標(biāo)桿。

人工智能已經(jīng)是大部分普通人都耳熟能詳?shù)脑~匯，而人們對自然語言處理技術(shù)的了解程度卻大部分還停留在表面階段。本文通過回顧自然語言處理的發(fā)展歷史，解讀2015年整個自然語言處理行業(yè)的重大變化，進(jìn)而提出新的時代下自然語言處理技術(shù)的發(fā)展瓶頸、以及對于自然語言處理所提出的挑戰(zhàn)、自然語言處理未來的發(fā)展方向。

自人工智能在1956年達(dá)特茅斯會議上首次提出，讓機器完成更多的智力工作成為科學(xué)家努力的方向。其中一個重要的目標(biāo)就是希望機器能夠與人類進(jìn)行更加自然高效的交流，希望機器讀懂人類深奧的語言，同時以一種我們習(xí)慣的方式進(jìn)行交互，而解決這個問題的關(guān)鍵技術(shù)就是自然語言處理。

尤其是近20年來，隨著互聯(lián)網(wǎng)的發(fā)展引發(fā)了對這一技術(shù)的強勁需求，這一技術(shù)在得到長足發(fā)展的同時，也在有力地促進(jìn)互聯(lián)網(wǎng)核心能力的增強。比如，目前互聯(lián)網(wǎng)提供的一個基礎(chǔ)性能力是信息檢索。人們在搜索引擎中輸入關(guān)鍵詞，就可以獲得相關(guān)信息。在20年前，互聯(lián)網(wǎng)剛開始發(fā)展的初期，給搜索引擎輸入“和服”，返回的結(jié)果中很可能包含不少生產(chǎn)、銷售“鞋子和服裝”的公司的信息?，F(xiàn)在這種錯誤已經(jīng)比較少了，而促進(jìn)其質(zhì)量不斷提升的一個核心就是采用了不斷改進(jìn)的自然語言理解技術(shù)。“互聯(lián)網(wǎng)”自然語言理解已經(jīng)成為互聯(lián)網(wǎng)發(fā)展的一個共識，并在不斷深化。

最近幾年，眾多科技巨頭正在這方面進(jìn)行布局。2013年谷歌以超過3000萬美元收購了新聞閱讀應(yīng)用開發(fā)商Wavii。Wavii擅長自然語言處理技術(shù)，可以通過掃描互聯(lián)網(wǎng)發(fā)現(xiàn)新聞，并給出一句話摘要；微軟將自然語言處理技術(shù)應(yīng)用在了智能助手小冰、Cortana上，取得了不錯的效果，通過機器翻譯使Skype具備了實時翻譯功能；自然語言處理技術(shù)是Facebook智能助手M背后的核心技術(shù)之一，其產(chǎn)品負(fù)責(zé)人稱“我們對M做的事情可以讓我們更好地理解自然語言處理。”國內(nèi)的科大訊飛在去年年底發(fā)布了自然語言處理云平臺，很早推出語音合成產(chǎn)品，在中文領(lǐng)域的自然語言處理和語音合成方面有著深厚積累。可見，早在前幾年，眾多科技巨頭和國內(nèi)IT廠商就已對自然語言處理這篇潛在的廣闊市場覬覦已久，紛紛開始摩拳擦掌，準(zhǔn)備將自然語言處理技術(shù)向公司的核心業(yè)務(wù)方向進(jìn)行轉(zhuǎn)移，針對業(yè)務(wù)線轉(zhuǎn)型、新產(chǎn)品提出來醞釀更大的動作。

2015年是自然語言處理技術(shù)進(jìn)一步發(fā)展的一年。由于自然語言處理的主流技術(shù)主要是以統(tǒng)計機器學(xué)習(xí)為基礎(chǔ)的，因此這些技術(shù)的性能就依賴兩個因素：一是針對不同任務(wù)的統(tǒng)計模型和優(yōu)化算法，二是相應(yīng)的大規(guī)模語料庫。2015年得益于深度學(xué)習(xí)算法的快速進(jìn)展和大規(guī)模社交文本數(shù)據(jù)以及語料數(shù)據(jù)的不斷積累，自然語言處理技術(shù)有了飛躍式的發(fā)展。在這一年，各大廠商致力于解決語音識別、語義理解、智能交互、搜索優(yōu)化等領(lǐng)域更加復(fù)雜、困難的問題，持續(xù)不斷地對原有產(chǎn)品的算法、模型進(jìn)行優(yōu)化與革新。

在新產(chǎn)品方面，2015年帶給了我們太多的驚喜。高考期間，百度推出了小度機器人，無獨有偶，十月底，Rokid團隊推出的Rokid機器人也與公眾見面。這些實體機器人不僅能用擬人的思維識別語義，嘗試與用戶建立起更深層、連續(xù)的溝通，還能模仿人的“思考”，先從海量互聯(lián)網(wǎng)內(nèi)容中提取信息，然后按人的思維邏輯對信息進(jìn)行推理分析和篩選，再得到答案。不僅如此，優(yōu)秀的實體機器人還能與智能家居設(shè)備深度融合，并接入音樂、新聞等內(nèi)容，還能給予攝像頭進(jìn)行手勢喚醒與遠(yuǎn)場識別。

2015年，遠(yuǎn)場語音識別技術(shù)突破了5米的瓶頸，大幅度改進(jìn)了語音交互的自由度，再次刷新業(yè)界期待。利用麥克風(fēng)陣列、回聲消除等技術(shù)將目標(biāo)說話人的聲音增強，并抑制/消除噪聲和回聲，由此進(jìn)行語音前端處理；在語音識別引擎，則針對麥克風(fēng)陣列處理后的數(shù)據(jù)進(jìn)行收集、訓(xùn)練，以使遠(yuǎn)場效果最優(yōu)化。目前國內(nèi)集成全新的4麥克風(fēng)陣列方案，利用麥克風(fēng)陣列的空域濾波特性——在目標(biāo)說話人方向形成拾音波束（BeamForming），抑制波束之外的噪聲；結(jié)合獨特的去混響算法，最大程度的吸收反射聲，達(dá)到去除混響的目的。其中，漢語語音識別技術(shù)也取得了重大突破：識別相對錯誤率比現(xiàn)有技術(shù)降低15%以上，使?jié)h語安靜環(huán)境普通話語音識別的識別率接近97%。通過基于多層單向LSTM的漢語聲韻母整體建模技術(shù)，成功地把連接時序分類（CTC）訓(xùn)練技術(shù)嵌入到傳統(tǒng)的語音識別建?？蚣苤校俳Y(jié)合語音識別領(lǐng)域的決策樹聚類、跨詞解碼和區(qū)分度訓(xùn)練等技術(shù)，大幅度提升線上語音識別產(chǎn)品性能，是一次框架式的創(chuàng)新。2015年，“字根嵌入”的提出，將“字根作為中文語言處置懲罰的最小單位進(jìn)行研究”，機器在處置懲罰中文分詞、短文本分類及網(wǎng)頁排序方面的效果大幅提升，可以有效促進(jìn)機器對用戶中文表意進(jìn)行深度學(xué)習(xí)，讓搜索引擎更加智慧、更“懂“用戶。隨著大數(shù)據(jù)技術(shù)和深度學(xué)習(xí)算法的不斷發(fā)展，2015年，基于數(shù)據(jù)驅(qū)動的自然語言對話系統(tǒng)也為我們打開了新的思路：通過提出Deep Match CNN和Deep Match Tree兩種匹配模型以及Neural Responding Machine（NRM）對話生成模型，并深入挖掘大規(guī)模對話數(shù)據(jù)，很容易地構(gòu)建一個自動生成對話系統(tǒng)，其準(zhǔn)確率相比傳統(tǒng)的機器翻譯模型由26%提高到76%，而且對話十分自然流暢。

2015年，許多廠商也紛紛開源了自己用于自然語言處理、機器學(xué)習(xí)的工具包和技術(shù)專利。Facebook人工智能研究院（FAIR）宣布開源了一組深度學(xué)習(xí)工具，這些工具主要是針對Torch機器學(xué)習(xí)框架的插件，包括iTorch、fbcunn、fbnn、fbcuda和fblualib。這些插件能夠在很大程度上提升深度學(xué)習(xí)的速度，并可用于計算機視覺和自然語言處理等場景。Torch已被Google、Twitter、Intel、AMD、NVIDIA等公司采用。Google、Microsoft和IBM分別發(fā)布并開源了自己的機器學(xué)習(xí)工具包TensorFlow、DMTK和SystemML。Google已將TensorFlow用于GMail（SmartReply）、搜索（RankBrain）、圖片（生成圖像分類模型--IncepTIon Image ClassificaTIon Model）、翻譯器（字符識別）等產(chǎn)品。DMTK其功能特點以及定位更傾向于自然語言處理方面，例如文本分類與聚類、話題識別以及情感分析等。SystemML則是IBM研發(fā)了超過十年的機器學(xué)習(xí)技術(shù)，沃森（Watson）在幾年前的大型活動里就整合了很多SystemML的機器學(xué)習(xí)功能。語音識別知名廠商SoundHound.inc年底也開放了自己的“Houndify”平臺，通過與各大傳統(tǒng)行業(yè)廠商深入合作，集成各個方面的行業(yè)數(shù)據(jù)：如與Expedia.com合作，集成酒店、航班方面的語料數(shù)據(jù)；與Xignite合作，集成金融市場語料數(shù)據(jù)，意在通過語音“識別一切”，構(gòu)建更廣闊的識別平臺。