機(jī)器翻譯古文也翻車(chē)？讀了20次“茍富貴勿相忘”后，谷歌：沒(méi)錢(qián)的人總會(huì)被遺忘

本文來(lái)源：大數(shù)據(jù)文摘

  
陳勝者，陽(yáng)城人也 ，字涉。吳廣者，陽(yáng)夏人也，字叔。 相信不少人還記得中學(xué)的時(shí)候全文背誦《陳涉世家》的痛苦，當(dāng)然還有考試的時(shí)候讓你翻譯某一句名言，像是“燕雀安知鴻鵠之志哉”，或者“天下苦秦久矣。吾聞二世少子也，不當(dāng)立，當(dāng)立者乃公子扶蘇”。 如今，隨著AI技術(shù)的成熟，機(jī)器也逐漸在學(xué)習(xí)如何以人類(lèi)的方式行動(dòng)和思考。 既然如此，我們?yōu)楹尾豢伎妓?，看看在AI眼中，《陳涉世家》到底是個(gè)什么故事。 最近，B站上一位叫做“鷹目大人”的阿婆主就用谷歌翻譯對(duì)AI進(jìn)行了一次隨堂測(cè)驗(yàn)，只不過(guò)它的表現(xiàn)嘛，就見(jiàn)仁見(jiàn)智了。

比如，AI就把這句著名的“茍富貴，勿相忘”就翻譯成了“沒(méi)有錢(qián)的人，總是會(huì)被遺忘”。

   “燕雀焉知鴻鵠之志”在AI看來(lái)竟然是，“蝎子給了我一個(gè)熱烈的擁抱”？？？

  整個(gè)過(guò)程，文摘菌一邊黑人問(wèn)號(hào)臉一邊笑到拍桌子。

有網(wǎng)友就指出，這波反諷竟然“翻譯出了本質(zhì)”。

  還有網(wǎng)友“太喜歡了所以拼了一首詩(shī)”，大家可以猜猜每句話對(duì)應(yīng)到的原文是什么？

  然后，再來(lái)對(duì)對(duì)答案，看看整本《陳涉世家》都被AI翻譯成了什么樣子？

機(jī)器翻譯為何如此困難？

其實(shí)不管是語(yǔ)種互譯，還是古文翻譯，都是機(jī)器翻譯的類(lèi)別之一。 但是，如果機(jī)器翻譯翻車(chē)的情況持續(xù)發(fā)生，我們還能相信它嗎？ 先別急，我們從NMT（neural machine translation，神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯）的誕生開(kāi)始講起，看看機(jī)器翻譯到底是個(gè)什么東西。 2013年，Nal Kalchbrenner和Phil Blunsom提出了一種用于機(jī)器翻譯的新型端到端編碼器-解碼器結(jié)構(gòu)。該模型可以使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）將給定的一段源文本編碼成一個(gè)連續(xù)的向量，然后再使用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）作為解碼器將該狀態(tài)向量轉(zhuǎn)換成目標(biāo)語(yǔ)言。 這一研究成果的發(fā)布可以說(shuō)是標(biāo)志著NMT的誕生，雖然在那之后也有不少研究者進(jìn)行改進(jìn)，但是仍然缺乏對(duì)模型的理解。比如，經(jīng)常出現(xiàn)的問(wèn)題包括但不限于訓(xùn)練和解碼過(guò)程緩慢；對(duì)同一個(gè)詞的翻譯風(fēng)格不一致；翻譯結(jié)果存在超出詞匯表（out-of-vocabulary）的問(wèn)題；黑箱的神經(jīng)網(wǎng)絡(luò)機(jī)制的可解釋性很差；訓(xùn)練所用的參數(shù)大多數(shù)是根據(jù)經(jīng)驗(yàn)選擇的。

NMT和SMT對(duì)比

機(jī)器翻譯頻繁翻車(chē)，微信谷歌無(wú)一幸免

去年3月，微信翻譯的頻繁翻車(chē)事件得到了人們的關(guān)注，機(jī)器翻譯的不確定性同時(shí)也被更多人所了解。 目前，機(jī)器翻譯領(lǐng)域主要使用的NMT架構(gòu)都差不多，一方面問(wèn)題出在解碼器語(yǔ)言模型，使用的語(yǔ)料讓它學(xué)習(xí)到了這些最大概率出現(xiàn)的詞。微信團(tuán)隊(duì)在處理的過(guò)程中似乎沒(méi)有對(duì)“特殊情況”進(jìn)行處理，于是我們就能看到這樣的翻譯發(fā)生：

  如果添加了特殊詞的copy機(jī)制，完全可以把無(wú)法翻譯的單詞不進(jìn)行翻譯，直接copy過(guò)去。也就是說(shuō)，一個(gè)聰明的模型應(yīng)該知道哪些應(yīng)該翻譯，哪些不應(yīng)該翻譯。 隨后，微信也針對(duì)這一問(wèn)題進(jìn)行了修復(fù)，對(duì)于敏感詞“caixukun”或者句式“you are so……”進(jìn)行原句返回。

  除了解碼器語(yǔ)言模型外，問(wèn)題可能更多出現(xiàn)在語(yǔ)料庫(kù)上，現(xiàn)在業(yè)界所做的機(jī)器翻譯很大程度上靠語(yǔ)料“懟”，只要平行語(yǔ)料數(shù)量足夠多，質(zhì)量足夠好， 一般的系統(tǒng)也可以訓(xùn)練出很好的結(jié)果。 不過(guò)，如果訓(xùn)練語(yǔ)料多來(lái)自電影字幕、多語(yǔ)言會(huì)議等材料，那么模型最終呈現(xiàn)的翻譯內(nèi)容也會(huì)相對(duì)應(yīng)比較“活潑”和“口語(yǔ)化”。面對(duì)庫(kù)中不存在的詞，比如caixunkun，算法會(huì)自動(dòng)匹配最經(jīng)常出現(xiàn)，或者在同語(yǔ)境下最容易匹配的內(nèi)容，比如形容詞“帥哥”或“傻蛋”。 當(dāng)然除了微信，被業(yè)界視為先驅(qū)的谷歌也發(fā)生過(guò)類(lèi)似的翻車(chē)案例。 此前就有Reddit網(wǎng)友指出，谷歌翻譯在學(xué)習(xí)過(guò)程中可能受到了輸入來(lái)源的影響，將一些意味不明的語(yǔ)句翻譯成了如圣經(jīng)一般的語(yǔ)言。比如這個(gè)：

英文大意為：世界末日時(shí)鐘在12點(diǎn)3分鐘，我們正在經(jīng)歷世界上的人物和戲劇性的發(fā)展，這表明我們?cè)絹?lái)越接近末日和耶穌的回歸。 哈佛大學(xué)助理教授、研究自然語(yǔ)言處理和計(jì)算機(jī)翻譯的Andrew Rush認(rèn)為，這些神秘的翻譯結(jié)果可能和谷歌幾年前采用的“神經(jīng)機(jī)器翻譯”技術(shù)有關(guān)。他表示，在神經(jīng)機(jī)器翻譯中，系統(tǒng)訓(xùn)練用了一種語(yǔ)言的大量文本來(lái)和另一種語(yǔ)言進(jìn)行相應(yīng)翻譯，以在兩者之間創(chuàng)建模型。但當(dāng)輸入的是無(wú)意義內(nèi)容時(shí)，系統(tǒng)就會(huì)出現(xiàn)“幻覺(jué)性”的輸出結(jié)果。 在去年AI Time的一次辯論中，中科院自動(dòng)化研究所研究員宗成慶就表示，機(jī)器翻譯近幾年的進(jìn)步確實(shí)很大，但是其需要基于場(chǎng)景和任務(wù)。機(jī)器翻譯在一些場(chǎng)景下確實(shí)能幫助人，比如旅游問(wèn)路，但是在某些領(lǐng)域，比如高層次的翻譯，要對(duì)機(jī)器翻譯寄予太多的希望還為時(shí)過(guò)早。 東北大學(xué)計(jì)算機(jī)學(xué)院教授朱靖波根據(jù)自己的經(jīng)驗(yàn)列舉出好的機(jī)器翻譯系統(tǒng)需要的三個(gè)東西：一是擴(kuò)大訓(xùn)練數(shù)據(jù)規(guī)模，提高品質(zhì)；二是不斷創(chuàng)新技術(shù)；三是根據(jù)問(wèn)題不斷打磨，三者缺一不可。 看來(lái)，機(jī)器翻譯未來(lái)還有很長(zhǎng)一段路要走啊！