蘋果的人工智能框架讓用戶親身參與數(shù)據(jù)標(biāo)記自動(dòng)化

（文章來源：獵云網(wǎng)）

像蘋果Siri這樣的個(gè)人助理通過自然語言命令來完成任務(wù)。然而，它們的底層組件通常依賴于監(jiān)督機(jī)器學(xué)習(xí)算法，這些算法需要大量手工注釋的訓(xùn)練數(shù)據(jù)。為了減少收集這些數(shù)據(jù)的時(shí)間和精力，蘋果的研究人員開發(fā)了一個(gè)框架，利用用戶參與下的信號(hào)，來自動(dòng)創(chuàng)建增強(qiáng)數(shù)據(jù)的標(biāo)簽。他們的報(bào)告中表示，當(dāng)使用諸如多任務(wù)學(xué)習(xí)和外部知識(shí)庫驗(yàn)證等策略時(shí)，帶注釋的數(shù)據(jù)顯著提高了生產(chǎn)深度學(xué)習(xí)系統(tǒng)的準(zhǔn)確性。

“我們認(rèn)為，這是首次使用用戶參與信號(hào)來幫助大規(guī)模生成序列標(biāo)記任務(wù)的訓(xùn)練數(shù)據(jù)，并可應(yīng)用于實(shí)際設(shè)置中，在幾乎沒有人工注釋數(shù)據(jù)的情況下加快新功能的部署，”研究人員在一篇待出版的論文中寫道。“此外，用戶參與信號(hào)可以幫助我們從數(shù)字助理自身的錯(cuò)誤中吸取教訓(xùn)，從而確定其需要改進(jìn)的地方?！?/p>

研究人員使用了一系列啟發(fā)式方法來識(shí)別，可以表明積極參與或消極參與的行為。其中一些包括點(diǎn)擊內(nèi)容來進(jìn)一步參與（積極的回應(yīng)），長(zhǎng)時(shí)間聽一首歌（另一個(gè)積極的回應(yīng)），或者打斷智能助手提供的內(nèi)容，手動(dòng)選擇不同的內(nèi)容（消極的回應(yīng)）。這些信號(hào)被選擇性地以“隱私保護(hù)方式”獲取，以自動(dòng)生成基本的具有真實(shí)性的注釋，隨后它們與人類注釋者提供的粗粒度標(biāo)簽相結(jié)合。

為了將粗粒度標(biāo)簽和推斷出的細(xì)粒度標(biāo)簽合并到人工智能模型中，論文的合作者設(shè)計(jì)了一個(gè)多任務(wù)學(xué)習(xí)框架，將粗粒度和細(xì)粒度實(shí)體標(biāo)簽作為兩個(gè)任務(wù)處理。此外，它們還合并了一個(gè)由實(shí)體及其關(guān)系組成的外部知識(shí)庫驗(yàn)證器。假設(shè)預(yù)測(cè)“something”作為一個(gè)音樂標(biāo)題，“the Beatles”作為一個(gè)音樂藝術(shù)家，我們可以查詢“Play something by the Beatles”，驗(yàn)證器將展開對(duì)一級(jí)標(biāo)簽的備選方案的查找，并將它們發(fā)送到一個(gè)組件，該組件將對(duì)預(yù)測(cè)重新排序，并返回最佳備選方案。

研究人員利用兩個(gè)獨(dú)立的測(cè)試集來評(píng)估多任務(wù)模型所執(zhí)行的任務(wù)，他們從生產(chǎn)系統(tǒng)中隨機(jī)抽取樣本，并對(duì)基礎(chǔ)的真實(shí)標(biāo)簽手工標(biāo)注。他們表示，在21次模型運(yùn)行中，添加的26萬個(gè)訓(xùn)練示例，與所有數(shù)量的人工注釋數(shù)據(jù)的基線相比，“一致地”降低了預(yù)測(cè)任務(wù)中的粗粒度實(shí)體錯(cuò)誤率。此外，他們還報(bào)告說，當(dāng)有相對(duì)少量的人工注釋數(shù)據(jù)（5000個(gè)示例）時(shí)，添加弱監(jiān)督的細(xì)粒度數(shù)據(jù)會(huì)產(chǎn)生更大的影響。最后，他們報(bào)告說，對(duì)于任何頂級(jí)模型假設(shè)通過知識(shí)庫驗(yàn)證器的例子，細(xì)粒度實(shí)體錯(cuò)誤率下降了大約50%。

在另一個(gè)實(shí)驗(yàn)中，團(tuán)隊(duì)試圖確定用戶意圖的更細(xì)微標(biāo)注，是否會(huì)增加系統(tǒng)選擇正確操作的可能性。他們采集了大約5000個(gè)“播放音樂”命令，其中包含對(duì)多個(gè)樂隊(duì)、藝術(shù)家和歌曲的引用，并通過一個(gè)包含其框架的系統(tǒng)將其發(fā)送出去，之后，他們要求注釋者將系統(tǒng)返回的響應(yīng)分為“滿意”或“不滿意”。研究人員報(bào)告說，增強(qiáng)后的系統(tǒng)產(chǎn)生的結(jié)果相對(duì)任務(wù)錯(cuò)誤率降低了24.64%。

“我們觀察到，我們的模型改進(jìn)了用戶最終接收的結(jié)果，特別是對(duì)于包含困難或不尋常語言模式的請(qǐng)求，”論文合作者寫道?！袄?，增強(qiáng)后的系統(tǒng)可以正確處理諸如‘你能播放Miley Cyrus新專輯中的Malibu嗎’和‘播放Kendrick Lamar的Humble’之類的查詢。此外，增強(qiáng)后的模型還能識(shí)別出用戶在遇到真正的語言歧義時(shí)更有可能引用的實(shí)體。例如，在Play one by Metallica中，one可以是一個(gè)非實(shí)體標(biāo)記（意為播放Metallica的任何歌曲），也可以特指Metallica一首名為One的歌。由于大多數(shù)用戶在說‘Play One by Metallica’時(shí)都會(huì)聽Metallica樂隊(duì)的‘One’這首歌，所以我們的模型會(huì)根據(jù)用戶參與注釋的數(shù)據(jù)來預(yù)測(cè)‘One’到底指什么，從而更好地捕捉用戶群體的趨勢(shì)和偏好?！?/p>

此前，有一篇論文描述了蘋果的人工智能開發(fā)工具Overton，該工具的模型處理了“數(shù)十億”個(gè)查詢。另外，蘋果最近研究了用戶是否更喜歡與“健談”的人工智能助手交談。