怎樣讓人工智能模型快速的忘記你

隱私，在這個(gè)時(shí)代早已是偽命題。

為了在一定程度上重建隱私保障，近期一系列立法舉措（包括歐洲的〈通用數(shù)據(jù)保護(hù)條例〉以及美國(guó)的〈加利福尼亞州消費(fèi)者隱私法〉）對(duì)于清除個(gè)人信息做出了相關(guān)規(guī)定。但是，要想讓經(jīng)過訓(xùn)練的AI模型“忘記你”，傳統(tǒng)的方法，只能是從零開始利用新數(shù)據(jù)進(jìn)行重新訓(xùn)練——整個(gè)過程可能耗時(shí)數(shù)周，且成本相當(dāng)高昂。

最近新發(fā)表的兩篇論文，帶來(lái)了高效從AI模型中刪除記錄的方法，有望節(jié)約巨量能源并真正為合規(guī)性帶來(lái)保障，一篇來(lái)自斯坦福大學(xué)，另一篇（預(yù)印本）來(lái)自多倫多大學(xué)。斯坦福大學(xué)計(jì)算機(jī)科學(xué)家、第一篇論文的聯(lián)合作者M(jìn)elody Guan表示，“我們似乎需要一些新的算法，來(lái)簡(jiǎn)化企業(yè)之間的實(shí)際合作，確保實(shí)現(xiàn)難度不會(huì)成為他們違反隱私規(guī)定的借口?！?/p>

由于關(guān)于高效數(shù)據(jù)刪除的文獻(xiàn)非常有限，因此斯坦福大學(xué)的作者們首先對(duì)問題做出明確定義，并提出有助于緩解問題的四項(xiàng)設(shè)計(jì)原則：

第一項(xiàng)原則為“線性度”：簡(jiǎn)單的AI模型只需要對(duì)數(shù)字進(jìn)行加法與乘法運(yùn)算，這就避免了所謂非線性數(shù)學(xué)函數(shù)的介入，保證步驟分解更加簡(jiǎn)單易行；

第二項(xiàng)則是“惰性”原則，盡可能推遲計(jì)算操作，除非確實(shí)需要做出預(yù)測(cè)；

第三項(xiàng)為“模塊化”：如果可能，盡量以可拆分的形式進(jìn)行模型訓(xùn)練，而后組合結(jié)果；

第四項(xiàng)是“量化”，即只要平均值能夠鎖定在特定的離散區(qū)間之內(nèi)，則刪除其中對(duì)于平均值結(jié)果影響不大的數(shù)值。

斯坦福大學(xué)的研究人員們將其中兩項(xiàng)原則應(yīng)用到一種名為k均值聚類的機(jī)器學(xué)習(xí)算法當(dāng)中。此算法用于將數(shù)據(jù)點(diǎn)分類為自然聚類，例如用于分析密切相關(guān)的種群之間的遺傳性差異。（在UK Biobank醫(yī)學(xué)數(shù)據(jù)庫(kù)中，該聚類算法已經(jīng)得到實(shí)際應(yīng)用。而且有部分患者已經(jīng)向數(shù)據(jù)庫(kù)作者提出通告，要求將自己的記錄從數(shù)據(jù)庫(kù)中刪除。）研究人員利用量化技術(shù)開發(fā)出一種Qk均值算法，并立足六套數(shù)據(jù)集進(jìn)行了測(cè)試，分別對(duì)單元格類型、手寫數(shù)字、手勢(shì)、森林覆蓋率以及聯(lián)網(wǎng)設(shè)備黑客入侵情況進(jìn)行分類。他們?cè)诿拷M數(shù)據(jù)集內(nèi)各刪除1000個(gè)數(shù)據(jù)點(diǎn)，每次1個(gè)。結(jié)果證明，Q-k均值算法的速度達(dá)到常規(guī)k均值算法的2倍到584倍，且準(zhǔn)確性幾乎沒有任何損失。

利用模塊化方法，他們又開發(fā)出DC-k均值（用于實(shí)現(xiàn)分治法）。數(shù)據(jù)中的各個(gè)點(diǎn)被隨機(jī)劃分為多個(gè)子集，且各個(gè)子集將獨(dú)立進(jìn)行聚類。接下來(lái)，再將這些子集構(gòu)成新的集群，依此類推。事實(shí)證明，從單一子集內(nèi)刪除一個(gè)點(diǎn)，并不會(huì)影響到其他子集的結(jié)果。新算法的加速水平在16倍到71倍之間，且準(zhǔn)確性同樣幾乎不受影響。該項(xiàng)研究被發(fā)表在上個(gè)月的加拿大溫哥華神經(jīng)信息處理系統(tǒng)（NerulPS）大會(huì)上。

多倫多大學(xué)以及Vector研究院計(jì)算機(jī)科學(xué)家Nicolas Papernot指出，“這篇論文中的亮點(diǎn)，在于利用算法中的某些基本面（k均值聚類）完成了以往無(wú)法實(shí)現(xiàn)的目標(biāo)。”但是，其中某些方法在其他算法類型中無(wú)法確切起效，例如在深度學(xué)習(xí)中使用的人工神經(jīng)網(wǎng)絡(luò)。上個(gè)月，Paernot以及其他聯(lián)合作者在網(wǎng)站arXiv上發(fā)表一篇論文，提到一種適用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，名為SISA（分片、隔離、切片以及聚合）訓(xùn)練。

這種新方法采取兩種不同的模塊化實(shí)現(xiàn)方式。首先，在分片部分中將數(shù)據(jù)集劃分成多個(gè)子集，并立足每套模型建立獨(dú)立的訓(xùn)練模型副本。當(dāng)需要進(jìn)行預(yù)測(cè)時(shí)，各模型的預(yù)測(cè)結(jié)果將被匯總為統(tǒng)一的整體。利用這種方式，刪除數(shù)據(jù)點(diǎn)時(shí)，我們只需要重新訓(xùn)練其中一套模型。第二種方法則是切片，即對(duì)各個(gè)子集做出進(jìn)一步細(xì)分。該子集的模型會(huì)首先在切片1上訓(xùn)練，而后同時(shí)在切片1與切片2上訓(xùn)練，接下來(lái)在切片1、切片2以及切片3上訓(xùn)練，依此類推。最后，在完成各個(gè)步驟后對(duì)訓(xùn)練完成的模型進(jìn)行歸檔。如此一來(lái)，如果刪除切片3中的數(shù)據(jù)點(diǎn)，則可快速返回至訓(xùn)練的第三步中，并以此為起點(diǎn)繼續(xù)訓(xùn)練。Papernot表示，分片與切片方法“相當(dāng)于為我們的模型訓(xùn)練流程提供了兩個(gè)調(diào)整旋鈕。”Guan也稱贊稱，這種方法“非常直觀”，只是“使用的記錄刪除標(biāo)準(zhǔn)還不夠嚴(yán)格。”

來(lái)自多倫多的研究人員們通過兩套大型數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，希望測(cè)試這種方法。其中一套數(shù)據(jù)集包含超過60萬(wàn)張與家庭住址編碼相關(guān)的圖像，另一套則包含30多萬(wàn)條購(gòu)買歷史記錄。他們從各個(gè)數(shù)據(jù)集中刪除0.001%的數(shù)據(jù)量，而后重新訓(xùn)練，并發(fā)現(xiàn)分片技術(shù)（20個(gè)分片）使得地址相關(guān)任務(wù)的重新訓(xùn)練速度提高 了3.75倍，購(gòu)買記錄相關(guān)任務(wù)的重新訓(xùn)練速度提高 8.31倍（與標(biāo)準(zhǔn)模型重新訓(xùn)練方法比較），而且?guī)缀醪粫?huì)對(duì)準(zhǔn)確度造成影響。在配合切片方法之后，地址相關(guān)任務(wù)的速度進(jìn)一步提高 了18%，購(gòu)買記錄相關(guān)任務(wù)的速度提高 43%，準(zhǔn)確度同樣沒有降低。

公開發(fā)布的數(shù)據(jù)顯示，僅刪除0.001%的數(shù)據(jù)似乎太過溫和，但Papernot表示谷歌搜索等服務(wù)的重新訓(xùn)練規(guī)模要比這個(gè)數(shù)字還低出幾個(gè)量級(jí)。另外，18%的速度提升看似有限，但對(duì)于大型機(jī)使用場(chǎng)景來(lái)講，已經(jīng)能夠節(jié)約海量時(shí)間與金錢。另外，在某些情況下，我們也許能夠發(fā)現(xiàn)某些更有必要忽略的數(shù)據(jù)點(diǎn)——例如來(lái)自少數(shù)族裔或者患有特定疾病的人群，確保他們免受隱私侵犯的影響。將這些數(shù)據(jù)點(diǎn)集中起來(lái)，將進(jìn)一步提高刪除效果。Papernot表示，他們也在積極整理數(shù)據(jù)集知識(shí)，希望進(jìn)一步提高SISA方法的定制化水平。

Guan解釋道，某些AI方法雖然在設(shè)計(jì)上就考慮到隱私性要求，但有時(shí)候使用者仍然需要?jiǎng)h除其中的某些特定數(shù)據(jù)點(diǎn)。舉例來(lái)說(shuō)，有些人可能不想把自己的數(shù)據(jù)交給某家聲名狼藉的企業(yè)，科學(xué)家們有時(shí)候也可能需要?jiǎng)h除引發(fā)問題的數(shù)據(jù)點(diǎn)（例如黑客用來(lái)「毒化」數(shù)據(jù)集的偽造記錄）。無(wú)論是哪一種情況，對(duì)AI模型中的數(shù)據(jù)進(jìn)行刪除都將成為一種必要的手段。

Guan總結(jié)道，“很明顯，我們還沒有構(gòu)建起完整的解決方案。但我們認(rèn)為對(duì)問題做出明確定義，是解決問題的重要前提。希望人們能夠在算法設(shè)計(jì)之初，就充分考慮到數(shù)據(jù)保護(hù)方面的需求?！?/p>