什么是對(duì)抗機(jī)器學(xué)習(xí)？為何要對(duì)抗機(jī)器學(xué)習(xí)？

對(duì)抗機(jī)器學(xué)習(xí)是一個(gè)機(jī)器學(xué)習(xí)與計(jì)算機(jī)安全的交叉領(lǐng)域。對(duì)抗機(jī)器學(xué)習(xí)旨在給惡意環(huán)境下的機(jī)器學(xué)習(xí)技術(shù)提供安全保障。由于機(jī)器學(xué)習(xí)技術(shù)一般研究的是同一個(gè)或較為穩(wěn)定的數(shù)據(jù)分布，當(dāng)部署到現(xiàn)實(shí)中的時(shí)候，由于惡意用戶的存在，這種假設(shè)并不一定成立。比如研究人員發(fā)現(xiàn)，一些精心設(shè)計(jì)的對(duì)抗樣本(adversarial example)可以使機(jī)器學(xué)習(xí)模型不能成功地輸出正確的結(jié)果。針對(duì)模型的攻擊問題，我們主要分為兩大類，就是從訓(xùn)練階段和推理(inference)階段來進(jìn)行討論。

?訓(xùn)練階段的攻擊

訓(xùn)練階段的惡意攻擊(Training in Adversarial Settings)，主要的目的就是針對(duì)模型的參數(shù)進(jìn)行微小的擾動(dòng)，從而讓模型的性能和預(yù)期產(chǎn)生偏差。這樣的行為主要是通過數(shù)據(jù)投毒來完成的。

不過在此之前，有個(gè)前提，在PAC理論中，有一個(gè)已經(jīng)論證的結(jié)論：對(duì)于任意的學(xué)習(xí)算法而言，其置信度β，必須滿足β≤Σ\1+Σ，其中Σ表示了學(xué)習(xí)準(zhǔn)確率。那么也就是說，當(dāng)需要達(dá)到90%的學(xué)習(xí)準(zhǔn)確率(Σ=0.1)，那么被擾動(dòng)的數(shù)據(jù)量必須少于10%(0.1/1+0.1)。

1)標(biāo)簽操縱(label manipulation)

這個(gè)方法很直觀，就是直接通過對(duì)于訓(xùn)練數(shù)據(jù)的標(biāo)簽進(jìn)行替換，讓數(shù)據(jù)樣本和標(biāo)簽不對(duì)應(yīng)，最后訓(xùn)練的結(jié)果一定是不如預(yù)期的。有前人在SVM的場(chǎng)景下，隨機(jī)替換了約40%的數(shù)據(jù)，對(duì)其算法進(jìn)行了破壞，最后的效果也如預(yù)期一樣好。其實(shí)這只是在二分類問題中起到了比較好的效果，但是在多分類的情況下并沒有很好的解釋，或者是實(shí)證性的研究。(這里可以有一個(gè)比較有趣的思考，如果二分類的分類替換了40%的數(shù)據(jù)會(huì)導(dǎo)致模型的預(yù)測(cè)結(jié)果很不好，那么多分類的SVM需要替換多少數(shù)據(jù)樣本的標(biāo)簽?是需要替換更少的標(biāo)簽，還是更多?是隨機(jī)替換還是有目標(biāo)性的都替換成一種?)后來的研究則是對(duì)這個(gè)標(biāo)簽操縱的過程更加優(yōu)化，是否能通過更少的標(biāo)簽替換，來實(shí)現(xiàn)更強(qiáng)烈的模型擾動(dòng)，從而產(chǎn)生更有說服力的攻擊模。

2)輸入操縱(input manipulation)

在此攻擊場(chǎng)景下，攻擊者需要獲知模型的算法類型，并且能結(jié)束到訓(xùn)練集。比較直接的攻擊方式，則是通過在線的方式獲得訓(xùn)練數(shù)據(jù)的輸入權(quán)，那么最終的結(jié)果就是直接通過惡意數(shù)據(jù)來擾動(dòng)在線訓(xùn)練過程，自然最后的結(jié)果就是脫離預(yù)期，從而導(dǎo)致惡意者的操縱成功。而當(dāng)我們無法接觸到在線模型的時(shí)候，我們只能通過線下的方式操縱訓(xùn)練數(shù)據(jù)，那么則需要構(gòu)

造盡量少且惡意程度盡量高的惡意樣本，那么這就可以使用梯度上升的方法去達(dá)到局部分類錯(cuò)誤最大的結(jié)果，從而完成樣本構(gòu)造，然后再輸入到模型中進(jìn)行訓(xùn)練。那么，當(dāng)我們無法直接接觸到在線訓(xùn)練模型或離線時(shí)，我們也無法接觸到訓(xùn)練數(shù)據(jù)，我們?cè)撛趺催M(jìn)行輸入的操縱呢?從之前的流程介紹中我們也提到了，在物理世界獲取數(shù)據(jù)的時(shí)候，這階段并沒有受到很好的保護(hù)。因此這階段的數(shù)據(jù)，我們可以通過惡意地攻擊物理世界中的數(shù)據(jù)來獲取，例如交通信號(hào)燈，或者是自動(dòng)駕駛攝像頭正在拍攝的圖像等。通過其在數(shù)據(jù)轉(zhuǎn)換之前，就進(jìn)行數(shù)據(jù)的污染，或是數(shù)據(jù)表示的污染。

?推理階段的攻擊(Inference in Adversarial Settings)

當(dāng)訓(xùn)練完成一個(gè)模型之后，這個(gè)模型就可以看做一個(gè)BOX，那么這個(gè)盒子中，對(duì)于我們?nèi)绻峭该鞯脑?，我們就把它?dāng)成是“白盒”模型，如果這個(gè)盒子中，我們什么都看不了，我們就把它當(dāng)成“黑盒”模型。(我們?cè)谶@個(gè)部分不討論灰盒模型)那么針對(duì)白盒和黑盒的進(jìn)攻手段自然是不同的，但是最終的目的都是希望能對(duì)模型的最終結(jié)果產(chǎn)生破壞，與預(yù)期脫離。其影響力以及攻擊的構(gòu)造粒度也是有所不同的。

1)白盒攻擊(White-Box Adversarial)

當(dāng)然這種所謂的“白盒攻擊”，需要提供一個(gè)很“假”的前提——就是我們需要知道里面所有的模型參數(shù)，這個(gè)在現(xiàn)實(shí)生活中是非常不現(xiàn)實(shí)的。除非是，當(dāng)模型被打包壓縮到智能手機(jī)上之后，然后惡意者通過逆向工程來進(jìn)行原有模型的復(fù)原，才有可能。當(dāng)然這種情況出現(xiàn)的情況非常低了，因此我們需要有這種前提假設(shè)。

2)黑盒攻擊(Black-Box Adversarial)

當(dāng)模型處于黑盒的時(shí)候，更加符合現(xiàn)實(shí)的場(chǎng)景，但是這比白盒的模型缺少了更多的模型信息。因此，大家就從幾個(gè)角度考慮如何進(jìn)行模型攻擊：通過輸入和輸出猜測(cè)模型的內(nèi)部結(jié)構(gòu);加入稍大的擾動(dòng)來對(duì)模型進(jìn)行攻擊;構(gòu)建影子模型來進(jìn)行關(guān)系人攻擊;抽取模型訓(xùn)練的敏感數(shù)據(jù);模型逆向參數(shù)等。

其中有兩個(gè)方法比較有趣。一個(gè)是加入擾動(dòng)來對(duì)模型進(jìn)行攻擊。這個(gè)方法最主要針對(duì)的是，找到原有模型的“blind spot”，或是說“blind area”。這些區(qū)域主要是原有模型模棱兩可的區(qū)域，或是boundry，這對(duì)二分類的問題來說可能這些區(qū)域比較小或是比較狹窄，但是如果針對(duì)的是多分類問題，就可能在高維空間中提現(xiàn)出更多的“blind area”。因此盡量高地命中這些盲區(qū)，是這種方法致力于的方向，同時(shí)這里也提出一個(gè)思考，這樣的盲區(qū)是否是可以定向搜索的，或者是否可以用一個(gè)模糊的算法bound住這些區(qū)域。

第二是建立影子模型，通過構(gòu)建一個(gè)功能性類似的模型，來仿造一個(gè)攻擊空間。類似于軍事演習(xí)，想要在戰(zhàn)場(chǎng)上打出好的效果，就要模擬產(chǎn)戰(zhàn)場(chǎng)上可能發(fā)生的情況，但是目前對(duì)戰(zhàn)場(chǎng)的情況一無所知，所以只能根據(jù)大致的情況去模擬。模型也是如此，只能對(duì)黑盒的情況進(jìn)行對(duì)應(yīng)的訓(xùn)練模擬，然后對(duì)其進(jìn)行“白盒”的嘗試，由于模型的遷移性還不錯(cuò)，或者說類似的算法都有不少的相同點(diǎn)，因此，影子模型的攻擊成效還是不錯(cuò)的。