對抗機器學習是一個機器學習與計算機安全的交叉領(lǐng)域。對抗機器學習旨在給惡意環(huán)境下的機器學習技術(shù)提供安全保障。由于機器學習技術(shù)一般研究的是同一個或較為穩(wěn)定的數(shù)據(jù)分布,當部署到現(xiàn)實中的時候,由于惡意用戶的存在,這種假設(shè)并不一定成立。比如研究人員發(fā)現(xiàn),一些精心設(shè)計的對抗樣本(adversarial example)可以使機器學習模型不能成功地輸出正確的結(jié)果。針對模型的攻擊問題,我們主要分為兩大類,就是從訓練階段和推理(inference)階段來進行討論。