區(qū)塊鏈與機(jī)器學(xué)習(xí)如何做到模型共享

人工智能已取得重大進(jìn)展，但是訪問和利用機(jī)器學(xué)習(xí)系統(tǒng)使這些發(fā)展成為可能會面臨挑戰(zhàn)，特別是對于那些資源有限的人而言。

這些系統(tǒng)往往是高度集中的，它們的預(yù)測通常按每個查詢出售，而訓(xùn)練它們所需的數(shù)據(jù)集通常是專有的，而且要自行創(chuàng)建也很昂貴。此外，如果不定期提供新數(shù)據(jù)來對其進(jìn)行再訓(xùn)練，則已發(fā)布的模型可能會過時。

我們設(shè)想一種稍有不同的范例，在該范例中，人們將能夠使用他們已經(jīng)擁有的技術(shù)（例如手機(jī)和其他設(shè)備上的瀏覽器和應(yīng)用）輕松且經(jīng)濟(jì)高效地運(yùn)行機(jī)器學(xué)習(xí)模型。本著使AI民主化的精神，我們在區(qū)塊鏈上引入去中心化和協(xié)作AI。

通過這個新的框架，參與者可以在公共區(qū)塊鏈上持續(xù)協(xié)作地訓(xùn)練和維護(hù)模型，以及建立數(shù)據(jù)集，在這些區(qū)塊鏈上，模型通常可以免費(fèi)用于評估預(yù)測。

該框架非常適合人們每天遇到的AI輔助場景，例如與個人助手互動，玩游戲或使用推薦系統(tǒng)。

為什么選擇區(qū)塊鏈？

利用區(qū)塊鏈技術(shù)，通過該框架可以完成兩件事：為參與者提供一定程度的信任和安全，并可靠地執(zhí)行基于激勵的系統(tǒng)，以鼓勵參與者提供有助于改善模型性能的數(shù)據(jù)。

使用當(dāng)前的Web服務(wù)，即使代碼是開源的，人們也無法100％地確定與之交互的內(nèi)容，并且運(yùn)行模型通常需要專門的云服務(wù)。

在我們的解決方案中，我們將這些公共模型放入了智能合約中，在區(qū)塊鏈上進(jìn)行編碼，以幫助確保遵守約定條款的規(guī)范。在我們的框架中，模型可以在鏈上進(jìn)行更新，即在區(qū)塊鏈環(huán)境內(nèi)進(jìn)行更新，只需支付少量交易費(fèi)用，或?qū)⑵溆糜阪溝峦评恚ㄔ趥€人設(shè)備上本地進(jìn)行，無需交易費(fèi)用）。

智能合約不可修改，許多機(jī)器都無法對其進(jìn)行評估，從而有助于確保模型能夠執(zhí)行其指定的功能。智能合約的不變性和永久性記錄也使我們能夠可靠地計算并提供對良好數(shù)據(jù)貢獻(xiàn)的獎勵。

在處理付款時，信任非常重要，尤其是在像我們這樣的系統(tǒng)中，這種系統(tǒng)試圖通過激勵措施鼓勵積極參與（稍后再介紹）。此外，以太坊等區(qū)塊鏈在全球擁有成千上萬的去中心化機(jī)器，這使得智能合約變得完全不可用或脫機(jī)的可能性較小。

部署和更新模型

根據(jù)區(qū)塊鏈網(wǎng)絡(luò)的計算成本，在公共區(qū)塊鏈上托管機(jī)器學(xué)習(xí)模型需要一次性的部署費(fèi)，通常為幾美元。從那時起，任何提供數(shù)據(jù)來訓(xùn)練模型的人，無論是部署模型的個人還是其他參與者，都將不得不支付少量費(fèi)用（通常為幾美分），這再次與完成的計算量成比例。

使用我們的框架，我們建立了一個Perceptron模型，能夠?qū)﹄娪霸u論的正面或負(fù)面情緒進(jìn)行分類。截至2019年7月，在以太坊上更新模型的成本約為0.25美元。我們已計劃擴(kuò)展框架，以使大多數(shù)數(shù)據(jù)提供者不必支付這筆費(fèi)用。例如，當(dāng)數(shù)據(jù)來自使用第三方技術(shù)（例如游戲）時，貢獻(xiàn)者可以在獎勵階段獲得報銷，或者第三方可以提交數(shù)據(jù)并代表他們支付費(fèi)用。

為了減少計算成本，我們使用非常有效的訓(xùn)練模型，例如Perceptron或Nearest Centroid分類器。我們還可以將這些模型與鏈外計算的高維表示形式一起使用?？梢允褂脧闹悄芎霞s到機(jī)器學(xué)習(xí)服務(wù)的API調(diào)用來集成更復(fù)雜的模型，但理想情況下，模型應(yīng)在智能合約中完全公開。

激勵機(jī)制

區(qū)塊鏈很容易讓我們共享不斷發(fā)展的模型參數(shù)。新創(chuàng)建的信息（例如新詞，新電影標(biāo)題和新圖片）可用于更新托管的現(xiàn)有模型，而無需考慮特定個人或組織自身更新和托管模型的能力。為了鼓勵人們貢獻(xiàn)有助于維持模型性能的新數(shù)據(jù)，我們提出了幾種激勵機(jī)制：游戲化，基于市場的預(yù)測以及持續(xù)進(jìn)行的自我評估。

游戲化：就像在Stack Exchange網(wǎng)站上一樣，數(shù)據(jù)貢獻(xiàn)者可以在其他貢獻(xiàn)者驗(yàn)證其貢獻(xiàn)時獲得積分和徽章。該提議僅取決于貢獻(xiàn)者為實(shí)現(xiàn)共同利益（模型的改進(jìn)）而進(jìn)行合作的意愿。

基于市場的預(yù)測：使用特定測試集進(jìn)行評估時，如果貢獻(xiàn)者提高了模型的性能，他們將獲得獎勵。該提案以現(xiàn)有工作為基礎(chǔ)，使用預(yù)測市場框架來協(xié)作培訓(xùn)和評估模型，其中包括“眾包預(yù)測問題的協(xié)作機(jī)制”和“消除私有數(shù)據(jù)的市場框架”。

在我們的框架中，基于預(yù)測的市場激勵包括三個階段：

1. 在承諾階段，提供者需要下注以獎勵給貢獻(xiàn)者，并共享足夠的測試集以證明測試集有效

2. 參與階段，參與者以少量的資金提交培訓(xùn)數(shù)據(jù)樣本，以彌補(bǔ)其數(shù)據(jù)不正確的可能性

3. 獎勵階段，提供者展示其余測試集，而智能合約確認(rèn)其與承諾階段提供的證據(jù)匹配

根據(jù)參與者對模型改進(jìn)的貢獻(xiàn)來獎勵他們。如果模型在測試集上的表現(xiàn)更差，那么貢獻(xiàn)“不良”數(shù)據(jù)的參與者將失去其存款。

持續(xù)進(jìn)行的自我評估：參與者有效地驗(yàn)證并為良好的數(shù)據(jù)貢獻(xiàn)相互支付。在這種情況下，將部署已經(jīng)使用一些數(shù)據(jù)訓(xùn)練的現(xiàn)有模型。希望更新模型的貢獻(xiàn)者提交具有特征x，標(biāo)簽y和存款的數(shù)據(jù)。在經(jīng)過預(yù)定時間后，如果當(dāng)前模型仍與分類一致，則此人將退回其定金。

現(xiàn)在，我們假設(shè)數(shù)據(jù)已被驗(yàn)證為“良好”，并且貢獻(xiàn)者獲得了積分。如果貢獻(xiàn)者添加了“不良”數(shù)據(jù)（即無法驗(yàn)證為“良好”的數(shù)據(jù)），那么該貢獻(xiàn)者的存款將被沒收，并分配給因“良好”貢獻(xiàn)而獲得積分的貢獻(xiàn)者。這樣的獎勵系統(tǒng)將有助于阻止“不良”數(shù)據(jù)的惡意貢獻(xiàn)。

從小型高效到復(fù)雜

區(qū)塊鏈上的分布式和協(xié)作式AI框架是基于共享模型觀點(diǎn)的，使所有人都可以使用有價值的資源，以及（同樣重要的是）創(chuàng)建可用于訓(xùn)練區(qū)塊鏈環(huán)境內(nèi)外模型的大型公共數(shù)據(jù)集。

當(dāng)前，該框架主要設(shè)計用于可以有效更新的小型模型。隨著區(qū)塊鏈技術(shù)的發(fā)展，我們預(yù)計將有更多的人與機(jī)器學(xué)習(xí)模型之間的協(xié)作應(yīng)用程序可用，并且我們希望看到將來在擴(kuò)展到更復(fù)雜的模型以及新的激勵機(jī)制方面的研究。

格密鏈公司正在研究密文機(jī)器學(xué)習(xí)模型的訓(xùn)練，以及如何基于區(qū)塊鏈發(fā)布機(jī)器學(xué)習(xí)模型，從而共享數(shù)據(jù)與模型的使用。

來源： 格密鏈