區(qū)塊鏈與機(jī)器學(xué)習(xí)如何做到模型共享

人工智能已取得重大進(jìn)展，但是訪問和利用機(jī)器學(xué)習(xí)系統(tǒng)使這些發(fā)展成為可能會(huì)面臨挑戰(zhàn)，特別是對(duì)于那些資源有限的人而言。

這些系統(tǒng)往往是高度集中的，它們的預(yù)測(cè)通常按每個(gè)查詢出售，而訓(xùn)練它們所需的數(shù)據(jù)集通常是專有的，而且要自行創(chuàng)建也很昂貴。此外，如果不定期提供新數(shù)據(jù)來對(duì)其進(jìn)行再訓(xùn)練，則已發(fā)布的模型可能會(huì)過時(shí)。

我們?cè)O(shè)想一種稍有不同的范例，在該范例中，人們將能夠使用他們已經(jīng)擁有的技術(shù)（例如手機(jī)和其他設(shè)備上的瀏覽器和應(yīng)用）輕松且經(jīng)濟(jì)高效地運(yùn)行機(jī)器學(xué)習(xí)模型。本著使AI民主化的精神，我們?cè)趨^(qū)塊鏈上引入去中心化和協(xié)作AI。

通過這個(gè)新的框架，參與者可以在公共區(qū)塊鏈上持續(xù)協(xié)作地訓(xùn)練和維護(hù)模型，以及建立數(shù)據(jù)集，在這些區(qū)塊鏈上，模型通?？梢悦赓M(fèi)用于評(píng)估預(yù)測(cè)。

該框架非常適合人們每天遇到的AI輔助場(chǎng)景，例如與個(gè)人助手互動(dòng)，玩游戲或使用推薦系統(tǒng)。

為什么選擇區(qū)塊鏈？

利用區(qū)塊鏈技術(shù)，通過該框架可以完成兩件事：為參與者提供一定程度的信任和安全，并可靠地執(zhí)行基于激勵(lì)的系統(tǒng)，以鼓勵(lì)參與者提供有助于改善模型性能的數(shù)據(jù)。

使用當(dāng)前的Web服務(wù)，即使代碼是開源的，人們也無法100％地確定與之交互的內(nèi)容，并且運(yùn)行模型通常需要專門的云服務(wù)。

在我們的解決方案中，我們將這些公共模型放入了智能合約中，在區(qū)塊鏈上進(jìn)行編碼，以幫助確保遵守約定條款的規(guī)范。在我們的框架中，模型可以在鏈上進(jìn)行更新，即在區(qū)塊鏈環(huán)境內(nèi)進(jìn)行更新，只需支付少量交易費(fèi)用，或?qū)⑵溆糜阪溝峦评恚ㄔ趥€(gè)人設(shè)備上本地進(jìn)行，無需交易費(fèi)用）。

智能合約不可修改，許多機(jī)器都無法對(duì)其進(jìn)行評(píng)估，從而有助于確保模型能夠執(zhí)行其指定的功能。智能合約的不變性和永久性記錄也使我們能夠可靠地計(jì)算并提供對(duì)良好數(shù)據(jù)貢獻(xiàn)的獎(jiǎng)勵(lì)。

在處理付款時(shí)，信任非常重要，尤其是在像我們這樣的系統(tǒng)中，這種系統(tǒng)試圖通過激勵(lì)措施鼓勵(lì)積極參與（稍后再介紹）。此外，以太坊等區(qū)塊鏈在全球擁有成千上萬的去中心化機(jī)器，這使得智能合約變得完全不可用或脫機(jī)的可能性較小。

部署和更新模型

根據(jù)區(qū)塊鏈網(wǎng)絡(luò)的計(jì)算成本，在公共區(qū)塊鏈上托管機(jī)器學(xué)習(xí)模型需要一次性的部署費(fèi)，通常為幾美元。從那時(shí)起，任何提供數(shù)據(jù)來訓(xùn)練模型的人，無論是部署模型的個(gè)人還是其他參與者，都將不得不支付少量費(fèi)用（通常為幾美分），這再次與完成的計(jì)算量成比例。

使用我們的框架，我們建立了一個(gè)Perceptron模型，能夠?qū)﹄娪霸u(píng)論的正面或負(fù)面情緒進(jìn)行分類。截至2019年7月，在以太坊上更新模型的成本約為0.25美元。我們已計(jì)劃擴(kuò)展框架，以使大多數(shù)數(shù)據(jù)提供者不必支付這筆費(fèi)用。例如，當(dāng)數(shù)據(jù)來自使用第三方技術(shù)（例如游戲）時(shí)，貢獻(xiàn)者可以在獎(jiǎng)勵(lì)階段獲得報(bào)銷，或者第三方可以提交數(shù)據(jù)并代表他們支付費(fèi)用。

為了減少計(jì)算成本，我們使用非常有效的訓(xùn)練模型，例如Perceptron或Nearest Centroid分類器。我們還可以將這些模型與鏈外計(jì)算的高維表示形式一起使用?？梢允褂脧闹悄芎霞s到機(jī)器學(xué)習(xí)服務(wù)的API調(diào)用來集成更復(fù)雜的模型，但理想情況下，模型應(yīng)在智能合約中完全公開。

激勵(lì)機(jī)制

區(qū)塊鏈很容易讓我們共享不斷發(fā)展的模型參數(shù)。新創(chuàng)建的信息（例如新詞，新電影標(biāo)題和新圖片）可用于更新托管的現(xiàn)有模型，而無需考慮特定個(gè)人或組織自身更新和托管模型的能力。為了鼓勵(lì)人們貢獻(xiàn)有助于維持模型性能的新數(shù)據(jù)，我們提出了幾種激勵(lì)機(jī)制：游戲化，基于市場(chǎng)的預(yù)測(cè)以及持續(xù)進(jìn)行的自我評(píng)估。

游戲化：就像在Stack Exchange網(wǎng)站上一樣，數(shù)據(jù)貢獻(xiàn)者可以在其他貢獻(xiàn)者驗(yàn)證其貢獻(xiàn)時(shí)獲得積分和徽章。該提議僅取決于貢獻(xiàn)者為實(shí)現(xiàn)共同利益（模型的改進(jìn)）而進(jìn)行合作的意愿。

基于市場(chǎng)的預(yù)測(cè)：使用特定測(cè)試集進(jìn)行評(píng)估時(shí)，如果貢獻(xiàn)者提高了模型的性能，他們將獲得獎(jiǎng)勵(lì)。該提案以現(xiàn)有工作為基礎(chǔ)，使用預(yù)測(cè)市場(chǎng)框架來協(xié)作培訓(xùn)和評(píng)估模型，其中包括“眾包預(yù)測(cè)問題的協(xié)作機(jī)制”和“消除私有數(shù)據(jù)的市場(chǎng)框架”。

在我們的框架中，基于預(yù)測(cè)的市場(chǎng)激勵(lì)包括三個(gè)階段：

1. 在承諾階段，提供者需要下注以獎(jiǎng)勵(lì)給貢獻(xiàn)者，并共享足夠的測(cè)試集以證明測(cè)試集有效

2. 參與階段，參與者以少量的資金提交培訓(xùn)數(shù)據(jù)樣本，以彌補(bǔ)其數(shù)據(jù)不正確的可能性

3. 獎(jiǎng)勵(lì)階段，提供者展示其余測(cè)試集，而智能合約確認(rèn)其與承諾階段提供的證據(jù)匹配

根據(jù)參與者對(duì)模型改進(jìn)的貢獻(xiàn)來獎(jiǎng)勵(lì)他們。如果模型在測(cè)試集上的表現(xiàn)更差，那么貢獻(xiàn)“不良”數(shù)據(jù)的參與者將失去其存款。

持續(xù)進(jìn)行的自我評(píng)估：參與者有效地驗(yàn)證并為良好的數(shù)據(jù)貢獻(xiàn)相互支付。在這種情況下，將部署已經(jīng)使用一些數(shù)據(jù)訓(xùn)練的現(xiàn)有模型。希望更新模型的貢獻(xiàn)者提交具有特征x，標(biāo)簽y和存款的數(shù)據(jù)。在經(jīng)過預(yù)定時(shí)間后，如果當(dāng)前模型仍與分類一致，則此人將退回其定金。

現(xiàn)在，我們假設(shè)數(shù)據(jù)已被驗(yàn)證為“良好”，并且貢獻(xiàn)者獲得了積分。如果貢獻(xiàn)者添加了“不良”數(shù)據(jù)（即無法驗(yàn)證為“良好”的數(shù)據(jù)），那么該貢獻(xiàn)者的存款將被沒收，并分配給因“良好”貢獻(xiàn)而獲得積分的貢獻(xiàn)者。這樣的獎(jiǎng)勵(lì)系統(tǒng)將有助于阻止“不良”數(shù)據(jù)的惡意貢獻(xiàn)。

從小型高效到復(fù)雜

區(qū)塊鏈上的分布式和協(xié)作式AI框架是基于共享模型觀點(diǎn)的，使所有人都可以使用有價(jià)值的資源，以及（同樣重要的是）創(chuàng)建可用于訓(xùn)練區(qū)塊鏈環(huán)境內(nèi)外模型的大型公共數(shù)據(jù)集。

當(dāng)前，該框架主要設(shè)計(jì)用于可以有效更新的小型模型。隨著區(qū)塊鏈技術(shù)的發(fā)展，我們預(yù)計(jì)將有更多的人與機(jī)器學(xué)習(xí)模型之間的協(xié)作應(yīng)用程序可用，并且我們希望看到將來在擴(kuò)展到更復(fù)雜的模型以及新的激勵(lì)機(jī)制方面的研究。

格密鏈公司正在研究密文機(jī)器學(xué)習(xí)模型的訓(xùn)練，以及如何基于區(qū)塊鏈發(fā)布機(jī)器學(xué)習(xí)模型，從而共享數(shù)據(jù)與模型的使用。

來源： 格密鏈