MassGrid希望改進(jìn)POW算法和區(qū)塊鏈網(wǎng)絡(luò),來對(duì)人類社會(huì)產(chǎn)生實(shí)際價(jià)值
隨著機(jī)器學(xué)習(xí)、大數(shù)據(jù)、渲染服務(wù)、搜索等行業(yè)的興起,這些計(jì)算開銷大、并行度高的高性能計(jì)算需求越來越大。MassGrid希望能成為全球最大的分布式GPU高性能云計(jì)算網(wǎng)絡(luò)。MassGrid希望通過改進(jìn)的POW算法和區(qū)塊鏈網(wǎng)絡(luò)機(jī)制將無意義的POW哈希計(jì)算轉(zhuǎn)變成能對(duì)人類社會(huì)產(chǎn)生實(shí)際價(jià)值的通用并行計(jì)算。
Mass Grid 是一個(gè)去中心化高性能計(jì)算網(wǎng)絡(luò)。隨著 AI、VR 等行業(yè)發(fā)展壯大,高性能計(jì)算需求也滲透到各行業(yè),而每個(gè)公司、團(tuán)隊(duì)都不一定有財(cái)力、能力和必要性去建設(shè)一個(gè)算力集群,即便建成了自己的 GPU 算力集群,維護(hù)、升級(jí)也需要付出大量人力物力及時(shí)間成本。MassGrid 可以聚集散布在世界各地的閑置算力,建設(shè)起可動(dòng)態(tài)升級(jí)的 GPU 通用算力集群,可供所有需要這些算力的個(gè)人或企業(yè)機(jī)構(gòu)使用,有效解決了他們的實(shí)際需求。
數(shù)據(jù)挖掘
越來越多的數(shù)據(jù)科學(xué)家正在使用GPU進(jìn)行大數(shù)據(jù)分析,以獲得更好的研究結(jié)果和實(shí)時(shí)業(yè)務(wù)決策。MassGrid通過將遠(yuǎn)程GPU虛擬化到用戶的桌面,使用戶能夠訪問無限量的計(jì)算資源。 MassGrid Virtual Docker還將為用戶集成幾個(gè)流行的數(shù)據(jù)挖掘開放庫和工具,以方便地設(shè)置開發(fā)環(huán)境。
氣象分析
由于計(jì)算能力和速度的限制,天氣預(yù)報(bào)一直是一個(gè)挑戰(zhàn)。 用于天氣預(yù)報(bào)的GPU加速超級(jí)計(jì)算機(jī)近年來發(fā)展迅速,MassGrid將通過減少數(shù)據(jù)依賴性并增加其并行性來優(yōu)化氣象模擬算法。 使分布式計(jì)算更容易,從而將網(wǎng)格分辨率從工業(yè)標(biāo)準(zhǔn)1.0km提高到300m。
AI培訓(xùn)
MassGrid將TensonFlow,Caffee2和幾種流行的神經(jīng)網(wǎng)絡(luò)框架集成到MassGrid虛擬Docker中,供用戶方便地設(shè)置。 用戶只需幾個(gè)配置就可以同時(shí)訓(xùn)練多個(gè)模型。 訓(xùn)練數(shù)據(jù)也可以通過MassGrid p2p文件網(wǎng)絡(luò)傳輸,這可能是AI訓(xùn)練最有效和最便利的方式。
3D渲染
MassGrid支持RedShift,iRay和其他GPU加速渲染應(yīng)用程序,允許用戶在我們的平臺(tái)上通過平鋪,逐幀或場(chǎng)景分布渲染作業(yè)。 場(chǎng)景數(shù)據(jù)也可以通過MassGrid虛擬Docker中的MassGrid p2p文件網(wǎng)絡(luò)傳輸,用戶可以像在本地網(wǎng)絡(luò)上一樣將其渲染作業(yè)發(fā)送到遠(yuǎn)程GPU。
物理模擬
物理模擬在計(jì)算上非常密集,MassGrid不僅支持PhysX和Havok等實(shí)時(shí)仿真工具,而且還支持其他GPU加速應(yīng)用,用于流體模擬等科學(xué)物理計(jì)算的精確模擬。
DNA匹配
生物信息學(xué)計(jì)算是非常艱巨的任務(wù),MassGrid支持各種生物信息學(xué)處理,如DNA序列比對(duì),蛋白質(zhì)對(duì)接和GPU上的分子動(dòng)力學(xué),數(shù)據(jù)也可以通過MassGrid p2p文件網(wǎng)絡(luò)傳輸。
技術(shù)特性
跳變POW算法
跳變POW是MassGrid獨(dú)創(chuàng)的已申請(qǐng)發(fā)明專利的區(qū)塊鏈技術(shù),跳變POW可抗量子計(jì)算和ASIC計(jì)算,使得網(wǎng)絡(luò)更安全、更公平、并保證接入網(wǎng)絡(luò)設(shè)備的通用計(jì)算能力。
GPU算力虛擬化
GPU虛擬化技術(shù)是一種將遠(yuǎn)端GPU硬件資源虛擬到客戶端設(shè)備的技術(shù),GPU虛擬化能使得用戶能自由調(diào)度物理上分布在世界各地的計(jì)算資源進(jìn)行計(jì)算任務(wù)。
算力任務(wù)分發(fā)系統(tǒng)
基于智能合約和虛擬機(jī)的p2p撮合式交易系統(tǒng),用戶可以自定義算力使用規(guī)則和交易規(guī)則,靈活進(jìn)行算力交易。
什么是POW跳變哈希? 大多數(shù)加密數(shù)字貨幣都是基于固定的一種算法,無論這種算法多復(fù)雜,空間復(fù)雜度多高,長(zhǎng)期來看總有被ASIC化,最后算力集中化的風(fēng)險(xiǎn)。
? Jump Hash可以根據(jù)塊的特征,按照一定規(guī)則選擇hash算法,可以不斷變化hash跳變算法的組合。
? MassGrid最終將集成30種不同Hash算法,每塊block的計(jì)算隨機(jī)從算法池中挑選1個(gè)或多個(gè)算法進(jìn)行POW計(jì)算,如果對(duì)Jump Hash進(jìn)行ASIC化,就需要實(shí)現(xiàn)全部30種Hash算法,并且每次運(yùn)算都只有1/30的芯片空間在執(zhí)行,其它都會(huì)被閑置。
? 綜上所述,Jump Hash提高GPU相對(duì)于ASIC的運(yùn)行效率,并且隨著GPU能耗和制程的進(jìn)一步下降,采用GPU進(jìn)行Jump Hash POW將優(yōu)于ASIC。
? 通過Jump Hash,我們可以強(qiáng)制所有參與POW的節(jié)點(diǎn)都使用顯卡進(jìn)行計(jì)算。
POW 哈希算法池
MassGrid的算法池從幾百種哈希算法中挑選了28種,結(jié)合了SHA3族和其它十多個(gè)安全性排名靠前的幾種其它算法。這些算法是密碼學(xué)發(fā)展幾十年來的成果,其中大部分算法已大規(guī)模應(yīng)用。這些算法經(jīng)過了時(shí)間和實(shí)踐的檢驗(yàn)。
跳變算法GPU與ASIC比較
POW計(jì)算流程
POW驗(yàn)證流程
GPU算力虛擬化
? Hash是目前唯一的計(jì)算復(fù)雜度可調(diào)、易于驗(yàn)證、無數(shù)據(jù)依賴、低數(shù)據(jù)傳輸?shù)腜OW算法,但通用計(jì)算與哈希相反,計(jì)算復(fù)雜度隨需求變動(dòng)、不易驗(yàn)證、有一定的依賴性,數(shù)據(jù)量不可預(yù)測(cè),如果對(duì)通用計(jì)算進(jìn)行約束以使其適合POW,則會(huì)造成算力網(wǎng)絡(luò)通用性低的問題。
? 我們通過將GPU硬件虛擬化解決上述問題,用戶將GPU資源接入算力網(wǎng)絡(luò),算力使用者使用虛擬化GPU執(zhí)行任務(wù),并根據(jù)功耗+使用時(shí)間用智能合約來付費(fèi),由此可以使得通用計(jì)算的POW問題變成虛擬化GPU分時(shí)租賃的問題。
? 分布式GPU硬件虛擬化網(wǎng)絡(luò)的優(yōu)點(diǎn)有:a)。普適幾乎所有的基于GPU的計(jì)算任務(wù),b)。易于計(jì)算和結(jié)算POW酬勞,c)。規(guī)模靈活可擴(kuò)展,按需縮放。
? 我們希望推出一種跨平臺(tái)、高效的GPU虛擬化標(biāo)準(zhǔn),將各種類型的GPU設(shè)備抽象成遵循虛擬化標(biāo)準(zhǔn)的計(jì)算資源,在未來,我們希望可以優(yōu)化x86架構(gòu),讓遵循虛擬化標(biāo)準(zhǔn)的并行計(jì)算芯片設(shè)備免去Host直接介入網(wǎng)絡(luò)。
我們通過將GPU硬件虛擬化解決上述問題,用戶將GPU資源接入算力網(wǎng)絡(luò),算力使用者使用虛擬化GPU執(zhí)行任務(wù),并根據(jù)功耗+使用時(shí)間用智能合約來付費(fèi),由此可以使得通用計(jì)算的POW問題變成虛擬化GPU分時(shí)租賃的問題。
分布式GPU硬件虛擬化網(wǎng)絡(luò)的優(yōu)點(diǎn)有:a)。普適幾乎所有的基于GPU的計(jì)算任務(wù),b)。易于計(jì)算和結(jié)算POW酬勞,c)。規(guī)模靈活可擴(kuò)展,按需縮放。
MassGrid第一階段MassGrid首先實(shí)現(xiàn)一個(gè)區(qū)塊鏈p2p網(wǎng)絡(luò),基于1.0版本的跳變哈希算法,強(qiáng)制所有接入網(wǎng)絡(luò)的節(jié)點(diǎn)使用GPU或CPU作為計(jì)算設(shè)備。
在這些節(jié)點(diǎn)中,部分節(jié)點(diǎn)擁有GPU設(shè)備,可高效運(yùn)行跳變哈希算法,這些節(jié)點(diǎn)可進(jìn)行POW計(jì)算并為整個(gè)網(wǎng)絡(luò)提供加密驗(yàn)證服務(wù)。
MassGrid第二階段
第二階段,MassGrid將在網(wǎng)絡(luò)中部署多個(gè)骨干節(jié)點(diǎn),POW礦工將自己的物理GPU注冊(cè)到骨干節(jié)點(diǎn),骨干節(jié)點(diǎn)將維護(hù)一個(gè)GPU資源列表,通過遠(yuǎn)程虛擬化技術(shù),將POW礦工的物理GPU映射給算力客戶,使得算力客戶可以使用這些資源并按算力支付酬勞。
計(jì)算資源交易流程? POW礦工、算力用戶、普通用戶、和骨干節(jié)點(diǎn)都通過p2p網(wǎng)絡(luò)互相連接,支持交易網(wǎng)絡(luò)進(jìn)行跳變hash計(jì)算
? 與此同時(shí),POW礦工還將自己的物理GPU注冊(cè)到骨干節(jié)點(diǎn),骨干節(jié)點(diǎn)將維護(hù)一個(gè)GPU資源列表
? 當(dāng)算力用戶發(fā)起GPU使用請(qǐng)求時(shí),將請(qǐng)求提交給骨干節(jié)點(diǎn),骨干節(jié)點(diǎn)凍結(jié)算力用戶的一部分資產(chǎn),通過撮合引擎,為兩者建立一個(gè)虛擬化連接,此時(shí)鏈接的GPU設(shè)備停止POW挖礦,開始執(zhí)行其它計(jì)算
? 算力客戶根據(jù)智能合約,通過微小高頻的交易,每分鐘向POW節(jié)點(diǎn)支付一次MassGridCoin
? 首先,每個(gè)骨干節(jié)點(diǎn)將維護(hù)一個(gè)龐大的POW節(jié)點(diǎn)列表,這些POW節(jié)點(diǎn)在接入網(wǎng)絡(luò)的時(shí)候,就自動(dòng)將自己注冊(cè)到骨干節(jié)點(diǎn);
? 算力用戶發(fā)起GPU使用請(qǐng)求,提交預(yù)算和需求給骨干節(jié)點(diǎn),等待骨干節(jié)點(diǎn)評(píng)估;
? 發(fā)起的請(qǐng)求內(nèi)容包括:GPU顯存要求、帶寬要求、出價(jià)、數(shù)據(jù)私密性等級(jí)等;
? 骨干節(jié)點(diǎn)驗(yàn)證請(qǐng)求合法性,評(píng)估數(shù)據(jù)傳輸/計(jì)算量,并作出回應(yīng)
? 如果請(qǐng)求合法,骨干節(jié)點(diǎn)根據(jù)需求和用戶的位置,為用戶在POW網(wǎng)絡(luò)中尋找最優(yōu)節(jié)點(diǎn);
? 最優(yōu)節(jié)點(diǎn)根據(jù)節(jié)點(diǎn)與用戶之間的延遲、帶寬、硬件規(guī)格等評(píng)估;
? 骨干節(jié)點(diǎn)將連接指令發(fā)往算力客戶和POW節(jié)點(diǎn);
? POW節(jié)點(diǎn)停止POW挖礦,與算力客戶建立連接并將顯卡權(quán)限交給算力客戶,虛擬化到算力客戶的機(jī)器中;
? 算力客戶獲取虛擬化計(jì)算資源權(quán)限,獲得設(shè)備使用權(quán);
? 根據(jù)智能合約,通過微小高頻的交易,每分鐘向POW節(jié)點(diǎn)支付一次MassGridCoin