上海人工智能實(shí)驗(yàn)室聯(lián)合商湯科技及高校發(fā)布通用視覺開源平臺(tái)OpenGVLab

2月25日,上海人工智能實(shí)驗(yàn)室聯(lián)合商湯科技、香港中文大學(xué)、上海交通大學(xué)共同發(fā)布通用視覺開源平臺(tái)OpenGVLab,面向?qū)W術(shù)界和產(chǎn)業(yè)界開放其超高效預(yù)訓(xùn)練模型,和千萬級(jí)精標(biāo)注、十萬級(jí)標(biāo)簽量的公開數(shù)據(jù)集,為全球開發(fā)者提升各類下游視覺任務(wù)模型訓(xùn)練提供重要支持。同時(shí),OpenGVLab還同步開放了業(yè)內(nèi)首個(gè)針對(duì)通用視覺模型的評(píng)測(cè)基準(zhǔn),便于開發(fā)者對(duì)不同通用視覺模型的性能進(jìn)行橫向評(píng)估和持續(xù)調(diào)優(yōu)。目前OpenGVLab開源平臺(tái)已正式上線,供各界研究人員訪問和使用,后續(xù)項(xiàng)目還將開通在線推理功能,供所有對(duì)人工智能視覺技術(shù)感興趣的社會(huì)人士自由體驗(yàn)。

“開源是一項(xiàng)意義非凡的工作,人工智能技術(shù)的迅速發(fā)展離不開全球研究人員十余年來的開源共建”,上海人工智能實(shí)驗(yàn)室負(fù)責(zé)人表示,“希望通過發(fā)布OpenGVLab開源平臺(tái),幫助業(yè)界更好地探索和應(yīng)用通用視覺AI技術(shù),促進(jìn)體系化解決AI發(fā)展中數(shù)據(jù)、泛化、認(rèn)知和安全等諸多瓶頸問題,為推動(dòng)人工智能學(xué)術(shù)、產(chǎn)業(yè)發(fā)展做出貢獻(xiàn)?！?

如今雖然人工智能技術(shù)快速發(fā)展,但很多AI模型還只能完成單一任務(wù),比如識(shí)別單一物體,或識(shí)別風(fēng)格較為統(tǒng)一的照片。如果要對(duì)多種類型、風(fēng)格進(jìn)行識(shí)別,則需要具備足夠的通用性和泛化能力。去年11月,上海人工智能實(shí)驗(yàn)室聯(lián)合商湯科技、香港中文大學(xué)、上海交通大學(xué)發(fā)布的通用視覺技術(shù)體系“書生”,很好地解決了這一問題。如下圖所示,對(duì)于不同類型的圖片,它都能較為準(zhǔn)確地識(shí)別出圖中的內(nèi)容,包括圖畫。

通用視覺開源平臺(tái)OpenGVLab正是基于通用視覺技術(shù)體系“書生”(INTERN)打造的。依托“書生”在通用視覺技術(shù)上的強(qiáng)勁支撐,OpenGVLab將幫助開發(fā)者顯著降低通用視覺模型的開發(fā)門檻,用更低成本快速開發(fā)用于成百上千種視覺任務(wù)、視覺場(chǎng)景的算法模型,高效實(shí)現(xiàn)對(duì)長(zhǎng)尾場(chǎng)景的覆蓋,推動(dòng)AI技術(shù)的規(guī)模化應(yīng)用。

開放超高性能模型和千萬級(jí)精標(biāo)注數(shù)據(jù)集,降低學(xué)界投入成本

OpenGVLab充分繼承了通用視覺技術(shù)體系“書生”的技術(shù)優(yōu)勢(shì),其開源的預(yù)訓(xùn)練模型具備極高性能。相較于此前公認(rèn)的最強(qiáng)開源模型(OpenAI 于2021年發(fā)布的CLIP),OpenGVLab的模型可全面覆蓋分類、目標(biāo)檢測(cè)、語義分割、深度估計(jì)四大視覺核心任務(wù),在準(zhǔn)確率和數(shù)據(jù)使用效率上均取得大幅提升。

基于同樣的下游場(chǎng)景數(shù)據(jù),開源模型在分類、目標(biāo)檢測(cè)、語義分割及深度估計(jì)四大任務(wù)26個(gè)數(shù)據(jù)集上,平均錯(cuò)誤率分別降低了40.2%、47.3%、34.8%和9.4%;同時(shí),在分類、檢測(cè)、分割和深度估計(jì)中,僅用10%的下游訓(xùn)練數(shù)據(jù)就超過了現(xiàn)有其他開源模型。使用此模型,研究人員可以大幅降低下游數(shù)據(jù)采集成本,用極低的數(shù)據(jù)量,即可快速滿足多場(chǎng)景、多任務(wù)的AI模型訓(xùn)練。

同時(shí),OpenGVLab還提供多種不同參數(shù)量、不同計(jì)算量的預(yù)訓(xùn)練模型,以滿足不同場(chǎng)景的應(yīng)用需求。模型庫(kù)中列出的多個(gè)模型,在ImageNet的微調(diào)結(jié)果和推理資源、速度等方面,相比之前的公開模型均有不同程度的性能提升。

除了預(yù)訓(xùn)練模型,以百億數(shù)據(jù)總量為基礎(chǔ),上海人工智能實(shí)驗(yàn)室構(gòu)建了超大量級(jí)的精標(biāo)注數(shù)據(jù)集,近期將進(jìn)行數(shù)據(jù)開源工作。超大量級(jí)的精標(biāo)注數(shù)據(jù)集不僅整合了現(xiàn)有的開源數(shù)據(jù)集,還通過大規(guī)模數(shù)據(jù)圖像標(biāo)注任務(wù),實(shí)現(xiàn)了對(duì)圖像分類、目標(biāo)檢測(cè)以及圖像分割等任務(wù)的覆蓋,數(shù)據(jù)總量級(jí)近七千萬。開源范圍涵蓋千萬級(jí)精標(biāo)注數(shù)據(jù)集和十萬級(jí)標(biāo)簽體系。目前,圖像分類任務(wù)數(shù)據(jù)集已率先開源,后續(xù)還將開源目標(biāo)檢測(cè)任務(wù)等更多數(shù)據(jù)集。

此外,此次開源的超大標(biāo)簽體系不僅幾乎覆蓋了所有現(xiàn)有開源數(shù)據(jù)集,還在此基礎(chǔ)上擴(kuò)充了大量細(xì)粒度標(biāo)簽,涵蓋各類圖像中的屬性、狀態(tài)等,極大豐富了圖像任務(wù)的應(yīng)用場(chǎng)景,顯著降低下游數(shù)據(jù)的采集成本。研究人員還可以通過自動(dòng)化工具添加更多標(biāo)簽,對(duì)數(shù)據(jù)標(biāo)簽體系進(jìn)行持續(xù)擴(kuò)展和延伸,不斷提高標(biāo)簽體系的細(xì)粒度,共同促進(jìn)開源生態(tài)繁榮發(fā)展。

發(fā)布首個(gè)通用視覺評(píng)測(cè)基準(zhǔn),推動(dòng)通用視覺模型評(píng)測(cè)標(biāo)準(zhǔn)統(tǒng)一

伴隨OpenGVLab的發(fā)布,上海人工智能實(shí)驗(yàn)室還開放了業(yè)內(nèi)首個(gè)針對(duì)通用視覺模型的評(píng)測(cè)基準(zhǔn),彌補(bǔ)通用視覺模型評(píng)測(cè)領(lǐng)域的空白。當(dāng)前,行業(yè)中已有的評(píng)測(cè)基準(zhǔn)主要針對(duì)單一任務(wù)、單一視覺維度設(shè)計(jì),無法反映通用視覺模型的整體性能,難以用于橫向比較。全新的通用視覺評(píng)測(cè)基準(zhǔn)憑借在任務(wù)、數(shù)據(jù)等層面的創(chuàng)新設(shè)計(jì),可以提供權(quán)威的評(píng)測(cè)結(jié)果,推動(dòng)統(tǒng)一標(biāo)準(zhǔn)上的公平和準(zhǔn)確評(píng)測(cè),加快通用視覺模型的產(chǎn)業(yè)化應(yīng)用步伐。

在任務(wù)設(shè)計(jì)上,全新開放的通用視覺評(píng)測(cè)基準(zhǔn)創(chuàng)新地引入了多任務(wù)評(píng)測(cè)體系,可以從分類、目標(biāo)檢測(cè)、語義分割、深度估計(jì)、行為識(shí)別5類任務(wù)方向,對(duì)模型的通用性能進(jìn)行整體評(píng)估。不僅如此,該評(píng)測(cè)基準(zhǔn)新加了僅用測(cè)試數(shù)據(jù)集10%數(shù)據(jù)量的評(píng)測(cè)設(shè)定,可以有效評(píng)估通用模型在真實(shí)數(shù)據(jù)分布下的小樣本學(xué)習(xí)能力。在測(cè)試后,評(píng)測(cè)基準(zhǔn)還會(huì)根據(jù)模型的評(píng)測(cè)結(jié)果給出相應(yīng)的總分,方便使用者對(duì)不同的模型進(jìn)行橫向評(píng)測(cè)。

隨著人工智能與產(chǎn)業(yè)融合的不斷深入,行業(yè)對(duì)人工智能的需求逐漸從單一任務(wù)向復(fù)雜的多任務(wù)協(xié)同發(fā)展,亟需構(gòu)建開源、開放的體系,以滿足趨于碎片化和長(zhǎng)尾化的海量應(yīng)用需求。

去年7月,上海人工智能實(shí)驗(yàn)室發(fā)布開源平臺(tái)體系OpenXLab,涵蓋新一代OpenMMLab和決策AI平臺(tái)OpenDILab。此次與商湯科技及高校聯(lián)合發(fā)布通用視覺開源平臺(tái)OpenGVLab,不僅能幫助開發(fā)者降低通用視覺模型的開發(fā)門檻,為推動(dòng)通用視覺技術(shù)發(fā)展奠定基礎(chǔ),也進(jìn)一步完善了OpenXLab開源體系,促進(jìn)人工智能的基礎(chǔ)研究和生態(tài)構(gòu)建。