軟通動(dòng)力霍宇：以服務(wù)入局大模型賽道，打通落地"最后一公里"

北京2023年8月31日 /美通社/ -- 進(jìn)入2023年，ChatGPT推動(dòng)世界步入一個(gè)全新時(shí)代——大模型時(shí)代，它不僅引發(fā)了AI產(chǎn)業(yè)的整體升級(jí)換代，同時(shí)也讓各種大模型層出不窮，背后的關(guān)鍵原因在于，大模型能普遍提升生產(chǎn)力，而業(yè)內(nèi)眾多公司也都在積極尋找應(yīng)用大模型和生成式AI的機(jī)會(huì)，希望在產(chǎn)業(yè)端有所作為。

確實(shí)如此，ChatGPT之所以被稱為AI的"iPhone時(shí)刻"，源于ChatGPT為代表的生成式AI能夠讓每個(gè)人命令計(jì)算機(jī)解決問題成為了可能，其可對(duì)生產(chǎn)工具、對(duì)話引擎、個(gè)人助理等各類應(yīng)用，起到協(xié)助人、服務(wù)人甚至超越人的角色，而憑借這項(xiàng)革命性的技術(shù)突破，ChatGPT在搜索引擎與各類工具軟件中率先掀起應(yīng)用熱潮，并引起了行業(yè)用戶對(duì)ChatGPT相關(guān)技術(shù)的關(guān)注與學(xué)習(xí)。同時(shí)，海量下游應(yīng)用也因此捕捉到新的技術(shù)與產(chǎn)業(yè)機(jī)會(huì)，希望通過各類大模型與工程化能力，將類ChatGPT產(chǎn)品能力輸送到原有的應(yīng)用中，更好的賦能企業(yè)的數(shù)智化轉(zhuǎn)型。

但也要看到，要讓大模型從"已有"走向"可用"并不是"一蹴而就"的過程，更多的企業(yè)通常會(huì)面臨數(shù)據(jù)資源有限、算力投資難度大、模型泛化能力差、高水平人才稀缺的發(fā)展瓶頸。也正因此，對(duì)更多的企業(yè)來說，未來更加"務(wù)實(shí)"的做法，就是選擇適合自己的大模型服務(wù)商，"站在巨人的肩膀上"，更好地"用好"大模型。

正是洞察到這種迫切的市場需求，作為數(shù)字化轉(zhuǎn)型的實(shí)踐者和賦能者，軟通動(dòng)力近年來始終堅(jiān)持以全棧式數(shù)字技術(shù)為行業(yè)客戶創(chuàng)造價(jià)值，特別是在大模型領(lǐng)域，軟通動(dòng)力也在積極地探索與實(shí)踐，希望憑借自身在AI基礎(chǔ)設(shè)施、AI專業(yè)人才，AI生態(tài)以及在通用領(lǐng)域和專用服務(wù)領(lǐng)域沉淀的豐富應(yīng)用實(shí)踐，為行業(yè)客戶提供大模型落地的專業(yè)服務(wù)，打通大模型落地"最后一公里"，更好地加速千行百業(yè)擁抱大模型的新時(shí)代。

大模型落地的四重挑戰(zhàn)

毫無疑問，幾乎沒人會(huì)懷疑大模型對(duì)未來的顛覆性影響。但現(xiàn)實(shí)是，國內(nèi)對(duì)大模型的探索仍處于早期階段，無論在研發(fā)、迭代還是使用階段，大模型都是一個(gè)消耗資源巨大、使用成本也不低的"奢侈品"。除了成本居高不下之外，企業(yè)想要在實(shí)際業(yè)務(wù)場景中部署使用大模型，還面臨著數(shù)據(jù)、參數(shù)調(diào)優(yōu)、人才等諸多的落地難題。

對(duì)此，軟通動(dòng)力數(shù)字化創(chuàng)新服務(wù)線副總裁霍宇表示，今年以來軟通動(dòng)力積極在大模型領(lǐng)域探索與實(shí)踐，發(fā)現(xiàn)大模型要落地到行業(yè)和企業(yè)之中所面臨的挑戰(zhàn)非常之多，可以從幾個(gè)維度來做觀察：

一是，從算力的維度看，訓(xùn)練大型模型需要大量的計(jì)算資源和資金投入，這對(duì)于眾多的企業(yè)是巨大的挑戰(zhàn)。"公司今年在大模型基礎(chǔ)算力方面的投入預(yù)計(jì)將會(huì)近億元，未來還會(huì)持續(xù)。在這個(gè)領(lǐng)域，如果需要形成有競爭力的產(chǎn)品或者方案，上千萬的資金投入只能算是起步門檻，可以說大模型的算力和訓(xùn)練成本極高，這也包括現(xiàn)在經(jīng)常提到的行業(yè)大模型，垂直領(lǐng)域大模型，所以說算力方面就是一個(gè)躲不過去的高門檻。"霍宇表示。

二是，從數(shù)據(jù)的維度看，以生成式AI來說，訓(xùn)練的語言模型就需要具有更高的豐富度和復(fù)雜性，才能更好地理解和生成各種語言表達(dá)形式。例如，不同的語言有不同的句法結(jié)構(gòu)、詞匯使用規(guī)律、語義關(guān)系等特點(diǎn)，因此訓(xùn)練模型需要包括更多的語言知識(shí)和規(guī)則，以適應(yīng)這些差異。同時(shí)，不同的語言還可能包含一些特殊的表達(dá)方式、文化背景等，訓(xùn)練模型還需要考慮這些因素，以更好地模擬和生成各種語言表達(dá)形式。不僅如此，為了提高模型的豐富度和能力，還需要使用更加大規(guī)模、多樣化、真實(shí)的語言數(shù)據(jù)集，以提高模型的泛化能力和豐富性，使其能夠更好地適應(yīng)各種語言場景和應(yīng)用需求。

在霍宇看來，大模型訓(xùn)練的語料問題本質(zhì)上就是企業(yè)的數(shù)據(jù)治理的問題，一方面要求企業(yè)必須要獲取大量可用和可信的數(shù)據(jù)；另一方面，數(shù)據(jù)還需要經(jīng)過治理，形成結(jié)構(gòu)化和標(biāo)準(zhǔn)化的數(shù)據(jù)，從而更好的訓(xùn)練出所需要的大模型服務(wù)。

三是，從算法的維度看，AI模型的發(fā)展從AlexNet發(fā)布開始，隨后的研究多數(shù)是圍繞著模型的深度和廣度探索，發(fā)展至今已有BERT、 GPT等典型模型出現(xiàn)，也掀起了預(yù)訓(xùn)練模型的熱潮，目前國內(nèi)的大模型參數(shù)也已經(jīng)攀升至千億、萬億級(jí)別，其準(zhǔn)確度也在不斷的刷新 SOTA。

但與此同時(shí)，對(duì)于企業(yè)而言，如何選擇合適自身的預(yù)訓(xùn)練模型，如何在具體場景和任務(wù)下，基于成熟的大模型進(jìn)行微調(diào)能夠快速地產(chǎn)生準(zhǔn)確結(jié)果，以及究竟是選擇商用還是開源的大模型服務(wù)，如何平衡成本和訓(xùn)練效果，同樣也是非常讓人"頭疼"的問題。

四是，從人才維度看，隨著越來越多的企業(yè)開始廣泛應(yīng)用大模型，相關(guān)的人才需求也成為了新的挑戰(zhàn)。以在人工智能產(chǎn)品實(shí)際使用過程中進(jìn)行數(shù)據(jù)庫管理、算法參數(shù)設(shè)置、人機(jī)交互設(shè)計(jì)、性能測試跟蹤及其他輔助作業(yè)的AI訓(xùn)練師為例，相關(guān)數(shù)據(jù)顯示，這類人才目前就出現(xiàn)了大量的"缺口"亟待滿足。
不難看出，雖然我們已經(jīng)見證了大模型開始與場景、行業(yè)進(jìn)行深度融合并取得了不錯(cuò)的成績，驗(yàn)證了大模型已不僅在科技企業(yè)中應(yīng)用，也邁出了走向千行百業(yè)的步伐，但大模型的落地并不是一件簡單的事情，仍需要解決好算力、數(shù)據(jù)、算法、人才等方面帶來的全新挑戰(zhàn)。

以服務(wù)入局大模型賽道

基于此，從今年年初開始，軟通動(dòng)力就積極布局大模型賽道，不僅投資建設(shè)AI算力基礎(chǔ)設(shè)施，同時(shí)也站在服務(wù)和落地的視角，希望能夠憑借自身在AI人才資源，AI平臺(tái)工具，AI合作生態(tài)以及"躬身實(shí)踐"中沉淀的經(jīng)驗(yàn)和方法論，和行業(yè)客戶共創(chuàng)能夠落地的大模型服務(wù)，更好地幫助企業(yè)迎接大模型時(shí)代的到來，具體來說：

首先，在AI人才資源方面，這是軟通動(dòng)力在大模型賽道中獨(dú)具特色的優(yōu)勢。公司憑借十余年的技術(shù)積累和行業(yè)經(jīng)驗(yàn)沉淀，通過將自身的服務(wù)能力橫向拉通、整合之后，目前不僅能夠?yàn)樾袠I(yè)客戶提供"全?；?quot;的數(shù)字技術(shù)服務(wù)，同時(shí)更積累了一大批高質(zhì)量的數(shù)字化人才。

"我們的第一個(gè)切入點(diǎn)就是AI人才方向，投入專門的算力平臺(tái)作為培養(yǎng)工程師上手并熟悉大模型的工程實(shí)踐環(huán)境，能夠讓相關(guān)開發(fā)語言的工程師和架構(gòu)師更快更熟練玩轉(zhuǎn)大模型，希望通過對(duì)算力及人才的投資，讓他們能夠把大模型從產(chǎn)品到落地應(yīng)用之間的鏈條打通，成為大模型領(lǐng)域的專家。而在未來，這批專家資源的能力不僅可以傳遞給更多的員工；另一方面，對(duì)企業(yè)來說，也可以直接獲得專家資源的幫助，直接進(jìn)行企業(yè)所需要的大模型開發(fā)或者提供參數(shù)調(diào)優(yōu)等相關(guān)的服務(wù)。"霍宇說。

其次，在AI平臺(tái)工具方面，軟通動(dòng)力也打造了軟通天璇2.0 MaaS 平臺(tái)。據(jù)介紹，基于產(chǎn)業(yè)服務(wù)需求，軟通天璇2.0 MaaS平臺(tái)在整合軟通行業(yè)模型管理平臺(tái)（iSS Model Ops Platform）、軟通應(yīng)用開發(fā)平臺(tái)（iSS Model Dev Tools）、軟通場景Plugin應(yīng)用服務(wù)平臺(tái)（iSS Model Plugin Store）等產(chǎn)品的基礎(chǔ)上，能夠?yàn)榭蛻籼峁┐竽Ｐ偷臄?shù)據(jù)處理、大模型一站式運(yùn)營服務(wù)、繼續(xù)訓(xùn)練、調(diào)優(yōu)、部署、推理和數(shù)字資產(chǎn)管理、數(shù)據(jù)安全等服務(wù)。值得一提的是，軟通動(dòng)力全新升級(jí)的訓(xùn)推一體化平臺(tái)，基于昇騰硬件底座，采用軟通G420K訓(xùn)練平臺(tái)和軟通G210K推理平臺(tái)，整合歐拉操作系統(tǒng)等組件，搭載自有AI中臺(tái)，能夠?yàn)橛脩籼峁┒喾N交互式AI模型，深度適配不同AI應(yīng)用場景，在央國企、教育科研、金融等多行業(yè)多領(lǐng)域都可以應(yīng)用。

第三，在AI合作方面，軟通動(dòng)力與行業(yè)內(nèi)頭部和主流大模型廠商都建立了生態(tài)向的合作。不僅率先接入了微軟Azure云 GPT4，并且也是百度文心一言、華為云盤古大模型、阿里通義千問、元乘象ChatImg2.0的生態(tài)合作伙伴，同時(shí)也在積極深研諸如ChatGLM、DeepSpeed Chat、OpenAssistant、Alpaca、LLaMA等開源大模型。
霍宇認(rèn)為，軟通動(dòng)力在AI合作生態(tài)方面全方位的"布局"，最大的價(jià)值在于團(tuán)隊(duì)通過使用這些第三方的商用大模型服務(wù)，以及開源大模型，沉淀了不少的經(jīng)驗(yàn)和方法論，而這些實(shí)踐和經(jīng)驗(yàn)，對(duì)行業(yè)客戶落地大模型也是具有極高的參考價(jià)值和借鑒意義的，可以避免企業(yè)在大模型落地過程中少走"彎路"，這也是一種較為"穩(wěn)妥"的落地方式。

最后，是大模型落地實(shí)踐方面，軟通動(dòng)力也正在和行業(yè)客戶通過"共創(chuàng)"的形式，更好地推動(dòng)企業(yè)擁抱大模型時(shí)代。
"現(xiàn)在不少行業(yè)客戶都找到軟通，他們認(rèn)為目前如果企業(yè)自己要搞一套大模型是有困難的，這些行業(yè)客戶的優(yōu)勢在于他們有不少的行業(yè)數(shù)據(jù)，但是并不知道如何讓這些數(shù)據(jù)更好地實(shí)現(xiàn)語料化，或者如何讓大模型在節(jié)省算力的基礎(chǔ)上，更快地實(shí)現(xiàn)訓(xùn)練或者推理等等。除此之外，搭建行業(yè)大模型，前期的規(guī)劃以及選型，也是一道門檻，而這些正是軟通動(dòng)力擅長的工作，因此雙方可以通過共創(chuàng)的形式，共同推進(jìn)大模型的落地，目前公司已經(jīng)和不少的銀行和保險(xiǎn)行業(yè)的客戶展開相關(guān)的合作。"霍宇說。

正如IDC最新發(fā)布的《AI大模型技術(shù)能力評(píng)估報(bào)告，2023》中提到的："對(duì)于行業(yè)用戶來說，在關(guān)注廠商大模型技術(shù)棧完備性的同時(shí)，應(yīng)著重考察廠商的產(chǎn)業(yè)應(yīng)用經(jīng)驗(yàn)積累，主要發(fā)力點(diǎn)應(yīng)集中在應(yīng)用層，將技術(shù)應(yīng)用到實(shí)際業(yè)務(wù)場景中，提前布局，積累行業(yè)、場景經(jīng)驗(yàn)和數(shù)據(jù)，由此才能‘站在巨人的肩膀上'打造差異化競爭優(yōu)勢。"從這個(gè)角度來說，軟通動(dòng)力在大模型服務(wù)領(lǐng)域積累的四大優(yōu)勢，無疑可以更好地幫助企業(yè)擁抱大模型，加速企業(yè)的數(shù)智化轉(zhuǎn)型。

打通落地"最后一公里"

事實(shí)上，軟通動(dòng)力以服務(wù)模式"卡位"大模型賽道，本身也是深思熟慮和審慎考量的結(jié)果。

霍宇告訴我："當(dāng)大模型浪潮襲來之時(shí)，我們首先否決掉的就是自己下場做通用大模型平臺(tái)，更多還是考慮從行業(yè)大模型的賽道入手，但深入研究之后又發(fā)現(xiàn)，要做行業(yè)大模型，垂直行業(yè)中的數(shù)據(jù)和語料也至關(guān)重要。因此,作為一家服務(wù)型的公司，軟通動(dòng)力以服務(wù)的模式切入這個(gè)市場是最為合適的，我們可以通過專家資源、平臺(tái)工具，以及經(jīng)驗(yàn)和方法論，加上行業(yè)客戶手中的數(shù)據(jù)資源，雙方以共創(chuàng)的形式合作，是能夠以較快方式實(shí)現(xiàn)大模型落地的。"

同樣，以"服務(wù)"模式入局大模型賽道，也讓軟通動(dòng)力能夠以更加"全局"的視角來觀察和看待整個(gè)大模型市場，并從中沉淀和總結(jié)出了不少大模型落地中值得重視的關(guān)鍵事項(xiàng)。

第一，是關(guān)于開源和商用大模型的選型問題。對(duì)此，霍宇認(rèn)為，基于業(yè)務(wù)的需求情況，中國企業(yè)也會(huì)像選擇公有云和私有云部署那樣，既會(huì)選擇直接接入商用大模型，也會(huì)選擇基于開源大模型部署本地化的服務(wù)。

"拋開算力資源問題不說，如果單看模型參數(shù)大小，開源大模型在相對(duì)小的規(guī)模上能力已經(jīng)接近商用模型，漸漸有了趕超的勢頭。另外，相對(duì)追求大而全的通用商用大模型，在垂直領(lǐng)域的模型訓(xùn)練上，開源模型的數(shù)量已經(jīng)超過商用模型，因此企業(yè)不用太擔(dān)心開源大模型會(huì)落后于主流的商用大模型平臺(tái)。而在行業(yè)大模型領(lǐng)域，應(yīng)該說整個(gè)市場都還不太成熟，還處在探索與實(shí)踐的階段，這就需要整個(gè)產(chǎn)業(yè)鏈通過共創(chuàng)的方式，推動(dòng)行業(yè)大模型的慢慢成熟，最終打通落地的最后一公里。"霍宇說。

第二，除了算力和模型參數(shù)之外，企業(yè)應(yīng)該把重心放在數(shù)據(jù)以及語料的沉淀上。在霍宇看來，目前語料確實(shí)是一個(gè)稀缺資源，但很多企業(yè)沒有意識(shí)到這一點(diǎn)，未來企業(yè)如果要做大模型，數(shù)據(jù)和語料就是繞不開的問題。也正因此，數(shù)據(jù)和語料的質(zhì)量問題就變得尤為重要，同樣底層數(shù)據(jù)的清洗、標(biāo)注、治理等一系列的工作也變得更加地迫在眉睫。

"我們目前也正在幫助一些行業(yè)客戶做數(shù)據(jù)治理的工作，我們判斷做數(shù)據(jù)和語料的工作還會(huì)長久持續(xù)，只不過很多工作如數(shù)據(jù)標(biāo)注、數(shù)據(jù)收集的工作會(huì)變成‘工具+人工'的方式，同時(shí)這些數(shù)據(jù)和語料也會(huì)更加關(guān)注行業(yè)屬性。不僅如此，在具體的實(shí)踐過程中，我們也總結(jié)和沉淀了如何把語料或數(shù)據(jù)形成標(biāo)準(zhǔn)化的方法論，多大的參數(shù)量需要‘喂'它多少的語料能夠達(dá)到比較合適的性價(jià)比，這都是軟通動(dòng)力正在做的事情。在此基礎(chǔ)上，業(yè)務(wù)規(guī)則的設(shè)定，數(shù)學(xué)建模以及參數(shù)調(diào)優(yōu)，以及后續(xù)長期的優(yōu)化等工作，我們也都是可以為行業(yè)客戶提供相關(guān)服務(wù)的。"他說。

第三，向量數(shù)據(jù)庫也是軟通動(dòng)力關(guān)注的重要方向。向量數(shù)據(jù)庫主要用在AI和機(jī)器學(xué)習(xí)領(lǐng)域。在這些領(lǐng)域，數(shù)據(jù)通常以向量的形式呈現(xiàn)，可以有效解決文本、圖片、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和查詢的難題；而在大模型時(shí)代，目前對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行管理和處理的主流方法是，利用RNN或 Transformer 等嵌入模型（Embedding Model），將非結(jié)構(gòu)化數(shù)據(jù)的語義內(nèi)容轉(zhuǎn)化為多維向量，并直接對(duì)這些向量進(jìn)行存儲(chǔ)、處理，由此可以為大模型的訓(xùn)練、學(xué)習(xí)等提供更好的數(shù)據(jù)支撐。

霍宇認(rèn)為，向量數(shù)據(jù)庫在大模型中將會(huì)起到三個(gè)方面的作用和價(jià)值，包括它目前已成為推動(dòng)大模型迭代和進(jìn)化的核心技術(shù)，同時(shí)它對(duì)企業(yè)的定制化需求也會(huì)有質(zhì)的影響；更為關(guān)鍵的是，向量數(shù)據(jù)庫對(duì)以后的數(shù)據(jù)型項(xiàng)目的交付也會(huì)產(chǎn)生比較大的變革。

"我的理解是，向量數(shù)據(jù)庫是對(duì)數(shù)據(jù)科學(xué)的再一次‘?dāng)?shù)字化'，可以簡單地對(duì)比原來以表結(jié)構(gòu)橫縱為主的數(shù)據(jù)庫，是用二維或者多維結(jié)構(gòu)來表現(xiàn)，那么向量數(shù)據(jù)庫就是用一維結(jié)構(gòu)來表現(xiàn)世界。因此隨著向量數(shù)據(jù)庫和算力以及AGI技術(shù)的發(fā)展，未來的數(shù)據(jù)交付模式就會(huì)改變，由此也會(huì)產(chǎn)生全新的商業(yè)模式，我們對(duì)此也是高度關(guān)注。"霍宇表示。

回頭來看，軟通動(dòng)力這種"行勝于言"的務(wù)實(shí)風(fēng)格，讓它在大模型服務(wù)賽道中構(gòu)建了屬于自己獨(dú)特的競爭優(yōu)勢。在AI算力資源上真金白銀的投入，對(duì)一家服務(wù)型企業(yè)而言，背后是決心的彰顯和對(duì)市場大勢的把握。這使得軟通動(dòng)力一方面可以提供充足的算力資源供工程師和開發(fā)人員上手，積累和沉淀實(shí)操經(jīng)驗(yàn)；另一方面，也可提供現(xiàn)場Demo環(huán)境供企業(yè)客戶使用，讓客戶能切實(shí)感受到大模型帶來的全新價(jià)值。"

未來，我們還會(huì)繼續(xù)儲(chǔ)備更多的專家資源，持續(xù)在平臺(tái)和工具上做投入，并根據(jù)客戶的業(yè)務(wù)應(yīng)用場景強(qiáng)化數(shù)據(jù)和語料的質(zhì)量，最終提升交付的效率，以更好的創(chuàng)新服務(wù)模式打通大模型落地的最后一公里。"霍宇如是說。

在"躬身實(shí)踐"和"作壁上觀"之間，軟通動(dòng)力選擇了前者，這也讓其對(duì)大模型市場有了更加深刻的認(rèn)知和洞察，同時(shí)其過去一段時(shí)間的大膽實(shí)踐，也讓其在人才、工具、生態(tài)乃至方法論方面有了更多的積累和沉淀，而這也是軟通動(dòng)力有能力，更有信心讓更多行業(yè)客戶加速擁抱大模型時(shí)代的底氣所在。