開啟“黑科技”之旅丨2019 OPPO開發(fā)者大會技術(shù)論壇

12月19日,在2019 OPPO開發(fā)者大會(ODC19)技術(shù)論壇上,OPPO圍繞5G、AI、AR及終端安全等技術(shù)方面的規(guī)劃與成果展開,聚焦“五大系統(tǒng)能力開放引擎”,與開發(fā)者共同探索5G時代的新機(jī)遇。

除了技術(shù)論壇對OPPO各項(xiàng)技術(shù)進(jìn)行深度講解外,超1000平方米展區(qū)中還設(shè)立了多個技術(shù)項(xiàng)目的體驗(yàn)區(qū),開發(fā)者及合作伙伴可以現(xiàn)場體驗(yàn)多人AR游戲、5G云游戲、3D手部追蹤、人體3D建模等各項(xiàng)“黑科技”。

以5G為支點(diǎn)撬動AI、AR、IoT等技術(shù)融合,助力未來智慧生活

5G時代,擁抱智能,萬物互融。5G科技的進(jìn)步為用戶創(chuàng)造了更便利的生活,技術(shù)的革新更為社會發(fā)展帶來更高效的運(yùn)作。

OPPO 在 5G 發(fā)展的過程中做出了卓越的貢獻(xiàn)。早在 2015 年,OPPO 便開始著手于 5G 的研究工作,不僅全程參與了 5G 標(biāo)準(zhǔn)的制定,并且作為 5G 終端行業(yè)標(biāo)準(zhǔn)的起草單位之一,提交了超過 2500 族 5G 專利的申請,向國際標(biāo)準(zhǔn)化組織 3GPP 累計提交了超過3000 篇的文稿。

據(jù)介紹,早在2019年2月份,OPPO就利用5G實(shí)現(xiàn)全球首次的微博直播,成功展示了云游戲業(yè)務(wù)。同年5月份,OPPO第一款5G手機(jī)成功在歐洲瑞士電信成功上市。

此外,OPPO 還在積極探索未來在個域網(wǎng)和智能家居領(lǐng)域的 5G 邊緣,尋求在工業(yè)物聯(lián)網(wǎng)層面上的突破,讓 5G 技術(shù)的發(fā)展惠及更多企業(yè)。OPPO希望以5G為支點(diǎn),撬動AI、AR、IoT等技術(shù)融合,助力未來智慧生活。

OPPO AI語音語義:神經(jīng)機(jī)器翻譯引擎將開放

2019年,OPPO機(jī)器翻譯團(tuán)隊取得了不錯的成績。例如,在WMT19競賽中獲得了英中新聞的第四名;在CCMT2019競賽中,獲得了多語言日英專利翻譯冠軍,英中新聞亞軍。

當(dāng)前,OPPO神經(jīng)機(jī)器翻譯在模型訓(xùn)練和推理加速方面,做了很多工作。比如Deep Transformer、Fuse BERT into Transformer、AAN、SAN等。隨著這些技術(shù)的綜合應(yīng)用,OPPO神經(jīng)機(jī)器翻譯引擎,已經(jīng)通過內(nèi)部測試,與外部競品相比,翻譯性能處于同一水平。目前,OPPO機(jī)器翻譯引擎已經(jīng)落地到OPPO內(nèi)部很多業(yè)務(wù)場景中,未來將落地到更多的場景中。

據(jù)了解,OPPO神經(jīng)機(jī)器翻譯引擎預(yù)計在20年將會對外開放在線API,首期將開放中英、英中、中日、日中翻譯接口,其它語種的機(jī)器翻譯服務(wù)也將會陸續(xù)開放。

“黑科技”:3D手勢識別、人體3D建模和混合現(xiàn)實(shí)

在技術(shù)論壇,OPPO還展示了自研的SLAM算法的“黑科技”,包括人體3D建模和混合現(xiàn)實(shí),以及3D手勢識別。

當(dāng)前,為了捕捉人體的3D形狀,傳統(tǒng)上有被動解和主動解。當(dāng)前,3D建模采用主動解決方案,通過精密的 3D 掃描設(shè)備實(shí)現(xiàn),該方案需要昂貴的固定設(shè)備設(shè)置,既不方便,又不適合廣大消費(fèi)者使用。OPPO人體3D建?；谂臄z單張RGB圖像的方法,用戶可以通過自拍來完成,當(dāng)然也可以有另外一位幫用戶拍攝,這種方法易于設(shè)置,可以滿足日常場景,適合非專業(yè)用戶隨時使用。

在3D手勢識別技術(shù)上,手的3D跟蹤對于AR/VR是必不可少的組成部分,是下一代最主要的3D人機(jī)交互技術(shù),是AR/VR中的鼠標(biāo),它在下一代計算平臺的地位類似于多點(diǎn)觸控對于觸屏手機(jī)的地位。OPPO為了開發(fā)自己的手勢識別算法,購買了專門采集數(shù)據(jù),樣本超過兩百萬?；诓杉臄?shù)據(jù)和深度學(xué)習(xí),OPPO開發(fā)了緊湊、高效、準(zhǔn)確、實(shí)時、低功耗的3D手部追蹤算法。

ARUnit2.0 連接虛實(shí) 連接你我

OPPO 開放平臺的 ARUnit 系統(tǒng)能力,能夠?yàn)殚_發(fā)者提供 AR 底層驅(qū)動引擎、AR 內(nèi)容創(chuàng)作工具鏈、軟件 SDK、開發(fā)者應(yīng)用工具和模塊等,幫助開發(fā)者降低研發(fā)接入平臺的工作量。

ARUnit的追蹤技術(shù)使用攝像頭來標(biāo)識特征點(diǎn),并跟蹤這些點(diǎn)隨著時間變化在屏幕上的移動。通過結(jié)合移動信息與手機(jī)慣性傳感器的數(shù)據(jù),ARUnit能夠在手機(jī)移動時確認(rèn)自身的位置和屏幕朝向。

ARUnit對開發(fā)者而言,帶來了諸多虛擬化價值。首先,能夠幫助開發(fā)者為用戶提供足夠有趣的內(nèi)容和服務(wù),滿足用戶的使用場景;其次,虛擬世界擁有足夠豐富的資源來支撐開發(fā)者實(shí)現(xiàn)這樣的內(nèi)容和服務(wù);再者,物理世界與虛擬世界能夠緊密的對齊、關(guān)聯(lián),并導(dǎo)入資源;最后,用戶在物理世界的行為也能夠完整的映射到虛擬世界中。

因此,OPPO在ARUnit2.0中做了如下的升級:空間計算升級,更注重尺度的重要性;環(huán)境理解升級,更注重位置的重要性;多用戶體驗(yàn),更注重信息的密集性;骨骼跟蹤與手勢識別,更注重互動與趣味性。

此外,全新升級的ARUnit2.0開放計劃也在ODC19技術(shù)論壇正式公布。其中,空間計算升級和多用戶體驗(yàn)將在2020年Q1開放,而環(huán)境理解升級和骨骼跟蹤與手勢識別預(yù)計將在2020年Q2開放。

CameraUnit&MediaUnit:影像多媒體能力開放,共建清晰流暢新視界

目前,系統(tǒng)能力與三方應(yīng)用呈現(xiàn)需求的存在重合與隔斷,用戶體驗(yàn)存在斷層,通過開放系統(tǒng)能力,可以讓系統(tǒng)與應(yīng)用體驗(yàn)相融。因此,OPPO在ODC19宣布“五大系統(tǒng)能力開放引擎”。

其中,CameraUnit主要側(cè)重影像類用戶體驗(yàn)。CameraUnit的相冊能力可以將相冊中智能人物分類、圖像多標(biāo)簽分類、地點(diǎn)分類和智能搜索等能力進(jìn)行封裝,通過ContentProvider以跨進(jìn)程的方式開放至三方應(yīng)用,用戶在三方應(yīng)用選圖片發(fā)送時,通過圖片分類和搜索可快速定位到照片,發(fā)圖的效率得到前所未有得提升。

在拍攝能力方面,CameraUnit超廣實(shí)現(xiàn)了116°超廣鏡頭,打開前所未有的廣闊視野,采用主攝+長焦鏡頭+超廣角鏡頭組合,讓三顆攝像頭「接棒式」實(shí)現(xiàn) 16-160mm「全焦段」覆蓋,釋放更多影像創(chuàng)作的自由度,三攝組合內(nèi)含雙OIS光學(xué)防抖,智能感知抖動并校正,拍遠(yuǎn)處也清晰。而超級防抖,則同時結(jié)合OIS光學(xué)防抖和EIS電子防抖,通過多源傳感器信息融合和防抖場景智能分析,陀螺儀頻率提高了2~3倍,從而更加靈敏地感應(yīng)手機(jī)的運(yùn)動狀態(tài),實(shí)現(xiàn)視頻拍攝中的超級防抖。此外,超級夜景功能基于RAW域根據(jù)不同攝像頭精心調(diào)試的夜景算法,結(jié)合各種場景信息,利用平臺DSP加速,可以取得高質(zhì)量的夜景成像效果。開發(fā)者接入CameraUnit的拍攝能力,能夠讓用戶直接操控手機(jī)原生相機(jī),拍出更清晰的畫面。

MediaUnit系統(tǒng)能力主要表現(xiàn)在“聽”和“視”方面的用戶體驗(yàn)上。

在聽覺方面,K歌耳返采用低時延解決方案實(shí)現(xiàn)聽唱同步,系統(tǒng)級優(yōu)化的語音系統(tǒng),智能美化音色、節(jié)奏和音準(zhǔn),同時支持5.1&7.1聲道技術(shù),增強(qiáng)聽音辨位方向感。此外,基于Audio Virtualizer算法,通過耳機(jī)還原游戲內(nèi)的聲音距離和方位,并支持FRC功能。

在視覺方面,ROI編碼支持23~265格式解碼,且通過軟硬結(jié)合,靈活控制編碼,在直播場景或視頻通話場景提高清晰度,保證觀看效果,開啟ROI編碼最高可以節(jié)省35%的帶寬。特別值得一提,還有AI視頻插幀,當(dāng)前視頻領(lǐng)域大部分電影或者電視劇只有24幀或25幀,而手機(jī)屏幕的刷新率已經(jīng)到了90幀甚至更高,借助OPPO在視頻生產(chǎn)方面的技術(shù),AI視頻插幀能夠?yàn)橛脩魩砀鼜?qiáng)的畫面流暢度。

Hyper Boost&Link Boost:共建用戶暢爽新體驗(yàn)

Hyper Boost是OPPO自主研發(fā)的全場景、系統(tǒng)級資源調(diào)度優(yōu)化方案,從系統(tǒng)、游戲和應(yīng)用三個層面對智能手機(jī)全面加速。Hyper Boost能力目前已通過OPPO開放平臺對外開放,該技術(shù)能力接入快速簡單、SDK體積合理、業(yè)務(wù)兼容性強(qiáng),已有超過60+款游戲及應(yīng)用接入。

Hyper Boost主要包含場景加速、智能幀率、觸控優(yōu)化三大核心能力。在場景加速方面,對運(yùn)存、存儲兩塊領(lǐng)域挖掘,讓資源調(diào)度更加智能,并率先與引擎公司合作,針對游戲中對局、團(tuán)戰(zhàn)、決賽圈、開氮?dú)獾葓鼍斑M(jìn)行定制加速。在智能幀率方面,繼續(xù)賦能幀率穩(wěn)定、減少卡頓,通過智能幀頻進(jìn)行鎖大核提頻,預(yù)防和緩解卡頓,讓游戲幀率更穩(wěn)定。在觸控優(yōu)化方面,提供多樣化4D細(xì)膩振感,并開放馬達(dá)波形效果庫,開放能力聚焦CPU/GPU,通過對Android底層代碼的一一檢查,OPPO優(yōu)化了大量代碼邏輯,每一幀的響應(yīng)時間都可以減少3~5毫秒。同時,還對同步信號進(jìn)行了優(yōu)化,使得觸控幀可以更快的顯示在屏幕上。

Link Boost主要包含智能鏈路聚合能力、雙Wi-Fi能力和多路TCP能力。智能鏈路聚合能力將無線進(jìn)行網(wǎng)絡(luò)訪問,根據(jù)實(shí)時進(jìn)行優(yōu)化,開啟SSA以后,在Wi-Fi信號很好的時候,開啟了SLA,打開網(wǎng)頁速度提升非常明顯,在Wi-Fi信號很弱時候也會提高。雙Wi-Fi能力能夠智能匹配用戶剛剛連接過的另外一個次Wi-Fi,去輔助網(wǎng)絡(luò)加速,讓網(wǎng)絡(luò)的分流完全智能化,使得網(wǎng)速達(dá)到倍增效果,改善網(wǎng)絡(luò)不穩(wěn)定問題。多路TCP能力能夠允許雙方進(jìn)行多條TCP的鏈路,充分利用多路徑提高可靠性和吞吐量。

Hyper Boost和Link Boost兩大系統(tǒng)能力,通過軟實(shí)力將充分發(fā)揮設(shè)備硬件能力,與開發(fā)者攜手共建用戶暢爽新體驗(yàn)。

OPPO云安全為互聯(lián)網(wǎng)生態(tài)保駕護(hù)航

目前,ColorOS 全球月活躍用戶已超3.2億,覆蓋140個國家和地區(qū)。OPPO為了保障用戶信息安全,進(jìn)行了全球化布局,在東南亞、印度和歐洲建立了相應(yīng)的技術(shù)中心,以應(yīng)對全球化互聯(lián)網(wǎng)信息安全。

在互聯(lián)網(wǎng)安全防御體系建設(shè)方面,OPPO積極開展安全組織的建設(shè),包括終端安全、信息安全、安全部門,以及多個安全實(shí)驗(yàn)室,從而保證OPPO用戶的互聯(lián)網(wǎng)信息的安全性。此外,為了安全品牌的建設(shè),OPPO上線了全球500家以上的白帽子,并給予豐厚的獎勵。

在移動端的安全能力檢測方面,采用自動化和人工化的檢測,對APP進(jìn)行滲透分析和安全評估,防止別有用心的應(yīng)用使用第三方的SDK,以免給用戶帶來安全風(fēng)險。此外,還有業(yè)務(wù)防刷和反欺詐SDK,為開發(fā)者的APP提供實(shí)時的安全服務(wù)。

據(jù)介紹,今年9月份,OPPO還拿到業(yè)內(nèi)第一個泰爾信息安全五級認(rèn)證。從硬件安全、系統(tǒng)安全、外圍的接口安全,以及軟件安全和數(shù)據(jù)安全層面,為用戶及開發(fā)者提供更全面的安全保護(hù)。未來,OPPO也會在AI安全、隱私安全等研究方向發(fā)力。

技術(shù)的進(jìn)步帶來用戶生活的新變化,科技是行業(yè)和社會發(fā)展的核心驅(qū)動力,在萬物互融時代趨勢下,OPPO將持續(xù)關(guān)注5G、人工智能、AR、大數(shù)據(jù)等前沿技術(shù),并將致力于構(gòu)建底層硬件核心技術(shù)與系統(tǒng)能力。

意向接入OPPO“五大系統(tǒng)能力開放引擎”、云安全等各項(xiàng)技術(shù)能力的開發(fā)者及合作伙伴,可以通過OPPO開放平臺官網(wǎng)接入。