微軟第一次揭密HoloLens增強(qiáng)實境眼鏡硬件
微軟(Microsoft)在日前于布魯塞爾舉辦的IMEC技術(shù)論壇上揭密其HoloLens增強(qiáng)實境(AR)眼鏡及其專用加速器——Holographic Processing Unit (HPU)處理單元。
在今年3月下旬,微軟已經(jīng)開始出貨HoloLens的開發(fā)者版了。這款開發(fā)人員版HoloLens一發(fā)布,網(wǎng)絡(luò)上隨即充斥著各種拆解分析,但至今卻未見來自這款頭戴式顯示器的設(shè)計者發(fā)表任何評論。
“我們已經(jīng)發(fā)表HoloLens約18個月了,通常僅強(qiáng)調(diào)使用體驗與軟件——這是第一次我們打算討論硬件部份,”微軟HoloLens開發(fā)部門副總裁Ilan Spillinger表示。
微軟的HoloLens頭戴式顯示器包括4個環(huán)境傳感器、Kinect微型深度相機(jī)以及慣性量測單元(IMU)。而在其核心部份的HPU基本上是一 款數(shù)據(jù)融合傳感器,可以從HoloLens上的一連串傳感器擷取輸入。同時,它還能加速算法,以利于追蹤用戶的環(huán)境、運動與手勢,以及顯示全息影像。
這款28nm HPU基本上采用高度客制化的DSP數(shù)組設(shè)計,執(zhí)行功耗還不到10W。它包括多顆Tensilica DSP核心,從而為執(zhí)行數(shù)百個HoloLens特定指令集實現(xiàn)優(yōu)化。
每個核心都針對一種特定功能與功能子集而客制化。在聽起來像是范紐曼(Von Neumann)的架構(gòu)中,每個核心通常都有其獨特的內(nèi)存單元組織,用于加速“需要特殊本地內(nèi)存與獨特內(nèi)存架構(gòu)的新型算法,而不是典型的1-2-3級快取,”Spillinger解釋。
該HoloLens HPU設(shè)計在一款專為其頭戴設(shè)備量打造的精簡主板上
HoloLens頭戴設(shè)備采用英特爾(Intel) 14nm Cherry Trail SoC,以及執(zhí)行于Windows 10的嵌入式繪圖核心。在主板的兩側(cè)還搭載64 Gb閃存與2 Gb外內(nèi)存,平均分布于其HPU與Cherry Trail SoC之間。
Spillinger并未透露這款HPU的開發(fā)藍(lán)圖,但表示他已經(jīng)“看到一些可執(zhí)行該算法的新機(jī)會”。
該HPU也適用于Google上周為其數(shù)據(jù)中心發(fā)布的新款加速器,以及一家新創(chuàng)公司正開發(fā)中的設(shè)計。
Spillinger呼吁半導(dǎo)體工程師盡快為開發(fā)更高性能、更低功耗的芯片做好準(zhǔn)備,從而協(xié)助其打造更輕巧、更低成本且搭載更多傳感器與功能的頭載式顯示器。
Ilan Spillinger的職業(yè)生涯一開始是先在英特爾開發(fā)Centrino——其首款筆記本電腦專用處理器。接著曾經(jīng)在IBM設(shè)計Infiniband與 Power芯片,后來則協(xié)助微軟與任天堂(Nintendo)為Xbox 360與Wii游戲機(jī)開發(fā)ASIC芯片。
Spillinger在2007年底加入微軟,并開始開發(fā)Kinect。該計劃后來與其他工程師的計劃合并,共同開發(fā)擴(kuò)增實境頭戴式顯示器,而HoloLens計劃也隨之誕生。
復(fù)雜的傳感器數(shù)組
如上圖中的HoloLens傳感器數(shù)組包括4顆環(huán)境傳感器,用于追蹤頭部動作以及控制顯示器的手勢。深度傳感器是縮小版的Kinect,可支持手勢追蹤約1公尺范圍的短距離模式,以及映像室內(nèi)的長距離模式。200萬像素(2MPixel)的高分辨率視訊相機(jī)則用于投射用戶看到的影像。