如何最優(yōu)化您的增強(qiáng)現(xiàn)實(shí)(AR)解決方案？

當(dāng)提及 AR 及其應(yīng)用時，首先想到的事情之一是抬頭顯示器 (HUD)。它們被用于航空和汽車應(yīng)用中，讓用戶無需低頭看儀表盤就能看到相關(guān)的飛行器/汽車信息。

研究顯示人類通過視覺與世界互動時，處理圖像的速度比處理書面文本等其他不同形式的信息要快許多倍。增強(qiáng)現(xiàn)實(shí) (AR) 類似于其近親虛擬現(xiàn)實(shí)(VR)，能讓用戶增強(qiáng)對周邊環(huán)境的洞察。它們之間的主要的區(qū)別是,AR 借助文本或其他可視對象等虛擬對象可豐富或增強(qiáng)自然界。這樣能讓 AR 系統(tǒng)的用戶安全、更高效地與他們的環(huán)境互動。這與用戶沉浸在人工創(chuàng)建的環(huán)境中的虛擬現(xiàn)實(shí)不同。增強(qiáng)現(xiàn)實(shí)和虛擬的結(jié)合常被描述為為用戶呈現(xiàn)混合現(xiàn)實(shí) (MR)。我們中的許多人在日常生活中已經(jīng)不知不覺地用上了AR，例如我們的移動設(shè)備在進(jìn)行道路導(dǎo)航時，或是玩精靈寶可夢GO等虛擬游戲時。

虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)

當(dāng)提及 AR 及其應(yīng)用時，首先想到的事情之一是抬頭顯示器 (HUD)。它們被用于航空和汽車應(yīng)用中，讓用戶無需低頭看儀表盤就能看到相關(guān)的飛行器/汽車信息。抬頭顯示器是較簡單的可用 AR 應(yīng)用之一。擁有可穿戴技術(shù)等更高級功能的先進(jìn) AR 應(yīng)用往往被稱為智能增強(qiáng)現(xiàn)實(shí)，據(jù) TracTIca 預(yù)測，其市場規(guī)模到 2020 年將達(dá)到 23 億美元。

增強(qiáng)現(xiàn)實(shí)應(yīng)用和用例

AR正在進(jìn)軍眾多應(yīng)用領(lǐng)域，覆蓋工業(yè)、軍事、制造、醫(yī)療、社交和商業(yè)等不同行業(yè)，其大量的用例推動其被廣泛采用。在商業(yè)領(lǐng)域，AR主要側(cè)重于社交媒體提供應(yīng)用，例如能夠識別您交談的對象并添加履歷信息。AR 還能讓消費(fèi)者看到有時難以參觀到的產(chǎn)品，例如汽車、游艇、建筑物等。

許多 AR 應(yīng)用都離不開使用偵探佩戴的智能眼鏡。這些智能眼鏡能提高制造環(huán)境內(nèi)的效率，例如便于替換操作手冊，向用戶展示如何組裝零部件。在醫(yī)療領(lǐng)域，智能眼鏡便于分享醫(yī)療記錄以及創(chuàng)傷和損傷的詳細(xì)狀況，能為現(xiàn)場急救人員和后續(xù)急診室人員提供治療信息。

*智能眼鏡在工業(yè)環(huán)境中的使用實(shí)例 *

一個典型的例子是一家大型包裹物流公司。這家公司目前正在使用 AR 智能眼鏡閱讀發(fā)運(yùn)標(biāo)簽上的條形碼。在條形碼掃描完畢后，智能眼鏡能使用WiFi基礎(chǔ)設(shè)施與公司服務(wù)器通信，判定包裹的最終目的地。在已知目的地后，智能眼鏡能向用戶提示包裹的堆放處，以便繼續(xù)發(fā)運(yùn)。

就算不考慮應(yīng)用和用例，設(shè)計(jì)一款 AR 系統(tǒng)也會面臨多重相互矛盾的要求，包括性能、安全、功耗和未來兼容性。如果設(shè)計(jì)人員要為 AR 系統(tǒng)提供理想的解決方案，這些都必須考慮到。

實(shí)現(xiàn) AR 系統(tǒng)

這些復(fù)雜的 AR 系統(tǒng)要求能夠連接多個攝像機(jī)傳感器并處理來自這些傳感器的數(shù)據(jù)，從而讓系統(tǒng)了解周圍環(huán)境。這些攝像頭傳感器還可能會工作在電磁頻譜的不同頻段上，例如紅外或近紅外。此外，這些傳感器可能提供來自電磁頻譜之外的信息，從而為檢測移動和轉(zhuǎn)動提供輸入，例如 MEMS 加速計(jì)和陀螺儀，以及全球?qū)Ш叫l(wèi)星系統(tǒng)（GNSS）提供的位置信息。融合來自多種不同類型傳感器的信息的嵌入式視覺系統(tǒng)一般也稱為異構(gòu)傳感器融合系統(tǒng)。AR 系統(tǒng)也要求高幀率，以及開展實(shí)時分析、逐幀提取和處理每幀所含信息的能力。提供滿足這些要求的處理能力成為組件選擇的決定性因素。

AR 系統(tǒng)剖析

All Programmable Zynq -7000 SoC 或 Zynq UltraScale+ MPSoC 用于實(shí)現(xiàn) AR 系統(tǒng)的處理內(nèi)核。這些器件本身屬于異構(gòu)處理系統(tǒng)，將 ARM 處理器和高性能可編程邏輯完美結(jié)合在一起。Zynq UltraScale+ MPSoC 屬于新一代Zynq-7000 SoC，額外提供了一個 ARM Mali-400 GPU。該系列中的某些成員還包含支持 H.265 和 HVEC 標(biāo)準(zhǔn)的硬化視頻編碼器。

這些器件能讓設(shè)計(jì)人員使用處理器理想地細(xì)分系統(tǒng)架構(gòu)，實(shí)現(xiàn)實(shí)時分析功能并傳遞給生態(tài)系統(tǒng)中的傳統(tǒng)處理器任務(wù)。該可編程邏輯可用于實(shí)現(xiàn)傳感器接口和處理，從而帶來多重好處，具體包括：
• 根據(jù)應(yīng)用要求，并行實(shí)現(xiàn) N 個圖像處理流水線。
• 任意連接，能定義和連接任意傳感器、通信協(xié)議或顯示標(biāo)準(zhǔn)，提供靈活性和未來升級路徑

要實(shí)現(xiàn)圖像處理流水線和傳感器融合算法，我們可充分運(yùn)用 Vivado HLS和SDSoC等工具中提供的高層次綜合功能。這些工具擁有包括 OpenCV 支持在內(nèi)的各種專家級庫。為縮短 AR 系統(tǒng)的上市時間，還可以利用廣泛的第三方 IP。這些 IP 專為 AR、嵌入式系統(tǒng)和專門的賽靈思技術(shù)開發(fā)。這些 IP 模塊的供應(yīng)商中包括 Xylon。Xylon提供能在 Vivado 設(shè)計(jì)環(huán)境中迅速集成的 LogiBRICKS 系列 IP 核，同時提供便于系統(tǒng)快速啟動和運(yùn)行的拖放功能。另一 IP 模塊供應(yīng)商是 Omnitek，其提供一系列針對 AR 要求的關(guān)鍵環(huán)節(jié)的 IP 模塊，例如實(shí)時折疊模塊和 3D 處理模塊。

設(shè)計(jì)人員還必須考慮 AR 系統(tǒng)的獨(dú)特方面。它們不僅需要與觀察用戶周邊環(huán)境的攝像頭和傳感器連接，還需要執(zhí)行應(yīng)用和用例所需的算法。同時它們還必須能夠跟蹤用戶的眼睛，判斷它們的視線，從而確定他們所注視的地方。這一般是通過增加觀察用戶面部的攝像頭和實(shí)現(xiàn)眼睛跟蹤算法來做到的。在實(shí)現(xiàn)后，該算法能讓 AR 系統(tǒng)跟蹤用戶視線并確定要發(fā)送到 AR 顯示器上的內(nèi)容，從而高效利用帶寬和滿足處理要求。但是執(zhí)行檢測和跟蹤本身就是高計(jì)算強(qiáng)度的工作。

大多數(shù) AR 系統(tǒng)屬于便攜式無系留系統(tǒng)，而且很多時候?qū)儆诤椭悄苎坨R一樣的可穿戴系統(tǒng)。這樣如果在供電受限的環(huán)境中實(shí)現(xiàn)這樣的處理功能，就會面臨特有的難題。Zynq SoC 和 Zynq UltraScale+ MPSoC 系列器件都能提供最出色的單位功耗性能，通過實(shí)現(xiàn)多重選項(xiàng)之一，進(jìn)一步降低運(yùn)行功耗。在極端條件下，這些處理器能夠進(jìn)入可被任意一種源喚醒的待機(jī)模式，從而關(guān)斷占器件一半資源的可編程邏輯。一旦 AR 系統(tǒng)檢測到自己被閑置，這些選項(xiàng)都能實(shí)現(xiàn)，從而延長了電池使用壽命。在 AR 系統(tǒng)工作過程中，當(dāng)前未被使用的處理器單元可以通過時鐘門控來降低功耗。在可編程邏輯單元內(nèi)，通過遵循簡單的設(shè)計(jì)規(guī)則如高效使用硬宏、精心規(guī)劃控制信號和在目前不需要的器件區(qū)域考慮使用智能時鐘門控，也能實(shí)現(xiàn)極高的用電效率。

有幾種 AR 應(yīng)用，例如病患醫(yī)療記錄共享或生產(chǎn)數(shù)據(jù)共享，要求在信息保障 (IA) 和威脅防范 (TP) 領(lǐng)域提供高安全等級，尤其是在 AR 系統(tǒng)具有高度移動性、可能被放錯地方的情況下。信息保障要求我們能夠信賴存儲在系統(tǒng)里的信息以及系統(tǒng)發(fā)送和接收的信息。這樣對于綜合人工智能領(lǐng)域而言，我們需要使用 Zynq 的安全引導(dǎo)功能來實(shí)現(xiàn)加密，并使用 AES 解密、HMAC 和 RSA 驗(yàn)證來進(jìn)行驗(yàn)證。只要設(shè)備正確配置和運(yùn)行，開發(fā)人員就能夠使用 ARM Trust Zone 和管理程序?qū)崿F(xiàn)安全的、外人無法訪問的正交環(huán)境。

在威脅防范方面，這些器件能使用系統(tǒng)內(nèi)置的 XADC 來監(jiān)測供電電壓、電流和溫度，以發(fā)現(xiàn)任何試圖篡改 AR 系統(tǒng)的企圖。如果發(fā)生這樣的情況，Zynq 器件可提供多種選擇，包括記錄該企圖、擦除安全數(shù)據(jù)，防止 AR 系統(tǒng)再次連接到支持性基礎(chǔ)設(shè)施。

結(jié)論

AR 系統(tǒng)在商業(yè)、工業(yè)、軍事等幾大行業(yè)的應(yīng)用正日趨普及。這些設(shè)備也為它們帶來了高性能、系統(tǒng)級安全性和高能效等一系列自相矛盾的難題。將 Zynq SoC 或 Zynq UltraScale+ MPSoC 用作處理系統(tǒng)的核心，這些難題將迎刃而解。