蘋(píng)果x人臉識(shí)別技術(shù)原理解讀

　　iPhoneX介紹

　　iPhone X屏幕上前方采用了 TrueDepth 攝像系統(tǒng)，雙攝像頭，其中一個(gè)為紅外攝像頭，還包含各種傳感器。如下圖所示。

　　

　　Face ID與普通人臉識(shí)別其實(shí)就是3D人臉和2D人臉的區(qū)別。Face ID通過(guò)一個(gè)結(jié)構(gòu)光系統(tǒng)提取人臉的點(diǎn)云信息生成一個(gè)3d模型，而傳統(tǒng)的人臉識(shí)別是通過(guò)一系列的方法，可以是簡(jiǎn)單的基于位置的信息，也可以是通過(guò)神經(jīng)網(wǎng)絡(luò)提取出相應(yīng)的底層，在二維特征層面上進(jìn)行比較。

　　Face ID之所以能生成準(zhǔn)確的3D人臉模型，是因?yàn)橛玫搅私Y(jié)構(gòu)光，右邊有一個(gè)小投影儀投射帶形狀信息的紅外光斑到人臉上，左邊的攝像頭采集光斑的信息，根據(jù)形變和大小等逐一確定各個(gè)位置的深度和方向信息，最后得到人臉的點(diǎn)云生成3D模型。而傳統(tǒng)的單攝像頭方案因?yàn)闆](méi)辦法準(zhǔn)確有效地提取深度信息，人臉識(shí)別往往只能使用2維圖像。

　　其實(shí)，3D視覺(jué)作為一項(xiàng)激動(dòng)人心的新技術(shù)，早已經(jīng)出現(xiàn)在微軟Kinect、英特爾RealSense等消費(fèi)級(jí)產(chǎn)品中。近幾年，隨著硬件端技術(shù)的不斷進(jìn)步，算法與軟件層面的不斷優(yōu)化，3D深度視覺(jué)的精度和實(shí)用性得到大幅提升，使得“3D深度相機(jī)+手勢(shì)/人臉識(shí)別”具備了大規(guī)模進(jìn)入移動(dòng)智能終端的基礎(chǔ)。

　　要了解FaceID的人臉識(shí)別技術(shù)，讓我們先來(lái)科普一下結(jié)構(gòu)光技術(shù)與原理。

　　結(jié)構(gòu)光硬件組成

　　1、結(jié)構(gòu)光成像一般需要發(fā)射源，發(fā)射源一般是紅外或者激光，發(fā)射出點(diǎn)陣或者柵格光源，投到物體表面。

　　2、結(jié)構(gòu)光成像還需要接受器，接受器一般與發(fā)射源對(duì)應(yīng)，能夠獲取發(fā)射源投在物體表面的光信息。

　　3、結(jié)構(gòu)光成像，還需要一個(gè)硬件計(jì)算單元，把接收器接收到的信息處理成物體三維的點(diǎn)云信息。

　　結(jié)構(gòu)光原理

　　發(fā)射源發(fā)射的均勻點(diǎn)陣/柵格投射到待測(cè)物表面后，由于物體的表面深度不一樣，點(diǎn)陣/柵格會(huì)因?yàn)椴煌纳疃刃螤町a(chǎn)生空間形變和飛行時(shí)間差，被改變的結(jié)構(gòu)光投影經(jīng)攝像系統(tǒng)采集，傳送至硬件計(jì)算單元分析計(jì)算后可得出被測(cè)物的三維面形數(shù)據(jù)。

　　空間相位形變和光脈沖飛行時(shí)間差是結(jié)構(gòu)光最常用的兩種方法：利用空間形變，獲取結(jié)構(gòu)光場(chǎng)的相位、光強(qiáng)等被待測(cè)物的高度調(diào)制后產(chǎn)生的變化，可以讀取并計(jì)算這些性質(zhì)的變化獲取待測(cè)物的面形信息；利用飛行時(shí)間差，可以記錄了光脈沖在空間的飛行時(shí)間，通過(guò)飛行時(shí)間計(jì)算待測(cè)物體的面形信息。

　　以下用知乎作者Lee Mr的一篇結(jié)構(gòu)光示例來(lái)跟大家簡(jiǎn)單說(shuō)明：

　　1）第一步，編程讓發(fā)射源產(chǎn)生正弦條紋圖，因?yàn)楹罄m(xù)要利用變形條紋圖獲取相位，而獲取相位的算法也有多種，此處采用的是四步移相法，具體原理去查文獻(xiàn)，不再累述。因此這里產(chǎn)生四幅相位差pi/2的條紋。然后將該四幅條紋分時(shí)投影到被測(cè)物（面具）上，采集到如下圖左邊邊的圖（當(dāng)然也是四幅），同時(shí)要采集四幅參考面的條紋（未被調(diào)制，同樣四幅）。

　　

　　2）第二步，相位恢復(fù)。由采集到的四幅受調(diào)制條紋圖計(jì)算出被調(diào)制相位，這里得到的相位圖是截?cái)嘞辔粓D，因?yàn)樗牟揭葡嗨惴ǖ玫降慕Y(jié)果是由反正切函數(shù)計(jì)算所得，因而被限制在［-pi，pi］之間，也就是說(shuō)每當(dāng)其值超過(guò)該范圍，其又會(huì)重新開(kāi)始。得到的相位主值如下圖所示：

　　

　　3）上述二者相減得到相位差，該相位差則表征了被測(cè)物相對(duì)參考面的高度信息，再代入相位與高度轉(zhuǎn)化公式，得到如下三維模型。

　　

　　FaceID技術(shù)原理

　　接下來(lái)，我們來(lái)了解IphoneX的FaceID技術(shù)是怎么實(shí)現(xiàn)的。

　　首先我們來(lái)了解一下IphoneX齊劉海的硬件設(shè)計(jì)，包含了一個(gè)三維采集系統(tǒng)：紅外相機(jī)、泛光照明燈、環(huán)境光傳感器和點(diǎn)陣投影器。

　　

　　點(diǎn)陣投影器能在不同的光照條件下將 3萬(wàn) 多個(gè)肉眼不可見(jiàn)的光點(diǎn)投影在人的臉部，繪制出獨(dú)一無(wú)二的面譜，由紅外相機(jī)得到面部3D深度信息模型。再結(jié)合前置攝像頭拍攝的可見(jiàn)光人臉，將人臉的紋理與人臉3D模型通過(guò)算法結(jié)合，得到真實(shí)的3D人臉圖。

　　得到3D人臉圖以后，自然是通過(guò)目前最實(shí)用的深度學(xué)習(xí)算法，學(xué)習(xí)三維人臉的特征，再進(jìn)行人臉識(shí)別。精度自然比平面人臉的識(shí)別精度要高。

　　FaceID技術(shù)優(yōu)勢(shì)

　　1、三維人臉的深度信息，天然防止了平面的紙張、視頻等人臉攻擊手段； 2、由于其點(diǎn)陣投影器、泛光照明燈的特性，可以對(duì)其人臉膚色與其它材質(zhì)有較好的區(qū)分性，防止了面具等攻擊手段；

　　3、由于獲取人臉三維信息主要依靠紅外技術(shù)手段，對(duì)于室內(nèi)環(huán)境引起的人臉光照變化基本不敏感，可以在室內(nèi)任意光環(huán)境下使用；

　　4、結(jié)構(gòu)光精度可達(dá)到0.1毫米級(jí)精度，可以使人臉識(shí)別精度大大提高。 FaceID技術(shù)問(wèn)題

　　1、由于紅外結(jié)構(gòu)光受傳輸距離的影響比較大，衰減厲害，目前IphoneX的有效人臉識(shí)別距離應(yīng)該在20cm-60cm之間；超出距離精度會(huì)大大下降；

　　2、由于太陽(yáng)光包含有紅外光，可以預(yù)料，在外界陽(yáng)關(guān)充足的環(huán)境下，IphoneX的人臉識(shí)別會(huì)受較大影響；

　　3、由于結(jié)構(gòu)光捕獲三維信息時(shí)有一個(gè)短暫的多幀相位信息融合，對(duì)于持續(xù)移動(dòng)和快速移動(dòng)的人臉，識(shí)別精度會(huì)大大降低。

　　

　　結(jié)構(gòu)光人臉識(shí)別國(guó)內(nèi)現(xiàn)狀

　　1、目前能夠把結(jié)構(gòu)光整個(gè)發(fā)射、接收模組做到如IphoneX這般小，能夠集成到手機(jī)上的基本還沒(méi)有。據(jù)了解，目前能夠做到最小的也得手機(jī)充電器般大?。?/p>

　　2、從結(jié)構(gòu)光的技術(shù)原理上分析，要形成一個(gè)精準(zhǔn)的三維模型，至少需要4-5幀視頻圖像進(jìn)行重建，需要保證光源發(fā)射器的頻率和攝像頭捕捉畫(huà)面頻率同步，這對(duì)于普通紅外攝像機(jī)的幀率25幀來(lái)講，至少需要200ms時(shí)間完成光源信息采集，再通過(guò)算法對(duì)其點(diǎn)云重建，時(shí)間較長(zhǎng)。目前對(duì)于Iphone的技術(shù)細(xì)節(jié)無(wú)法獲取。

　　3、由于受硬件限制，目前3維人臉數(shù)據(jù)的采集難度較大，數(shù)據(jù)樣本太少，對(duì)人臉識(shí)別算法的學(xué)習(xí)和研究帶來(lái)一定難度。