必須 細(xì)思極恐 萬一蘋果用你的臉辦個幾個億貸款你就慘了，所以不能用蘋果，必須用華為愛國就要用華為，華為為我添智慧

“細(xì)思恐極”是驚嘆于這種技術(shù)的想象力。

當(dāng)我第一次制作faceID模組內(nèi)的一個濾光片時就被震驚了，感覺第一個想到應(yīng)用光學(xué)原理到3D人臉識別的人是個“妥協(xié)”的奇才，在物理原理和現(xiàn)有材料/工藝的夾縫中找出了一條可行的小道。

網(wǎng)上有很多關(guān)于三維紅外人臉識別原理的講解（指iPhone X - Face ID的結(jié)構(gòu)光方法，不是一般的二維圖像人臉識別），即向人臉投射紅外激光點(diǎn)陣，加上泛光照明+感應(yīng)元件補(bǔ)光，再讀取物體表面反射的光信息來確定人臉的形狀，精度可達(dá)毫米級別。

可是有沒有想過一個問題，為什么在晴朗的中午，環(huán)境光中的紅外光也非常強(qiáng)烈，識別系統(tǒng)是如何排除環(huán)境光的紅外干擾呢？

這涉及到模組中一個關(guān)鍵的濾光片——近紅外窄帶濾光片（Near Infrared Narrow Bandpass Filter， 縮寫NIR-BP Filter）。

首先得感謝地球大氣層中的水蒸氣對太陽光的吸收，在紅外波段留下了多個吸收峰，對應(yīng)到吸收后的光譜就形成了一個個“坑”（見下圖的紅色區(qū)域）。在這些“坑”中，環(huán)境光（陽光的散射和反射）的光強(qiáng)很弱，這就成了BP filter發(fā)明的基礎(chǔ)。如果將激光器和紅外相機(jī)的波長設(shè)在該波長附近，就可以去除大部分環(huán)境光的噪聲影響。

（圖片來自Wikipedia）

問題是940nm、1100nm、1400nm、1900nm附近都有坑，跳哪個坑更合適呢？

單從識別信號上來說，后面三個坑都比940nm更好。但在窄帶的光學(xué)設(shè)計(jì)中，在其他光學(xué)性能相同的情況下，中心波長越大意味著膜層總厚度更大，比如中心波長為1900nm的窄帶要比940nm厚一倍以上，這在成本上無法接受。在工藝上也很難實(shí)現(xiàn)，因?yàn)槭謾C(jī)薄型化的要求，當(dāng)前主流的玻璃基底厚度常在0.2-0.3mm，940nm窄帶濾光片的厚度一般在5um左右，膜層的應(yīng)力已經(jīng)大到限制單片玻璃的尺寸（涉及到產(chǎn)能）。所以，最終主流廠商都選擇940nm作為激光器的工作波長和濾光片設(shè)計(jì)的中心波長。

濾光片的中心波長確定后，還要確定帶寬（bandwidth）。主流的濾光片規(guī)格中，帶寬常在40~50nm（與坑的寬度接近），這樣能把帶寬外的光給過濾掉（見下圖）。

（圖片來自Balzers官網(wǎng)的窄帶產(chǎn)品Datasheet，中心波長不準(zhǔn)）

評估對窄帶波長范圍外的阻隔效果用Optical Density表示，簡稱OD，單位dB。透過率越小，阻隔越好。透過率1%=2dB，0.01%=4dB。通常來說，阻隔區(qū)的平均OD要≥5dB，絕對OD≥ 3或4dB。

還有參數(shù)叫AOI shift，表示斜入射時窄帶中心波長的偏移，通常要求30°斜入射時偏移小于12nm，確保手機(jī)未完全對準(zhǔn)人臉時也能準(zhǔn)確識別。

就這樣，通過選擇一個合適的吸收峰波長，設(shè)計(jì)并通過現(xiàn)有的鍍膜工藝制作這種窄帶濾光片，解決紅外人臉識別中的抗干擾問題。

“細(xì)思極恐”是你“思”的方向偏了。對一件事物恐懼，尤其是對新生事物恐懼，往往是因?yàn)閷λ涣私狻Ｒ簿褪撬自捳f的“恐懼源于未知”。所以，“細(xì)思”之后，你應(yīng)該“不恐”，而不是“極恐”。

FaceID的技術(shù)很先進(jìn)，但原理其實(shí)非常簡單。用深度相機(jī)（簡單來說，創(chuàng)建立體圖像的相機(jī)）和紅外相機(jī)（為了改善復(fù)雜光照條件下的表現(xiàn)）捕捉人臉的圖像，然后用深度學(xué)習(xí)（Deep Learning）技術(shù)學(xué)習(xí)人臉的細(xì)節(jié)。學(xué)習(xí)之后，就可以用人臉來識別身份了。

（圖片來源：蘋果發(fā)布會）

羅馬大學(xué)人工智能和機(jī)器人研究生Norman Di Palo就用Keras實(shí)現(xiàn)了類似FaceID的人臉識別功能。他認(rèn)為，蘋果使用的是類似siamese卷積神經(jīng)網(wǎng)絡(luò)（孿生卷積神經(jīng)網(wǎng)絡(luò)）的模型。siamese卷積神經(jīng)網(wǎng)絡(luò)由一對共享權(quán)重的“雙生”神經(jīng)網(wǎng)絡(luò)構(gòu)成，它可以將人臉映射到一個低維的潛空間（latent space），通過計(jì)算人臉表示間的對比損失（contrastive loss）來區(qū)分不同的人臉。而胡須、帽子、眼鏡之類的東西，可以通過添加參考向量計(jì)算出同一人臉的不同表示。當(dāng)然，由于手機(jī)硬件資源受限（雖然iPhone X有專門的機(jī)器學(xué)習(xí)芯片，但由于功耗的限制，算力仍然是有限的），模型的訓(xùn)練應(yīng)該主要是在部署之前完成的，然后通過遷移學(xué)習(xí)（transfer learning）遷移到手機(jī)上的“離線”模型。這樣可以實(shí)現(xiàn)FaceID的單樣本學(xué)習(xí)（one shot learning）。實(shí)際上，蘋果發(fā)布會的keynote提到過FaceID用的是單樣本學(xué)習(xí)，Norman Di Palo的猜測正是基于這一蛛絲馬跡做出的。

P.S. Norman Di Palo基于Keras和siamese卷積神經(jīng)網(wǎng)絡(luò)的FaceID實(shí)現(xiàn)代碼地址：

github.com/normandipalo/faceID_beta

因?yàn)槲衣殬I(yè)是算法工程師，當(dāng)我看到iPhone的Face ID，說真的，我被它的模型設(shè)計(jì)所感嘆，確實(shí)是很有想象力，真的會“細(xì)思極恐”，怎么有這么優(yōu)雅的工業(yè)設(shè)計(jì)，我就從我的角度來說說它吧。

Apple開始在iOS 10中使用深度學(xué)習(xí)進(jìn)行人臉檢測。隨著Vision框架的發(fā)布，開發(fā)人員現(xiàn)在可以在其應(yīng)用程序中使用該技術(shù)和許多其他計(jì)算機(jī)視覺算法。在開發(fā)框架時面臨著嚴(yán)峻的挑戰(zhàn)，以便可以保護(hù)用戶的隱私并在設(shè)備上高效運(yùn)行。

介紹

蘋果首先通過CIDetector類在Core Image框架的公共API中發(fā)布了人臉檢測。Apple應(yīng)用程序（例如，照片）在內(nèi)部也使用了此API。最早發(fā)布的CIDetector使用了一種基于Viola-Jones檢測算法的方法。蘋果基于傳統(tǒng)計(jì)算機(jī)視覺的進(jìn)步對CIDetector進(jìn)行了后續(xù)改進(jìn)。

隨著深度學(xué)習(xí)的出現(xiàn)及其在計(jì)算機(jī)視覺問題中的應(yīng)用，最新的人臉檢測精度取得了巨大的飛躍。但與傳統(tǒng)的計(jì)算機(jī)視覺相比，深度學(xué)習(xí)中的學(xué)習(xí)模型需要更多數(shù)量級的內(nèi)存，更多磁盤存儲以及更多計(jì)算資源。

蘋果的iCloud照片庫是用于照片和視頻存儲的基于云的解決方案。但是，由于Apple對用戶隱私的堅(jiān)定承諾，蘋果無法將iCloud服務(wù)器用于計(jì)算機(jī)視覺計(jì)算。發(fā)送到iCloud照片庫的每張照片和視頻在發(fā)送到云存儲之前均已在設(shè)備上加密，并且只能由向iCloud帳戶注冊的設(shè)備解密。因此，為了將基于深度學(xué)習(xí)的計(jì)算機(jī)視覺解決方案帶給大家使用，所以必須直接解決在iPhone上運(yùn)行深度學(xué)習(xí)算法的挑戰(zhàn)。

深度學(xué)習(xí)模型需要作為操作系統(tǒng)的一部分提供，占用寶貴的NAND存儲空間。它們還需要加載到RAM中，并在GPU和/或CPU上需要大量的計(jì)算時間。與基于云的服務(wù)（其資源只能專門用于視覺問題）不同，必須在與其他正在運(yùn)行的應(yīng)用程序共享這些系統(tǒng)資源的同時進(jìn)行設(shè)備上計(jì)算。最后，計(jì)算必須足夠有效，以在相當(dāng)短的時間內(nèi)處理大型照片庫，而又不會顯著降低功耗或熱量增加。

本文的其余部分討論了我們基于深度學(xué)習(xí)的人臉檢測的算法方法，以及如何成功應(yīng)對挑戰(zhàn)以實(shí)現(xiàn)最新的準(zhǔn)確性，有如下難點(diǎn)：

• 如何充分利用我們的GPU和CPU（使用BNNS和Metal）；
• 網(wǎng)絡(luò)推理以及圖像加載和緩存的內(nèi)存優(yōu)化；
• 如何以不干擾iPhone預(yù)期執(zhí)行的許多其他同時任務(wù)的方式實(shí)施網(wǎng)絡(luò)。

從Viola-Jones轉(zhuǎn)向深度學(xué)習(xí)

蘋果基于OverFeat論文的一些見解構(gòu)建了初始體系結(jié)構(gòu)，從而形成了具有以下各項(xiàng)的多任務(wù)目標(biāo)的完全卷積網(wǎng)絡(luò)（請參見圖1）：

• 二進(jìn)制分類，以預(yù)測輸入中是否存在人臉；
• 進(jìn)行回歸以預(yù)測最能在輸入中定位人臉的邊界框參數(shù)。

研究室嘗試了幾種訓(xùn)練這種網(wǎng)絡(luò)的方法。例如，用于訓(xùn)練的簡單過程是創(chuàng)建固定大小的圖像圖塊的大型數(shù)據(jù)集，該圖像圖塊的大小對應(yīng)于網(wǎng)絡(luò)的最小有效輸入，以使每個圖塊從網(wǎng)絡(luò)生成單個輸出。訓(xùn)練數(shù)據(jù)集在理想情況下是平衡的，因此一半的圖塊包含一個臉（正類），另一半不包含一個臉（負(fù)類）。對于每個正片，研究人員會提供臉部的真實(shí)位置（x，y，w，h）。所以在訓(xùn)練網(wǎng)絡(luò)時會優(yōu)化前面描述的多任務(wù)目標(biāo)。訓(xùn)練完成后，網(wǎng)絡(luò)就可以預(yù)測圖塊是否包含人臉，如果這樣，它還可以提供圖塊中人臉的坐標(biāo)和比例。

由于網(wǎng)絡(luò)是完全卷積的，因此它可以有效地處理任意大小的圖像并生成2D輸出圖。地圖上的每個點(diǎn)都對應(yīng)于輸入圖像中的圖塊，并包含來自網(wǎng)絡(luò)的有關(guān)該標(biāo)題中存在或不存在人臉及其在輸入圖塊中的位置/比例的預(yù)測。

有了這樣的網(wǎng)絡(luò)，就可以構(gòu)建一個相當(dāng)標(biāo)準(zhǔn)的處理管道來執(zhí)行面部檢測，該管道由多尺度圖像金字塔，面部檢測器網(wǎng)絡(luò)和后處理模塊組成。而且需要一個多尺度的金字塔來處理各種尺寸的面孔。然后將網(wǎng)絡(luò)應(yīng)用于金字塔的每個級別，并從每一層收集候選檢測。最后使用處理模塊將這些候選檢測結(jié)果跨比例組合在一起，以生成與網(wǎng)絡(luò)對圖像中人臉的最終預(yù)測相對應(yīng)的邊界框列表。

優(yōu)化設(shè)備性能

蘋果實(shí)施了幾種策略來最大程度地減少內(nèi)存占用和GPU使用率。為了減少內(nèi)存占用，測試過程中通過分析計(jì)算圖來分配神經(jīng)網(wǎng)絡(luò)的中間層。這使可以將多個圖層別名到同一緩沖區(qū)。在完全確定性的同時，此技術(shù)可減少內(nèi)存占用空間，而不會影響性能或分配碎片，可在CPU或GPU上使用。

對于視覺，檢測器運(yùn)行5個網(wǎng)絡(luò)（每個圖像金字塔比例一個，如圖2所示）。這5個網(wǎng)絡(luò)共享相同的權(quán)重和參數(shù)，但其輸入，輸出和中間層具有不同的形狀。為了進(jìn)一步減少占用空間，在由這5個網(wǎng)絡(luò)組成的聯(lián)合圖上運(yùn)行了基于活動度的內(nèi)存優(yōu)化算法，從而大大減少了占用空間。同樣，多個網(wǎng)絡(luò)重復(fù)使用相同的權(quán)重和參數(shù)緩沖區(qū)，從而減少了內(nèi)存需求。

為了在深層神經(jīng)網(wǎng)絡(luò)在后臺運(yùn)行時確保UI響應(yīng)性和流暢性，蘋果為網(wǎng)絡(luò)的每一層劃分了GPU工作項(xiàng)，直到每個單獨(dú)的時間都小于一毫秒。這允許驅(qū)動程序及時將上下文切換到優(yōu)先級較高的任務(wù)，例如UI動畫，從而減少并有時消除幀丟失。

結(jié)合所有這些策略，可以確保Apple用戶可以享受本地的，低延遲的私有深度學(xué)習(xí)推理，而無需知道他們的手機(jī)正在以每秒數(shù)百吉比特的速度運(yùn)行神經(jīng)網(wǎng)絡(luò)。

總結(jié)

與當(dāng)今的手機(jī)一樣，典型的高端手機(jī)對于深度學(xué)習(xí)視覺模型而言并不是可行的平臺。業(yè)界大多數(shù)人通過基于云的API提供深度學(xué)習(xí)解決方案來解決此問題。在基于云的解決方案中，圖像被發(fā)送到服務(wù)器以使用深度學(xué)習(xí)推理來檢測人臉進(jìn)行分析。這些基于云的服務(wù)通常使用功能強(qiáng)大的臺式機(jī)級GPU，具有大量可用內(nèi)存。大型網(wǎng)絡(luò)模型以及潛在的大型模型集合可以在服務(wù)器端運(yùn)行，從而使客戶端（可能是手機(jī)）可以利用大型的深度學(xué)習(xí)架構(gòu)，而這些架構(gòu)在本地?zé)o法運(yùn)行。而iPhone卻可以將這些技術(shù)無縫融合到這臺手機(jī)上而且不影響用戶體驗(yàn)，我覺得這已經(jīng)很難得了。

沒有感覺到細(xì)思極恐。

只感嘆到科技發(fā)展太快，而手機(jī)則是最能讓我們體驗(yàn)到科技的東西。

還有，國產(chǎn)廠商不要動不動和蘋果比，真的不是一個級別的，蘋果的每次創(chuàng)新基本上都推動了行業(yè)的進(jìn)步，沒有十足的把握，蘋果不會冒然在新產(chǎn)品上搭載不成熟技術(shù)。

而國產(chǎn)手機(jī)，經(jīng)常把一些不成熟技術(shù)用在新機(jī)上，搞一些噱頭。

本人從事蘋果產(chǎn)品工作多年，認(rèn)真來回答這個問題。

對于iPhone X的Face ID技術(shù)，(面容解鎖)相比于前幾代的Touch ID技術(shù)(指紋解鎖)確實(shí)更加高科技和方便。

之前也在網(wǎng)絡(luò)上新聞出現(xiàn)過兩位長得極其相似的人都可以解開iPhone。

可能是因?yàn)槠渲幸粋€人通過幾次面容解鎖失敗后，iPhone X的處理器是a11仿生處理器，具有學(xué)習(xí)的功能，通過幾次解鎖失敗之后，手機(jī)的處理器會稍微更改和認(rèn)知面容的掃描，那么就可以另外一個人就可以解開這部iPhone。

但是這樣的情況呢是很少見的，不是說普遍的現(xiàn)象。手機(jī)本人錄入面容之后，無論是化妝，戴眼鏡，戴帽子等等的情況下都可以輕松的解鎖這部iPhone。

Face ID相比較指紋解鎖來講，會更安全一些。

比如說我們在用手機(jī)付款的時候，只需要掃一下面容就可以付款，不需要輸入指紋或者輸入密碼。這樣可以達(dá)到防偷窺，安全系數(shù)特別高。

科技的發(fā)展就是這樣，它要一步步逐漸的完善，我們要接觸新鮮的事物，并且接受新鮮的事物。容忍它的一些小缺點(diǎn)，相信以后的Face ID技術(shù)會越來越完善，沒有想象的那么細(xì)思極恐。

希望我的回答，大家喜歡。

說得蘋果?逼你們買的一樣，不好不買不就行了，干嘛死要面子買二手出了問題就亂噴

的確細(xì)思極恐 一定要買華為 嗚嗚嗚有多少人是不愛國的? 合著愛不愛國全由你定義去了唄？

針對你的圖，我就說一句，蘋果的face id有一個功能叫“注視感知”

我就不信難道你媳婦不知道你手機(jī)密碼？