亞皮秒3D成像框架。（a）準(zhǔn)直脈沖激光在單個(gè)點(diǎn)上照亮場(chǎng)景。使用2軸反射鏡檢流計(jì)對(duì)激光進(jìn)行橫向掃描。定時(shí)和控制電子設(shè)備為每個(gè)檢測(cè)到的光子相對(duì)于上一個(gè)發(fā)射脈沖的時(shí)間戳記時(shí)間戳，并將這些事件累積在時(shí)空光子計(jì)數(shù)的直方圖中（b）。處理該直方圖以估計(jì)反射率和深度信息（c）。高亮顯示了兩個(gè)點(diǎn)，一個(gè)對(duì)應(yīng)于高通量（d），另一個(gè)對(duì)應(yīng)于低通量（e）測(cè)量。后者比較吵雜，而高通量測(cè)量則受到堆積失真的影響，這會(huì)給傳統(tǒng)算法的深度估計(jì)帶來(lái)很大的偏差。提出的估算方法可以對(duì)這兩種情況進(jìn)行準(zhǔn)確建模，允許根據(jù)嚴(yán)重失真的測(cè)量結(jié)果以亞皮秒級(jí)的精度估算反射率信息和傳播時(shí)間。

單光子雪崩二極管（SPAD）是有前途的探測(cè)器技術(shù)，可用于實(shí)現(xiàn)具有快速采集，高定時(shí)精度和高探測(cè)靈敏度的有源3D成像系統(tǒng)。這樣的系統(tǒng)在生物成像，遙感和機(jī)器人技術(shù)領(lǐng)域具有廣泛的應(yīng)用。但是，檢測(cè)器面臨著稱為堆積的技術(shù)缺陷，這些缺陷會(huì)導(dǎo)致測(cè)量失真，從而限制其精度。在斯坦福大學(xué)電氣工程系進(jìn)行的一項(xiàng)最新研究中，科學(xué)家費(fèi)利克斯·海德（Felix Heide）及其同事開發(fā)了一種概率圖像形成模型，該模型可以準(zhǔn)確地對(duì)堆積進(jìn)行建模。利用提出的模型，科學(xué)家們?cè)O(shè)計(jì)了逆方法來(lái)從記錄的光子計(jì)數(shù)中有效，可靠地估計(jì)場(chǎng)景深度和反射率。有了算法，與現(xiàn)有技術(shù)相比，他們能夠證明計(jì)時(shí)精度的提高。更重要的是，該模型在實(shí)際場(chǎng)景中首次允許在光子有效的3D成像中達(dá)到亞皮秒的精度，而以前只觀察到變化很大的光子計(jì)數(shù)。結(jié)果現(xiàn)已發(fā)布在科學(xué)報(bào)告。

主動(dòng)成像在從自動(dòng)駕駛到生物樣品的顯微成像等各個(gè)學(xué)科的廣泛應(yīng)用。這些應(yīng)用的關(guān)鍵要求包括高精度，定時(shí)，快速采集速率，動(dòng)態(tài)工作范圍以及對(duì)從攝像機(jī)視線隱藏的圖像對(duì)象的高檢測(cè)靈敏度。遙感和自動(dòng)化應(yīng)用的需求采集范圍從<1米到千米。

非視距成像依賴于除了直接反射光之外，還通過(guò)多個(gè)散射的間接光返回的幾個(gè)光子來(lái)獲得編碼信息。為了實(shí)現(xiàn)這些應(yīng)用，開發(fā)了超靈敏檢測(cè)器來(lái)記錄從脈沖照明源返回的單個(gè)光子。單光子雪崩二極管（SPAD）是最靈敏的時(shí)間分辨檢測(cè)器技術(shù)之一，可以使用互補(bǔ)金屬氧化物半導(dǎo)體（CMOS）制造工藝來(lái)生產(chǎn)。SPADs已迅速建立為3D成像的核心檢測(cè)器技術(shù)。

按照其功能原理，SPAD是反向偏置的光電二極管，工作在蓋革模式，即高于其擊穿電壓。當(dāng)光子入射到SPAD的有源表面上時(shí)，會(huì)觸發(fā)帶有時(shí)間戳的電子雪崩。從通常以MHz速率運(yùn)行的同步脈沖照明源返回的光子的重復(fù)時(shí)間戳可累積光子計(jì)數(shù)的直方圖。所得的直方圖記錄了返回光脈沖的大致強(qiáng)度，以恢復(fù)并表征隱藏在視野之外的物體的距離，反射率和3D幾何形狀。

實(shí)驗(yàn)重建。記錄的光子計(jì)數(shù)的時(shí)空分布。對(duì)（a，e）進(jìn)行處理以估計(jì)包含深度和反照率信息的3D點(diǎn)云（b，c，f，g），此處針對(duì)兩個(gè)不同場(chǎng)景進(jìn)行了顯示（（d，h）中所示的照片）。用顏色編碼的誤差圖（d，h）直接比較幾種深度估計(jì)技術(shù)的結(jié)果，包括對(duì)數(shù)匹配濾波，Coates方法和高斯擬合（在高通量測(cè)量中），以及所提出的方法。圖片來(lái)源：Scientific Reports，Doi：10.1038 / s41598-018-35212-x

根據(jù)預(yù)期的應(yīng)用，SPAD可以在自由運(yùn)行模式（允許在所有到達(dá)時(shí)間同時(shí)檢測(cè)所有光子事件）或門控模式（僅在脈沖之間的特定時(shí)間窗口內(nèi)檢測(cè)到光子）下運(yùn)行。所有應(yīng)用程序都會(huì)受到稱為堆積變形的基本現(xiàn)象的影響嚴(yán)重限制了準(zhǔn)確性。堆積會(huì)固有地限制SPAD檢測(cè)器的工作原理。例如，在每次觸發(fā)電子雪崩之后，探測(cè)器需要先淬火，然后再探測(cè)光子到達(dá)事件。在這段“死時(shí)間”（十到幾百納秒）內(nèi)，檢測(cè)器處于非活動(dòng)狀態(tài)。這可能會(huì)導(dǎo)致單個(gè)激光脈沖的較早光子觸發(fā)雪崩，而在死區(qū)時(shí)間內(nèi)可能會(huì)忽略較晚的脈沖；創(chuàng)建不準(zhǔn)確的偏斜測(cè)量值，稱為堆積�？梢酝ㄟ^(guò)在低通量狀態(tài)下運(yùn)行有源成像系統(tǒng)來(lái)避免這種現(xiàn)象，就像以前用于第一光子成像的最新技術(shù)所看到的那樣。

但是，在機(jī)器人，生物成像或汽車傳感中的3D成像應(yīng)用條件會(huì)有所不同，因?yàn)樗鼈冊(cè)诜瓷涓邤?shù)量和低數(shù)量的光子的對(duì)象對(duì)于決策至關(guān)重要的環(huán)境中運(yùn)行。由不同深度或不同對(duì)象反射率的變化導(dǎo)致的獲取光子計(jì)數(shù)的大變化對(duì)于3D成像至關(guān)重要。在這項(xiàng)工作中，Heide等人。引入了一種新的估算算法，該算法克服了使用自由運(yùn)行的SPAD的主動(dòng)3D成像系統(tǒng)的現(xiàn)有限制。

從低通量到高通量測(cè)量，該方法提高了現(xiàn)有深度和反照率估計(jì)的準(zhǔn)確性�？茖W(xué)家介紹了一個(gè)概率圖像形成模型，該模型包括堆積，并使用有效的反演方法得出深度和反照率估計(jì)值。重建框架共同估算了所有未知參數(shù)，以克服以前限制時(shí)序精度的算法限制。所提出的方法允許高精度和快速的3D成像打開適用于光子計(jì)數(shù)急劇變化的條件的光子有效3D成像的新操作方案。

用于3D成像的實(shí)驗(yàn)硬件。示意圖顯示了“大衛(wèi)雕像”的場(chǎng)景，照明源以及圖像重建的時(shí)間戳記過(guò)程。圖片來(lái)源：Scientific Reports，Doi：10.1038 / s41598-018-35212-x

在兩個(gè)反射率和深度剖面變化很大的場(chǎng)景（包括戴維雕像和淺浮雕場(chǎng)景）上評(píng)估了該方法的性能。兩個(gè)實(shí)例都包含具有復(fù)雜幾何形狀和變化的反射特性的對(duì)象，包括“大衛(wèi)雕像”的鏡面行為和“淺浮雕”場(chǎng)景中具有空間變化反照率的朗伯反射率。對(duì)于這兩個(gè)場(chǎng)景，科學(xué)家都捕獲了地面真實(shí)參考測(cè)量值（信息（由經(jīng)驗(yàn)證據(jù)提供）具有5％的中性密度濾鏡，該濾鏡通過(guò)抑制光源強(qiáng)度消除了堆積失真。

該系統(tǒng)的硬件包括一個(gè)時(shí)間分辨?zhèn)鞲衅鳎�脈沖激光，照明和采集光學(xué)器件。該設(shè)置還具有一組掃描鏡，以實(shí)現(xiàn)光柵掃描照明圖案。利用PicoHarp 300時(shí)間相關(guān)的單光子計(jì)數(shù)模塊捕獲光子到達(dá)的時(shí)間。照明源是450 nm或670 nm皮秒激光（產(chǎn)生半高全寬的全寬，脈沖寬度為90 ps和50 ps）。收集光學(xué)系統(tǒng)由一個(gè)75 m的物鏡，30 mm的中繼鏡和一個(gè)顯微鏡物鏡組成，旨在將SPAD的視場(chǎng)擴(kuò)展到照明源掃描的整個(gè)區(qū)域。

實(shí)驗(yàn)測(cè)量值用作所提出方法的輸入，并且獲得的測(cè)量值在光路上沒(méi)有任何濾光片。在研究過(guò)程中獲得了深度和反照率重建以及相應(yīng)的誤差圖。結(jié)果證明，該方法實(shí)現(xiàn)了不受場(chǎng)景依賴的堆積或散粒噪聲（與光的粒子性質(zhì)相關(guān)的電子噪聲）影響的高質(zhì)量重建。將結(jié)果與常規(guī)方法進(jìn)行了比較，例如對(duì)數(shù)匹配濾波器估計(jì)和Coates的堆積校正方法，這些方法不能有效地抑制堆積，并且具有取決于場(chǎng)景的深度精度。相反，Heide等人介紹的方法。達(dá)到亞皮秒級(jí)精度。

最佳光子計(jì)數(shù)方案。450 nm Alphalas LD-450-50激光器（FWHM為90 ps）的變化光子數(shù)的深度重建精度。比較了傳統(tǒng)的對(duì)數(shù)匹配濾波器，Coates方法和提出的方法。最佳的光子數(shù)量平均位于每個(gè)脈沖平均檢測(cè)到1個(gè)光子的非常規(guī)區(qū)域附近，與脈沖響應(yīng)無(wú)關(guān)，并且直方圖bin寬度范圍很廣。圖片來(lái)源：Scientific Reports，Doi：10.1038 / s41598-018-35212-x

Heide等人使用的代碼和數(shù)據(jù)。生成研究結(jié)果的方法將在GitHub上提供。總體而言，所提出的概率圖像形成模型和相應(yīng)的逆方法達(dá)到了亞皮秒的精度用于主動(dòng)3D成像，盡管激光脈沖寬度大于50 ps。與傳統(tǒng)技術(shù)相比，該新方法在從低通量到高通量的動(dòng)態(tài)范圍內(nèi)實(shí)現(xiàn)了高精度。將來(lái)，所提出的方法可以通過(guò)復(fù)用多個(gè)堆積影響的響應(yīng)來(lái)促進(jìn)遠(yuǎn)程獲取。所提出的創(chuàng)新為快速，精確的光子效率高的3D成像系統(tǒng)鋪平了道路，在該系統(tǒng)中，實(shí)際觀察到的光子數(shù)量變化很大。應(yīng)用范圍涵蓋廣泛的學(xué)科，包括3D映射和導(dǎo)航，藝術(shù)品重建和保護(hù)，自動(dòng)駕駛，機(jī)器人和機(jī)器的視覺，地理信息，工業(yè)和顯微成像。