" 這些屬性可以支持一些原本不可能運(yùn)行的應(yīng)用程序,比如在行駛時(shí)讀取隱藏的非視距的車牌,或者讀取在拐角另一側(cè)的行人身上戴的工作牌。" 論文一作、斯坦福大學(xué)博士后研究員 Christopher Metzler 說(shuō)。
圖 | 該系統(tǒng)可能有一天會(huì)讓自動(dòng)駕駛汽車有更犀利的視覺(jué),不僅能看到車輛,還能讀取車牌
(來(lái)源:Felix Heide, Princeton University)
近日,由他帶領(lǐng)的來(lái)自斯坦福大學(xué)、普林斯頓大學(xué)等四所大學(xué)組成的研究團(tuán)隊(duì)在 optica 發(fā)表了一項(xiàng)研究成果,稱其利用深度學(xué)習(xí)算法,開(kāi)發(fā)了一種新的基于激光的系統(tǒng),只需搭配普通相機(jī)和一個(gè)功能強(qiáng)大的標(biāo)準(zhǔn)激光源,該系統(tǒng)就可以實(shí)現(xiàn)快速高分辨率對(duì)隱藏物體進(jìn)行成像。
通過(guò)深度學(xué)習(xí)算法,利用普通的市售器件就能解決復(fù)雜的光學(xué)難題,這將對(duì)自動(dòng)駕駛等領(lǐng)域產(chǎn)生極大的影響。有報(bào)道稱,它或許可以被安裝在衛(wèi)星和航天器上,用來(lái)捕捉小行星上洞穴內(nèi)的圖像。
圖 | 實(shí)驗(yàn)設(shè)置。
光從激光器,到虛擬光源,到隱藏的物體,到虛擬探測(cè)器,最后到相機(jī)(來(lái)源:論文)
論文作者在文中表述,他們驗(yàn)證了基于 deep-inverse correlography 的算法對(duì)噪聲具有非常強(qiáng)的魯棒性,在空間分辨率和總捕獲時(shí)間方面都遠(yuǎn)遠(yuǎn)超過(guò)了現(xiàn)有 NLoS(non-line-of-sight,非視距)系統(tǒng)的能力。
Metzler 表示,此設(shè)備的設(shè)計(jì)初衷是用極高的分辨率對(duì)小物體進(jìn)行成像,但它也可以與其他成像系統(tǒng)相結(jié)合,產(chǎn)生低分辨率、房間大小的重建圖像。
研究人員在試驗(yàn)中,利用距離墻壁約 1 米的成像裝置,對(duì)隱藏在墻角后方的高 1 厘米的字母和數(shù)字進(jìn)行了圖像重建。在四分之一秒的曝光時(shí)間,新技術(shù)可以獲得分辨率為 300 微米的重建圖像。
由于該方法對(duì)噪聲的魯棒性更強(qiáng),因此與依賴 HIO 或 Alt-Min 等傳統(tǒng) PR 算法的系統(tǒng)相比,基于卷積神經(jīng)網(wǎng)絡(luò)( Convolutional neural networks,CNN) 的方法可以在更少的光線下運(yùn)行,并獲得更高的幀速率。(來(lái)源:論文)
此前,麻省理工學(xué)院計(jì)算機(jī)視覺(jué)科學(xué)家拉梅什 · 拉斯卡爾(Ramesh Raskar)采用" 主動(dòng)成像 "(active imaging)的方法,使用昂貴的專業(yè)相機(jī) - 激光系統(tǒng),實(shí)現(xiàn)對(duì)拐角處場(chǎng)景的高分辨率成像,用納米超高速相機(jī)探測(cè)從墻壁反彈回來(lái)的光子,從而實(shí)現(xiàn)三維圖像細(xì)節(jié)的逆向重建。
但需要重視的是,除了需要使用專業(yè)相機(jī)之外,這種方式必須用激光掃描整個(gè)墻壁才能形成三維圖像,整個(gè)成像過(guò)程光設(shè)備就耗資 50 萬(wàn)美元。直到 2018 年 3 月,新的算法以及相對(duì)經(jīng)濟(jì)實(shí)惠的 SPAD 相機(jī)出現(xiàn),才使得這種方式削減一部分成本。
"2012 年以來(lái),飛行時(shí)間成像技術(shù)(time-of-flight imaging)的主要進(jìn)步體現(xiàn)在,原先需要百萬(wàn)美元建造的系統(tǒng),現(xiàn)在只需要數(shù)千美元。" 聯(lián)合作者 Richard Baraniuk 說(shuō)。
圖 | 在主動(dòng)非視距成像中,激光在墻壁上反射到隱藏物體上并進(jìn)一步散射,
然后經(jīng)過(guò)墻壁再次反射返回初始位置
飛行時(shí)間成像技術(shù)原理是,來(lái)自高速激光的光線從墻上反射到隱藏區(qū)域的物體上,其中一些光線會(huì)反射回墻壁再反射回相機(jī),通過(guò)測(cè)量返回光子的飛行時(shí)間,可以判斷飛行距離進(jìn)行粗略成像。
Deep-inverse correlography 則是尋找墻上的干涉圖樣,也就是所謂的散斑圖(speckle pattern)。散斑圖包含著隱藏物體的形狀信息,但重建完整圖案需要解決極具挑戰(zhàn)性的算法問(wèn)題。短時(shí)曝光可以實(shí)現(xiàn)實(shí)時(shí)成像,但是噪聲很多,會(huì)嚴(yán)重干擾現(xiàn)有算法。因此,該團(tuán)隊(duì)才想到了利用深度學(xué)習(xí)算法。
與其他 NLoS 成像方法相比,深度學(xué)習(xí)算法可以通過(guò)準(zhǔn)確地描述噪聲,合成數(shù)據(jù)訓(xùn)練算法來(lái)解決重建問(wèn)題,而不需要昂貴的試驗(yàn)訓(xùn)練數(shù)據(jù)。
圖 | 研究人員在試驗(yàn)中,利用距離墻壁約 1 米的成像裝置,
對(duì)隱藏在墻角后方的高 1 厘米的字母和數(shù)字進(jìn)行了圖像重建。
聯(lián)合作者 Ashok Veeraraghavan 說(shuō):" 因此,我們正在討論的是一個(gè)比飛行時(shí)間成像技術(shù)小得多的視野,這個(gè)視野接近幾英寸而不是幾米,但是,在這個(gè)有限的領(lǐng)域內(nèi),我們能夠獲得比它精確 100 倍的空間分辨率。"
接下來(lái),研究人員計(jì)劃把飛行時(shí)間成像技術(shù)和 deep-inverse correlography 相結(jié)合。" 通過(guò)飛行時(shí)間技術(shù),你可以獲得一張粗略的圖像,顯示人在哪里,一旦你定位到了他們的胸牌或者臉,之后可以利用這項(xiàng)技術(shù)再得到一個(gè)超高清的局部圖像。"
該技術(shù)屬于 DARPA(美國(guó)國(guó)防高級(jí)研究計(jì)劃局,Defense Advanced Research Projects Agency)" 揭露計(jì)劃 "(REVEAL program)的一部分。該計(jì)劃耗資 2700 萬(wàn)美元,旨在通過(guò)活躍光場(chǎng)的開(kāi)發(fā),革命性地提高能見(jiàn)度。該項(xiàng)目為許多美國(guó)新成立的實(shí)驗(yàn)室提供資金。
免責(zé)聲明:
網(wǎng)站內(nèi)容來(lái)源于互聯(lián)網(wǎng),由網(wǎng)絡(luò)編輯負(fù)責(zé)審查,目的在于傳遞信息,提供專業(yè)服務(wù),不代表本網(wǎng)站平臺(tái)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé)。如因內(nèi)容、版權(quán)問(wèn)題存在異議的,請(qǐng)與我們?nèi)〉寐?lián)系,聯(lián)系方式:ahos@aiofm.ac.cn 。網(wǎng)站平臺(tái)將加強(qiáng)監(jiān)控與審核,一旦發(fā)現(xiàn)違反規(guī)定的內(nèi)容,按國(guó)家法規(guī)處理,處理時(shí)間不超過(guò)24小時(shí)。