來源:DeepTech深科技

 

畢業于美國西北大學的李馮強博士,在幾天前與合作者在NatureCommunications發表的論文中[1],詳細介紹了所涉及的主要技術——合成波長全息術。

 

圖 | 李馮強(來源:李馮強)

 

借助該技術可對拐角處成像,當駕車穿過山口或蜿蜒曲折道路時,可通過顯示附近看不見的其他車輛或動物,來防止交通事故的發生。(來源:Nature Communications)

 

這就好比汽車行走在彎道時,在墻上安裝了一面虛擬鏡子,哪怕你的視線被擋住,依然能看到其他地方來的車輛。

 

另外由于是主動成像,該技術可在夜晚甚至有霧情況下工作。其次,也可用做工業檢測,在無需拆卸的情況下,即可對設備內部進行高精度成像和檢修。

 

另一個應用是醫學成像領域,由于該技術可對透過散射介質成像,因此可以對皮膚下組織比如毛細血管進行非侵入式高精度成像,甚至可以對胸腔中跳動的心臟成像。

 

圖 | 相關論文(來源:Nature Communications)

 

本科畢業于華中科大,目前在蘋果公司工作

 

來自于湖北荊門的李馮強博士,本科畢業于華中科技大學光電信息工程專業,碩士就讀于美國里海大學電子工程專業,2020 年在美國西北大學取得計算機科學的博士學位,期間主要從事計算成像方面的工作。在攻讀博士期間,李博士和萊斯大學、威斯康辛麥迪遜大學、南衛理公會大學、阿貢國家實驗室,以及大連海事大學的趙明博士有廣泛的合作。

 

李博士目前就職于蘋果公司,從事三維計算機視覺方面的算法研發工作。來到蘋果之前,他曾在谷歌 X 實驗室和 Facebook Reality Labs 分別實習過,期間進行機器視覺和 AR/VR 的研究工作。本次發表的論文,是他讀博期間的代表作。

 

他表示,該研究是對位于遮擋或者散射介質后的物體進行成像,也可稱為非視線成像。與之前的非視線成像技術相比,該方法能以亞毫米的精度,快速捕獲大面積的全場圖像。

 

(來源:Nature Communications)

 

之前大部分非視線成像技術是基于飛行時間傳感技術 (time-of-flight),這類非視線成像需要通過振鏡掃描來捕獲全場圖像,這種基于機械掃描的方式不僅耗時,而且也限制了圖像的分辨率。

 

另外一些基于記憶效應 (memory effect) 的非視線成像技術,雖然擁有較小的探測區域、以及出色的空間分辨率,但是這些技術的掃描視角極小一般在 2 度以下,故此這類技術在應用上會受到限制。

 

而該研究提出的非視線成像技術是基于合成波長全息術 (synthetic wavelength holography)。由于光波的波長較短大約有幾百個納米,當光波照射到粗糙的墻面的時候,會發生散射效應,從而導致光波平面被破壞,也就無法得到光波所攜帶的物體結構的信息,因為這些信息很難被解碼。

 

如果波長變長的話,波平面就會不容易被破壞,甚至可以穿透墻體成像比如聲波。從物理課中我們知道,當兩個頻率相近但不同的聲波發生干涉時,會得到一個頻率是原先兩個聲波頻率之差的聲波,這個頻率之差的絕對值被稱為差頻 (beat frequency)。

 

而合成波長全息術正是基于這一想法,通過兩束頻率相近的激光光束,來得到一個頻率低和波長較長的(cm)的光波,這樣即可實現把墻面變“鏡面”,從而對拐角處的物體成像,以及穿透散射介質后的對物體進行成像。

 

在非視線成像中,基于合成波長全息術可使用更小的探測區域、更大的角度視場、以及更高的空間分辨率。同時在成像系統中,使用焦平面陣列相機還可避免之前研究中的機械掃描,從而獲得更高的時間分辨率,這樣就能具備對移動目標的成像能力。

 

(來源:Nature Communications)

 

盡管這項工作目前還處于研究階段,但其具有很多潛在的應用。我們知道在平常拍照時,相機只能記錄暴露在相機視場的物體信息而無法記錄被物體遮擋的信息。而非視線成像正是打破這一限制。

 

舉例來說,通過門縫可以看到房間里的信息,這是因為光線存在彎折。如果用傳統相機拍照的話,則無法通過門縫看到房里面的信息,這時就可借助該技術通過門縫也能看到房間內所有物體的信息。

 

另外以汽車預警導航為例,汽車駕駛在彎道時通常會放置一個曲面鏡。這樣就可看到對面方向來的車,從而避免交通事故。非視線成像的實現起到類似的作用,假設車輛行走在道路蜿蜒時看不到前方的車,借助拐角成像,就可在拐角處看到平常用相機拍不到的信息,進而看到彎道后面的車輛信息,最終實現避免交通事故的發生。

 

再比如說,通過一面墻看到墻拐角的物體地方,我們可以把墻面理解成一個散射介質,這時使用傳統相機無法透過墻面這一散射介質看到拐角信息。但是,因為該研究帶來的合成波長足夠長,墻面帶來散射影響并不是很大,所以墻面就能變成一個反射鏡。

 

對于透射介質來說,比如通過皮膚看皮下組織信息時,我們可以把皮膚看作是一個遮擋物,它會阻礙相機對皮下組織的成像,但是該研究提出的合成波由于波長足夠長,使其可穿過遮擋物對皮下組織進行成像。

 

(來源:Nature Communications)

 

研究靈感基于此前發表在頂會的論文

 

據介紹,這項研究由李博士的同事弗洛里安·威洛米策(Florian Willomitzer)博士領導,李博士作為共同作者參與了整個項目的研發,包括項目論證以及理論分析,實驗平臺搭建以及實驗,實驗結果分析和討論,重建算法開發等,其博士導師西北大學計算機科學副教授奧利弗·科薩特(Oliver Cossairt)則負責指導該研究。

 

圖 | 西北大學的研究者(來源:李馮強)

 

這項研究的靈感,來自該團隊在飛行時間三維成像技術的工作。之前,該團隊通過使用合成光波實現了對大尺度的物體高精度的三維掃描,相關論文發表在IEEEInternational Conference on Computational Photography (ICCP)2018和IEEETransactions on Pattern Analysis and Machine Intelligence 2021。李博士作為第一作者和通訊作者領導了這兩項工作。

 

(來源:Nature Communications)

 

與此同時由于是計算成像,該研究涉及到各種交叉學科,包含物理建模,光學設計,電子器件的耦合控制,數據的采集及處理,以及圖形處理和重建及優化算法開發。

 

在本次研究中,該團隊先是跟南衛理公會大學幾位合作者進行了理論分析,接著進行仿真模擬實驗,模擬在不同的粗糙墻面單波長和合成波長的反射以及散射效應,并且開發了二維和三維重建算法。

 

通過模擬實驗,該團隊更深一步地理解了在整個成像過程中的物理效應和原理。最后,李博士等人進行實際實驗論證、搭建實驗平臺、開發實驗采集、數據處理以及重建算法,并在不同的非視線成像情況 包括拐角處以及散射介質后,對物體進行成像。

 

(來源:Nature Communications)

 

相比于之前的研究,該團隊提出了一種全新的非視線成像的解決方案,審稿人也給出了積極評價,對于研究結果也很興奮。

 

 

(來源:Nature Communications)

 

據李博士介紹,他們在研究中也遇到了一些困難。他表示在實驗驗證時碰到和解決各種工程問題,很多問題在模擬仿真中并未被注意到。

 

比如,實驗平臺搭好以后發現得到的合成波長全息圖非常的弱,排查了所有硬件和處理算法后,發現是參考光和物光的強度不匹配,通過調整參考光的強度,他們最終順利得到了預想中的合成波長全息圖。

 

對于該研究的后續工作,據李博士介紹,該團隊計劃在圖像采集速度,成像質量,圖像處理上進一步提高。同時在系統集成上,該團隊也希望使整體系統更加小型和輕便化。

 

 

 


【問卦】 你,是我一生放不下的思念【每日必讀】 Seahorse:在 Linux 中管理你的密碼和加密密鑰 Linux 中國【多元觀點】 會筑設計|微醺 開放廚房成就舒適門廳

 

arrow
arrow

    s7g2my8m 發表在 痞客邦 留言(0) 人氣()