近日，清華大學(xué)自動(dòng)化系、清華大學(xué)腦與認(rèn)知科學(xué)研究院、清華-IDG/麥戈文腦科學(xué)研究院戴瓊海課題組提出一套實(shí)時(shí)熒光成像去噪架構(gòu)（DeepCAD-RT），將此前開發(fā)的基于自監(jiān)督學(xué)習(xí)的智能圖像去噪方法進(jìn)行了深度的整合和優(yōu)化，通過將模型預(yù)測過程融合到成像流程中，在雙光子熒光顯微鏡上實(shí)現(xiàn)了實(shí)時(shí)的（30Hz）熒光成像去噪。借助此方法，在使用顯微系統(tǒng)對生物樣本進(jìn)行熒光成像時(shí)，研究人員就能夠?qū)崟r(shí)地得到增強(qiáng)之后的圖像，將成像所需的熒光光子的數(shù)目縮減10倍以上，實(shí)現(xiàn)了超越光子噪聲極限的實(shí)時(shí)超靈敏熒光成像。該方法被應(yīng)用于小鼠、斑馬魚、果蠅等多種模式動(dòng)物的神經(jīng)鈣成像實(shí)驗(yàn)，觀測范圍涵蓋細(xì)胞體、神經(jīng)纖維、樹突棘等多個(gè)尺度。此方法還被應(yīng)用于觀測免疫細(xì)胞在急性腦損傷之后的三維遷移過程，以及大腦皮層中胞外信使ATP（腺嘌呤核苷三磷酸）在損傷點(diǎn)位周圍的發(fā)放過程，在國際上首次做到對ATP發(fā)放過程的長時(shí)程（1小時(shí)）三維（350×350×60 μm3）觀測，并給出了關(guān)于發(fā)放位置、時(shí)間、發(fā)放點(diǎn)位的三維形狀等量化特征的完整統(tǒng)計(jì)結(jié)論。

圖1. DeepCAD-RT實(shí)時(shí)超靈敏熒光成像框架

熒光顯微鏡是生命科學(xué)不可或缺的研究工具。熒光成像的一個(gè)基本挑戰(zhàn)是光子探測不可避免的隨機(jī)性導(dǎo)致的光子散粒噪聲，這是由光的量子本質(zhì)決定的。從根本上說，所有測量過程都服從量子力學(xué)定律，最直接的表現(xiàn)就是任何測量過程都存在精度的上限，光學(xué)成像領(lǐng)域的這個(gè)極限被稱為光子噪聲極限，光子噪聲是前沿科學(xué)觀測中繞不開的障礙。在理論上，光子噪聲極限規(guī)定了成像信噪比的上界；在實(shí)踐上，固有的光子噪聲會增加測量的不確定性，降低圖像質(zhì)量，并限制成像的分辨率、速度和靈敏度等各個(gè)方面。

為了解決固有的光子噪聲給成像帶來的一系列難題，戴瓊海院士團(tuán)隊(duì)繼2021年在《自然·方法》（Nature Methods）期刊上發(fā)文首次提出針對神經(jīng)鈣成像的自監(jiān)督去噪基礎(chǔ)架構(gòu)后，進(jìn)一步從網(wǎng)絡(luò)結(jié)構(gòu)和硬件部署兩個(gè)方面對該方法進(jìn)行了全面的整合優(yōu)化，在有效提升去噪性能和可靠性的同時(shí)，將模型體量壓縮16倍，內(nèi)存消耗降低27倍，處理時(shí)間縮減20倍，并設(shè)計(jì)多線程最優(yōu)調(diào)度方法實(shí)現(xiàn)和顯微鏡硬件系統(tǒng)的融合，最終在雙光子顯微鏡上實(shí)現(xiàn)了實(shí)時(shí)去噪。除了在模型預(yù)測階段的提升之外，該工作在訓(xùn)練階段也進(jìn)行了多方面的提升：通過設(shè)計(jì)12倍數(shù)據(jù)增廣來有效降低訓(xùn)練過程的數(shù)據(jù)依賴性，僅需1000幀時(shí)序圖像就能訓(xùn)練出性能優(yōu)越的模型；模型縮減和數(shù)據(jù)增廣共同作用消除了過擬合，有效提升了方法的準(zhǔn)確性和可靠性。同時(shí)，其自監(jiān)督的內(nèi)核賦予該方法從原始數(shù)據(jù)中學(xué)習(xí)清晰圖像的能力，即使網(wǎng)絡(luò)沒見過任何高信噪比或者清晰的圖像，僅從原始的低信噪比圖像中就能學(xué)出真實(shí)的信號，解決了活體成像中由于樣本得到高速動(dòng)態(tài)特性導(dǎo)致的真值缺失問題。該工作通過豐富的生命科學(xué)實(shí)驗(yàn)，論證了其超越光子噪聲極限的超靈敏成像能力。

圖2. 實(shí)時(shí)超靈敏熒光成像方法在多種模式動(dòng)物、多種生命現(xiàn)象上的應(yīng)用

該超靈敏成像能力表現(xiàn)在下列實(shí)驗(yàn)中：一，對清醒小鼠大腦皮層第一層（L1）樹突棘尺度的神經(jīng)活動(dòng)進(jìn)行了高信噪比的記錄，清晰地揭示了蘑菇狀樹突棘和粗短狀樹突棘的形態(tài)學(xué)異質(zhì)性；二，對用GCaMP6s鈣探針標(biāo)記的斑馬魚視頂蓋（optic tectum）神經(jīng)群落進(jìn)行了高速的連續(xù)拍攝，以高信噪比完整揭示了神經(jīng)元群落的細(xì)胞分布和時(shí)間信號；三，果蠅等低等級的模式動(dòng)物對光毒性的耐受力更低，該工作使用低激發(fā)功率記錄成年果蠅蘑菇體神經(jīng)元的自發(fā)活動(dòng)，從被噪聲淹沒的圖像中準(zhǔn)確恢復(fù)神經(jīng)元的胞體以及神經(jīng)纖維等亞細(xì)胞結(jié)構(gòu)；四，對急性腦損傷后，小鼠大腦皮層中性粒細(xì)胞的遷移過程進(jìn)行了高信噪比的三維記錄，有效避免了光漂白、光毒性等光致?lián)p傷對免疫反應(yīng)的干擾，成功觀測到了炎癥消除后，大批中性粒細(xì)胞從損傷位點(diǎn)逐漸彌散的整個(gè)三維過程；五，借助北京大學(xué)李毓龍教授實(shí)驗(yàn)室開發(fā)的新一代ATP熒光探針GRABATP1.0，在國際上首次實(shí)現(xiàn)對大腦皮層中胞外信使ATP發(fā)放過程的低功率、長時(shí)程（1小時(shí)）、三維（350×350×60 μm3）觀測，并給出了關(guān)于發(fā)放位置、時(shí)間、發(fā)放點(diǎn)位的三維形狀等量化特征的完整統(tǒng)計(jì)結(jié)論。

光子噪聲是光學(xué)測量中繞不開的障礙。作為一種在多種模式動(dòng)物、多種生命過程上均表現(xiàn)出強(qiáng)大性能的去噪技術(shù)，該實(shí)時(shí)去噪方法有望應(yīng)用到更多的成像場景中，比如深層組織成像、超分辨成像、光場三維成像等，通過在數(shù)據(jù)處理的最前端有效降低光子噪聲帶來的不確定性，有望解決噪聲帶來的固有的成像難題并帶來新的生命科學(xué)發(fā)現(xiàn)。除了熒光成像，該方法還可以擴(kuò)展到相位成像、天文觀測、夜視成像等其他光學(xué)成像領(lǐng)域。

上述研究成果于9月26日發(fā)表在《自然·生物技術(shù)》（Nature Biotechnology）期刊上，論文題目為“實(shí)時(shí)去噪允許超越光子噪聲極限的超靈敏熒光延時(shí)成像”（Real-time denoising enables high-sensitivity fluorescence time-lapse imaging beyond the shot-noise limit）。

清華大學(xué)自動(dòng)化系2018級博士生李欣陽，復(fù)旦大學(xué)信息學(xué)院2022級博士生李奕昕為該論文共同第一作者。清華大學(xué)自動(dòng)化系、清華大學(xué)腦與認(rèn)知科學(xué)研究院、清華-IDG/麥戈文腦科學(xué)研究院戴瓊海教授，清華大學(xué)電子系方璐副教授，清華大學(xué)深圳國際研究生院王好謙教授為該論文共同通訊作者。本研究得到了國家自然科學(xué)基金委、科技部、深圳科技創(chuàng)新項(xiàng)目、中國博士后創(chuàng)新人才項(xiàng)目的支持。

論文鏈接：

https://www.nature.com/articles/s41587-022-01450-8

新聞鏈接：https://www.tsinghua.edu.cn/info/1175/98723.htm

免責(zé)聲明：

  網(wǎng)站內(nèi)容來源于互聯(lián)網(wǎng)，由網(wǎng)絡(luò)編輯負(fù)責(zé)審查，目的在于傳遞信息，提供專業(yè)服務(wù)，不代表本網(wǎng)站平臺贊同其觀點(diǎn)和對其真實(shí)性負(fù)責(zé)。如因內(nèi)容、版權(quán)問題存在異議的，請與我們?nèi)〉寐?lián)系，我們將協(xié)調(diào)給予處理（按照法規(guī)支付稿費(fèi)或刪除），聯(lián)系方式：ahos@aiofm.ac.cn 。網(wǎng)站平臺將加強(qiáng)監(jiān)控與審核，一旦發(fā)現(xiàn)違反規(guī)定的內(nèi)容，按國家法規(guī)處理，處理時(shí)間不超過24小時(shí)。