近日，中國科大蘇州高等研究院、生物醫(yī)學(xué)工程學(xué)院周少華教授團(tuán)隊，在人工智能領(lǐng)域國際知名學(xué)術(shù)期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence》上發(fā)表題為“Pathway-aware multimodal transformer (PAMT): Integrating pathological image and gene expression for interpretable cancer survival analysis”的研究論文。這一突破性進(jìn)展縮小了病理圖像與基因表達(dá)數(shù)據(jù)的“語義鴻溝”，讓癌癥生存預(yù)測更精準(zhǔn)且可解釋，不僅能讓更多癌癥患者從精準(zhǔn)治療中獲益，還可以避免過度治療，助力醫(yī)療資源最優(yōu)配置，為精準(zhǔn)腫瘤診治鋪平道路。

圖1：（a）PAMT的整體框架；(b) PAMT的可解釋性

癌癥生存分析是精準(zhǔn)醫(yī)學(xué)的關(guān)鍵環(huán)節(jié)，它能幫助醫(yī)生制定個性化治療方案，但傳統(tǒng)分析方法一直面臨“病理圖像和基因表達(dá)之間細(xì)粒度交互不足”的難題。過去的研究當(dāng)中，僅用基因表達(dá)數(shù)據(jù)（分子層面）或病理圖像（細(xì)胞組織形態(tài)層面）單一模態(tài)預(yù)測生存，往往無法完整反映癌癥的復(fù)雜機(jī)制；部分方法曾嘗試結(jié)合兩種模態(tài)，但依然忽略了基因功能網(wǎng)絡(luò)（生物通路，Pathway）與病理圖像區(qū)域（圖像塊，Patch）之間的細(xì)粒度關(guān)聯(lián)，導(dǎo)致預(yù)測效果受限。為解決這一問題，團(tuán)隊開發(fā)出全新的“通路感知多模態(tài)Transformer（PAMT）框架”，通過三步實現(xiàn)多模態(tài)數(shù)據(jù)的細(xì)粒度交互和融合。第一步先讓單模態(tài)數(shù)據(jù)內(nèi)部“信息交流”，利用自注意力機(jī)制讓生物通路間、病理圖像塊間充分傳遞信息；第二步通過全新的無配對標(biāo)簽對比學(xué)習(xí)方法，讓生物通路和病理圖像塊的語義信息對齊，確保兩者“說同一種語言”；第三步則遵循“基因型決定表型”的醫(yī)學(xué)先驗，以生物通路為指導(dǎo)，實現(xiàn)兩種數(shù)據(jù)的精準(zhǔn)融合，真正捕捉到癌癥發(fā)展的核心關(guān)聯(lián)。PAMT不僅預(yù)測效果突出，在膀胱癌、肺鱗癌、肺腺癌三種癌癥數(shù)據(jù)集上，其生存預(yù)測性能均顯著超過現(xiàn)有主流方法，并且展現(xiàn)出了優(yōu)秀的“可解釋性”。PAMT能夠協(xié)助病理醫(yī)生快速篩選影響生存的關(guān)鍵生物通路、定位全切片病理圖像中受通路影響的區(qū)域，并挖掘與預(yù)后相關(guān)的病理圖像特征。目前，團(tuán)隊已搭建公開網(wǎng)站（http://222.128.10.254:18822/#/），可視化展示186條生物通路對WSI各區(qū)域的影響，為科研和臨床提供直接助力。

該論文第一作者為中國科學(xué)技術(shù)大學(xué)生物醫(yī)學(xué)工程學(xué)院特任副研究員顏銳，共同通訊作者為中國科學(xué)技術(shù)大學(xué)周少華教授、中國科學(xué)院計算技術(shù)研究所任菲博士。卞修武院士和團(tuán)隊其他成員及合作者也為本研究做出重要貢獻(xiàn)。該工作得到國家自然科學(xué)基金和蘇州市基礎(chǔ)研究計劃等資助。

論文鏈接：https://ieeexplore.ieee.org/document/11172339/

（蘇州高等研究院、生物醫(yī)學(xué)工程學(xué)院、科研部）

網(wǎng)站內(nèi)容來源于互聯(lián)網(wǎng)，由網(wǎng)絡(luò)編輯負(fù)責(zé)審查，目的在于傳遞信息，提供專業(yè)服務(wù)，不代表本網(wǎng)站平臺贊同其觀點和對其真實性負(fù)責(zé)。如因內(nèi)容、版權(quán)問題存在異議的，請與我們?nèi)〉寐?lián)系，我們將協(xié)調(diào)給予處理（按照法規(guī)支付稿費或刪除），聯(lián)系方式：ahos@aiofm.ac.cn 。網(wǎng)站平臺將加強(qiáng)監(jiān)控與審核，一旦發(fā)現(xiàn)違反規(guī)定的內(nèi)容，按國家法規(guī)處理，處理時間不超過24小時