近期，安徽工業(yè)大學計算機學院視覺感知與機器學習團隊在計算機視覺與多模態(tài)感知方向取得系列重要進展。

        團隊與南方科技大學、英國華威大學合作，在人工智能國際頂級會議IEEE/CVF International Conference on Computer Vision 2023 (ICCV2023)發(fā)表跨模態(tài)視頻目標分割的最新研究成果。ICCV是由國際電子工程師協(xié)會計算機學會（IEEE Computer Society）和計算機視覺基金會（CVF）聯(lián)合主辦，每兩年舉辦一次，是人工智能領域公認的計算機視覺三大頂會之一，是CCF- A類會議。安徽工業(yè)大學為論文第一完成單位，計算機學院碩士研究生李光輝為論文第一作者，劉恒教授為第一通訊作者。

        當前深度學習參考視頻目標分割（RVOS，Referring Video Object Segmentation）已有工作都要求特定場景具有足夠豐富的文本及視頻多模態(tài)聯(lián)合標注數(shù)據(jù)。但在缺乏標注數(shù)據(jù)的新應用場景，以較低成本實現(xiàn)多樣化視頻有效目標分割是一個迫切需要解決的問題。團隊基于Transformer架構(gòu)，提出了一種跨模態(tài)少樣本親和力學習的新方法，根據(jù)少量樣本建立多模態(tài)親和關(guān)系，為多樣化的數(shù)據(jù)學習新的語義信息；首次構(gòu)建了的FS-RVOS（Few-shot RVOS）基準，在只有少量標注樣本的情況下，采用交叉注意力方式分層融合視覺和文本特征以獲得特定類別的魯棒特征表示，為最終實現(xiàn)真實陌生場景參考視頻目標分割指明了方向。

（跨模態(tài)少樣本親合力學習參考視頻分割）

（FS-RVOS與RVOS的問題不同）

（跨模態(tài)親和力(CMA)模塊的架構(gòu)）

（FS-RVOS基準數(shù)據(jù)示例）

       對于超聲臨床診斷而言，超聲影像超分辨（ultrasound image super-resolution）可以提高超聲成像質(zhì)量，從而提高疾病診斷的準確性。但由于傳感設備和傳輸介質(zhì)的差異，實際場景中超聲成像其退化模糊過程是未知且不可控的。為了解決未知退化場景超聲醫(yī)學影像準確超分辨的難題，團隊提出了一種有效的基于退化模糊自估計且結(jié)合漸進殘差學習和記憶提升機制的超聲影像盲超分方法，初步實現(xiàn)了真實場景超聲影像準確超分辨。相關(guān)研究成果發(fā)表在人工智能、計算機醫(yī)學信息交叉領域一區(qū)TOP期刊《IEEE Journal of Biomedical and Health Informatics》(IF: 7.7)。安徽工業(yè)大學為論文第一完成單位，計算機學院劉恒教授、碩士生劉建勇分別為論文第一、第二作者。

（漸進殘差學習與記憶升級超聲影像盲超分）

（漸近殘差學習模塊層級數(shù)量分析圖）

（真實場景超聲影像盲超分效果對比圖）

       行人重識別任務旨在解決跨視角條件下行人圖像檢索問題，是計算機視覺和生物特征識別領域的一個重要研究方向。由于不同域之間差異的存在，已有行人重識別研究在實際應用中存在跨域性能良的問題。團隊在分析現(xiàn)有無監(jiān)督行人重識別方法的基礎上，提出一種利用色彩空間特性來豐富數(shù)據(jù)多樣性的方法，進而借助增廣數(shù)據(jù)之間的語義關(guān)聯(lián)性和多重聚類算法來提升偽標簽的置信度。相關(guān)研究成果發(fā)表在人工智能、計算機視覺領域一區(qū)TOP期刊《Pattern Recognition》(IF: 8.0)。安徽工業(yè)大學為論文第一完成單位，計算機學院陳峰博士為第一作者。

（多域聯(lián)合學習無監(jiān)督行人重識別）

        以上研究工作得到國家自然科學基金、安徽省自然科學基金及安徽省高校協(xié)同創(chuàng)新等項目的資助支持。

論文鏈接：

https://iccv2023.thecvf.com

https://ieeexplore.ieee.org/document/9684683

https://www.sciencedirect.com/science/article/pii/S0031320323000705?via%3Dihub

新聞鏈接：https://www.ahut.edu.cn/info/1226/22843.htm

網(wǎng)站內(nèi)容來源于互聯(lián)網(wǎng)，由網(wǎng)絡編輯負責審查，目的在于傳遞信息，提供專業(yè)服務，不代表本網(wǎng)站平臺贊同其觀點和對其真實性負責。如因內(nèi)容、版權(quán)問題存在異議的，請與我們?nèi)〉寐?lián)系，我們將協(xié)調(diào)給予處理（按照法規(guī)支付稿費或刪除），聯(lián)系方式：ahos@aiofm.ac.cn 。網(wǎng)站平臺將加強監(jiān)控與審核，一旦發(fā)現(xiàn)違反規(guī)定的內(nèi)容，按國家法規(guī)處理，處理時間不超過24小時。