近日,安徽建筑大學(xué)電信學(xué)院2021級模式識別與智能系統(tǒng)專業(yè)研究生曹億億在中科院合肥物質(zhì)科學(xué)研究院陳雷副研究員、電信學(xué)院孫光靈老師的共同指導(dǎo)下,在國際期刊《Computers and Electronics in Agriculture》(IF=6.757,中科院農(nóng)業(yè)綜合1區(qū),農(nóng)林科學(xué)TOP期刊)上發(fā)表題為“Cucumber disease recognition with small samples using image-text-label-based multi-modal language model”的研究論文。
該項研究工作是針對小樣本學(xué)習(xí)方法僅從單個圖像模態(tài)中提取信息,對具有語義相關(guān)性的其他模態(tài)(文本模態(tài)信息)中的特征信息沒有充分利用。
從模型角度看,現(xiàn)有的基于多模態(tài)的病害識別方法一般采用雙塔模型,不同模態(tài)學(xué)習(xí)到的特征分布在不同的特征空間,沒能充分發(fā)揮模態(tài)間的關(guān)聯(lián)作用。論文提出了一種端到端的基于“圖像-文本-標(biāo)簽”信息的多模態(tài)語言模型識別方法,結(jié)合“圖像-文本”多模態(tài)對比學(xué)習(xí)、圖像自監(jiān)督對比學(xué)習(xí)和標(biāo)簽信息在統(tǒng)一“圖像-文本-標(biāo)簽”空間中衡量樣本的距離,以提高模型表征學(xué)習(xí)能力,進而提高病害識別的準(zhǔn)確性。
上述研究得到了國家自然科學(xué)基金項目(32071901, 32271981)的資助。電信學(xué)院高度重視研究生培養(yǎng)質(zhì)量,注重研究生培養(yǎng)過程的學(xué)術(shù)創(chuàng)新。本次高水平論文發(fā)表是電信學(xué)院與中科院合肥物質(zhì)科學(xué)研究院聯(lián)合攻關(guān)的結(jié)果,為學(xué)院創(chuàng)新人才培養(yǎng)奠定了基礎(chǔ)。
新聞鏈接:https://www.ahjzu.edu.cn/2023/0628/c19a219193/page.htm
網(wǎng)站內(nèi)容來源于互聯(lián)網(wǎng),由網(wǎng)絡(luò)編輯負責(zé)審查,目的在于傳遞信息,提供專業(yè)服務(wù),不代表本網(wǎng)站平臺贊同其觀點和對其真實性負責(zé)。如因內(nèi)容、版權(quán)問題存在異議的,請與我們?nèi)〉寐?lián)系,我們將協(xié)調(diào)給予處理(按照法規(guī)支付稿費或刪除),聯(lián)系方式:ahos@aiofm.ac.cn 。網(wǎng)站平臺將加強監(jiān)控與審核,一旦發(fā)現(xiàn)違反規(guī)定的內(nèi)容,按國家法規(guī)處理,處理時間不超過24小時。