近年來(lái)，隨著人工智能和第五代通信對(duì)數(shù)據(jù)處理需求的不斷增長(zhǎng)，數(shù)據(jù)計(jì)算容量和計(jì)算功耗快速增加。矩陣計(jì)算是科學(xué)與工程領(lǐng)域中應(yīng)用最廣泛、必不可少的信息處理工具之一。特別以深度學(xué)習(xí)為代表的神經(jīng)網(wǎng)絡(luò)算法，其主要特征就是包含了繁重的矩陣計(jì)算，以卷積神經(jīng)網(wǎng)絡(luò)為例，其矩陣計(jì)算的開(kāi)銷(xiāo)可以占據(jù)總開(kāi)銷(xiāo)的80%以上。加速和優(yōu)化矩陣計(jì)算，可以大幅地改善信號(hào)處理和人工智能的計(jì)算效率和功耗。光子器件具有超大帶寬和超低功耗，具有多個(gè)自由物理維度，這使得光子計(jì)算成為“后摩爾時(shí)代”中高容量、低延遲矩陣信息處理中最有競(jìng)爭(zhēng)力的候選者之一。最近幾年，光子矩陣乘法得到了迅速的發(fā)展，并被廣泛應(yīng)用于光信號(hào)處理、人工智能和光子神經(jīng)網(wǎng)絡(luò)等光子加速度領(lǐng)域?；诰仃嚦朔ㄓ?jì)算的大量應(yīng)用展示了光子加速器領(lǐng)域巨大的潛能和機(jī)會(huì)。

圖1：矩陣乘法光子加速器概念圖。

近期，來(lái)自華中科技大學(xué)的張新亮教授團(tuán)隊(duì)，與香港中文大學(xué)、上海理工大學(xué)、浙江大學(xué)以及曦智科技的多位研究學(xué)者合作，以“Photonic matrix multiplication lights up photonic accelerator and beyond”為題，在Light: Science & Applications上發(fā)表了矩陣乘法光子加速器主題的綜述文章。

光子矩陣-矢量乘法分類(lèi)

目前主流的光子矩陣-矢量乘法（MVM）主要包含三類(lèi)，即基于（單/多）平面光轉(zhuǎn)換（PLC）的矩陣計(jì)算，基于馬赫澤德干涉儀（MZI）網(wǎng)絡(luò)的矩陣計(jì)算，和基于波分復(fù)用（WDM）的矩陣計(jì)算。其中平面轉(zhuǎn)換的矩陣計(jì)算又分為單平面矩陣計(jì)算（SPLC）和多平面矩陣計(jì)算（MPLC），它們都屬于相干計(jì)算，已報(bào)道的輸入向量長(zhǎng)度分別可以達(dá)到357和490000的量級(jí)。MZI和WDM方法的輸出向量長(zhǎng)度一般在100以下，主要用于集成光子矩陣計(jì)算芯片。這些方法主要基于光子的空間維度或者波長(zhǎng)維度進(jìn)行矩陣計(jì)算，還可以結(jié)合光子多個(gè)維度構(gòu)建超高容量的光子張量核心。

圖2：光子矩陣乘法分類(lèi)。

光子矩陣-矢量乘法加速應(yīng)用

光子矩陣乘法網(wǎng)絡(luò)本身可以用作光子信號(hào)處理的通用線性光子回路。近年來(lái)，MVM已成為多種光子信號(hào)處理方法的有力工具。MPLC-MVM得益于其大規(guī)模矩陣計(jì)算的能力，可以管理大量模式，可以用作通用的模式分類(lèi)器，其操作的模式規(guī)?？梢赃_(dá)到幾百個(gè)，還可以進(jìn)一步擴(kuò)展實(shí)現(xiàn)光子多個(gè)經(jīng)典物理維度的同時(shí)控制，以及用于空間成像加密等應(yīng)用。MZI-MVM易于集成，并且由于移相器工作速度快，可以實(shí)現(xiàn)MZI網(wǎng)格功能的自動(dòng)配置，用作自適應(yīng)的模式處理器件，實(shí)現(xiàn)多個(gè)模式的自由上傳、下載、復(fù)用解復(fù)用以及信道解擾等。WDM-MVM占用空間更小，更容易配置傳輸矩陣，已經(jīng)應(yīng)用于可編程脈沖整形、微環(huán)權(quán)重庫(kù)以及信號(hào)分量分析等。

圖3: 光子矩陣乘法應(yīng)用。

人工智能技術(shù)已廣泛應(yīng)用于各種電子行業(yè)，如基于深度學(xué)習(xí)的語(yǔ)音識(shí)別和圖像處理。矩陣計(jì)算作為神經(jīng)網(wǎng)絡(luò)的基本構(gòu)件，占據(jù)了大部分的計(jì)算任務(wù)，提高矩陣的性能是神經(jīng)網(wǎng)絡(luò)加速的最有效手段之一。與電計(jì)算相比，光計(jì)算在數(shù)據(jù)存儲(chǔ)和流量控制方面較差，而光學(xué)非線性的低效率限制了激活函數(shù)等非線性計(jì)算的應(yīng)用。然后，通過(guò)波長(zhǎng)、模式和偏振等復(fù)用技術(shù)，光學(xué)方法在大規(guī)模并行計(jì)算方面具有顯著優(yōu)勢(shì)，同時(shí)具有極高的數(shù)據(jù)調(diào)制速度和低的延時(shí)。因此，光子網(wǎng)絡(luò)非常適合于矩陣計(jì)算。光計(jì)算和人工智能的結(jié)合有望實(shí)現(xiàn)智能光子處理器和光子加速器。近年來(lái)，人工智能技術(shù)在光學(xué)領(lǐng)域也得到了快速發(fā)展。各種光子矩陣計(jì)算都被驗(yàn)證可用于替代神經(jīng)網(wǎng)絡(luò)算法的線性部分，其單核已經(jīng)驗(yàn)證計(jì)算容量可以超過(guò)11TOPS，光子矩陣計(jì)算的延時(shí)普遍在皮秒量級(jí)，單次乘加操作的能耗在飛焦量級(jí)，信號(hào)調(diào)制速率可以高達(dá)100 GHz。相比電子計(jì)算，其在速率、延時(shí)、功耗等方面具有明顯的優(yōu)勢(shì)。

挑戰(zhàn)與展望

目前，光子矩陣計(jì)算和電子計(jì)算相比，兩者之間仍然存在著巨大的差距，為了解決這個(gè)問(wèn)題,直接而有效的解決方案之一是制造大規(guī)模光子集成回路。此外，通過(guò)使用光子的多個(gè)自由維度，例如模式、波長(zhǎng)等，光學(xué)器件可以進(jìn)行大量的并行計(jì)算，這些并行操作可以在一個(gè)物理光子計(jì)算核心中執(zhí)行。在全光人工神經(jīng)網(wǎng)絡(luò)成熟之前，特別是在光學(xué)非線性效應(yīng)和全光級(jí)聯(lián)成熟前，光電混合人工智能計(jì)算仍是一種更實(shí)用、更有競(jìng)爭(zhēng)力的深層人工神經(jīng)網(wǎng)絡(luò)的候選架構(gòu)。因此，開(kāi)發(fā)高效、專(zhuān)用的光電混合人工智能硬件芯片系統(tǒng)是光子人工智能的核心研究路徑之一。未來(lái)可基于光子矩陣計(jì)算和電子控制實(shí)現(xiàn)加速器底層硬件，并開(kāi)發(fā)適用于該硬件的各種算法，最后在用戶(hù)層可以靈活地調(diào)用這些算法實(shí)現(xiàn)各種加速應(yīng)用，例如信道解擾器、圖像識(shí)別等。

圖4：光電混合AI計(jì)算芯片架構(gòu)。

論文信息：

該研究成果以" Photonic matrix multiplication lights up photonic accelerator and beyond "為題在線發(fā)表在Light:Science&Applications。來(lái)自華中科技大學(xué)的董建績(jī)教授為論文的通訊作者，周海龍副教授為論文的第一作者。論文的合作作者還包括香港中文大學(xué)的黃超然博士、曦智科技的沈亦晨博士，上海理工大學(xué)的張啟明教授和顧敏院士，浙江大學(xué)的錢(qián)超博士，陳紅勝教授和阮志超教授，以及華中科技大學(xué)的成駿偉博士、董文嬋博士和張新亮教授。

論文鏈接：https://www.nature.com/articles/s41377-022-00717-8.pdf

新聞鏈接：http://wnlo.hust.edu.cn/info/1641/10704.htm

免責(zé)聲明：

  網(wǎng)站內(nèi)容來(lái)源于互聯(lián)網(wǎng)，由網(wǎng)絡(luò)編輯負(fù)責(zé)審查，目的在于傳遞信息，提供專(zhuān)業(yè)服務(wù)，不代表本網(wǎng)站平臺(tái)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé)。如因內(nèi)容、版權(quán)問(wèn)題存在異議的，請(qǐng)與我們?nèi)〉寐?lián)系，我們將協(xié)調(diào)給予處理（按照法規(guī)支付稿費(fèi)或刪除），聯(lián)系方式：ahos@aiofm.ac.cn 。網(wǎng)站平臺(tái)將加強(qiáng)監(jiān)控與審核，一旦發(fā)現(xiàn)違反規(guī)定的內(nèi)容，按國(guó)家法規(guī)處理，處理時(shí)間不超過(guò)24小時(shí)。