近日，上海科技大學(xué)教授王成和團隊，成功構(gòu)建了首例全光深度儲備池計算機，解決了儲備池光計算機的深度架構(gòu)問題。

這款計算機的工作頻率為 20GHz，時延為 263ns，它可以產(chǎn)生 5000 余個神經(jīng)元節(jié)點，對應(yīng)的算力為 101TOPS。

（來源：Optica）

這不僅是以全光形式連接儲備池隱藏層的第一例工作，也針對儲備池計算機的可解釋性提供了強有力的證據(jù)。

同時，這款深度儲備池計算機通過耦合的激光器，解決了信號均衡的問題，而且大部分信號處理都發(fā)生在光域，故能大大減小計算的時延。

通過使用級聯(lián)光注入鎖定的技術(shù)，課題組構(gòu)建了 4 層隱藏層，每個隱藏層由一個半導(dǎo)體激光芯片和一個光學(xué)反饋環(huán)構(gòu)成，其中光學(xué)反饋環(huán)可以產(chǎn)生光學(xué)神經(jīng)元和光學(xué)突觸。

在相關(guān)論文之中，盡管他們只使用了其中 320 個神經(jīng)元節(jié)點，來處理光纖通信中的非線性信道均衡的任務(wù)，但是依舊取得了非常好的效果。

據(jù)介紹，非線性信道均衡問題是后香農(nóng)時代的十大數(shù)學(xué)難題之一。在光纖通信領(lǐng)域，學(xué)界和業(yè)界都非常關(guān)注這一問題。

而該團隊所提出的深度儲備池光計算機架構(gòu)主要擁有兩大優(yōu)勢：

一是隱藏層之間的連接是全光的，無需任何光電轉(zhuǎn)換和模數(shù)轉(zhuǎn)換的過程，因此具有低能耗和低時延的優(yōu)勢；

二是該架構(gòu)的可拓展性極好，當(dāng)儲備池深度增加的時候，也不會減小系統(tǒng)中的光功率，因此可以根據(jù)任務(wù)需要，來構(gòu)建任意深度的儲備池光計算機。

多年來，包括 Nature 和 Science 在內(nèi)的期刊報道了多種光計算架構(gòu)和實現(xiàn)方案，可以說光計算在學(xué)界備受關(guān)注。同時，投資界也非?？春眠@一領(lǐng)域，目前國內(nèi)外已經(jīng)涌現(xiàn)多家光計算公司。

當(dāng)前的大部分光計算產(chǎn)品，旨在解決神經(jīng)網(wǎng)絡(luò)中矩陣運算的問題，即替代 GPU 或部分 GPU 的運算功能。當(dāng)這類光計算產(chǎn)品的工作時，依舊需要在軟件層面實現(xiàn)神經(jīng)網(wǎng)絡(luò)算法。

而對于硬件化的光學(xué)神經(jīng)網(wǎng)絡(luò)來說，它則采用了完全不同的概念。正因此，未來儲備池光計算機主要能被用于邊緣計算。

典型的邊緣計算場景包括智能制造、機器人、智慧醫(yī)療、智能交通、智慧家居等。

根據(jù) Gartner 預(yù)測，預(yù)計 2026 年全球邊緣 AI 芯片市場規(guī)模達到 688 億美元。相比目前市面上的主流邊緣計算產(chǎn)品，在同等功耗之下，儲備池光計算機的算力高出 1 個數(shù)量級，時延則能降低 3 到 4 個數(shù)量級。

提出真問題，解決真矛盾

對于人工智能來說，人們更多震撼于它的功能之強大。但是，它的發(fā)展離不開“背后三兄弟”的支持：算法、算力和數(shù)據(jù)（即人工智能三要素）。

當(dāng)前最主流的算法是人工神經(jīng)網(wǎng)絡(luò)，常見的人工神經(jīng)網(wǎng)絡(luò)包括全連接神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、以及 Transformer 神經(jīng)網(wǎng)絡(luò)。其中，ChatGPT 所使用的正是 Transformer 神經(jīng)網(wǎng)絡(luò)。

而在循環(huán)神經(jīng)網(wǎng)絡(luò)算法之中，儲備池計算則是一種特殊的存在。2000 年初，儲備池計算被正式提出。當(dāng)時，由于循環(huán)神經(jīng)網(wǎng)絡(luò)普遍存在梯度消失和梯度爆炸的問題，以至于無法對其進行訓(xùn)練。

但是，人們發(fā)現(xiàn)對于儲備池計算架構(gòu)來說，當(dāng)讓它的輸入層和隱藏層的權(quán)重保持隨機固定的時候，這時只需要訓(xùn)練輸出層的權(quán)重，不僅訓(xùn)練成本低，而且訓(xùn)練速度非?？?，能夠很好地解決循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問題。

目前，人們主要通過軟件方式，來實現(xiàn)人工神經(jīng)網(wǎng)絡(luò)算法，然后依賴計算機提供的算力進行數(shù)據(jù)學(xué)習(xí)。然而，隨著大規(guī)模生成式人工智能的發(fā)展，也給包括 GPU、CPU 在內(nèi)的數(shù)字計算芯片的算力和功耗提出了巨大挑戰(zhàn)。

而對于生物神經(jīng)網(wǎng)絡(luò)來說，它并不需要依賴軟件編程進行工作，而且功耗還比較低。那么，能否通過使用某種硬件，來構(gòu)建類似生物神經(jīng)網(wǎng)絡(luò)的物理神經(jīng)元和物理突觸？

基于此，人們提出了硬件神經(jīng)網(wǎng)絡(luò)（即物理神經(jīng)網(wǎng)絡(luò)）的概念。相比數(shù)字化的軟件神經(jīng)網(wǎng)絡(luò)，這種模擬化的硬件神經(jīng)網(wǎng)絡(luò)兼具低功耗和低時延的優(yōu)勢。

2010 年以后，包括電子和光電子在內(nèi)的諸多領(lǐng)域，關(guān)于儲備池計算機始的研究呈現(xiàn)出長盛不衰的趨勢。當(dāng)時，基于各種器件的儲備池計算機成果層出不窮，其中的主流器件主要有憶阻器、自旋電子器件、量子器件、以及半導(dǎo)體激光器。

相比儲備池電計算機，儲備池光計算機的最大優(yōu)勢在于速度快、時延低、能效比高。但是，目前為止大部分儲備池計算機僅僅具有單層架構(gòu)。

然而，根據(jù)深度學(xué)習(xí)理論可知，只有當(dāng)儲備池計算機具備深層架構(gòu)的時候，才能將其用于處理現(xiàn)實場景中的復(fù)雜任務(wù)。

和其他光計算架構(gòu)不同的是，儲備池光計算的理解相對比較困難。從事這類課題的時候，必須具備半導(dǎo)體激光器、非線性動力學(xué)和深度學(xué)習(xí)方面的背景知識，并且三者缺一不可。而在過去王成在這三方面尤其是在半導(dǎo)體激光器研究上，已經(jīng)積累了不少經(jīng)驗。

一個暑假學(xué)完深度學(xué)習(xí)經(jīng)典教材

王成表示，2013 年當(dāng)自己還在法國國立應(yīng)用科學(xué)學(xué)院讀博時，他在一場學(xué)術(shù)會議上第一次聽說了儲備池光計算的概念。

但在當(dāng)時由于自己缺少人工智能的背景知識，他幾乎完全聽不懂報告人在講什么。后續(xù)，當(dāng)他參加其他學(xué)術(shù)會議的時候，聽到了越來越多的儲備池光計算報告。

2018 年，王成已經(jīng)入職上?？萍即髮W(xué)。那一年，他在香港參加一次學(xué)術(shù)會議，與一位來自法國的學(xué)者深入討論了這樣一個問題：要不要從事儲備池光計算的研究？

“當(dāng)時他給我的建議是這個領(lǐng)域的研究周期很長，非常不利于論文的發(fā)表。而我是 2019 年暑假才下定決心研究儲備池光計算。當(dāng)時，我用了一整個暑假學(xué)習(xí)‘GANs 之父’Ian Goodfellow 經(jīng)典教材 Deep Learning。”王成說。

他繼續(xù)說道：“2019 年 9 月開學(xué)時，一位非常聰明的推免生湯佳燕加入我的課題組，開始了本次課題的研究。此前她主要研究通信，但是她的學(xué)習(xí)能力很強，很快補上了所需要的全部背景知識，同時她的理論建模能力和實驗操作能力也很強。”

而找出“真”問題并提出主要矛盾，是王成和團隊在研究伊始立下的心志。他表示：“解決真問題的研究才是有價值的研究，同時這個問題必須是當(dāng)前儲備池計算發(fā)展面臨的主要矛盾，只有這樣投入精力去解決它才有意義。”

“實際上提出問題和解決問題，是一個從簡單到復(fù)雜的過程。在我們解決儲備池計算機的深度問題之前，我們首先解決了異步的問題，然后解決了并行的問題，且都對應(yīng)產(chǎn)出了相應(yīng)的學(xué)術(shù)論文?！彼a充稱。

圖 | 王成（來源：王成）

而在前不久，關(guān)于本次研究的論文以《深度光子池計算循環(huán)網(wǎng)絡(luò)》（Deep photonic reservoir computing recurrent network）為題發(fā)在 Optica（IF 10.4）。

上?？萍即髮W(xué)碩士生申祎瑋是第一作者，博士生李睿潛和碩士生劉冠廷分別是第二作者和第三作者，王成教授擔(dān)任通訊作者。

圖 | 相關(guān)論文（來源：Optica）

“另外，我想特別感謝我的同事何旭明教授和虞晶怡教授，他們是人工智能領(lǐng)域的資深專家，在人工神經(jīng)網(wǎng)絡(luò)上給我們提供了很多指導(dǎo)。我們也已經(jīng)聯(lián)合培養(yǎng)了數(shù)位學(xué)生，如果沒有他們一起合作的話，我們也不可能快速推進儲備池光計算機方面的工作?！蓖醭杀硎尽?/span>

而在未來，他和團隊也將再接再厲爭取實現(xiàn)儲備池光計算機的小型化以及集成化，同時拓展儲備池光計算機的應(yīng)用場景。“非常歡迎有應(yīng)用需求的朋友與我們聯(lián)系，一起共同開展研究工作?！逼浔硎尽?/span>

參考資料：

1.Shen, Y. W., Li, R. Q., Liu, G. T., Yu, J., He, X., Yi, L., & Wang, C. (2023). Deep photonic reservoir computing recurrent network.Optica, 10(12), 1745-1751.

排版：朵克斯