近日，上?？萍即髮W教授王成和團隊，成功構建了首例全光深度儲備池計算機，解決了儲備池光計算機的深度架構問題。
這款計算機的工作頻率為 20GHz，時延為 263ns，它可以產(chǎn)生 5000 余個神經(jīng)元節(jié)點，對應的算力為 101TOPS。
（來源：Optica）
這不僅是以全光形式連接儲備池隱藏層的第一例工作，也針對儲備池計算機的可解釋性提供了強有力的證據(jù)。
同時，這款深度儲備池計算機通過耦合的激光器，解決了信號均衡的問題，而且大部分信號處理都發(fā)生在光域，故能大大減小計算的時延。
通過使用級聯(lián)光注入鎖定的技術，課題組構建了 4 層隱藏層，每個隱藏層由一個半導體激光芯片和一個光學反饋環(huán)構成，其中光學反饋環(huán)可以產(chǎn)生光學神經(jīng)元和光學突觸。
在相關論文之中，盡管他們只使用了其中 320 個神經(jīng)元節(jié)點，來處理光纖通信中的非線性信道均衡的任務，但是依舊取得了非常好的效果。
據(jù)介紹，非線性信道均衡問題是后香農(nóng)時代的十大數(shù)學難題之一。在光纖通信領域，學界和業(yè)界都非常關注這一問題。
而該團隊所提出的深度儲備池光計算機架構主要擁有兩大優(yōu)勢：
一是隱藏層之間的連接是全光的，無需任何光電轉換和模數(shù)轉換的過程，因此具有低能耗和低時延的優(yōu)勢；
二是該架構的可拓展性極好，當儲備池深度增加的時候，也不會減小系統(tǒng)中的光功率，因此可以根據(jù)任務需要，來構建任意深度的儲備池光計算機。
多年來，包括 Nature 和 Science 在內(nèi)的期刊報道了多種光計算架構和實現(xiàn)方案，可以說光計算在學界備受關注。同時，投資界也非?？春眠@一領域，目前國內(nèi)外已經(jīng)涌現(xiàn)多家光計算公司。
當前的大部分光計算產(chǎn)品，旨在解決神經(jīng)網(wǎng)絡中矩陣運算的問題，即替代 GPU 或部分 GPU 的運算功能。當這類光計算產(chǎn)品的工作時，依舊需要在軟件層面實現(xiàn)神經(jīng)網(wǎng)絡算法。
而對于硬件化的光學神經(jīng)網(wǎng)絡來說，它則采用了完全不同的概念。正因此，未來儲備池光計算機主要能被用于邊緣計算。
典型的邊緣計算場景包括智能制造、機器人、智慧醫(yī)療、智能交通、智慧家居等。
根據(jù) Gartner 預測，預計 2026 年全球邊緣 AI 芯片市場規(guī)模達到 688 億美元。相比目前市面上的主流邊緣計算產(chǎn)品，在同等功耗之下，儲備池光計算機的算力高出 1 個數(shù)量級，時延則能降低 3 到 4 個數(shù)量級。
提出真問題，解決真矛盾
對于人工智能來說，人們更多震撼于它的功能之強大。但是，它的發(fā)展離不開“背后三兄弟”的支持：算法、算力和數(shù)據(jù)（即人工智能三要素）。
當前最主流的算法是人工神經(jīng)網(wǎng)絡，常見的人工神經(jīng)網(wǎng)絡包括全連接神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡、循環(huán)神經(jīng)網(wǎng)絡、以及 Transformer 神經(jīng)網(wǎng)絡。其中，ChatGPT 所使用的正是 Transformer 神經(jīng)網(wǎng)絡。
而在循環(huán)神經(jīng)網(wǎng)絡算法之中，儲備池計算則是一種特殊的存在。2000 年初，儲備池計算被正式提出。當時，由于循環(huán)神經(jīng)網(wǎng)絡普遍存在梯度消失和梯度爆炸的問題，以至于無法對其進行訓練。
但是，人們發(fā)現(xiàn)對于儲備池計算架構來說，當讓它的輸入層和隱藏層的權重保持隨機固定的時候，這時只需要訓練輸出層的權重，不僅訓練成本低，而且訓練速度非?？欤軌蚝芎玫亟鉀Q循環(huán)神經(jīng)網(wǎng)絡的訓練問題。
目前，人們主要通過軟件方式，來實現(xiàn)人工神經(jīng)網(wǎng)絡算法，然后依賴計算機提供的算力進行數(shù)據(jù)學習。然而，隨著大規(guī)模生成式人工智能的發(fā)展，也給包括 GPU、CPU 在內(nèi)的數(shù)字計算芯片的算力和功耗提出了巨大挑戰(zhàn)。
而對于生物神經(jīng)網(wǎng)絡來說，它并不需要依賴軟件編程進行工作，而且功耗還比較低。那么，能否通過使用某種硬件，來構建類似生物神經(jīng)網(wǎng)絡的物理神經(jīng)元和物理突觸？
基于此，人們提出了硬件神經(jīng)網(wǎng)絡（即物理神經(jīng)網(wǎng)絡）的概念。相比數(shù)字化的軟件神經(jīng)網(wǎng)絡，這種模擬化的硬件神經(jīng)網(wǎng)絡兼具低功耗和低時延的優(yōu)勢。
2010 年以后，包括電子和光電子在內(nèi)的諸多領域，關于儲備池計算機始的研究呈現(xiàn)出長盛不衰的趨勢。當時，基于各種器件的儲備池計算機成果層出不窮，其中的主流器件主要有憶阻器、自旋電子器件、量子器件、以及半導體激光器。
相比儲備池電計算機，儲備池光計算機的最大優(yōu)勢在于速度快、時延低、能效比高。但是，目前為止大部分儲備池計算機僅僅具有單層架構。
然而，根據(jù)深度學習理論可知，只有當儲備池計算機具備深層架構的時候，才能將其用于處理現(xiàn)實場景中的復雜任務。
和其他光計算架構不同的是，儲備池光計算的理解相對比較困難。從事這類課題的時候，必須具備半導體激光器、非線性動力學和深度學習方面的背景知識，并且三者缺一不可。而在過去王成在這三方面尤其是在半導體激光器研究上，已經(jīng)積累了不少經(jīng)驗。
一個暑假學完深度學習經(jīng)典教材
王成表示，2013 年當自己還在法國國立應用科學學院讀博時，他在一場學術會議上第一次聽說了儲備池光計算的概念。
但在當時由于自己缺少人工智能的背景知識，他幾乎完全聽不懂報告人在講什么。后續(xù)，當他參加其他學術會議的時候，聽到了越來越多的儲備池光計算報告。
2018 年，王成已經(jīng)入職上?？萍即髮W。那一年，他在香港參加一次學術會議，與一位來自法國的學者深入討論了這樣一個問題：要不要從事儲備池光計算的研究？
“當時他給我的建議是這個領域的研究周期很長，非常不利于論文的發(fā)表。而我是 2019 年暑假才下定決心研究儲備池光計算。當時，我用了一整個暑假學習‘GANs 之父’Ian Goodfellow 經(jīng)典教材 Deep Learning?！蓖醭烧f。
他繼續(xù)說道：“2019 年 9 月開學時，一位非常聰明的推免生湯佳燕加入我的課題組，開始了本次課題的研究。此前她主要研究通信，但是她的學習能力很強，很快補上了所需要的全部背景知識，同時她的理論建模能力和實驗操作能力也很強?！?/span>
而找出“真”問題并提出主要矛盾，是王成和團隊在研究伊始立下的心志。他表示：“解決真問題的研究才是有價值的研究，同時這個問題必須是當前儲備池計算發(fā)展面臨的主要矛盾，只有這樣投入精力去解決它才有意義。”
“實際上提出問題和解決問題，是一個從簡單到復雜的過程。在我們解決儲備池計算機的深度問題之前，我們首先解決了異步的問題，然后解決了并行的問題，且都對應產(chǎn)出了相應的學術論文?！彼a充稱。
圖 | 王成（來源：王成）
而在前不久，關于本次研究的論文以《深度光子池計算循環(huán)網(wǎng)絡》（Deep photonic reservoir computing recurrent network）為題發(fā)在 Optica（IF 10.4）。
上?？萍即髮W碩士生申祎瑋是第一作者，博士生李睿潛和碩士生劉冠廷分別是第二作者和第三作者，王成教授擔任通訊作者。
圖 | 相關論文（來源：Optica）
“另外，我想特別感謝我的同事何旭明教授和虞晶怡教授，他們是人工智能領域的資深專家，在人工神經(jīng)網(wǎng)絡上給我們提供了很多指導。我們也已經(jīng)聯(lián)合培養(yǎng)了數(shù)位學生，如果沒有他們一起合作的話，我們也不可能快速推進儲備池光計算機方面的工作?！蓖醭杀硎尽?/span>
而在未來，他和團隊也將再接再厲爭取實現(xiàn)儲備池光計算機的小型化以及集成化，同時拓展儲備池光計算機的應用場景?！胺浅g迎有應用需求的朋友與我們聯(lián)系，一起共同開展研究工作?！逼浔硎尽?/span>
參考資料：
1.Shen, Y. W., Li, R. Q., Liu, G. T., Yu, J., He, X., Yi, L., & Wang, C. (2023). Deep photonic reservoir computing recurrent network.Optica, 10(12), 1745-1751.
排版：朵克斯
版權聲明：本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻，該文觀點僅代表作者本人。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。如發(fā)現(xiàn)本站有涉嫌抄襲侵權/違法違規(guī)的內(nèi)容， 請發(fā)送郵件至 舉報，一經(jīng)查實，本站將立刻刪除。
