第一作者：Gianluca Milano
通訊作者：Carlo Ricciardi，Daniele Ielmini，Gianluca Milano
通訊單位：意大利都靈理工大學(xué)，米蘭理工大學(xué)，都靈國(guó)家計(jì)量研究所
一個(gè)由熱力學(xué)控制的“無(wú)序的Ag納米線網(wǎng)絡(luò)”被用作“有序的物理儲(chǔ)層”，在儲(chǔ)層計(jì)算的記憶實(shí)現(xiàn)中處理時(shí)空信息。
研究背景——儲(chǔ)備池計(jì)算系統(tǒng)
儲(chǔ)備池計(jì)算是一種基于遞歸神經(jīng)網(wǎng)絡(luò)的可高效處理時(shí)間信號(hào)的仿生學(xué)研究方法。在眾多神經(jīng)網(wǎng)絡(luò)算法中備受關(guān)注。硬件通常包括三個(gè)部分：輸入層、存儲(chǔ)層和輸出層。輸入層將模擬信號(hào)轉(zhuǎn)換為時(shí)間相關(guān)的脈沖串，并將它們輸入到儲(chǔ)層。儲(chǔ)備池由許多相互關(guān)聯(lián)的非線性元素組成，將時(shí)空輸入轉(zhuǎn)換為高維特征空間。輸出層是一個(gè)感知器，它讀取網(wǎng)絡(luò)的瞬態(tài)響應(yīng)，通常是通過(guò)單個(gè)節(jié)點(diǎn)的線性加權(quán)和，然后使用簡(jiǎn)單的算法（如線性回歸）進(jìn)一步計(jì)算結(jié)果，用于分類或預(yù)測(cè)目的。儲(chǔ)備池計(jì)算系統(tǒng)的一個(gè)獨(dú)特特點(diǎn)是不需要對(duì)儲(chǔ)備池進(jìn)行訓(xùn)練，從而大大減少了網(wǎng)絡(luò)規(guī)模和訓(xùn)練成本。在此之前，已有幾種新型器件用于實(shí)現(xiàn)物理儲(chǔ)層，包括光子、磁和記憶器件。然而，在大多數(shù)情況下，存儲(chǔ)層是由一個(gè)規(guī)則定義的設(shè)備網(wǎng)格組成的，例如交叉陣列。
研究?jī)?nèi)容——自組織Ag納米線網(wǎng)絡(luò)充當(dāng)了物理儲(chǔ)層
近日，意大利都靈理工大學(xué)的Carlo Ricciardi，米蘭理工大學(xué)的Daniele Ielmini和都靈國(guó)家計(jì)量研究所的Gianluca Milano等提出了一種新型材料儲(chǔ)層計(jì)算方案。包裹在薄聚合物層中的自組織Ag納米線的隨機(jī)網(wǎng)絡(luò)充當(dāng)了物理儲(chǔ)層。在每個(gè)結(jié)處都有一個(gè)擴(kuò)散憶阻器，它能自適應(yīng)地對(duì)電刺激作出反應(yīng)。一旦刺激被移除或減弱，設(shè)備就會(huì)回到原來(lái)的高電阻狀態(tài)，以最小化界面能，網(wǎng)絡(luò)也會(huì)根據(jù)熱力學(xué)定律回到“基態(tài)”。輸出層由非易失性記憶電阻器交叉陣列構(gòu)成，該陣列讀出儲(chǔ)層的瞬態(tài)響應(yīng)，并根據(jù)訓(xùn)練輸出層的特定算法進(jìn)一步處理信息。該研究表明，完全記憶結(jié)構(gòu)可以處理輸入信號(hào)的時(shí)間和空間性質(zhì)，并可能在腦啟發(fā)或神經(jīng)形態(tài)計(jì)算硬件技術(shù)中開啟一個(gè)新的篇章。
本文要點(diǎn)：
1）在該方案中，儲(chǔ)層是由聚合物包覆的Ag納米線組成的自組織、隨機(jī)排列的網(wǎng)絡(luò)構(gòu)成的。Ag納米線從溶液中沉積到基片上，而不需要通常用于制造計(jì)算機(jī)芯片的復(fù)雜光刻程序。
2）儲(chǔ)層物理狀態(tài)的動(dòng)力學(xué)由Ag納米線網(wǎng)絡(luò)的電導(dǎo)率圖表示，當(dāng)施加外部電刺激時(shí)，在每個(gè)結(jié)處都可以觸發(fā)離子運(yùn)動(dòng)。換句話說(shuō)，這些結(jié)的行為就像擴(kuò)散記憶電阻器，根據(jù)時(shí)空輸入模式改變其電導(dǎo)。
3）研究人員還使用記憶器件構(gòu)建了一個(gè)讀出層，并通過(guò)實(shí)驗(yàn)演示了全記憶儲(chǔ)層計(jì)算系統(tǒng)在圖像分類和時(shí)間序列預(yù)測(cè)中的應(yīng)用。
早在近10年前，就有人提出了使用自組織的隨機(jī)網(wǎng)絡(luò)用于儲(chǔ)備池計(jì)算，特別是聚合物包裹的Ag納米線。例如，James Gimzewski和他的合作者用Ag2S/Ag2Se納米線構(gòu)建了原子開關(guān)網(wǎng)絡(luò)，并提出了它們?cè)趦?chǔ)層計(jì)算中的應(yīng)用（Stieg, A. Z. et al. Adv. Mater. 24, 286–293 (2012)）。然而，大多數(shù)早期工作集中在使用模擬方法進(jìn)行可行性研究。直到最近，實(shí)驗(yàn)表明，儲(chǔ)層計(jì)算框架可以用于各種人工智能任務(wù)，包括語(yǔ)音數(shù)字分類。在該研究中，Milano和他的同事們更進(jìn)一步通過(guò)實(shí)驗(yàn)演示了一個(gè)由非易失性憶阻器件構(gòu)成的讀出層的全憶阻系統(tǒng)。
Ag納米線網(wǎng)絡(luò)基儲(chǔ)備池計(jì)算系統(tǒng)的搭建
圖1. 基于記憶型自組織納米線網(wǎng)絡(luò)的物理儲(chǔ)備池計(jì)算系統(tǒng)。
在交叉的自組織納米線網(wǎng)絡(luò)上利用電化學(xué)電位差誘導(dǎo)Ag的陽(yáng)極溶解，形成Ag+離子，遷移到聚乙烯吡咯烷酮(PVP)絕緣自組織納米線網(wǎng)絡(luò)殼層中，形成導(dǎo)電橋，從而調(diào)節(jié)結(jié)的電導(dǎo)率。記憶神經(jīng)網(wǎng)絡(luò)讀出是通過(guò)在TaOxReRAM交叉點(diǎn)設(shè)備陣列的模擬電導(dǎo)水平上映射與每個(gè)輸出神經(jīng)元相關(guān)的突觸權(quán)值來(lái)實(shí)現(xiàn)的，其中電阻開關(guān)依賴于亞化學(xué)計(jì)量的導(dǎo)電絲的形成/斷裂。
與生物有機(jī)體神經(jīng)網(wǎng)絡(luò)相似，Ag納米線網(wǎng)絡(luò)的計(jì)算特性表現(xiàn)為自組織和高度連接的系統(tǒng)集合屬性，具有大量相互作用的組件(記憶元素)。通過(guò)將納米線網(wǎng)絡(luò)網(wǎng)絡(luò)與ReRAM設(shè)備的記憶讀出網(wǎng)絡(luò)耦合，實(shí)現(xiàn)了對(duì)時(shí)空模式的識(shí)別。
圖2. 記憶性自組織納米線網(wǎng)絡(luò)物理儲(chǔ)備池的非線性動(dòng)力學(xué)和衰落記憶特性。
圖3. 完全記憶的物理儲(chǔ)備池計(jì)算和自組織納米線網(wǎng)絡(luò)的時(shí)空演變。
圖4. 基于記憶性自組織納米線網(wǎng)絡(luò)的全記憶性納米結(jié)構(gòu)模式分類。
圖5. 自組織納米線網(wǎng)絡(luò)儲(chǔ)備池作為可擴(kuò)展的計(jì)算基底用于多個(gè)任務(wù)。
目前大多數(shù)集成電路是由先進(jìn)的光刻技術(shù)所定義的按規(guī)則模式排列的器件組成的。相比之下，終極高效的計(jì)算機(jī)——人類的大腦——擁有數(shù)千億神經(jīng)元，這些神經(jīng)元不一定按規(guī)則排列。利用看似無(wú)序的納米材料的特性進(jìn)行計(jì)算將大大降低硬件制造的成本。納米線的隨機(jī)網(wǎng)絡(luò)使得該設(shè)備能夠在熱力學(xué)定律下工作。當(dāng)受到施加的偏置刺激時(shí)，這些自組織網(wǎng)絡(luò)實(shí)現(xiàn)了一種顯示出復(fù)雜動(dòng)力學(xué)的穩(wěn)態(tài)。如果刺激保持在相對(duì)較低的水平，非平衡的絲狀結(jié)構(gòu)會(huì)以不同的速度在整個(gè)網(wǎng)絡(luò)中自發(fā)溶解。換句話說(shuō)，熱力學(xué)總是會(huì)驅(qū)動(dòng)設(shè)備，從而神經(jīng)網(wǎng)絡(luò)回到“基態(tài)”，開始新一輪的計(jì)算。
亂中有序
著名的瑞士心理學(xué)家和精神病學(xué)家卡爾·榮格曾經(jīng)說(shuō)過(guò):“在一切混沌之中有一個(gè)宇宙，在一切混亂之中有一個(gè)秘密的秩序。”當(dāng)榮格描述意識(shí)時(shí)，他的這句話也適用于計(jì)算硬件。該研究工作是一個(gè)非常完美的例子，說(shuō)明了熱力學(xué)是如何“秘密地”控制無(wú)序的計(jì)算，比如在無(wú)序的納米線網(wǎng)絡(luò)中。
參考文獻(xiàn)：
1、Milano, G., Pedretti, G., Montano, K. et al. In materia reservoir computing with a fully memristive architecture based on self-organizing nanowire networks. Nat. Mater. (2021).
DOI:10.1038/s41563-021-01099-9
https://doi.org/10.1038/s41563-021-01099-9
2、Xia, Q., Yang, J.J. & Midya, R. The secret order of disorder. Nat. Mater. (2021).
DOI:10.1038/s41563-021-01110-3
https://doi.org/10.1038/s41563-021-01110-3
