混合價(jià)態(tài)錳的準(zhǔn)確分解對(duì)于表征含錳電子、電催化和儲(chǔ)能材料的電子結(jié)構(gòu)、電荷轉(zhuǎn)移和氧化還原中心有重要意義。Mn L2,3 吸收邊的電子能量損失光譜 (EELS) 和X 光吸收光譜 (XAS) 測(cè)量被廣泛用于此目的。迄今為止，盡管在樣品準(zhǔn)備得當(dāng)?shù)那闆r下，Mn L2,3 邊的測(cè)量很簡(jiǎn)單，但 Mn 混合價(jià)態(tài)的準(zhǔn)確分解仍然具有挑戰(zhàn)性。對(duì)于 EELS 和 XAS，需要在同一儀器/光束線上獲取 2+、3+ 和 4+ 參考光譜，并且最好在同一實(shí)驗(yàn)中獲取，因?yàn)閮x器分辨率和能量軸偏移可能因?qū)嶒?yàn)而異。
為了克服這一障礙，在本研究中，加州大學(xué)爾灣分校忻獲麟教授課題組采用了深度學(xué)習(xí)開(kāi)發(fā)了一種免校準(zhǔn)和免參考的方法來(lái)精準(zhǔn)分解EELS 和 XAS 中的Mn L2,3 邊。該研究訓(xùn)練了深度學(xué)習(xí)回歸模型以準(zhǔn)確預(yù)測(cè)混合價(jià)態(tài)Mn的組成。為了合成物理信息和真實(shí)標(biāo)記的訓(xùn)練數(shù)據(jù)集，我們創(chuàng)建了一個(gè)正向模型，該模型考慮了復(fù)數(shù)散射、儀器展寬、噪聲和能量軸偏移。通過(guò)該模型，我們創(chuàng)建了一個(gè)包含 120 萬(wàn)個(gè)光譜的數(shù)據(jù)庫(kù)，其中每個(gè)光譜擁有對(duì)應(yīng)的3元的組成向量。該數(shù)據(jù)庫(kù)包括同時(shí)包括了 EELS 和 XAS 光譜。通過(guò)在這個(gè)大型數(shù)據(jù)庫(kù)上進(jìn)行訓(xùn)練，我們的神經(jīng)網(wǎng)絡(luò)在驗(yàn)證數(shù)據(jù)集上實(shí)現(xiàn)了 85% 的準(zhǔn)確率。我們對(duì)模型進(jìn)行了測(cè)試，并發(fā)現(xiàn)它對(duì)噪聲（下降到10的峰值信噪比）和多重散射（高達(dá)t/λ = 1）都具有穩(wěn)健性。我們進(jìn)一步使用了未用于訓(xùn)練的光譜數(shù)據(jù)驗(yàn)證該神經(jīng)網(wǎng)絡(luò)。該模型在分解Mn3O4、MnO、Mn2O3和MnO2方面均顯示出高準(zhǔn)確度和高靈敏度。Mn3O4實(shí)驗(yàn)數(shù)據(jù)的準(zhǔn)確分解顯示該模型在量化上是正確的，并且可用于真實(shí)的實(shí)驗(yàn)數(shù)據(jù)。我們的模型不僅將成為研究人員和材料科學(xué)家的寶貴工具，還可以協(xié)助經(jīng)驗(yàn)豐富的電子顯微鏡技術(shù)人員和同步輻射科學(xué)家自動(dòng)分析錳L邊。
研究細(xì)節(jié)
錳參考光譜的收集與標(biāo)準(zhǔn)化處理
為了獲得足夠多樣化的數(shù)據(jù)，以捕捉EELS和XAS錳2+、3+和4+邊的特征，在本研究中，我們使用WebPlotDigitizer對(duì)記錄在6篇文獻(xiàn)中的23個(gè)實(shí)驗(yàn)EELS和13個(gè)XAS錳光譜進(jìn)行了數(shù)字化，共計(jì)38個(gè)。在圖1中，我們展示了用于制作訓(xùn)練庫(kù)的所有光譜。（錳2.67+光譜未用于合成在訓(xùn)練庫(kù)中）。在表1中，我們列出了我們數(shù)字化光譜的化合物以及它們的原始參考文獻(xiàn)。所有數(shù)據(jù)都被標(biāo)準(zhǔn)化為從630.5電子伏特（eV）到669.4 eV的范圍，間隔為0.1 eV（共338個(gè)數(shù)據(jù)點(diǎn)）。對(duì)于缺失數(shù)據(jù)，光譜的左側(cè)填充為零，右側(cè)填充為光譜的結(jié)束值。
圖1. 制作訓(xùn)練庫(kù)時(shí)使用的EELS和XAS錳L2,3邊。所展示的Mn 2.67+未包含在訓(xùn)練庫(kù)中。
表1. Mn L2,3邊的化合物信息和參考文獻(xiàn)。
為了定量地組合2+、3+和4+錳光譜，我們需要按照正確的比例進(jìn)行標(biāo)準(zhǔn)化處理。為了實(shí)現(xiàn)這一點(diǎn)，我們根據(jù)d電子空穴數(shù)來(lái)標(biāo)準(zhǔn)化錳L3邊。元素錳的電子構(gòu)型為[Ar] 3d5 4s2。因此，Mn2+、3+、4+的電子構(gòu)型分別為 [Ar] 3d5、[Ar] 3d4、[Ar] 3d3。由于d層可以容納10個(gè)電子，Mn 2+、3+和4+的空穴數(shù)分別為5、6和7。因此，在L3峰下和連續(xù)背景之上的面積應(yīng)與d電子空穴數(shù)成比例。L2,3邊下的連續(xù)背景可以由兩個(gè)階躍函數(shù)建模，階躍高度遵循1:2的占據(jù)比例。（填充的2p3/2和2p1/2軌道的占據(jù)比例為1:2）。在從光譜中減去背景后，可以計(jì)算出d電子空穴面積（圖2）。通過(guò)這個(gè)找到d電子空穴面積的過(guò)程，我們可以正確地將2+、3+和4+光譜進(jìn)行比例調(diào)整。
光譜的合成
s = xMn2+ + yMn3+ + zMn4+
其中，x + y + z = 1
組成= [x, y, z]
在合成光譜時(shí)，我們僅組合了從同一文獻(xiàn)的錳光譜因?yàn)橐M合的光譜必須具有相同的儀器分辨率。訓(xùn)練數(shù)據(jù)集的組成在表2中有詳細(xì)說(shuō)明。總共包含了1,200,000個(gè)合成光譜。
在光譜組合后，我們對(duì)每個(gè)光譜進(jìn)行了模擬復(fù)數(shù)散射、儀器展寬、噪聲和能量軸偏移的處理以追求光譜的擬真性。表3總結(jié)了每項(xiàng)模擬所使用的參數(shù)。
我們的大腦如何處理或識(shí)別光譜特征與識(shí)別圖像中的空間特征非常相似。受此啟發(fā)，我們采用了在圖像分類中用于特征提取的卷積層。我們同時(shí)使用了全連接層（也稱為密集層）將這些特征連接起來(lái)，用于組成回歸。神經(jīng)網(wǎng)路的輸入是一維光譜，輸出的是一個(gè)3元組成向量（圖3）。我們將這個(gè)網(wǎng)絡(luò)稱為卷積回歸網(wǎng)絡(luò)（CRN）。與分類網(wǎng)絡(luò)不同，回歸網(wǎng)絡(luò)的輸出是連續(xù)的數(shù)字，而不是二進(jìn)制數(shù)字。因此，我們使用均方誤差函數(shù)作為損失函數(shù)。對(duì)于特征提取，我們使用了三個(gè)卷積層。每個(gè)卷積層后跟隨著泄漏線性整流單元（leaky ReLU）和最大池化。最后一個(gè)卷積層輸出41 * 128 = 5248個(gè)濾波特征。在回歸層中，我們使用了三個(gè)全連接層，神經(jīng)元數(shù)量依次為2048、512，然后是3個(gè)帶有泄漏線性整流單元的神經(jīng)元。最終輸出是最后的3個(gè)神經(jīng)元層的softmax歸一化，以確保組成向量的總和為1。
圖3. 卷積回歸網(wǎng)絡(luò)結(jié)構(gòu)。
表4總結(jié)了神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中的參數(shù)與細(xì)節(jié)。在輸入網(wǎng)絡(luò)之前，所有光譜都被減去均值并除以標(biāo)準(zhǔn)差。在每個(gè)最大池化層之前，都添加了dropout，dropout率為0.1。我們使用了Adam優(yōu)化算法進(jìn)行學(xué)習(xí)，該算法基于自適應(yīng)估計(jì)的低階矩對(duì)隨機(jī)目標(biāo)函數(shù)進(jìn)行一階梯度優(yōu)化。學(xué)習(xí)率設(shè)置為8E-5。批大小為32。如圖4所示，模型收斂迅速；因此，僅使用了4個(gè)訓(xùn)練周期以避免過(guò)擬合。
表4. 神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中的參數(shù)與細(xì)
圖4. 均方誤差（MSE）損失隨處理的訓(xùn)練周期變化的情況。
我們對(duì)合成的訓(xùn)練數(shù)據(jù)庫(kù)進(jìn)行了80/20的劃分，將其劃分為80%的訓(xùn)練集和20%的驗(yàn)證集。模型的準(zhǔn)確性是在驗(yàn)證集上進(jìn)行評(píng)估的。準(zhǔn)確的預(yù)測(cè)被定義為預(yù)測(cè)的化合價(jià)在真實(shí)化合價(jià)的±0.1范圍內(nèi)。
我們還在參考數(shù)據(jù)和測(cè)試數(shù)據(jù)上評(píng)估了我們的神經(jīng)網(wǎng)絡(luò)。參考數(shù)據(jù)是我們從文獻(xiàn)中數(shù)字化的數(shù)據(jù)，用于構(gòu)建訓(xùn)練數(shù)據(jù)庫(kù)（圖1中的光譜）。測(cè)試數(shù)據(jù)是新的實(shí)驗(yàn)和文獻(xiàn)數(shù)據(jù)，從未用于訓(xùn)練數(shù)據(jù)庫(kù)的構(gòu)建。
實(shí)驗(yàn)結(jié)果
在驗(yàn)證集上，經(jīng)過(guò)訓(xùn)練的模型達(dá)到了85%的準(zhǔn)確率。圖5顯示了預(yù)測(cè)與實(shí)際結(jié)果之間的散點(diǎn)圖（從驗(yàn)證集中隨機(jī)選擇了2000個(gè)光譜）。為了更詳細(xì)地查看預(yù)測(cè)分解的性能，我們提供了一個(gè)預(yù)測(cè)組成的表格，如表5所示。表格顯示模型在驗(yàn)證數(shù)據(jù)集上的分解相對(duì)準(zhǔn)確。
圖5. 預(yù)測(cè)與實(shí)際結(jié)果之間的散點(diǎn)圖
表5. 驗(yàn)證光譜上的分解
表6. 驗(yàn)證數(shù)據(jù)中多重散射的分解穩(wěn)健性
為了測(cè)試模型在噪聲干擾下的表現(xiàn)，我們?cè)贛nO、Mn2O3和MnO2上測(cè)試了噪聲效應(yīng)。如表7所示，模型在峰值信噪比（PSNR）為20時(shí)仍然穩(wěn)健。在PSNR為10時(shí)，2+和4+比3+更穩(wěn)定。
表7. 含噪聲的驗(yàn)證數(shù)據(jù)的分解穩(wěn)健性
對(duì)測(cè)試數(shù)據(jù)的驗(yàn)證對(duì)于理解機(jī)器學(xué)習(xí)模型的準(zhǔn)確性和穩(wěn)健性至關(guān)重要。我們對(duì)Mn3O4進(jìn)行了實(shí)驗(yàn)數(shù)據(jù)收集，但未用于訓(xùn)練。它是具有Mn2+和Mn3+的混合態(tài)，理論比例為1:2，平均化合價(jià)為+2.67。圖6顯示了預(yù)測(cè)的化合價(jià)隨厚度變化的情況，Mn3O4分解如表8所示。模型準(zhǔn)確預(yù)測(cè)了2+/3+之間的比例，誤差較小。預(yù)測(cè)在t/λ = 1.5處開(kāi)始偏離實(shí)際結(jié)果，這大于用于訓(xùn)練的最大擴(kuò)增范圍。因此，預(yù)計(jì)性能會(huì)減弱。
圖6. 神經(jīng)網(wǎng)絡(luò)在不同厚度下對(duì)Mn3O4進(jìn)行的預(yù)測(cè)
噪聲污染的Mn3O4光譜如圖7所示。預(yù)測(cè)的化合價(jià)分解如表8所示。在PSNR降低到10（信噪比降至2）時(shí)，2+和3+之間的比例保持接近1:2。當(dāng)PSNR低于10（信噪比低于2）時(shí)，組成比例開(kāi)始偏離理論實(shí)際結(jié)果，這是預(yù)期的情況（噪聲擴(kuò)增范圍為PSNR = [10,30]）。
圖7. 來(lái)自測(cè)試數(shù)據(jù)的Mn3O4光譜，其噪聲水平的變化情況
表8. 神經(jīng)網(wǎng)絡(luò)在測(cè)試數(shù)據(jù)（Mn3O4）上的分解穩(wěn)健性對(duì)噪聲的測(cè)試
為了進(jìn)一步在測(cè)試數(shù)據(jù)上測(cè)試模型，我們從文獻(xiàn)和實(shí)驗(yàn)中收集了更多具有非常不同能量分辨率的EELS和XAS數(shù)據(jù)。圖8中顯示的所有數(shù)據(jù)均未用于訓(xùn)練。圖中顯示的EELS數(shù)據(jù)來(lái)自文獻(xiàn)5、19，而XAS數(shù)據(jù)來(lái)自我們?cè)贜SLSII和臺(tái)灣光源進(jìn)行的實(shí)驗(yàn)收集。圖7顯示了我們的模型預(yù)測(cè)的EELS/XAS Mn L2, 3邊的分解。所有預(yù)測(cè)都在合理的誤差范圍內(nèi)。值得注意的是，該模型對(duì)XAS和EELS光譜均有效。XAS和EELS具有非常不同的能量分辨率。在XAS中，TEY和PFY的細(xì)微結(jié)構(gòu)也有明顯的差異。此外，能量起始點(diǎn)也各不相同。然而，如所示，我們的模型仍然具有平移不變性，并且足夠穩(wěn)健，能夠正確地分解它們的氧化態(tài)
圖8. 神經(jīng)網(wǎng)絡(luò)在未用于訓(xùn)練的數(shù)據(jù)上的分解敏感性
在這項(xiàng)工作中，我們構(gòu)建了一個(gè)深度回歸學(xué)習(xí)網(wǎng)絡(luò)，用于準(zhǔn)確分解EELS和XAS光譜中錳的混合價(jià)態(tài)。通過(guò)將錳L2,3邊光譜輸入神經(jīng)網(wǎng)絡(luò)，可以預(yù)測(cè)Mn2+、3+和4+的比例。為了訓(xùn)練網(wǎng)絡(luò)，我們還創(chuàng)建了一個(gè)前向模型，用于合成混合價(jià)態(tài)錳的L2, 3邊光譜。在創(chuàng)建前向模型時(shí)，我們考慮了多重散射、儀器展寬、噪聲和能量軸偏移。使用前向模型，我們合成了一個(gè)120萬(wàn)個(gè)光譜的數(shù)據(jù)集，用于網(wǎng)絡(luò)的訓(xùn)練和驗(yàn)證。網(wǎng)絡(luò)還在測(cè)試光譜上進(jìn)行了測(cè)試，這些光譜是從實(shí)驗(yàn)中收集的真實(shí)光譜，未在數(shù)據(jù)集合成中使用。網(wǎng)絡(luò)在驗(yàn)證和測(cè)試光譜上的高準(zhǔn)確性表明它可以準(zhǔn)確地分解錳L2,3邊。網(wǎng)絡(luò)對(duì)抗噪聲（峰值信噪比下降到10）和多重散射（t/λ達(dá)到1）的穩(wěn)健性證明了我們網(wǎng)絡(luò)的高靈敏度和穩(wěn)定性。此外，網(wǎng)絡(luò)在MnO、Mn2O3、Mn3O4和MnO2等常見(jiàn)化合物上表現(xiàn)出色，這意味著我們的模型可以在實(shí)際實(shí)驗(yàn)中使用和信賴。這項(xiàng)工作顯示，使用深度學(xué)習(xí)算法可以在沒(méi)有參考和校準(zhǔn)的情況下準(zhǔn)確分解EELS和XAS光譜中錳的混合價(jià)態(tài)。將來(lái)，本文中描述的方法也可以推廣到其他過(guò)渡金屬，如鐵，因?yàn)樗鼈兣c錳具有類似的化學(xué)性質(zhì)。這項(xiàng)工作為研究L2,3邊的細(xì)微結(jié)構(gòu)以及AI驅(qū)動(dòng)的自主透射電子顯微鏡的發(fā)展提供了新的思路。
參考文獻(xiàn)：
Ji, Z., Hu, M. & Xin, H.L. MnEdgeNet for accurate decomposition of mixed oxidation states for Mn XAS and EELS L2,3 edges without reference and calibration. Sci Rep 13, 14132 (2023).
https://doi.org/10.1038/s41598-023-40616-5
文章鏈接：
https://www.nature.com/articles/s41598-023-40616-5
作者簡(jiǎn)介
忻獲麟，正教授，康奈爾大學(xué)博士學(xué)位。2013年到2018年間，他在布魯克海文實(shí)驗(yàn)室建立了三維原位表征課題組。2018年夏，轉(zhuǎn)職于美國(guó)加州大學(xué)尓灣分校物理系并建立了以深度學(xué)習(xí)為基礎(chǔ)的人工智能和能源材料研究組DeepEM Lab。忻獲麟教授是電子顯微學(xué)領(lǐng)域國(guó)際上的知名專家，是電鏡行業(yè)頂級(jí)年會(huì)Microscopy and Microanalysis 2020的大會(huì)主席以及2019年的大會(huì)副主席，是NSLSII光源的科學(xué)顧問(wèn)委員會(huì)成員，是布魯克海文國(guó)家實(shí)驗(yàn)室的功能納米材料中心和勞倫斯伯克利國(guó)家實(shí)驗(yàn)室提案審查委員會(huì)成員。他于2021年獲得Materials Research Society的杰青獎(jiǎng)（Outstanding Early-Career Investigator Award），Microscopy Society of America 的伯頓獎(jiǎng)?wù)拢˙urton Medal），UC Irvine的杰青獎(jiǎng)（UCI Academic Senate Early-Career Faculty Award）；2020年獲得能源部杰青獎(jiǎng)(DOE Early Career Award)；獲全球30 Climate Action 英杰獎(jiǎng)；Clarivate全球高引。他在表征和清潔能源方面的研究受到政府和大型企業(yè)的關(guān)注。2018年至今四年時(shí)間，他作為項(xiàng)目帶頭人得到政府和企業(yè)界超過(guò)五百萬(wàn)美元的資助用于其課題組在綠色儲(chǔ)能，電/熱催化和軟物質(zhì)材料方向的研究。他是Nature, Nat. Mater, Nat. Energy, Nat. Nanotechnol., Nat. Commun., Sci. Adv., Joule, Nano Lett., Adv. Mater. 等眾多期刊的審稿人。他從事人工智能電鏡和深度學(xué)習(xí)、原子級(jí)掃描透射電鏡以及能譜相關(guān)的理論和技術(shù)、高能電子隧道理論以及三維重構(gòu)理論等方向的研究。除了理論和方法學(xué)的研究，他應(yīng)用三維電子斷層掃描術(shù)對(duì)鋰電池、軟硬物質(zhì)界面、金屬催化劑等多方面進(jìn)行了深入的研究。其課題組發(fā)表文章超過(guò)300篇，其中在Science，Nature，Nat. Mater.，Nat. Nanotechnol.，Nat. Energy，Nat. Catal.，Nat. Commun.等頂級(jí)期刊上發(fā)表文章41篇（其中16篇作為通訊發(fā)表）。
紀(jì)正然，美國(guó)杜克大學(xué)（Duke University ）計(jì)算機(jī)科學(xué)碩士生。2023年6月于加州大學(xué)爾灣分校獲得數(shù)學(xué)與數(shù)據(jù)科學(xué)雙專業(yè)榮譽(yù)學(xué)士學(xué)位。2021年6月加入忻獲麟教授課題組從事人工智能電鏡研究。他于2023年獲得UC Irvine的校長(zhǎng)杰出獎(jiǎng)（Chancellor’s Award of distinction）, 校長(zhǎng)杰出本科生科研獎(jiǎng)（Chancellor’s Award of Excellence in Research）, 數(shù)學(xué)系杰出本科生科研與貢獻(xiàn)獎(jiǎng)（Undergraduate Research & Departmental Service Award）。
課題組招聘
忻獲麟的課題組（DeepEMLab.com）歡迎致力于研究和拓展電子顯微學(xué)、聚合物、電池和規(guī)模生產(chǎn)方向的學(xué)生、博士后、學(xué)者加入和訪問(wèn)。有興趣的同學(xué)請(qǐng)email簡(jiǎn)歷至 huolinx@uci.edu。
