清華新聞網(wǎng)6月30日電 近日，清華大學(xué)微電子所、未來(lái)芯片技術(shù)高精尖創(chuàng)新中心的錢(qián)鶴、吳華強(qiáng)教授團(tuán)隊(duì)與合作者在《自然?納米科技》（Nature Nanotechnology）在線(xiàn)發(fā)表了題為“基于人工樹(shù)突的高效神經(jīng)網(wǎng)絡(luò)”（Power-Efficient Neural Network with Artificial Dendrites）的研究論文，通過(guò)引入具有豐富動(dòng)態(tài)特性的人工樹(shù)突計(jì)算單元，構(gòu)建了包含突觸、樹(shù)突以及胞體的新型人工神經(jīng)網(wǎng)絡(luò)，在提高網(wǎng)絡(luò)計(jì)算準(zhǔn)確率的同時(shí)顯著降低了系統(tǒng)功耗。
包含樹(shù)突計(jì)算的新型人工神經(jīng)網(wǎng)絡(luò)示意圖
生物神經(jīng)元中的樹(shù)突具有非常復(fù)雜的拓?fù)浣Y(jié)構(gòu)和動(dòng)態(tài)過(guò)程，人腦中的樹(shù)突尤其復(fù)雜。許多生物神經(jīng)系統(tǒng)的研究表明樹(shù)突具有非常重要的非線(xiàn)性時(shí)空信息處理功能，它是大腦能夠在處理復(fù)雜任務(wù)的同時(shí)保持低功耗的重要原因之一。當(dāng)前的人工神經(jīng)網(wǎng)絡(luò)大多將神經(jīng)元簡(jiǎn)化成了簡(jiǎn)單的點(diǎn)模型，將其計(jì)算功能簡(jiǎn)化成積分-發(fā)放（integrate-and-fire），忽略了樹(shù)突的信息處理功能。這樣的簡(jiǎn)化使得人工神經(jīng)網(wǎng)絡(luò)與生物神經(jīng)網(wǎng)絡(luò)相比，在復(fù)雜任務(wù)處理的靈活性、魯棒性和功耗上仍存在很大的差距。
受生物神經(jīng)系統(tǒng)中電化學(xué)動(dòng)態(tài)過(guò)程啟發(fā)，該研究團(tuán)隊(duì)通過(guò)材料體系遴選與器件結(jié)構(gòu)設(shè)計(jì)，制備出了一種能夠模擬樹(shù)突功能的新原理器件，成功復(fù)現(xiàn)了生物樹(shù)突對(duì)信號(hào)的非線(xiàn)性過(guò)濾、積分以及對(duì)時(shí)間信號(hào)的處理方式。為了驗(yàn)證人工樹(shù)突器件的計(jì)算功能，團(tuán)隊(duì)還將所研制的人工樹(shù)突器件與基于導(dǎo)電細(xì)絲的突觸器件、基于莫特（Mott）相變的胞體器件進(jìn)行集成，構(gòu)建了包括突觸、樹(shù)突、胞體三種重要計(jì)算單元的新型人工神經(jīng)網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果顯示，由于樹(shù)突功能的引入，該網(wǎng)絡(luò)在處理具有復(fù)雜背景噪聲的街景門(mén)牌號(hào)（SVHN）數(shù)據(jù)集時(shí)，胞體的動(dòng)態(tài)功耗降低30倍，網(wǎng)絡(luò)的準(zhǔn)確率提高8%以上，系統(tǒng)評(píng)估整體功耗比CPU降低3個(gè)數(shù)量級(jí)。未來(lái)通過(guò)器件、算法、電路、架構(gòu)的協(xié)同創(chuàng)新與優(yōu)化，有望進(jìn)一步提高人工神經(jīng)網(wǎng)絡(luò)處理復(fù)雜時(shí)空任務(wù)的能力，構(gòu)建更加智能化的低功耗神經(jīng)網(wǎng)絡(luò)。
受生物啟發(fā)制備的新原理樹(shù)突器件，復(fù)現(xiàn)了生物樹(shù)突對(duì)信號(hào)的非線(xiàn)性過(guò)濾、積分等功能。
集成了突觸、樹(shù)突、胞體三種計(jì)算單元的新型人工神經(jīng)網(wǎng)絡(luò)，在SVHN數(shù)據(jù)集上驗(yàn)證了功耗和準(zhǔn)確率上的顯著優(yōu)勢(shì)。
錢(qián)鶴、吳華強(qiáng)教授團(tuán)隊(duì)長(zhǎng)期致力于基于憶阻器的存算一體芯片技術(shù)研究，從器件性能優(yōu)化、工藝集成、電路設(shè)計(jì)及架構(gòu)與算法等多層次實(shí)現(xiàn)創(chuàng)新突破，先后在《自然》（Nature）、《自然·電子》（Nature Electronics）、《自然·通訊》（Nature Communications）、《先進(jìn)材料》（Advanced Materials）等頂級(jí)期刊以及國(guó)際電子器件會(huì)議 （IEDM）、國(guó)際固態(tài)半導(dǎo)體電路大會(huì)（ISSCC）等領(lǐng)域內(nèi)頂級(jí)國(guó)際學(xué)術(shù)會(huì)議上發(fā)表多篇論文。
清華大學(xué)微電子所吳華強(qiáng)教授是本論文的通訊作者，清華大學(xué)微電子所李辛毅博士、唐建石助理教授和張清天博士為論文的共同第一作者。該研究與清華大學(xué)醫(yī)學(xué)院及腦與智能實(shí)驗(yàn)室宋森研究員、美國(guó)麻省大學(xué)楊建華教授、阿里巴巴達(dá)摩院謝源教授、加州大學(xué)圣芭芭拉分校鄧?yán)诓┦康群献魍瓿?。清華大學(xué)的研究人員得到了國(guó)家自然科學(xué)基金委、科技部重點(diǎn)研發(fā)計(jì)劃、北京市科委、北京信息科學(xué)與技術(shù)國(guó)家研究中心等支持。
論文鏈接：
https://www.nature.com/articles/s41565-020-0722-5
供稿：清華大學(xué)未來(lái)芯片技術(shù)高精尖創(chuàng)新中心
編輯：李華山
審核：程曦
