清華大學(xué)發(fā)布深度學(xué)習(xí)框架——計(jì)圖（Jittor）

清華新聞網(wǎng)4月2日電 清華大學(xué)計(jì)算機(jī)系圖形學(xué)實(shí)驗(yàn)室多年來(lái)一直致力于計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)和系統(tǒng)軟件等領(lǐng)域的研究，并成立了北京信息科學(xué)與技術(shù)國(guó)家研究中心下的可視媒體智能計(jì)算團(tuán)隊(duì)。在國(guó)家自然科學(xué)基金委創(chuàng)新群體項(xiàng)目和國(guó)家研究中心自主科研項(xiàng)目的資助下，研究團(tuán)隊(duì)提出了一個(gè)全新的深度學(xué)習(xí)框架——計(jì)圖（Jittor）。計(jì)圖平臺(tái)已于3月20日正式對(duì)外發(fā)布和開(kāi)源，在著名開(kāi)源平臺(tái)Github上發(fā)布后立刻受到了廣大深度學(xué)習(xí)開(kāi)發(fā)者的好評(píng)。

深度學(xué)習(xí)技術(shù)正廣泛應(yīng)用于人工智能的各個(gè)領(lǐng)域，如計(jì)算機(jī)視覺(jué)、機(jī)器翻譯、自然語(yǔ)言處理、智能機(jī)器人等，取得了前所未有的突破。當(dāng)前，一方面，隨著深度學(xué)習(xí)新技術(shù)的出現(xiàn)、任務(wù)復(fù)雜度的提高，易于擴(kuò)展同時(shí)保持高效的架構(gòu)成為發(fā)展趨勢(shì)；另一方面，我國(guó)人工智能產(chǎn)業(yè)發(fā)展迅速，亟需構(gòu)建自己的開(kāi)源深度學(xué)習(xí)生態(tài)，避免被“卡脖子”。

計(jì)圖是一個(gè)基于統(tǒng)一計(jì)算圖的深度學(xué)習(xí)框架。計(jì)算圖是一種描述深度學(xué)習(xí)模型的表達(dá)方式?，F(xiàn)階段主流深度學(xué)習(xí)框架多采用靜態(tài)計(jì)算圖或者動(dòng)態(tài)計(jì)算圖兩種設(shè)計(jì)模式，靜態(tài)圖比較易于優(yōu)化，如TensorFlow1.0。動(dòng)態(tài)圖相比靜態(tài)圖更加靈活，但是優(yōu)化空間更小，如PyTorch。也有框架支持這兩種計(jì)算圖并且提供兩者之間的轉(zhuǎn)換工具，如TensorFlow2.0。計(jì)圖創(chuàng)新的采用了統(tǒng)一計(jì)算圖，用戶(hù)并不需要手動(dòng)切換，計(jì)圖可以動(dòng)態(tài)的將計(jì)算圖拆分成可以?xún)?yōu)化的子靜態(tài)圖。讓計(jì)圖在保持動(dòng)態(tài)圖靈活性的同時(shí)，還可以發(fā)揮出靜態(tài)圖的運(yùn)算性能。計(jì)圖與國(guó)際主流平臺(tái)相比，具有多項(xiàng)先進(jìn)特性，其統(tǒng)一計(jì)算圖的特性如下圖所示。

圖1 計(jì)圖的統(tǒng)一計(jì)算圖與其他平臺(tái)特性對(duì)比

計(jì)圖還采用元算子表達(dá)神經(jīng)網(wǎng)絡(luò)計(jì)算單元、并且將其動(dòng)態(tài)編譯（Just-in-Time）運(yùn)行。深度學(xué)習(xí)采用的卷積神經(jīng)網(wǎng)絡(luò)是由算子（Operator）組成的一個(gè)計(jì)算網(wǎng)絡(luò)。由于架構(gòu)設(shè)計(jì)和不斷擴(kuò)充等原因，當(dāng)前深度學(xué)習(xí)框架有多達(dá)2000種算子，系統(tǒng)復(fù)雜，優(yōu)化和移植困難。計(jì)圖將算子運(yùn)算進(jìn)一步分解，形成了更加底層的三類(lèi)20余種元算子閉包，目前神經(jīng)網(wǎng)絡(luò)常用算子均可以使用元算子的組合進(jìn)行表達(dá)。面向未來(lái)深度學(xué)習(xí)框架的發(fā)展趨勢(shì)，計(jì)圖利用元算子組合表達(dá)的優(yōu)勢(shì)，提出統(tǒng)一計(jì)算圖進(jìn)行優(yōu)化，并從底層開(kāi)始設(shè)計(jì)了一個(gè)全新的動(dòng)態(tài)編譯架構(gòu)（圖2）。該架構(gòu)支持多種編譯器，實(shí)現(xiàn)了所有代碼的即時(shí)編譯和動(dòng)態(tài)運(yùn)行，確保了實(shí)現(xiàn)和優(yōu)化分離，大幅提升了應(yīng)用開(kāi)發(fā)靈活性、可拓展性和可移植性。

圖2 “計(jì)圖”通過(guò)元算子融合實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)模型

目前ResNet、VGG、SSD、DeepLab、LSGAN等多個(gè)網(wǎng)絡(luò)模型已經(jīng)在計(jì)圖平臺(tái)實(shí)現(xiàn)，可供用戶(hù)使用。與同類(lèi)型框架相比，計(jì)圖在收斂精度一致情況下，推理和訓(xùn)練速度取得了10%-50%的性能提升（圖3）。 期望計(jì)圖能為學(xué)界和業(yè)界提供一個(gè)靈活高效的深度學(xué)習(xí)平臺(tái)，促進(jìn)人工智能的研究和應(yīng)用，賦能人工智能產(chǎn)業(yè)。

圖3 Jittor和Pytorch推理與訓(xùn)練速度對(duì)比

計(jì)圖（Jittor）官方網(wǎng)站：https://cg.cs.tsinghua.edu.cn/jittor

北京信息科學(xué)與技術(shù)國(guó)家研究中心是由科技部于2017年11月批準(zhǔn)組建的六個(gè)國(guó)家研究中心之一，是適應(yīng)大科學(xué)時(shí)代基礎(chǔ)研究特點(diǎn)的綜合交叉型信息科技創(chuàng)新基地，是新時(shí)期國(guó)家科技創(chuàng)新體系的重要組成部分。中心依托清華大學(xué)建設(shè)，依靠清華信息學(xué)科群的基礎(chǔ)優(yōu)勢(shì)和綜合學(xué)科優(yōu)勢(shì)、以及廣泛的國(guó)內(nèi)外影響力，在原清華信息科學(xué)與技術(shù)國(guó)家實(shí)驗(yàn)室十余年籌建工作的基礎(chǔ)上，緊緊圍繞國(guó)家創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略、信息科學(xué)前沿發(fā)展趨勢(shì)及產(chǎn)業(yè)創(chuàng)新發(fā)展需要，凝聚力量，推動(dòng)實(shí)現(xiàn)我國(guó)在信息領(lǐng)域跨越發(fā)展，服務(wù)國(guó)家“一帶一路”全球戰(zhàn)略、網(wǎng)絡(luò)信息安全、社會(huì)經(jīng)濟(jì)轉(zhuǎn)型等重大需求，努力建成國(guó)際一流的學(xué)術(shù)創(chuàng)新中心、學(xué)科引領(lǐng)中心、人才培育中心、科學(xué)知識(shí)傳播中心。

供稿：北京信息科學(xué)與技術(shù)國(guó)家研究中心

編輯：李晨暉

審核：程曦