清華新聞網(wǎng)1月6日電 1月5日，清華軟件論壇第十一期邀請(qǐng)到DeepMind研究科學(xué)家、清華大學(xué)軟件學(xué)院2011屆校友李宇佳作題為“AlphaCode：編程競(jìng)賽級(jí)的程序自動(dòng)生成”的學(xué)術(shù)報(bào)告。清華大學(xué)軟件學(xué)院、計(jì)算機(jī)系、土水學(xué)院的師生以及來(lái)自中山大學(xué)、北京大學(xué)、上海交大、西南大學(xué)等兄弟高校的智能軟件研究與實(shí)踐者200余人線(xiàn)上參會(huì)。
李宇佳作學(xué)術(shù)報(bào)告
李宇佳首先分析了編程競(jìng)賽問(wèn)題的特點(diǎn)和難點(diǎn)，以及選擇該問(wèn)題作為切入點(diǎn)開(kāi)展代碼生成模型AlphaCode研究的原因。編程是解決各種問(wèn)題的強(qiáng)有力工具，編程問(wèn)題可以作為基線(xiàn)來(lái)推動(dòng)更強(qiáng)大的機(jī)器學(xué)習(xí)模型的開(kāi)發(fā)，也便于自動(dòng)化評(píng)判模型生成樣本的正確性。過(guò)去兩年，運(yùn)用大型語(yǔ)言模型做代碼自動(dòng)生成的工作得到了國(guó)內(nèi)外學(xué)術(shù)界和工業(yè)界的普遍關(guān)注，部分工作已經(jīng)產(chǎn)品化。AlphaCode采用GitHub上的開(kāi)源代碼對(duì)模型進(jìn)行預(yù)訓(xùn)練，再用自建編程競(jìng)賽題目與解答的數(shù)據(jù)集進(jìn)行模型訓(xùn)練和微調(diào)，使模型適應(yīng)編程競(jìng)賽應(yīng)用場(chǎng)景。最后，針對(duì)每個(gè)問(wèn)題生成大量的樣本，再對(duì)生成的樣本進(jìn)行采樣和測(cè)評(píng)。李宇佳詳細(xì)介紹了研究組對(duì)模型效果的分析思路，尤其是驗(yàn)證模型在解出題目的時(shí)候是否找到了新的問(wèn)題的新解法的過(guò)程。AlphaCode代碼生成模型目前在編程競(jìng)賽中達(dá)到了人類(lèi)參賽選手的中游水平，未來(lái)還有很多進(jìn)步空間。
在提問(wèn)環(huán)節(jié)，線(xiàn)上參會(huì)的師生圍繞數(shù)據(jù)預(yù)處理、問(wèn)題理解、代碼補(bǔ)全工具、軟件測(cè)試、程序優(yōu)化、錯(cuò)誤分類(lèi)等興趣點(diǎn)，以及如何利用大語(yǔ)言模型輔助特定類(lèi)型的軟件研發(fā)，如CAD、數(shù)據(jù)庫(kù)、操作系統(tǒng)等問(wèn)題提問(wèn)，李宇佳逐一進(jìn)行分析和詳細(xì)解答。
部分與會(huì)人員線(xiàn)上合影
李宇佳，現(xiàn)任DeepMind研究科學(xué)家。2011年在清華大學(xué)軟件學(xué)院獲學(xué)士學(xué)位，2013年和2017年在加拿大多倫多大學(xué)分別獲碩士和博士學(xué)位。主要從事深度學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)和大規(guī)模語(yǔ)言模型領(lǐng)域的研究工作。他主持開(kāi)發(fā)的編程競(jìng)賽級(jí)程序自動(dòng)生成系統(tǒng)AlphaCode作為科學(xué)雜志2022年12月封面文章發(fā)表，成為程序自動(dòng)生成領(lǐng)域的標(biāo)志性工作之一。
供稿：軟件學(xué)院
編輯：陳曉艷
審核：郭玲
