清華大學(xué)電子工程系方璐教授課題組和自動(dòng)化系戴瓊海院士課題組日前實(shí)現(xiàn)了光計(jì)算系統(tǒng)大規(guī)模神經(jīng)網(wǎng)絡(luò)的高效精準(zhǔn)訓(xùn)練。該研究成果以“光神經(jīng)網(wǎng)絡(luò)全前向訓(xùn)練”為題，于北京時(shí)間8月7日晚在線發(fā)表于《自然》期刊。

人工智能大模型的迅猛發(fā)展與廣泛應(yīng)用，使得算力成為重大的戰(zhàn)略抓手與基礎(chǔ)設(shè)施。長(zhǎng)期以來(lái)電子芯片的算力增長(zhǎng)支撐著AI模型規(guī)模的不斷發(fā)展，然而其高能耗亦帶來(lái)了前所未有的能源挑戰(zhàn)，新興計(jì)算范式的建立與發(fā)展迫在眉睫。以光為計(jì)算媒介，以光的可控傳播構(gòu)建計(jì)算模型，光計(jì)算以其高算力低能耗特性打開(kāi)了智能計(jì)算的新賽道，在后摩爾時(shí)代展現(xiàn)出巨大的潛力。

訓(xùn)練和推理是AI大模型核心能力的兩大基石，缺一不可。相較于推理而言，模型訓(xùn)練對(duì)算力更為急需，然而電訓(xùn)練架構(gòu)要求前向-反向傳播模型高度匹配，這對(duì)光計(jì)算物理系統(tǒng)的精準(zhǔn)對(duì)齊提出了苛刻的要求，致使梯度計(jì)算難、離線建模慢、映射誤差大，極大地禁錮了光訓(xùn)練的規(guī)模與效率。

清華大學(xué)電子工程系方璐教授課題組、自動(dòng)化系戴瓊海教授課題組構(gòu)建了光子傳播對(duì)稱(chēng)性模型，摒棄了電訓(xùn)練反向傳播范式，首創(chuàng)了全前向智能光計(jì)算訓(xùn)練架構(gòu)，研制了通用光訓(xùn)練芯片“太極-II”，擺脫了對(duì)離線訓(xùn)練的依賴(lài)，支撐智能系統(tǒng)的高效精準(zhǔn)光訓(xùn)練。“太極-II”的面世，填補(bǔ)了智能光計(jì)算在大規(guī)模訓(xùn)練這一核心拼圖的空白。