IT之家 6 月 27 日消息，美國加州大學(xué)圣克魯茲分校的研究團(tuán)隊(duì)研究出新的方法，只需要 13W 的功率（相當(dāng)于一個(gè)現(xiàn)代 LED 燈泡的功率），就能運(yùn)行 10 億參數(shù)規(guī)模的大語言模型。而作為對(duì)比，用于大語言模型任務(wù)的數(shù)據(jù)中心級(jí) GPU 需要約 700W。
AI 浪潮下很多公司、機(jī)構(gòu)的研究主方向是應(yīng)用、推理方面，很少考慮效率等指標(biāo)。該研究人員為緩解這種狀況，淘汰了矩陣乘法的密集型技術(shù)，提出了“三元數(shù)”方案，只有負(fù)一、零或正一三個(gè)數(shù)值。
團(tuán)隊(duì)還使用一種名為現(xiàn)場可編程門陣列（FPGA）的高度定制電路創(chuàng)建了定制硬件，讓他們能夠最大限度地利用神經(jīng)網(wǎng)絡(luò)中的所有節(jié)能功能。
在定制硬件上運(yùn)行時(shí)，可以達(dá)到與 Meta 的 Llama 等頂級(jí)模型相同的性能，但神經(jīng)網(wǎng)絡(luò)功率是常規(guī)配置的五十分之一。
該神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)還可以用于在人工智能行業(yè)常用的標(biāo)準(zhǔn) GPU 上運(yùn)行，測試結(jié)果顯示，與基于矩陣乘法的神經(jīng)網(wǎng)絡(luò)相比，顯存占用僅為十分之一。
IT之家附上參考地址
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。