設置
  • 日夜間
    隨系統
    淺色
    深色
  • 主題色

新型 AI 算法亮相:13W 功率駕馭 10 億參數大語(yǔ)言模型,功率降至常規配置 1/50、顯存占用降至 1/10

2024/6/27 10:48:10 來(lái)源:IT之家 作者:故淵 責編:故淵

IT之家 6 月 27 日消息,美國加州大學(xué)圣克魯茲分校的研究團隊研究出新的方法,只需要 13W 的功率(相當于一個(gè)現代 LED 燈泡的功率),就能運行 10 億參數規模的大語(yǔ)言模型。而作為對比,用于大語(yǔ)言模型任務(wù)的數據中心級 GPU 需要約 700W。

AI 浪潮下很多公司、機構的研究主方向是應用、推理方面,很少考慮效率等指標。該研究人員為緩解這種狀況,淘汰了矩陣乘法的密集型技術(shù),提出了“三元數”方案,只有負一、零或正一三個(gè)數值。

團隊還使用一種名為現場(chǎng)可編程門(mén)陣列(FPGA)的高度定制電路創(chuàng )建了定制硬件,讓他們能夠最大限度地利用神經(jīng)網(wǎng)絡(luò )中的所有節能功能。

在定制硬件上運行時(shí),可以達到與 Meta 的 Llama 等頂級模型相同的性能,但神經(jīng)網(wǎng)絡(luò )功率是常規配置的五十分之一。

該神經(jīng)網(wǎng)絡(luò )設計還可以用于在人工智能行業(yè)常用的標準 GPU 上運行,測試結果顯示,與基于矩陣乘法的神經(jīng)網(wǎng)絡(luò )相比,顯存占用僅為十分之一。

IT之家附上參考地址

廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節省甄選時(shí)間,結果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:GPU,AI,顯存,功率

軟媒旗下網(wǎng)站: IT之家 辣品 - 超值導購,優(yōu)惠券 最會(huì )買(mǎi) - 返利返現優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 魔方 酷點(diǎn)桌面 Win7優(yōu)化大師 Win10優(yōu)化大師 軟媒手機APP應用