多管齊下讓人工智慧更節(jié)能

世界經(jīng)濟(jì)論壇官網(wǎng)近日?qǐng)?bào)道指出,為讓人工智慧(AI)發(fā)揮其變革潛力、提高生産力水準(zhǔn)及社會(huì)福祉,人類必須確保它可持續(xù)地發(fā)展。這一願(yuàn)景面臨的核心難題在於,隨著算力和性能的不斷提升,能耗也在快速增長(zhǎng)。

AI生態(tài)系統(tǒng),從硬體、訓(xùn)練協(xié)議到操作技術(shù),都會(huì)耗費(fèi)大量能源。鋻於此,科學(xué)家正在設(shè)法讓其更節(jié)能。措施包括改變AI的運(yùn)作策略、研製更節(jié)能的演算法和晶片等。

能源“吞金獸”

AI是能源密集型技術(shù)。它究竟有多耗能?數(shù)據(jù)給出了答案。

據(jù)法國(guó)《回聲報(bào)》網(wǎng)站報(bào)道,AI平臺(tái)“抱抱臉”研究員兼環(huán)境問題主管薩沙·盧喬尼表示,Midjourney或Dall-E等AI演算法生成一張圖片消耗的電力,相當(dāng)於給一部智慧手機(jī)充滿電。一塊英偉達(dá)H100型圖形處理單元一年消耗的電量,比一個(gè)中等規(guī)模的美國(guó)家庭一年所耗的電量還要多。

美國(guó)《哈佛雜誌》網(wǎng)站提出,大語(yǔ)言模型在生成類似人類、連貫且符合上下文邏輯的文本方面做得更好。但這種改進(jìn)也有代價(jià),訓(xùn)練GPT-3消耗的能源相當(dāng)於120個(gè)美國(guó)家庭一年消耗的能源。美國(guó)《紐約時(shí)報(bào)》報(bào)道,ChatGPT每天要響應(yīng)大約2億個(gè)請(qǐng)求,這一過程中消耗超過50萬度電。

世界經(jīng)濟(jì)論壇的數(shù)據(jù)顯示,運(yùn)作AI任務(wù)所需的能源消耗,年增長(zhǎng)率介於26%至36%之間。這意味著到2027年,AI行業(yè)消耗的能源堪比冰島或荷蘭等國(guó)家一年的能耗。

改變運(yùn)作策略

讓AI更節(jié)能勢(shì)在必行。

首先是調(diào)整AI運(yùn)作策略。世界經(jīng)濟(jì)論壇官網(wǎng)指出,AI運(yùn)作一般分兩個(gè)主要階段:訓(xùn)練階段和推理階段。在訓(xùn)練階段,模型通過消化大量數(shù)據(jù)來學(xué)習(xí)和開發(fā);經(jīng)過訓(xùn)練後,它們進(jìn)入推理階段,用於解決使用者提出的問題。在這兩個(gè)階段限制能耗,可將AI運(yùn)作總能耗降低12%到15%。

美國(guó)俄勒岡州立大學(xué)電氣工程與電腦科學(xué)學(xué)院托馬斯·迪特瑞克教授指出,另一個(gè)有效的策略是優(yōu)化調(diào)度以節(jié)省能源。例如,在夜間運(yùn)作輕量級(jí)的任務(wù),或在寒冷的月份運(yùn)作更大的項(xiàng)目等,也可節(jié)省大量能源。此外,將AI處理轉(zhuǎn)移到數(shù)據(jù)中心也有助於減少其碳排放,因?yàn)閿?shù)據(jù)中心的運(yùn)作效率非常高,其中有些運(yùn)作使用了綠色能源。

從長(zhǎng)遠(yuǎn)看,促進(jìn)AI與新興量子技術(shù)的協(xié)同也是引導(dǎo)AI走向可持續(xù)發(fā)展的重要戰(zhàn)略。傳統(tǒng)計(jì)算能耗隨計(jì)算需求增加呈指數(shù)級(jí)增長(zhǎng),而量子計(jì)算和能耗之間呈線性增長(zhǎng)。

此外,量子技術(shù)可使AI模型更緊湊、學(xué)習(xí)效率更高並可改善其整體功能。

新模型和新器件

AI公司之間競(jìng)爭(zhēng)的一個(gè)驅(qū)動(dòng)力是相信參數(shù)越多越好,這也意味著隨著參數(shù)越來越多,能耗越來越大。例如,GPT-4擁有1.8萬億個(gè)參數(shù),而其“前身”GPT-3擁有1750億個(gè)參數(shù)。因此,為讓AI更節(jié)能,不少科學(xué)家正在嘗試找出不需要那麼多參數(shù)的演算法。

HawAI.tech公司使用了新型電子元器件和基於概率論的AI技術(shù)來節(jié)省能耗。在相同時(shí)段和能耗下,新器件運(yùn)算速度是英偉達(dá)Jeston晶片的6.4倍。該公司聯(lián)合創(chuàng)始人兼首席執(zhí)行官拉斐爾·弗裏施表示,結(jié)合概率論和更優(yōu)化的電子元器件,他們的解決方案所用的數(shù)據(jù)和能源會(huì)更少。

此外,模擬人腦功能的神經(jīng)形態(tài)晶片也有望提升AI的效率。近日,英特爾公司發(fā)佈了名為Hala Point的大型神經(jīng)擬態(tài)系統(tǒng)。其內(nèi)置1152個(gè)基於Intel四製程的Loihi2處理器,支援多達(dá)11.5億個(gè)神經(jīng)元和1280億個(gè)突觸,每秒可處理超過380萬億個(gè)8位突觸和超過240萬億個(gè)神經(jīng)元操作。它獨(dú)特的功能可實(shí)現(xiàn)未來AI應(yīng)用的實(shí)時(shí)持續(xù)學(xué)習(xí),如解決科學(xué)和工程問題、物流、智慧城市基礎(chǔ)設(shè)施管理、大語(yǔ)言模型和AI代理等。