為什么人工智能如此需要資源？

　　截至2023年底，任何關(guān)于生成式人工智能需要多少能源的預(yù)測(cè)都是不準(zhǔn)確的。

　　頭條新聞傾向于猜測(cè)“人工智能需要5倍、10倍、30倍的電力”和“足夠運(yùn)行10萬(wàn)個(gè)家庭的電力”等。與此同時(shí)，數(shù)據(jù)中心新聞等專業(yè)出版物的報(bào)道稱，功率密度將上升到每機(jī)架50千瓦或100千瓦。

　　為什么生成式人工智能如此需要資源?正在采取哪些措施來(lái)計(jì)算其潛在的能源成本和碳足跡?或者正如一篇研究論文所寫道，“訓(xùn)練這些龐然大物的巨大計(jì)算成本”是多少?如今，大部分信息都不容易獲得。

　　分析師已經(jīng)對(duì)特定工作負(fù)載場(chǎng)景進(jìn)行了自己的估計(jì)，但由于模型構(gòu)建最前沿的云超大規(guī)模提供商很少披露數(shù)據(jù)，因此目前幾乎沒(méi)有可靠的數(shù)據(jù)。

　　經(jīng)過(guò)分析，人工智能模型構(gòu)建從訓(xùn)練到推理的碳成本產(chǎn)生了一些發(fā)人深省的數(shù)字。根據(jù)《哈佛商業(yè)評(píng)論》的一份報(bào)告，研究人員認(rèn)為，訓(xùn)練“單一大型語(yǔ)言深度學(xué)習(xí)模型”，例如OpenAI的GPT-4或Google的PaLM預(yù)計(jì)消耗約300噸二氧化碳……其他研究人員計(jì)算出，使用“神經(jīng)架構(gòu)搜索”技術(shù)訓(xùn)練一個(gè)中型生成式AI模型所消耗的電力和能源相當(dāng)于62.6萬(wàn)噸二氧化碳排放量。

　　那么，到底是什么讓人工智能如此耗電呢?

　　是數(shù)據(jù)集，即數(shù)據(jù)量嗎?使用了多少個(gè)參數(shù)?變壓器型號(hào)?編碼、解碼和微調(diào)?處理時(shí)間?答案是，以上所有內(nèi)容的組合。

　　數(shù)據(jù)

　　人們常說(shuō)GenAI大型語(yǔ)言模型(LLM)和自然語(yǔ)言處理(NLP)需要大量的訓(xùn)練數(shù)據(jù)。然而，從傳統(tǒng)數(shù)據(jù)存儲(chǔ)的角度來(lái)看，實(shí)際情況并非如此。

　　例如，ChatGPT使用www.commoncrawl.com數(shù)據(jù)。Commoncrawl表示，它是每個(gè)LLM的主要訓(xùn)練語(yǔ)料庫(kù)，并且提供了用于訓(xùn)練GPT-3的82%的原始代幣：“我們讓研究人員可以大規(guī)模提取、轉(zhuǎn)換和分析開放網(wǎng)絡(luò)數(shù)據(jù)……超過(guò)2500億美元跨越16年的頁(yè)面。每個(gè)月都會(huì)添加3-50億個(gè)新頁(yè)面。”

　　據(jù)認(rèn)為，ChatGPT-3是在45 TB的Commoncrawl明文上進(jìn)行訓(xùn)練的，過(guò)濾后為570 GB的文本數(shù)據(jù)。作為對(duì)開源AI數(shù)據(jù)的貢獻(xiàn)，它免費(fèi)托管在AWS上。

　　但存儲(chǔ)量、從網(wǎng)絡(luò)、維基百科和其他地方抓取的數(shù)十億網(wǎng)頁(yè)或數(shù)據(jù)標(biāo)記，然后進(jìn)行編碼、解碼和微調(diào)，以訓(xùn)練ChatGPT和其他模型，應(yīng)該不會(huì)對(duì)數(shù)據(jù)中心產(chǎn)生重大影響。同樣，訓(xùn)練文本到語(yǔ)音、文本到圖像，或文本到視頻模型，所需的TB或PB數(shù)據(jù)不會(huì)對(duì)數(shù)據(jù)中心的電源和冷卻系統(tǒng)造成太大壓力，這些數(shù)據(jù)中心是為托管存儲(chǔ)和處理數(shù)百或數(shù)千PB數(shù)據(jù)的IT設(shè)備而構(gòu)建的。

　　文本到圖像模型的一個(gè)例子是LAION(大規(guī)模人工智能開放網(wǎng)絡(luò))——一個(gè)擁有數(shù)十億圖像的德國(guó)人工智能模型。其模型之一名為L(zhǎng)AION 400m，是一個(gè)10 TB的網(wǎng)絡(luò)數(shù)據(jù)集。另外，LAION5B擁有58.5億個(gè)剪輯過(guò)濾的文本圖像對(duì)。

　　訓(xùn)練數(shù)據(jù)量保持在可控范圍內(nèi)的原因之一是，大多數(shù)AI模型構(gòu)建者普遍使用預(yù)訓(xùn)練模型(PTM)，而不是從頭開始訓(xùn)練的搜索模型。我們所熟悉的兩個(gè)PTM示例是，是來(lái)自變壓器(BERT)的雙向編碼器表示和生成預(yù)訓(xùn)練變壓器(GPT)系列，如ChatGPT。

　　參數(shù)

　　數(shù)據(jù)中心運(yùn)營(yíng)商感興趣的人工智能訓(xùn)練的另一個(gè)衡量標(biāo)準(zhǔn)是，參數(shù)。

　　生成式AI模型在訓(xùn)練期間使用AI參數(shù)。參數(shù)的數(shù)量越多，對(duì)預(yù)期結(jié)果的預(yù)測(cè)就越準(zhǔn)確。ChatGPT-3是基于1750億個(gè)參數(shù)構(gòu)建的。但對(duì)于AI來(lái)說(shuō)，參數(shù)的數(shù)量已經(jīng)在快速上升。中國(guó)LLM第一個(gè)版本W(wǎng)U Dao使用了1.75萬(wàn)億個(gè)參數(shù)，還提供文本到圖像和文本到視頻的服務(wù)。因此，預(yù)計(jì)這一數(shù)字將繼續(xù)增長(zhǎng)。

　　由于沒(méi)有可用的硬數(shù)據(jù)，可以合理地推測(cè)，運(yùn)行一個(gè)有1.7萬(wàn)億參數(shù)的模型所需的計(jì)算能力將是巨大的。隨著我們進(jìn)入更多的人工智能視頻生成領(lǐng)域，模型中使用的數(shù)據(jù)量和參數(shù)數(shù)量將會(huì)激增。

　　變壓器

　　變壓器是一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，旨在解決序列轉(zhuǎn)導(dǎo)或神經(jīng)機(jī)器翻譯問(wèn)題。這意味著將輸入序列轉(zhuǎn)換為輸出序列的任何任務(wù)。變壓器層依賴于循環(huán)，因此當(dāng)輸入數(shù)據(jù)移動(dòng)到一個(gè)變壓器層時(shí)，數(shù)據(jù)會(huì)循環(huán)回其上一層，并輸出到下一層。這些層提高了對(duì)下一步的預(yù)測(cè)輸出。其有助于提高語(yǔ)音識(shí)別、文本到語(yǔ)音轉(zhuǎn)換等。

　　多少電量才足夠?

　　S&P Global發(fā)布的一份題為《人工智能的力量:來(lái)自人工智能的電力需求的瘋狂預(yù)測(cè)》的報(bào)告引用了多個(gè)來(lái)源。Indigo Advisory Group的董事總經(jīng)理David Groarke在最近的電話采訪中表示：“就美國(guó)的電力需求而言，確實(shí)很難量化像ChatGPT這樣的東西需要多少需求。從宏觀數(shù)據(jù)來(lái)看，到2030年，人工智能將占全球電力需求的3%至4%。Google表示，目前人工智能占其用電量的10%到15%，即每年2.3 TWh?！?/p>

　　S&P Global繼續(xù)道：“由阿姆斯特丹自由大學(xué)商業(yè)與經(jīng)濟(jì)學(xué)院博士候選人Alex de Vries進(jìn)行的學(xué)術(shù)研究，引用了SemiAnalysis的研究。在10月10日發(fā)表在《Joule》雜志上的一篇評(píng)論中，估計(jì)每次Google搜索中的使用ChatGPT等生成式AI都需要超過(guò)50萬(wàn)臺(tái)Nvidia A100 HGX服務(wù)器，總計(jì)410萬(wàn)個(gè)圖形處理單元或GPU。如果每臺(tái)服務(wù)器的電力需求為6.5 kW，則日耗電量為80 GWh，年耗電量為29.2 TWh。”

　　瑞典研究所RI.SE提供了用于訓(xùn)練AI模型的實(shí)際功率的計(jì)算結(jié)果。其表示：“訓(xùn)練像GPT-4這樣的超大型語(yǔ)言模型，具有1.7萬(wàn)億個(gè)參數(shù)，并使用13萬(wàn)億個(gè)標(biāo)記(單詞片段)，是一項(xiàng)艱巨的任務(wù)。OpenAI透露，該項(xiàng)目花費(fèi)了1億美元，耗時(shí)100天，使用了2.5萬(wàn)個(gè)NVIDIA A100 GPU。配備這些GPU的服務(wù)器每臺(tái)大約消耗6.5 kW，因此在訓(xùn)練期間估計(jì)消耗50 GWh的能源?！?/p>

　　這一點(diǎn)很重要，因?yàn)槿斯ぶ悄苁褂玫哪茉凑谘杆俪蔀楣娪懻摰脑掝}。

　　數(shù)據(jù)中心已經(jīng)出現(xiàn)在地圖上，關(guān)注生態(tài)的組織正在注意到這一點(diǎn)。據(jù)80billiontrees網(wǎng)站稱，目前還沒(méi)有公布對(duì)人工智能行業(yè)總足跡的估計(jì)，而且人工智能領(lǐng)域的發(fā)展如此迅速，以至于幾乎不可能獲得準(zhǔn)確的數(shù)字。查看單個(gè)人工智能模型的碳排放是目前的黃金標(biāo)準(zhǔn)……大部分能源都用于為超大規(guī)模數(shù)據(jù)中心供電和冷卻，所有的計(jì)算都在這里進(jìn)行?！?/p>

　　總結(jié)

　　當(dāng)我們等待機(jī)器學(xué)習(xí)和人工智能過(guò)去和現(xiàn)有的電力使用數(shù)據(jù)出現(xiàn)時(shí)，很明顯，一旦模型投入生產(chǎn)和使用，我們的計(jì)算規(guī)模將達(dá)到EB和EB級(jí)。對(duì)于數(shù)據(jù)中心的電力和冷卻而言，事情就變得有趣，也更具挑戰(zhàn)性。

　　來(lái)源：千家網(wǎng)