預見2024：大模型成長進入關鍵期，探究AI背后的算力戰爭
距離大模型橫空出世已經過去一年有余，在AI大模型的浪潮下，各大科技企業爭先恐后地推出了自家的大模型產品。
與此同時，各行業企業也對大模型保持著高度關注，一些其他行業的企業也紛紛跨界布局大模型相關產品。
面對著全球都在追逐的大模型浪潮，這也使其對算力需求無處不在，但算力供給相對有限，“缺口”或許將影響人工智能的發展。未來，算力問題也成為各行業實現人工智能普惠的最大難點。那么，這一困局如何破解呢?
大模型在流行
《北京市人工智能行業大模型創新應用白皮書(2023年)》中顯示，截至2023年10月，我國10億參數規模以上的大模型廠商及高校院所共計254家，分布于20余個省市/地區。
商業咨詢機構愛分析的報告稱，2023年中國大模型市場規模約為50億元，預計到2024年這一數字將達到120億元。
顯然，2024年，大模型將繼續其火熱的現象，在2023年形成的百模大戰競爭將會進一步白熱化，進一步滲透到各行各業的數字化進程中。
我們看到，大模型真正的價值在于行業側的應用落地，就目前業內對大模型的認知來看，絕大多數人對大模型相關產品的發展觀點類似于互聯網，消費級只是開始，產業級價值更大。
但如同互聯網一樣，消費互聯網發展迅速，甚至已經接近“天花板”;產業互聯網也僅是近年來在政策引導，數字技術驅動下，逐步發展提速。
為什么大模型技術是產業界的一次革命呢?
一直以來，AI在產業化的進程當中，發展得非常慢。那么在大模型的技術出來后，我們認為它來到了一個轉折點。
需要了解的是，大模型不僅是一個聊天機器人，也不是像抖音、快手這樣讓人消磨時間的娛樂軟件。它是一個提高生產力的工具，不僅僅是公司間競爭的利器，更重要的是，它像發電廠一樣，把以前很難直接使用的大數據從“石油”狀態加工成了“電”。而“電”是通用的，就能賦能百行千業，就能夠在實體經濟轉型數字化、智能化的過程中發揮重要的作用。
據有關機構預測，未來三年，在生產經營環節應用AI大模型的企業占比將提高到80%以上。
為了進一步釋放AI的效果，我們需要推動產學研用的深度融合，強化高價值的數據、高性能的算力、高質量的算法和協同創新，加快關鍵技術突破和產業應用，讓AI不僅會寫文章做PPT，更能夠實際應用于各個領域。
然而，隨著大模型的不斷發展，我們也面臨著一些挑戰。
比如，目前的大模型是萬事通，但不是行業通。如果你真的用過大模型，在震驚完它什么都會之后，你會發現一旦問它一些行業的問題，它就會說很多概念性的正確廢話。也就是說，大模型對行業理解的深度還遠遠不足。
大模型無法保證生成的內容完全可信，或者說大模型能產生知識模糊、制造知識幻覺。比如它會輸出“賈寶玉打虎”“林黛玉三打白骨精”等不符合事實的信息。
我們認為，相比于AI大模型自身發展的問題，算力不足的問題更顯突出。由于大模型的規模龐大，需要巨大的計算資源來進行訓練和推理。
但現有的計算基礎設施還無法滿足這一需求，這導致了訓練時間過長、推理速度緩慢等問題。這不僅限制了大模型的應用范圍，也制約了我們的創新步伐。
AI時代，算力需求增加
我們看到，GPT-3實際上是生成語言生成模型，他參數量大概1750億，而隨著GPT-4和未來GPT-5的推出這個發展趨勢還會延續。
比如，對標GPT-3和GPT-4模型，GPT-3模型訓練使用了128臺英偉達A100服務器(訓練34天)，對應640P算力，GPT-4模型訓練使用了3125臺英偉達A100服務器(訓練90—100天)，對應15625P算力。從GPT-3至GPT-4模型參數規模增加約10倍，但用于訓練的GPU數量增加了近24倍(且不考慮模型訓練時間的增長)。
從全球算力的表現狀態分析來看，從22到23年經歷了疫情，數字經濟其實在這幾年增長還比較快。
尤其數字化優先成為企業重要的戰略發展途徑。所以算力已經成為整個行業里面科技的更新和迭代的一個重要支撐。
未來算力發展的趨勢
眾所周知，人工智能實現方法之一為機器學習，而深度學習是用來實現機器學習的技術，通常可分為“訓練”和“推理”兩個階段。
訓練階段：需要基于大量的數據來調整和優化人工智能模型的參數，使模型的準確度達到預期，核心在于算力。
推理階段：訓練結束后，建立的人工智能模型可用于推理或預測待處理輸入數據對應的輸出，這個過程為推理階段，對單個任務的計算能力不及訓練，但總計算量也相當可觀。
雖然，目前算力的需求在不斷增加，也導致了出現“算力危機”，但我們看到突破這些危機的一些技術趨勢。
第一個趨勢，在算力層面，我們看到通用算力正在轉向專用算力，也可以稱為智能算力。專用算力包括以GPU為核心的并行訓練加速，例如，英偉達DPU，谷歌的GPU，還有新型的算力形態，如NPU等，用于加速 AI 載體。
第二個趨勢是從單點到分布式的發展。在十多年前，我們可能只需要使用CPU進行AI模型訓練，然后逐漸轉向GPU加CPU的方式。當時由于CPU和GPU的編程方式不同，需要重新編譯兩次才能在CPU和GPU上運行，因此在那個時候，AI模型通常在單臺機器上單卡上運行。隨著模型參數的增加和模型類型的多樣化，從單機單卡逐漸演變成了單機多卡，然后隨著GPU的崛起，從單機多卡又發展為分布式訓練。這也使得模型訓練的速度更快。
第三個趨勢是能耗和可持續性。隨著訓練集群的出現，能耗上升成為一個問題，數據中心需要進行改建和升級以滿足能耗要求，這也引發了合規和可持續性的關注。高能耗需要政府批準，因此降低能耗、實現綠色和節能成為趨勢。
第四個趨勢是軟硬結合。從純硬件走向軟硬件結合，尤其是英偉達等公司的帶領，軟件生態系統變得至關重要。軟件工程師和人工智能算法工程師的參與推動了這一趨勢。
就我國而言，未來，隨著新的算力芯片到來的，還有國內各地出臺的一系列利好政策，也積極引導大模型研發企業應用國產芯片，加快提升算力供給的國產化率，提升算力資源統籌供給能力，攜手企業共同推動算力市場發展。
寫在最后
可以說，算力是數字經濟時代最底層的驅動器，無人駕駛、智慧城市、智能交通、智慧金融、仿生科技、生命醫學、氣候預測以及農業精細化等，都離不開超大算力的支持。在未來的大國競爭中，算力之強弱將直接深度影響到新技術的研發效率和研發成果。
未來，大模型時代的全面到來，注定充滿挑戰，而挑戰往往孕育著機遇。以計算為代表的顛覆技術成為大模型時代的重要底座。最終，誰將主導這場算力的變革，讓業界看到大模型市場的新機會，在廣闊的市場中率先突圍呢?我們拭目以待。
