作者：Sophia物聯網智庫 原創

此前，在一年一度舉辦的 GTC 大會上，英偉達提出了被命名為“AI Grid”的宏大愿景，試圖將全球電信網絡轉型為人工智能（AI）的基礎設施。

所謂“AI Grid”，是一個由相互連接的 AI 基礎設施節點組成的網絡，覆蓋 AI 工廠、區域接入點、中心機房、移動交換中心以及基站站點。這些節點配備全棧式 AI 基礎設施，并通過安全、高帶寬、低延遲的網絡連接在一起，能夠實現數據、模型、智能體和工作負載的無縫流動，從而使整個網格像一個統一的分布式系統那樣運行。

圖源：英偉達官網

當前，正在探索“AI Grid” 領域的電信運營商包括 T-Mobile US、Comcast 和 SoftBank 等，英偉達一直強調，電信公司現有的資產（鐵塔、光纖和頻譜）使它們天然適合承載分布式推理基礎設施。然而，核心的問題在于——如果這一愿景真的代表了未來大勢，那電信運營商現在究竟應不應該把大量資金投入到分布式 AI 基礎設施中？

針對這一問題，ABI Research 近日發布了一份分析報告，幫電信公司算了一筆賬。該報告涵蓋了“AI Grid” 落地過程中的邊緣 GPU 部署、網絡延遲限制、總體擁有成本，其真正試圖厘清的核心矛盾在于：英偉達這一愿景在今天是否站得住腳，還是說，這是一場押注尚未到來的未來的昂貴賭博？

降低延遲是核心理由嗎？

在網絡的近邊緣或遠邊緣部署 GPU，最有力的理由就是延遲——那些需要近乎“實時”執行和控制的應用程序對延遲有嚴格要求，推理服務器物理上越接近終端用戶，響應速度就應該越快。

然而，ABI 的分析表明，這一論點聽起來合理，實則站不住腳，至少對于當今主流的 AI 工作負載而言是如此。對于生成式 AI 來說，最重要的指標是首字延遲 (TTFT，一個用于衡量網頁加載性能的關鍵指標,反映了從用戶發起請求到瀏覽器接收到第一個字節的時間長度) ，而網絡延遲根本不是其主要影響因素。標準的網絡往返時間確實可能達到 100 毫秒，但造成延遲的更大元兇——包括 DNS 解析、隧道建立，以及計算密集型的預填充和解碼階段——無論推理服務器物理上部署在哪里，都不會改變。以一個大約 1000 個 token 的中等規模提示詞為例，僅預填充階段就需要約 160 毫秒，而解碼階段可能延長至數秒。

這在實踐中意味著，對于常規的聊天機器人交互來說，將推理服務器移到離用戶更近的地方并不會顯著改善體驗。token 生成過程中的計算延遲，完全壓過了在網絡傳輸環節節省下來的時間。Latitude 公司首席執行官 Guilherme Soubihe 在接受 RCR Wireless 采訪時指出了這一點：“絕大多數數據中心級 GPU 容量已經被超大規模云廠商和前沿模型開發商用于大語言模型的訓練和微調，而這些工作負載并不會從邊緣位置中獲得有意義的收益，因為網絡延遲基本無關緊要�！�

不過，情況其實要更復雜一些。英偉達 GTC 大會上的演示顯示，采用邊緣部署后，聊天機器人的往返延遲從 2000 毫秒下降到了 400 毫秒。Personal AI 首席執行官 Suman Kanuganti 則對當前延遲討論中通常圍繞單個請求展開的框架提出了質疑�！癆I Grid 并非針對單次調用進行優化，而是為并發而優化的�！彼�引用了一些基準測試結果：在 P99 突發流量下，一個四節點的 AI Grid 能將語音延遲保持在 500 毫秒以內，同時吞吐量比基線提升 80%，而集中式部署在相同負載下則會出現性能下降。換言之，邊緣的優勢不在于將單個請求縮短幾毫秒，而在于為數百萬個并發會話同時保持確定性的服務質量。因此，對于單個消費者的查詢而言，延遲方面的優勢可能并不明顯，但對于處理海量并發會話的運營商來說，其考量結果就開始有所不同了。

物理 AI 才是真正讓延遲成為架構剛需的領域。自動駕駛汽車、配送無人機和機器人、視頻監控、智能眼鏡以及 AR/VR，都大幅壓縮了可接受的延遲窗口——云端推理根本無法滿足這些要求。

ABI 用一個直白的例子闡明了這一點：在 100 毫秒的延遲下，一輛時速 100 公里的自動駕駛汽車相當于有 2.8 米的距離處于“失明”狀態。當面對需要近乎實時執行的安全關鍵系統時，通過遠端的云數據中心進行路由推理是行不通的。同樣的原理適用于一系列新興應用，包括最后一公里配送機器人和實時視頻分析。

當然，問題在于時機。這些物理 AI 應用中的大部分距離形成任何意義上的規�；�都還有數年時間。愛立信美洲思想領導力負責人 Peter Linder 的核心觀點是，部署的理由需要來自網絡效率提升和未來收入潛力兩者的結合，而不僅僅是物理 AI 本身的需求；Kanuganti 則持更激進的觀點，他認為語音 AI、視頻智能和企業 AI 服務是現在已經存在的用例。如果自動駕駛汽車、無人機、人形機器人真的有那么接近大規模應用，那么基礎建設現在就必須開始。

建設成本劃算嗎？

即使延遲論點和應用場景最終能夠達成一致，建設分布式 AI 網格的財務挑戰依然令人望而生畏。ABI 的結論是，在未來兩到三年內，旨在降低標準延遲的大規模全國性邊緣服務器部署在財務上并不可行。基站部署尤其面臨嚴峻的單位經濟效益問題——每個基站服務的用戶群有限，地理覆蓋范圍狹窄，這使得除了密集、高價值區域外，每個站點的回報都頗具挑戰。

為了用真實數據支撐討論，ABI 以美國的 T-Mobile 為例進行了模擬計算。T-Mobile US 曾在 GTC 大會上表示，“ kinetic tokens”將為全球電信運營商帶來巨大機遇，而為了利用其基礎設施資產，運營商需要 AI-RAN 系統以及在網絡中部署 GPU。假設 T-Mobile US 在美國運營約 13,000 個屋頂基站站點，并開始為其配備 AI-RAN 服務器（此場景中采用英偉達 ARC-1 服務器，單價 6 萬美元，每臺為三個基站提供算力），且到 2035 年完成部署，實現屋頂站點 GPU 全覆蓋——那么包括部署、冷卻及其他輔助成本在內，累計總成本將達到 37 億美元。如下所示的圖表展示了該示例部署場景下的年度總體擁有成本：

圖：T-Mobile US 在其所有屋頂站點逐步部署 GPU 服務器的年度總體擁有成本

假設收入能相應增長，將投資分攤到九年，部署“AI Grid” 的投入就變得更為可控。此外，37 億美元的估算值在英偉達的體量下幾乎微不足道，但電信運營商及其投資者需要強有力的商業案例來支撐這一支出——尤其是當這筆投入的規模相當于部署一套新一代無線網絡時。

基礎設施的現實情況讓財務挑戰更加嚴峻，Kanuganti 表示，“通信鐵塔的設計初衷并不是為了容納和冷卻高密度計算設備”，這也解釋了為什么先行者會從具備冗余電源、冷卻和物理安全措施的有線近邊緣設施入手。Linder 也強調了這一點，他指出：“無線電站點通常環境惡劣，因此我們使用專門設計的、基于 ASIC 的計算來優化功耗、性能和成本，并盡可能取消風扇�！�

這兩種觀點都得出了相同的結論：遠邊緣的建設取決于硬件能效的提升、專為邊緣 AI 設計的硬件形態，以及將無線處理與 AI 推理整合到共享計算平臺上的 AI-RAN 架構的出現。

鑒于所有這些限制因素，ABI 預測，AI 推理的初期部署將集中在核心網節點（通常一個國家內少于 10 個），之后隨著低延遲需求增長和經濟性改善，再逐步向外擴展到基站站點。許多應用場景，包括視頻監控、自動駕駛、最后一公里配送機器人、智能眼鏡以及 AR/VR 應用，都使得邊緣推理不是可選項，而是架構上的必然要求。早期的“AI Grid” 部署主要作用是為電信網絡面向未來做好鋪墊，為 6G 最終所需的分布式計算打下基礎。

英偉達畫的“大餅”好吃么？

按照英偉達的設想，“AI Grid” 旨在跨計算位置無縫處理 AI 工作負載，從而優化成本、性能和用戶體驗。簡而言之，它們根據延遲、成本和策略目標來決定模型應該在何處運行以及 tokens 應該如何流動。

賦能實時 AI 應用場景：對話助手、AR/VR、在線游戲和工業機器人等實時 AI 應用，為了實現沉浸式客戶體驗，需要嚴格控制延遲�！癆I Grid” 通過將計算工作負載部署在盡可能靠近終端用戶和設備的物理位置，實現了此類對延遲高度敏感的應用的大規模運行。

大規模優化 Token 成本：多模態生成和高級推理模型生成的 Token 數量可達簡單文本型大型語言模型 (LLM) 的 100 倍，這顯著增加了網絡數據量，并推高了云出口成本。“AI Grid” 通過將這些 Token 密集型工作負載部署在具有最具成本效益的計算和網絡連接的分布式 AI 節點上來緩解這一問題，從而在不犧牲服務質量的前提下，減少數據出口和帶寬消耗。

面向彈性和投資回報的地理彈性架構：“AI Grid” 可以運行從 AI 應用到網絡功能的各種工作負載，同時優化每個節點的利用率，從而提高基礎設施投資回報率并降低運營開銷，優于單一用途系統。它們將多個分布式 AI 節點視為一個虛擬系統，從而能夠更智能地擴展容量、應對突發的需求高峰并顯著減少單點故障。

區域合規性和數據主權：企業可以定義數據和模型在“AI Grid” 上的存儲和執行位置，使部署符合區域規則，同時還能利用全球規模的協調能力。

基于以上受益，我們能看到英偉達正在積極構建一種敘事，即電信公司將成為新型 AI 網格中的關鍵節點。但值得清醒認識到的是，這一框架對英偉達的好處，遠超其他任何一方。設備銷售、軟件授權、生態綁定——無論“AI Grid” 最終以何種形態落地，英偉達都將是最大的贏家；而對于電信運營商而言，這條路卻遠沒有那樣明朗。

率先行動的玩家或許未必能在短期內看到真金白銀的回報，它們更多是在這個被英偉達等公司稱為“AI超級周期”的浪潮中，搶先占據一個戰略卡位。然而，這種卡位是否真的值得在收入來源尚未得到任何驗證之前，就投入數十億美元的資本支出，仍然是一個懸而未決的問題~

參考資料：ABI on AI infra | AI grid may be the next telecoms arms race (Analyst Angle)——RCRWirelessNvidia’s AI grid and the telco dilemma——RCRWirelessWhat Is an AI Grid?——英偉達官網英偉達的電信雄心：重塑2萬億美元網絡產業——C114通信網黃仁勛的物理AI野望:將5G網絡轉變為分布式AI計算機!——物聯網智庫

       原文標題 : 英偉達給通信企業畫的"AI Grid大餅"好吃么?有人算了筆賬~