對話穆堯：世界模型越做越大, 機器人動作如何跟上節奏
具身智能不能只堆模型，架構效率同樣關鍵。
新眸原創·作者 | 桑明強
今年GTC大會上，黃仁勛將物理AI推到了產業舞臺中央，也為AI行業劃定了新的增長邊界：當生成式AI完成了對數字世界的滲透與重構，下一代AI的核心命題，是走向實體、走進物理世界。
作為物理AI最核心的落地載體，具身智能本質上是對AI運行邏輯的一次重構。數字世界的大模型可以用秒級延遲換取生成質量，推理慢一點無傷大雅；但物理世界的機器人交互有剛性的實時性約束，感知、決策、動作的閉環差出幾十毫秒，任務就可能直接失敗。
這恰恰是當前行業普遍忽略的底層矛盾。眼下聊具身智能，話題總繞不開參數規模和數據量級，好像只要模型足夠大、數據足夠多，通用機器人就是水到渠成的事。但很少有人會追問一句：等模型真的大到那個程度，機器人的動作還能跟得上嗎？
最近和上海交通大學ScaleLab團隊負責人、助理教授穆堯聊了一個多小時，圍繞他們剛發布的全新機器人操控模型AHA-WAM（異步視野自適應世界-動作模型），從技術細節聊到行業走向，聊完最直觀的感受是：具身智能這趟車開了這么久，終于有人開始低頭看路，盯著真正的落地死磕了。
這套由上海交通大學ScaleLab團隊、上海人工智能實驗室聯合百度智能云共同推出的方案，最核心的動作只有一個：把機器人的場景思考和動作執行，拆成了兩套不同節奏的系統異步運行。聽起來算不上什么石破天驚的創舉，卻實實在在打破了WAM（世界-動作模型）沿用至今的同步綁定邏輯。
先說核心性能層面：無需依賴大規模機器人真實數據做預訓練，就在權威仿真基準平臺RoboTwin 2.0取得92.8%的平均任務成功率，超越業內主流模型。其中，真機多任務綜合成功率78.3%，閉環控制頻率從同類模型的5.26Hz拉到24.17Hz，提速近5倍；輕量化的AHA-WAM-Flash版本更是摸到了56.95Hz，相較傳統基線提速超10倍。
簡單翻譯一下，就是提速不“翻車”，還更省算力。過去，具身智能行業長期存在一個兩難：世界模型的推演能力越強，參數量級越高，單步推理的耗時就越長，可機器人的實時控制恰恰對閉環頻率有極高要求。兩者的差距拉大到一定程度，再強的模型能力也無法轉化為流暢穩定的真機表現。
從這個角度，AHA-WAM打破了這個固有規律。
在穆堯看來，這些數字只是當下的結果。真正值得關注的是這套架構面向未來的延展性。當具身智能進入下半場，模型規模還會持續攀升，今天驗證的異步邏輯，本質是給百億級世界模型的商用落地，提前搭好了一副骨架。
01
從第一性原理出發
拆分快慢系統
傳統WAM模型的運行邏輯，說起來也符合直覺。機器人每輸出一個動作，都要先基于當前畫面做一次完整的場景推演，預判接下來的物理變化，再據此生成控制指令。思考和行動嚴格綁定在同一個時間步里，想一步，動一步。
這套邏輯在模型體量不大的時候，問題還不突出。可一旦往通用化方向走，世界模型的參數規模上去了，單步推理的耗時會被快速拉長。機器人的實時控制對閉環頻率又有剛性要求，落到真機上，低于10赫茲的動作就能看出明顯卡頓，再疊加機械臂本身的重復定位誤差，任務失敗率會被抬得很高。
這是個很現實的矛盾：要更強的泛化能力，就得要更大的模型；更大的模型，就意味著更慢的反應。行業里的應對方式大多集中在模型壓縮上，剪枝、量化、蒸餾，想盡辦法把大模型塞進實時控制的時間窗口里。
穆堯團隊從一開始就沒選這條路。
他們的判斷基于一個更長期的技術趨勢：面向未來的強通用世界模型，體量增長是必然的�，F在5B參數的視頻生成模型，只是當前算力約束下的折中選擇，往后還會不斷邁上新的量級。壓縮技術能帶來的收益總有邊界，沒法從根源上消解這個矛盾。
既然靠壓縮追不上模型增長的速度，那就換個思路：把不同性質的計算拆開，用各自合適的節奏運行。世界推演計算量大、不需要每幀都更新，那就低頻運行，算完的結果緩存起來反復用；動作生成要求低延遲、高頻率，那就高頻輸出，直接調用緩存好的場景信息。
快慢系統的拆分思路，就這么順著兩類計算的天然特性推導了出來。
思路本身不復雜，真正的門檻藏在細節里。兩套系統不同步，就必然存在時間差——慢模塊用舊觀測算出的推演結果，等快模塊執行幾步動作之后，就和真實環境產生了錯位。直接用舊信息指導新動作，一定會拉低成功率。
這種精度下滑的方向，團隊在研究初期就從原理上預判到了。舊的觀測和實時狀態錯配，成功率下降是必然的，只是具體降多少，最終消融實驗顯示，純異步架構（不加記憶和 OVCR）會讓任務成功率下降近3個百分點。
整個項目從立項到拿到穩定可復現的結果，前后走了半年時間。其中真正跑實驗、測數據的階段只占三分之一，大部分精力都花在了前期的方案探索和可行性驗證上。所有最終對外公布的性能數據，每個任務都經過了 50 次以上的獨立重復實驗，取平均值作為最終結果。
02
快慢之間的補丁和校企協同的真實樣本
找到了問題，就要補窟窿�？炻K之間的信息同步與修正機制，是整套方案最核心的技術關卡。
團隊給修正機制定了一條紅線：絕對不能抵消異步架構帶來的速度收益。如果為了補精度把修正模塊做得很重，那還不如回到同步的老路上。
最終承擔這個橋接功能的是OVCR模塊。它沒有選擇重新計算完整的視覺特征，而是用少量可學習的query token，從當前實時觀測里提取和任務強相關的關鍵信息，再通過殘差更新的方式，給慢速模塊輸出的舊KV cache打補丁。
打個不太嚴謹的比方，就像你提前寫好了一份行動方案，執行過程中環境有了小變化，你不用重寫整份方案，只在對應的地方改幾行關鍵內容就行。改動量很小，但足夠適配當前的真實狀態。
整個修正過程只涉及少量token的交互，計算開銷極低。訓練階段，團隊還會隨機模擬快慢系統之間不同程度的時間差，讓模型自主學習不同錯位程度下的修補策略，適應各種級別的時間偏差。最終的效果是，幾乎不損失推理速度，就抹平了異步帶來的精度損耗。
算法原型跑通，只是走完了第一步。要把紙面的性能落到真實的運行環境里，還得靠工程層面的深度打磨，這也是百度智能云的百度百舸團隊在項目里承擔的核心角色。
高校做前沿算法研究有天然的優勢，對問題的判斷、對架構的創新，往往能走在產業前面。但落到算力調度、異構硬件協同、系統級推理優化這些環節，高校團隊的積累通常不如產業界深厚。很多很有想法的算法原型，最后就卡在 AI Infra 工程化這一步，始終達不到工業級的性能標準。
和百度智能云的合作，剛好補上了這塊短板。
百度百舸AI計算平臺為項目搭建了統一的算力池，里面同時包含訓練卡和渲染測試卡，不同硬件之間可以高效調度、數據共享，訓練階段保證算力利用率，測試階段滿足渲染和推理需求。同時，百度百舸團隊針對AHA-WAM模型推理的全程做了系統級 AI Infra 工程優化，硬生生把單步動作推理的延遲從415毫秒壓到了41毫秒。
接近10倍的延遲壓縮，單靠算法調優是做不出來的，必須依賴系統層面的工程打磨。用穆堯的話說，高校出算法創新的原型，企業做 AI Infra 優化，提供工程落地的支撐，這種能力上的互補，才是校企合作最該有的樣子。
在 AI Infra 工程優化的基礎上，團隊又通過蒸餾技術，把視頻生成模型的去噪步數從10步壓縮到2步，推出了輕量化的Flash版本。其中，Flash版本的閉環推理頻率能跑到56.95Hz，在任務邊界清晰的場景里，動作流暢度已經能摸到傳統工業機器人的水平。
有意思的是，異步架構帶來的速度提升，并沒有伴隨算力消耗的上漲。實際執行任務的時候，它的算力開銷和現有主流世界模型基本持平，所有的收益都來自架構和工程層面的效率改進，而不是簡單的算力堆砌。
03
具身智能下半場走得遠比跑得快重要
很多人聊起 AHA-WAM，都會把它定義成一次模型提速優化。但放在物理AI的長期產業坐標系里看，它的意義其實遠不止于此。
它解決的不是某一款模型的性能問題，而是物理AI規�；涞氐囊活惞残约軜嬰y題。
剪枝、量化這類提速方案，本質都是在想辦法把大模型塞進邊端硬件里，天花板是清晰可見的。等模型規模走到百億參數級別，就算做極致的量化壓縮，也很難在單張消費級顯卡上完整部署，更別說滿足實時控制的頻率要求。
到了那個階段，云端做推演、邊端做執行會成為必然的部署形態。云端和邊端之間，天然就存在異步狀態，這種狀態沒法靠壓縮技術消弭。
AHA-WAM解決的，恰恰是這種被迫異步場景下的核心問題：怎么讓慢節奏的云端推演結果，持續穩定地指導快節奏的邊端動作執行。這套機制不依賴模型的具體體量，模型越大、端云拆分越徹底，它的價值就越突出。今天在5B模型上驗證過的邏輯，未來可以直接平移到更大規模的模型上。所有成熟的壓縮技術也都可以和異步架構疊加使用，進一步釋放性能空間。
從這個角度看，它提供的不只是一個提速方案，更是WAM路線面向規模化落地的一種新范式。
異步架構的通用性還不止于桌面機械臂場景。移動操作機器人對世界模型的需求更強，目標物體可能不在當前視野內，需要依賴長期記憶完成導航與操作，推理時延的挑戰也更大，異步方案可以天然適配這類場景。
多機器人協作同樣如此，中央大腦負責全局調度與規劃，端側機器人負責實時動作調整，本身就是快慢系統的另一種形態，底層的異步協同邏輯完全共通。即使是JEPA式的隱狀態動力學模型，隨著模型體量增長，同樣會面臨推演與執行的節奏差問題，只是具體的修正機制會隨模態不同而調整。
當下的具身智能賽道，關于架構創新與數據預訓練的路線討論從未停止。穆堯的判斷是，兩者是互補關系，其中海量數據預訓練的權重更高。當下很多所謂的架構創新，只是在 Transformer基礎上做局部的結構調整，帶來的增益遠不如精細化的數據處理與對齊。
當然這不等于架構創新沒有價值。真正有價值的架構改動，應該從物理規律和數據特性的第一性原理出發。比如機器人的交互發生在三維空間，單目視覺有天然的局限，基于雙目、多視角做模型設計，就比單純調網絡層結構更有底層意義。再比如推理效率的優化，模型訓練一次的成本越來越高，更快的迭代速度本身就是核心競爭力，異步架構就是在這個維度上提供了長期價值。
關于數據規模，行業里也有不少認知偏差。很多團隊投入幾百小時的機器人數據，就期待看到性能的質變，實際上這個量級遠遠不夠。公開資料里有個可參考的節點，數據規模達到27萬小時級別，世界模型才會出現明顯的能力躍遷。幾百小時的數據增量，只有在訓測場景高度相似的時候才會體現出效果，對通用泛化能力的提升非常有限。
這也是現在行業普遍選擇基于通用視頻基座做領域微調的原因。經過海量互聯網視頻預訓練的基座，已經具備了基礎的物理規律認知和視覺理解能力，補充百小時級的機器人操作數據，就能在具體任務上拿到不錯的效果。如果從零開始只用機器人數據訓練，幾千小時也未必能達到同等的泛化水平�，F在全行業都在加速采集第一視角的人類操作數據，本質都是在為更大規模的世界模型預訓練攢家底。
仿真數據也是同理。模型越大，需要的仿真數據量級就越高�，F在行業的仿真數據規模還遠沒到飽和的階段，高質量仿真數據的生產和利用，會是個長期的課題。
聊到最后，穆堯提到了和百度智能云接下來的三個合作方向：更大規模的基礎世界模型，依托云廠商的算力突破小體量模型的能力上限；人形機器人運動控制基礎模型，用仿真合成數據解決真機采集成本高的問題；還有具身智能的自我進化，在仿真環境里做大規模強化學習，讓模型通過自主探索實現能力迭代。
關于具身智能的“ChatGPT 時刻”，行業里已經討論了很多年。穆堯認可的判斷是，當基礎模型在大多數通用任務上都能達到70分左右的水平，就算摸到了這個節點。在那之前，數據積累、架構創新、工程化落地會長期并行，沒有哪條路線能單獨支撐產業的躍遷。
其實聊完整場，最強烈的感受是，具身智能已經過了靠概念造勢的階段。走到下半場，沒人能靠單點突破一勞永逸。AHA-WAM不是什么顛覆性的技術革命，它只是在正確的方向上，提前解決了未來一定會遇到的問題。
行業里永遠不缺追熱點的人，大家都盯著當下的性能榜單，爭著刷新的成功率數字。但真正能走到最后的，往往是那些愿意為三年后的問題布局，愿意把每一個落地細節做扎實的團隊。畢竟對技術這條路來說，走得遠，從來都比跑得快更重要。
— END —
原文標題 : 對話穆堯：世界模型越做越大，機器人動作如何跟上節奏
分享
請輸入評論內容...
請輸入評論/評論長度6~500個字
