DeepSeek 提出了流形約束超連接（Manifold-Constrained Hyper-Connections，mHC）。mHC 是一個通用框架，它將 HC 的殘差連接空間投影到特定的流形上以恢復恒等映射特性，同時結合嚴格的基礎設施優化來確保效率。

實驗表明，mHC 能夠有效地進行大規模訓練，提供顯著的性能提升和優異的可擴展性。這將有助于加深對拓撲架構設計的理解，并為基礎模型的演進指明有前景的方向。

方法論

團隊提出將殘差映射投影到一個流形上，該流形既能保持信號在各層間傳播的穩定性，又能促進殘差流之間的相互作用，從而保持模型的表達能力。

研究人員設定了一個雙重隨機性的參數 H，選擇賦予了模型若干嚴格的理論性質，有利于大規模模型的訓練。

此外，他們還對輸入映射 H 施加非負性約束。

通過嚴格的優化，團隊以僅 6.7% 的訓練開銷，在大規模模型中實現了 mHC。

他們采用混合精度策略在維持速度的前提下最大化數值精度，并將多個具有共享內存訪問的操作融合到統一的計算內核中，以減少內存帶寬瓶頸。

為了緩解內存開銷這個問題，研究人員在前向傳播之后丟棄 mHC 核的中間激活值，并在反向傳播過程中通過重新執行 mHC 核來動態地重新計算這些激活值。

為了防止阻塞通信流，研究人員在專用的高優先級計算流上執行 MLP 層的 Fkernel。此外，他們還避免在注意力層中對長時間運行的操作使用持久內核，從而避免長時間的停頓。

這種設計能夠搶占重疊的注意力計算，從而在保持計算設備處理單元高利用率的同時，實現靈活的調度。

此外，由于每個階段 x 的初始激活已在本地緩存，因此重新計算過程與流水線通信依賴性解耦。

實驗結果

結果表明，mHC 在損失和梯度范數方面均表現出更優的穩定性。

mHC 有效地緩解了 HC 中觀察到的訓練不穩定性，最終損失值比基線模型降低了 0.021。mHC 的表現明顯優于 HC，并保持了與基線模型相當的穩定性。

在多種基準測試中的下游性能，mHC 實現了全面的性能提升，始終優于基線模型，并在大多數任務上超越了 HC 模型。值得注意的是，與 HC 模型相比，mHC 模型進一步增強了推理能力，在 BBH 任務上性能提升了 2.1%，在 DROP 任務上性能提升了 2.3%。

即使在更高的計算預算下，mHC 性能優勢依然保持穩定。與 HC 相比，mHC 顯著提高了傳播穩定性，確保了穩定的前向信號和后向梯度流。

相關人員表示，對不同幾何約束的進一步研究可能會產生新的方法，從而更好地優化可塑性和穩定性之間的權衡。通過加深對拓撲結構如何影響優化和表征學習的理解，mHC 將有助于解決當前的局限性，并有可能為下一代基礎架構的演進指明新的方向。

參考資料：

https://www.arxiv.org/pdf/2512.24880