注意力加速：TurboDiffusion 使用低比特率的 SageAttention 和可訓練的稀疏線性注意力機制 (SLA) 來加速注意力計算。
步驟蒸餾：TurboDiffusion 采用 rCM 算法進行高效的步驟蒸餾。
W8A8 量化：TurboDiffusion 將模型參數和激活值量化為 8 位，以加速線性層并壓縮模型。
TurboDiffusion 主要使用 SageAttention 、 SLA（稀疏線性注意力） 進行注意力加速，以及 rCM 進行時間步蒸餾。
這是使用單塊 RTX 5090 顯卡，通過 Wan-2.1-T2V-1.3B-480P 生成的 5 秒視頻示例：
通過算法和系統協同優化，TurboDiffusion 在單個 RTX 5090 上將 Wan2.1-T2V-14B-720P 的擴散推理延遲降低了約 200 倍。
方法論
TurboDiffusion 主要采用四種技術來加速擴散模型。
TurboDiffusion 使用 SageAttention 進行低比特量化注意力加速。
TurboDiffusion 使用 Sparse-Linear Attention (SLA) 進行稀疏注意力加速。
TurboDiffusion 使用 rCM 來減少采樣步數，rCM 是目前最先進的擴散蒸餾方法之一。通過模型權重合并，rCM 自然地繼承了注意力層面的加速。
TurboDiffusion 使用 W8A8 量化進行線性層加速。
在培訓過程中，TurboDiffusion 根據給定預訓練的視頻擴散模型，執行以下訓練過程。
首先，將完全注意力機制替換為稀疏線性注意力機制 (SLA)，并對預訓練模型進行微調以適應稀疏性。
同時，使用 rCM 將預訓練模型提煉為一個采樣步數更少的學生模型。其次，將 SLA 微調和 rCM 訓練得到的參數更新合并到一個模型中。所有訓練過程均可使用真實數據或合成數據。
評估
Wan2.2-I2V-A14B-720P
使用單個 RTX 5090 在 Wan2.2-I2V-A14B-720P 上生成 5 秒視頻：
“
第一人稱視角自拍視頻，超級凌亂，速度極快。一只戴著墨鏡的白貓面無表情地站在沖浪板上，突然沖浪板猛地側甩，將貓和相機一起甩入水中；畫面急劇下沉，被劇烈的氣泡、旋轉的湍流和模糊的水痕吞噬，相機也隨之下沉。陰影加深，水壓波紋扭曲了邊緣，松散的氣泡從鏡頭前涌出，顯示相機仍在下沉。然后，貓以驚人的速度向上踢水，拖著畫面穿過翻騰的氣泡和迅速變亮的水面，陽光重新涌入；相機飛速上升，水花從鏡頭上飛濺，最終在一陣強光和水花中沖出水面，畫面瞬間恢復成一張歪斜而慌亂的自拍，而貓也重新浮出水面。
使用單個 RTX 5090 在 Wan2.2-I2V-A14B-720P 上生成 5 秒視頻:
“
烏瑪·瑟曼飾演的碧翠絲·基多在電影般的燈光下穩穩地握著她鋒利的武士刀。毫無預兆地，整把刀瞬間失去剛性，材質如同不穩定的液體般顫抖。刀身表面完全失穩——一塊塊金屬緩緩脫落，化作涓涓細流般的熔銀，滴滴向下流淌。片刻之后，刀身變成一團坍塌的、無定形的金屬，沒有棱角，也沒有結構。濃稠的液態金屬從她手中傾瀉而出，隨后是片片閃爍的液體撕裂開來，落到地上。她手中現在只剩下一團顫抖的、如同水銀般的液體，不斷下垂滴落。隨著最后一點固體殘存的物質溶解、撕裂、從她指間流淌，她的表情從平靜的準備轉變為震驚和困惑，她變得毫無防備，茫然無措。
Wan2.1-T2V-1.3B-480P
使用單個 RTX 5090 在 Wan2.1-T2V-1.3B-480P 上生成 5 秒視頻：
“
鏡頭圍繞著一大堆老式電視機旋轉，這些電視機都在播放不同的節目——20 世紀 50 年代的科幻電影、恐怖電影、新聞、雪花屏、20 世紀 70 年代的情景喜劇等等，場景設置在紐約一家大型博物館的展廳內。
使用單個 RTX 5090 在 Wan2.1-T2V-1.3B-480P 上生成 5 秒視頻:
“
一個 3D 教室場景，里面坐滿了 6 到 8 歲的小朋友，他們都專注地坐在各自的課桌前。一位盡職盡責的老師站在講臺前，與學生們進行著生動的互動，用手勢和面部表情傳遞著熱情。教室里燈光明亮，墻上貼滿了色彩鮮艷的海報和圖表。每個孩子都全神貫注，有的點頭附和，有的舉手提問。課桌整齊地排列成行，每張桌子上都擺放著書本和鉛筆。背景中有一扇窗戶，陽光透過窗戶灑進來，在教室里投下柔和的光影。這是一個廣角鏡頭，從正面視角展現了整個教室。
Wan2.1-T2V-14B-720P
使用單個 RTX 5090 在 Wan2.1-T2V-14B-720P 上生成 5 秒視頻:
“
在都市戶外，一位身穿黑色連帽衫和白色條紋黑色運動褲的男子走向一座現代建筑旁的長椅，該建筑擁有巨大的落地玻璃窗。他肩上挎著一個黑色背包，手里拿著一疊文件。走到長椅前，他彎下腰，將文件放在上面，然后坐了下來。不久，一位身穿紅色夾克（飾有黃色點綴）和黑色褲子的女子走了過來。她站在長椅旁，面對著他，似乎在與他交談。男子繼續翻閱文件，女子則認真地傾聽。背景中，可以看到其他人走過，有些人提著包，為這熙熙攘攘卻又輕松隨意的場景增添了幾分氛圍。整體氛圍暗示著在繁忙的環境中，他們正在進行一場專注的討論或準備工作。
Wan2.1-T2V-14B-480P
使用單個 RTX 5090 在 Wan2.1-T2V-14B-480P 上生成 5 秒視頻:
“
一名手持火把的《我的世界》玩家角色進入一個巨大的地下洞穴�；鸢训墓饷⒃卺揍镜氖谏蠐u曳，照亮了嵌在巖石中的鐵礦和鉆石礦。鐘乳石從洞頂垂下，附近有熔巖流淌成閃亮的溪流，洞穴中回蕩著微弱的滴水聲。
相關人員表示，未來將計劃擴展此框架以支持更多視頻生成范式，例如自回歸視頻擴散。
參考資料：
https://jt-zhang.github.io/files/TurboDiffusion_Technical_Report.pdf
https://github.com/thu-ml/TurboDiffusion
分享
