「思考用時(shí)100秒」成歷史？AI推理太耗時(shí)，伯克利要讓模型并行推理

2026-05-11 10:25

讓 AI 以 AI 的方式思考。

“已思考（用時(shí) XXX 秒）……”看到這行字，大家是不是已經(jīng)開始不耐煩了？盡管 AI 這幾年確實(shí)越來(lái)越聰明、也越來(lái)越全能了，但在遇到某些奇怪的推理題目或橫跨多個(gè) App 的復(fù)雜任務(wù)時(shí)，這些更聰明、更謹(jǐn)慎的 AI 大模型，響應(yīng)時(shí)間反而越慢。

（圖源：deepseek）

針對(duì)「轉(zhuǎn)圈圈」這一現(xiàn)象，伯克利人工智能研究實(shí)驗(yàn)室（BAIR）日前發(fā)布了一篇新的博客，提出了不一樣的解決方案——自適應(yīng)并行推理（Adaptive Parallel Reasoning，APR）。

AI 推理為什么要「轉(zhuǎn)圈圈」？

在展開 APR 這個(gè)概念之前，我們要先聊聊為什么現(xiàn)在的 AI 普遍都有會(huì)在某個(gè)環(huán)節(jié)卡住。

目前主流模型普遍采用的「順序推理」的模式：大模型接到復(fù)雜任務(wù)后，會(huì)先把任務(wù)分割成一個(gè)個(gè)邏輯相連的小任務(wù)，然后從頭到尾一步步推，之后再驗(yàn)證結(jié)果。

左為順序推理（SR），右為并行推理（APR）

圖片來(lái)源：BAIR

從好的方面看，這種推理方式準(zhǔn)確性相對(duì)有保障，推理過(guò)程也更為清晰。比如上個(gè)月雷科技體驗(yàn)用 ChatGPT 畫原創(chuàng)漫畫時(shí)，展開推理窗口我們就能看到 AI 從頭到尾設(shè)計(jì)故事、對(duì)白和規(guī)劃畫面的過(guò)程。

圖片來(lái)源：雷科技

但這還沒(méi)完，為了保證推理結(jié)果的準(zhǔn)確性，主流模型還會(huì)采用一個(gè)名為「推理時(shí)拓展」（Inference-time scaling）的推理模式。用人話來(lái)解釋，就是模型推理得出結(jié)果后，會(huì)再發(fā)起一次推理來(lái)驗(yàn)證這個(gè)結(jié)果。只有多次推理結(jié)果一致，才會(huì)輸出最終結(jié)果。

很顯然，「驗(yàn)算」次數(shù)多了，推理的耗時(shí)就長(zhǎng)了，用戶的等到時(shí)間也就長(zhǎng)了。

當(dāng)然了，順序推理也有自己的好處。對(duì)于那些特別復(fù)雜的推理任務(wù)，順序推理的模式能保證推理結(jié)果的可溯源性。只要點(diǎn)開推理過(guò)程，我們能人工檢查每一步驟的推理結(jié)果，可以相對(duì)輕松地找到 AI 在哪個(gè)步驟的運(yùn)算出了問(wèn)題。

那代價(jià)是什么呢？

很顯然，「順序推理+推理時(shí)拓展」的推理模式需要更長(zhǎng)的推理時(shí)間，用戶等待時(shí)間更長(zhǎng)；逐步拆解任務(wù)再重新推理的方式，也會(huì)顯著提高模型推理的 Token 用量。更不用說(shuō)這種計(jì)算模式很容易突破任務(wù)的實(shí)際文本窗口大小，任務(wù)多跑幾次可能就丟掉上下文了。

本來(lái)用改進(jìn)推理結(jié)果的推理模式，最后反而成為壓垮 AI 大模型的罪魁禍?zhǔn)住?/p>

為了解決「推理排隊(duì)」的問(wèn)題，AI 行業(yè)提出了「并行推理」的模式。其本質(zhì)依舊是將推理步驟拆成多個(gè)小任務(wù)。在過(guò)去兩年里，不少 AI 研究員都提出了針對(duì)并行推理模式的結(jié)果驗(yàn)證方式。

但問(wèn)題是，采用「并行推理」的 AI 大模型通常會(huì)用額外的外部模型來(lái)拆解任務(wù)，大模型本身并不能決定一個(gè)任務(wù)要被拆解、細(xì)化到什么程度：簡(jiǎn)單任務(wù)拆太細(xì)會(huì)浪費(fèi) Token，復(fù)雜任務(wù)如果拆得不夠細(xì)，也可能會(huì)計(jì)算結(jié)果。

讓大模型學(xué)會(huì)自己拆分任務(wù)

那如果我們讓 AI 大模型自己決定任務(wù)拆解的程度呢？自適應(yīng)并行推理要做的就是這件事。

顧名思義，自適應(yīng)并行推理（APR）和傳統(tǒng)的并行推理最大的區(qū)別，在于模型可以在順序推理和并行推理之間動(dòng)態(tài)自由切換。

對(duì)于簡(jiǎn)單的計(jì)算或邏輯請(qǐng)求，比如「105 能否被 7 整除」或「明天天氣如何」這類題目，采用自適應(yīng)并行推理的模型會(huì)采用標(biāo)準(zhǔn)的順序推理模式，甚至可能都不需要推理時(shí)拓展來(lái)確保結(jié)果準(zhǔn)確性，自然也不需要把請(qǐng)求拆分成多個(gè)獨(dú)立項(xiàng)目了。

左為順序推理（SR），右為自適應(yīng)并行推理（APR）

圖片來(lái)源：BAIR

但如果遇到復(fù)雜的數(shù)學(xué)推理，或者明顯帶有步驟、上下文關(guān)系的邏輯請(qǐng)求，比如在應(yīng)對(duì)「導(dǎo)入并分析 2026 F1 中國(guó)站排位賽漢密爾頓在 T14 的尾速，并于 2025 年的數(shù)據(jù)做對(duì)比，數(shù)據(jù)可視化輸出」這種問(wèn)題時(shí)：

采用自適應(yīng)并行推理的模型，就會(huì)在不超出單個(gè)上下文窗口的前提下，將整個(gè)任務(wù)拆分成多個(gè)彼此相互獨(dú)立的小任務(wù)，并「并行處理」（即同時(shí)處理）沒(méi)有上下文關(guān)系的任務(wù)，從而節(jié)約整個(gè)大任務(wù)的耗時(shí)。

其次，傳統(tǒng)的并行推理會(huì)讓幾個(gè) AI 重復(fù)處理同一個(gè)小任務(wù)，這本質(zhì)上是在浪費(fèi) Token。而自適應(yīng)并行推理則是讓 AI 在拆分前就完成分工，進(jìn)一步減少 Token 的浪費(fèi)。

兩種不同推理模式示意圖

圖片來(lái)源：BAIR

甚至因?yàn)樽赃m應(yīng)并行推理模式會(huì)把任務(wù)鏈拆分成彼此之間獨(dú)立的小任務(wù)，這一模式還巧妙規(guī)避了超長(zhǎng)文本窗口常見的 AI 幻覺(jué)問(wèn)題。這其實(shí)也很好理解，畢竟讓 6 個(gè)人分別做 4 小時(shí)的數(shù)學(xué)題，答案的正確率肯定比讓一個(gè)人連做 24 小時(shí)要高得多。

讓 AI 以機(jī)器的方式「并行思考」

話又說(shuō)回來(lái)，盡管自適應(yīng)并行推理的概念為 AI 大模型提供了一種新的工作模式，但它背后也有自己的風(fēng)險(xiǎn)。

并行推理訓(xùn)練框架 Parallel-R1 的作者就指出，自適應(yīng)并行推理模式的訓(xùn)練存在「模型回滾」的情況：就像真正的「打工人」一樣，只要?jiǎng)h掉針對(duì)自適應(yīng)并行推理模式的「獎(jiǎng)勵(lì)」，AI 模型就會(huì)回歸到傳統(tǒng)的順序推理模式，重返自己的「舒適區(qū)」。

另外，讓模型自己評(píng)估任務(wù)復(fù)雜性、自行拆解任務(wù)的做法，也可能導(dǎo)致模型搞錯(cuò)子任務(wù)的主次，對(duì)真正的推理難題視而不見，在一些細(xì)枝末節(jié)的問(wèn)題上鉆牛角尖。且對(duì)于 AI 模型這種帶有「概率」「抽卡」屬性的技術(shù)而言，在推理過(guò)程中引入更多 AI「主觀判斷」的環(huán)節(jié)，必然會(huì)影響最終結(jié)果的穩(wěn)定性。

可以肯定的是，作為 AI 推理的新方案，自適應(yīng)并行推理還需要時(shí)間去完善。

截屏2026-05-09 23.39.54.png

圖片來(lái)源：Claude

但從用戶的角度看，在 AI Agent 時(shí)代，過(guò)去那種「插科打諢」純聊天的 AI 對(duì)話場(chǎng)景已經(jīng)非常少見了：昨天，Claude 上線了與微軟 365 套件的互通能力；三月份，OpenAI 發(fā)布了可以原生操作電腦的 ChatGPT 5.4……毫無(wú)疑問(wèn)，跨應(yīng)用長(zhǎng)任務(wù)鏈能力是未來(lái) AI 的競(jìng)爭(zhēng)點(diǎn)。

再加上長(zhǎng)任務(wù)鏈「環(huán)環(huán)相扣」的特點(diǎn)也會(huì)成倍放大 AI 大模型推理效率的短板，以前上學(xué)時(shí)老師說(shuō)的「一人耽誤一分鐘，全班耽誤半小時(shí)」的情況，將會(huì)出現(xiàn)在 AI Agent 中。在這樣的背景下，盡管自適應(yīng)并行推理方案還不穩(wěn)定，但考慮到其「降本增效」的能力，雷科技認(rèn)為應(yīng)該會(huì)有越來(lái)越多的 AI 服務(wù)加入到自適應(yīng)并行推理陣營(yíng)中。

進(jìn)一步講，從 AI 的發(fā)展來(lái)看，雷科技認(rèn)為這種從順序思考到自適應(yīng)并行思考的改變，其實(shí)也是 AI 大模型從「模擬人類思考」轉(zhuǎn)向「發(fā)揮機(jī)器優(yōu)勢(shì)」的里程碑。

線性、順序的推理方式，本質(zhì)上是讓機(jī)器模擬人類的思維。從好的方面看，這種推理方式讓 AI 大模型擁有了人類思考嚴(yán)謹(jǐn)、一環(huán)扣一環(huán)的特點(diǎn)。但硅基芯片多線程的特點(diǎn)，天生就適合并行計(jì)算，這種底層架構(gòu)的差異意味著「并行思考」才是真正適合 AI 的思考方式。

讓 AI 以人的方式思考，像是讓人形機(jī)器人拉黃包車；讓 AI 以 AI 的方式思考，AI 才算真正走進(jìn)「機(jī)械時(shí)代」。

可以肯定的是，當(dāng)這種「非線性」的思維方式成為主流后，AI Agent 的交互模式也會(huì)跟著發(fā)生變化。當(dāng)前的 AI 為了證明自己有在思考，會(huì)把推理過(guò)程體現(xiàn)出來(lái)，始終脫離不了「文本窗」的限制。而「并行」運(yùn)算時(shí)代的 AI，必然會(huì)「黑盒」化——后臺(tái)推理「火力全開」，前臺(tái)直接輸出結(jié)果。

到那時(shí)候，AI 自然也不需要向用戶證明「自己在思考」；「已思考 XXX 秒」這種沒(méi)有意義的提示，也將徹底消失在 AI 時(shí)代中。

大模型AI推理并行思考理論

來(lái)源：雷科技

本文圖片來(lái)自：123RF 正版圖庫(kù)

原文標(biāo)題 : 「思考用時(shí)100秒」成歷史？AI推理太耗時(shí)，伯克利要讓模型并行推理