CMMLU中文向排名第一！快手自研大模型來了

2023-08-22 09:12

在國外微軟、谷歌和Meta因?yàn)锳I打得不可開交的時(shí)候，國內(nèi)的互聯(lián)網(wǎng)公司們也開始了新一輪的AI內(nèi)卷。

一開始各家都想著自己要做出跟GPT一樣的大模型，比如百度、360等大廠。但是算力、算法、數(shù)據(jù)這三大項(xiàng)，在國內(nèi)的情況都心知肚明，根本和國外沒得比。

盡管百度的文心一言、訊飛的星火還有360的智腦等等大模型都陸續(xù)上線，但是最后的效果都不怎么盡如人意。看到國內(nèi)首屈一指的頭部大廠都只能做成這樣，一下子讓不少公司回過味兒來，只要大模型能達(dá)到自己的需求就成，不去盲目拼什么參數(shù)和成績(jī)，拼也拼不過。

前段時(shí)間，字節(jié)跳動(dòng)代號(hào)為Grace的對(duì)話式AI項(xiàng)目，開啟了內(nèi)測(cè)。最近，這個(gè)名叫Grace的項(xiàng)目，改叫“豆包”了。在一眾不是神仙就是神獸的AI面前，“豆包”倒顯得有點(diǎn)可愛捏～

盡管字節(jié)的負(fù)責(zé)人說這個(gè)項(xiàng)目還不成熟，但是和抖音的結(jié)合還是值得期待。而另一邊的快手，似乎也等不及要秀秀肌肉了。

最近頻繁亮相的AI綜合中文評(píng)估基準(zhǔn)CMMLU等榜單上，一個(gè)KwaiYii－13B的模型成績(jī)相當(dāng)亮眼，更是一躍奪得CMMLU中文向排名第一！而這個(gè)KwaiYii－13B，就是來自快手的自研大模型“快意”（KwaiYii）。

CMMLU中文向排名第一！快手自研大模型來了

異軍突起的“快意”

在CMMLU榜單中，KwaiYii－13B同時(shí)位列five－shot和zero－shot項(xiàng)目下的中文向第一名，在人文學(xué)科、中國特定主題等方面較強(qiáng)，平均分超61分。

CMMLU中文向排名第一！快手自研大模型來了

根據(jù)GitHub的頁面顯示，“快意”是由快手 AI 團(tuán)隊(duì)研發(fā)的大規(guī)模語言模型，而本次引發(fā)關(guān)注的正是其新版本 KwaiYii－13B。

目前，快意覆蓋了預(yù)訓(xùn)練模型（KwaiYii－Base）、對(duì)話模型（KwaiYii－Chat），主要特點(diǎn)包括：

1、KwaiYii－13B－Base預(yù)訓(xùn)練模型具備優(yōu)異的通用技術(shù)底座能力，在絕大部分權(quán)威的中／英文Benchmark上取得了同等模型尺寸下的State－Of－The－Art效果。

例如，KwaiYii－13B－Base預(yù)訓(xùn)練模型在MMLU、CMMLU、C－Eval、HumanEval等Benchmark上目前處于同等模型規(guī)模的領(lǐng)先水平。

CMMLU中文向排名第一！快手自研大模型來了

2、KwaiYii－13B－Chat對(duì)話模型具備出色的語言理解和生成能力，支持內(nèi)容創(chuàng)作、信息咨詢、數(shù)學(xué)邏輯、代碼編寫、多輪對(duì)話等廣泛任務(wù)，人工評(píng)估結(jié)果表明KwaiYii－13B－Chat超過主流的開源模型，并在內(nèi)容創(chuàng)作、信息咨詢和數(shù)學(xué)解題上接近ChatGPT（3．5）同等水平。

CMMLU中文向排名第一！快手自研大模型來了

據(jù)透露，快意目前已開啟內(nèi)測(cè)，并為業(yè)務(wù)團(tuán)隊(duì)提供了標(biāo)準(zhǔn) API 和定制化項(xiàng)目合作方案。至于目的，明顯是沖著字節(jié)的“豆包”去的。

哭死，這回豆包真成干糧了！

快手不光有“快意”

7 月 8 日，快手宣布正在內(nèi)測(cè)智能問答產(chǎn)品。8月8日，快手就宣布“快手AI對(duì)話”開啟小范圍測(cè)試，而這倆其實(shí)都是基于“快意”大模型打造的對(duì)話式AI產(chǎn)品。

8 月 18 日，“快手AI對(duì)話”功能已經(jīng)在快手 APP 安卓版本開放內(nèi)測(cè)，成為短視頻直播首個(gè)基于大語言模型落地的對(duì)話式AI產(chǎn)品。

在推出“快手AI對(duì)話”的時(shí)候，快手高級(jí)副總裁、研發(fā)線負(fù)責(zé)人于冰表示，AI大模型作為當(dāng)下最重要的革命性技術(shù)，進(jìn)入爆發(fā)期，有望開啟AGI時(shí)代，而多模態(tài)內(nèi)容生成與理解是其核心能力。

至于為什么要投入到這場(chǎng)AI大潮中去，于冰也有著這個(gè)行業(yè)的共同看法。他覺得短視頻、直播作為最典型的多模態(tài)媒介，快手也應(yīng)該抓住平臺(tái)基因，在AI大模型領(lǐng)域重度投入，全方位探索技術(shù)突破。

他介紹說，目前，快手在AI大模型的布局體系分為三個(gè)層級(jí)：基于具備高性能、高并發(fā)、高算力的“大基建”，構(gòu)建快手多模態(tài)的AI“大模型”，進(jìn)而在搜廣推、內(nèi)容創(chuàng)作、用戶增長(zhǎng)、研發(fā)效能等領(lǐng)域內(nèi)打造“大應(yīng)用”。

有了AI輔助，影視創(chuàng)作的成本會(huì)明顯地降低，周期也會(huì)縮短，這不管是對(duì)創(chuàng)作者來說還是對(duì)平臺(tái)來說，都是好事，能形成良性循環(huán)。

短視頻雙雄的AI賽跑

字節(jié)有“豆包”，快手有“快意”。目前來看沒有誰比誰強(qiáng)，只是側(cè)重點(diǎn)相對(duì)不同。

“豆包”其實(shí)只是字節(jié)對(duì)外公開的AI對(duì)話大模型的一個(gè)模型而已，此外字節(jié)還提供“超愛聊天的小寧”“英語學(xué)習(xí)助手”“全能寫作助手”三個(gè)不同的AI對(duì)話角色。

豆包大體上就和百度的文心一言一樣，問答、續(xù)寫、解析、推理等基礎(chǔ)功能都有，主要還是內(nèi)容生成服務(wù)。

CMMLU中文向排名第一！快手自研大模型來了

而快手AI對(duì)話的功能主要是為用戶提供快速、簡(jiǎn)便的查找功能，用戶可以通過對(duì)話的方式來快速查找自己感興趣的內(nèi)容，也可以通過對(duì)話的方式找到對(duì)應(yīng)的短視頻、達(dá)人或是其他內(nèi)容。

說人話就是，“快手AI對(duì)話”其實(shí)更像Bingchat，更多的充當(dāng)一個(gè)搜索引擎，讓用戶去搜索快手內(nèi)容庫里的數(shù)據(jù)。快手和字節(jié)的差異主要在于算法優(yōu)化和數(shù)據(jù)訓(xùn)練規(guī)模，訓(xùn)練數(shù)據(jù)越多，其智能化程度就越高。

結(jié)語

短視頻平臺(tái)在走過AI算法推薦的路子之后，在生成式AI的加持下，到底能玩出什么花來呢？

而現(xiàn)在短視頻的同質(zhì)化會(huì)不會(huì)因?yàn)锳I的到來，有所改變，則是廣大用戶們更為關(guān)心的。

如果最后只是為了更方便直播帶貨，或者單純?yōu)榱俗寗?chuàng)作者更輕松，但不在乎質(zhì)量，那這個(gè)AI，還不如沒有。