訂閱
糾錯
加入自媒體

看完3·15不敢用AI?為了預防AI投毒,AI大廠備好了三板斧

2026-03-17 10:36
雷科技
關注

道高一尺,魔高一丈。

又是一年3.15,當天的央視315晚會上,AI大模型被投毒的現象擺到了臺面上。具體而言,就是GEO(生成式引擎優化)技術被濫用,部分商業營銷公司按照客戶需求,編造大量虛假內容,發布到各類平臺上,系統性地去影響AI。

在央視記者的探訪視頻中,業內人士用「力擎GEO優化系統」虛構了一款名為「Apollo-9」的智能手環。圍繞這款手環,該公司編造了大量營銷文章發布到自媒體平臺上,很快,部分大模型就誤信了這些內容,甚至正兒八經地推薦起了這款「手環」。更夸張的是,該公司后續發布10余篇評測文章后,就出現了部分大模型優先推薦這款產品的情況。

image.png

(圖源:央視)

總的來說,AI投毒本質上就是用虛假信息來欺騙AI,再讓AI把錯誤信息展露在用戶面前,達到誤導用戶的目的。AI投毒,背后的動力說白了還是虛假營銷。比如,一家企業要推廣自家的商品,如果要走「捷徑」,就可能會購買這類GEO服務。

現狀已經擺在面前了,我們最關心的問題則是:如何破解?面對海量的編造出來的虛假信息,大模型們要如何過濾?面對AI生成的錯誤答案,普通人又要如何辨別?

AI大廠的反擊:為大模型建立免疫系統

其實AI投毒的問題,從大模型誕生的那一刻起就出現了。很多AI大廠,很早就意識到了這個問題,并且也開啟了相應的反制措施。

小雷在查詢了相關資料后,總結了AI大廠構建免疫系統的手段,具體包括給數據打「數字水印」、建立語料溯源機制、增強信息源交叉驗證等。

首先,來看下數據「數字水印」。AI投毒行為往往有個特點,就是先用AI生成批量內容,再用這些內容去投毒;耶a商家這么做很好理解,畢竟人工一篇一篇去寫文章的話,人力成本太高了,而且效率太低。

而用AI生成,成本很低,頂多消耗一點付費的Tokens。更何況,這些虛假內容,本質上不是給真人看的,而是拿去欺騙AI的,所以對內容質量沒要求。

而給數據打「數字水印」,就是在AI生成內容這一環節提前打下的補丁。說得更具體點,就是在大模型生成文字、圖片等內容時,刻意在底層算法上留下痕跡,比如AI在預測下一個Token的概率分布時,故意偏向一組特定詞語組合。這樣一來,讀者閱讀這段AI生成文字時,不會覺得有什么問題,但回流到AI這里時,它就能瞬間識別出它不是真人撰寫的文字。

有了這項技術,大模型的爬蟲在互聯網上獲取信息時,就能識別出哪些是「有毒」的,并且主動過濾。

關于數字水印,目前比較有代表性的是谷歌的SynthID技術。它不僅能給文字打水印,還能給圖片、音頻、視頻打水印。文字方面,谷歌AI生成的文本在輸出前會加入一組偽隨機函數,調整特定詞語的分布概率。

針對圖片和視頻,大模型則會把水印以像素點陣的方式打上去,人肉眼看不出來,但AI能識別出來。針對音頻,AI可以加入特定的聲波頻率,人耳聽不見,完全是作為標識留下的。

然后,我們再來聊聊語料溯源機制。它的核心邏輯,就是給內容在源頭上建立檔案機制,寫入不能篡改的加密元數據,比如內容是誰生成的、具體時間是什么時候、最早在什么設備上出現。

2021年,Adobe、微軟、ARM、BBC、英特爾等企業倡導成立了C2PA聯盟(Coalition for Content Provenance and Authenticity,內容來源和真實性聯盟),旨在抵制虛假信息,為可靠的互聯網數字內容頒發「證件」。

c2pa_visualglossary.png

(圖源:C2PA)

通過它和類似的機制,AI就能在吸收原始資料時主動篩選可靠性更高、更權威的內容,降低野生論壇等可靠性低的內容占比。

最后,再說增強信息交叉驗證這部分。理論上,AI在生成內容時,會先去搜索資料,為了保證真實性,會對資料進行事實核查。當然,這一步毫無疑問會增加算力和時間成本,如果AI偷懶就可能會導致容易被騙。

比如315晚會上那個虛假手環,如果大模型有完善的信息驗證機制,就會發現,雖然相關文章多,但發布時間密集、內容重復度高等,可信度低。

總的來說,以上提到的手段,都可以在很大程度上遏制AI投毒的現象。當然,讓這些手段落地,一方面需要AI廠商有較強的技術能力,另一方面需要增加投入成本,容易被廠商在商業層面上的考量所左右。

大模型之爭,已經來到新階段

早先幾年,大模型之間的競爭仍然是在拼參數,頭部大模型的參數量早已從億、十億級卷到百億、千億甚至萬億級;ヂ摼W大廠之間的AI軍備競賽還在持續,不斷將海量的資金投入到AI基礎設施建設上。與此同時,AI Agent、具身智能等相關技術和應用在快速發展,引導大模型快速場景化落地,尋找到更多商業價值。

不過,大模型充當著大腦核心,決定了智能體、具身智能的上限。因此,未來的AI之爭,大模型仍然是重點。而從AI投毒的現象來看,GEO相關的行為已經形成了一條完整的灰色產業鏈,AI已經變成了不法營銷的重要入口。

feb2ede5-e389-46a3-aea1-b2dbcff9d26d.png

(圖源:央視)

AI被盯上,也說明大模型在國內的普及水平已經相當高了。就小雷之前的觀察來看,國產大模型產品在普通用戶中已經很流行了。和刻板印象不同的是,如今即便是不熟悉科技互聯網、文化程度偏低的普通人,也在大規模使用AI。

原因很簡單,國產大模型的上手門檻很低,用自然語言對話的模式比傳統搜索引擎的關鍵字搜索更易用。而且,國產AI應用場景化迅速,不僅能給用戶答疑解惑,還能與其他互聯網服務打通,具備點奶茶、訂電影票之類的實用功能。

AI GEO投毒能形成產業鏈,本質上還是因為AI用戶規模足夠大,大到能附著大量的商業利益。在這個大背景下,大模型之間的競爭重點,有變化了。

大模型的參數量還在增加,但邊際遞減效應明顯。在很多應用場景里,并不是模型越大越好,而是合適的更好。

同時,模型技術的進化重點之一,將會是如何對抗AI投毒。相比參數、跑分,未來大模型的核心競爭力將變成高質量純凈數據,干凈的語料,將會是AI廠商的寶貴資產。

國內頭部AI大廠,包括阿里、字節、DeepSeek等,都在數據純凈度方面下了大功夫。阿里2025年就發布了「AI安全護欄」,防范數據污染問題;字節2024年就全面加強了模型訓練環節的權限隔離與零信任架構,防止代碼和數據池污染;2024年,DeepSeek就宣布在訓練階段采用「正則表達式+AI脫敏工具」雙重校驗,強力過濾公開數據集中的污染信息和敏感數據。

AI投毒和反投毒,將是一場持久戰

看到AI投毒的相關新聞中提到的GEO技術時,小雷瞬間就想到了搜索引擎時代的SEO廣告。PC互聯網時代,搜索引擎是極為關鍵的入口,是互聯網營銷的重點。因此,很多品牌、商家為了增加自己在互聯網上的曝光度,會主動進行SEO優化。

搜索引擎品牌也把SEO視作一門生意,搞出了競價排名,當用戶的搜索關鍵詞觸發相應的商業項目時,付費品牌排名會靠前。競價排名這種商業模式引發了巨大的爭議,以至于后來搜索品牌不得不特意給SEO廣告打上「推廣」標簽,以和正常算法下的搜索結果相區分。

GEO和SEO一字之差,技術原理和商業鏈條上高度相似。只能說,技術本身沒有原罪,但很難完全避免被惡意利用。隨著AI技術的持續發展和落地,與之伴隨的商業利益也會滾雪球般越滾越大。

盡管AI大廠們會持續加強防范治理手段,以遏制AI投毒行為,但巨大的利益面前,灰產也會繼續不斷升級手段、尋找新的漏洞。

就像前文提到的文字水印技術,深諳AI技術的投毒者就會通過將文字翻譯成外文再翻回中文的手段來破解。這場貓鼠游戲,將會是一場曠日持久的攻防大戰,很難以某種手段一勞永逸地解決。

截至小雷這篇文章完成時,開頭我們提到的「Apollo-9」虛假手環,已經在主流大模型產品上被識別出來。由此可以發現,AI大廠針對AI投毒已經有一套防范和糾錯機制。

微信圖片_20260316183614_22_45.jpg

(圖源:雷科技)

當然,這起AI投毒案例,也是對作為普通人的我們的一次提醒:AI很強大、很好用,但不是全知全能的,大模型會有幻覺,也可能犯錯。

當我們要做重大決策,尤其是涉及到財務資金相關的決策時,要對AI給出的方案慎之又慎。這個過程里,我們不僅要看AI生成的結果,更要看它思考的過程,查證信息源頭是否可靠。還有另一個更簡單但有效的手段,那就是多用幾家AI,相互交叉驗證,不要單獨依賴某款大模型,貨比三家永遠是最好的選擇。

最后,我們也呼吁相關部門,針對AI投毒完善相應的法律法規,對整條灰色產業鏈形成威懾。AI投毒,加害者的實施成本很低,但危害很大,而且就像環境污染一樣,治理成本很高。在一個AI高速進化的時代里,我們每一個人都期望AI向善而非作惡。

AWE2026.png

AI大模型315GEO

來源:雷科技

本文圖片來自:123RF 正版圖庫       

       原文標題 : 看完3·15不敢用AI?為了預防AI投毒,AI大廠備好了三板斧

聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權或其他問題,請聯系舉報。

發表評論

0條評論,0人參與

請輸入評論內容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續

暫無評論

暫無評論

    人工智能 獵頭職位 更多
    掃碼關注公眾號
    OFweek人工智能網
    獲取更多精彩內容
    文章糾錯
    x
    *文字標題:
    *糾錯內容:
    聯系郵箱:
    *驗 證 碼:

    粵公網安備 44030502002758號