他們說：AI時(shí)代的安全問題，要“以模治?！?/h1>

連線Insight ? 2025-04-10 18:27 ? 商業(yè)財(cái)經(jīng) ? 閱讀 4706

文/陳鋒

編輯/子夜

2025年以來，DeepSeek火爆出圈的連鎖反應(yīng)下，全球范圍內(nèi)，大模型賽道的主流敘事已經(jīng)悄然生變。

從互聯(lián)網(wǎng)大廠到初創(chuàng)AI公司，行業(yè)一邊進(jìn)入新一輪技術(shù)競(jìng)賽，另一邊，從to C到to B，大模型在應(yīng)用側(cè)的落地進(jìn)程也在驟然加速，不少業(yè)內(nèi)人士都將2025年稱為AI應(yīng)用爆發(fā)元年。

但像任何一項(xiàng)新技術(shù)背后存在的兩面性那樣，大模型技術(shù)火熱之下，即將迎來的AI應(yīng)用爆發(fā)潮，也在滋生潛在的網(wǎng)絡(luò)安全隱患。

比如，根據(jù)騰訊云洞察，DeepSeek出圈以來，疑似仿冒DeepSeek的域名呈現(xiàn)爆炸式增長(zhǎng)，春節(jié)前后，其累計(jì)觀察到疑似仿冒DeepSeek的網(wǎng)站超過2萬個(gè)；其還監(jiān)測(cè)到，有大量仿冒站點(diǎn)，通過社交平臺(tái)引流C端用戶，指向虛擬幣平臺(tái)和色情網(wǎng)站。

與此同時(shí)，也有部分黑灰產(chǎn)，通過偽造提供DeepSeek本地部署和提供行業(yè)解決方案，對(duì)企業(yè)實(shí)施釣魚攻擊。

這種態(tài)勢(shì)下，如何及時(shí)洞察到AI時(shí)代下最新的網(wǎng)安攻防態(tài)勢(shì)、挖掘出更多的網(wǎng)安風(fēng)險(xiǎn)、探索出當(dāng)下AI賦能網(wǎng)安建設(shè)的思路和路徑，變得尤為重要。

連線Insight日前參與了騰訊云安全云鼎實(shí)驗(yàn)室主辦的一場(chǎng)“模型有界，安全無疆”大模型安全學(xué)術(shù)沙龍。我們注意到，這次研討會(huì)，就是一個(gè)觀察AI時(shí)代網(wǎng)安攻防新范式、從攻防實(shí)踐中抽離出網(wǎng)安建設(shè)新思路的窗口。

圖源騰訊安全官方微信公眾號(hào)

1、網(wǎng)安攻防新態(tài)勢(shì)：大模型引發(fā)新的潛在安全風(fēng)險(xiǎn)

去年年底，福布斯發(fā)布的“2025年AI十大預(yù)測(cè)”中，作者Rob Toews在其中一項(xiàng)預(yù)測(cè)中提到：

第一起真正的AI安全事故將會(huì)發(fā)生。

“或許，某個(gè)AI模型可能試圖悄悄地在另一個(gè)服務(wù)器上創(chuàng)建自己的副本以確保自身存續(xù)；或許，某個(gè)AI模型可能會(huì)得出結(jié)論，為了最好地推進(jìn)自己被賦予的目標(biāo)，它需要隱瞞自己能力的真實(shí)范圍，故意降低性能評(píng)估以避開更為嚴(yán)格的審查……”他如此寫道。

事實(shí)上，當(dāng)前階段，大模型能力的快速進(jìn)化所帶來的潛在安全風(fēng)險(xiǎn)，早已不止于大模型自身的“策略性欺騙”“偽裝對(duì)齊”。

比如針對(duì)當(dāng)下火熱的AI智能體，3月13日，美國網(wǎng)絡(luò)安全公司Symantec通過一項(xiàng)測(cè)試指出，AI智能體已突破了傳統(tǒng)工具功能限制，可輕松協(xié)助黑客發(fā)起釣魚攻擊。

此外，OpenAI早在2023年底曝出的“奶奶漏洞”（即用戶通過包裝話術(shù)，可以騙過ChatGPT輸出不該輸出的內(nèi)容）、我們上文提到的仿冒DeepSeek域名及網(wǎng)站、不法分子通過深偽技術(shù)進(jìn)行詐騙等，都是網(wǎng)絡(luò)安全嚴(yán)峻態(tài)勢(shì)的寫照。

這背后實(shí)則是，一方面，大模型技術(shù)的加速迭代，引入了大量全新、復(fù)雜的風(fēng)險(xiǎn)與威脅。

Freebuf在《2024全球AI網(wǎng)絡(luò)安全產(chǎn)品洞察報(bào)告》中提到，AI大模型存在的安全風(fēng)險(xiǎn)主要分為三類，分別是訓(xùn)練數(shù)據(jù)的安全風(fēng)險(xiǎn)、大模型本身的安全風(fēng)險(xiǎn)和外部攻擊風(fēng)險(xiǎn)。

具體來看，包括數(shù)據(jù)泄露及數(shù)據(jù)投毒等大模型在訓(xùn)練數(shù)據(jù)中的安全風(fēng)險(xiǎn)、海綿攻擊、武器化模型等外部網(wǎng)絡(luò)攻擊與風(fēng)險(xiǎn)等。

與此同時(shí)，大模型的兩面性也決定了，某種程度上，借助大模型，黑灰產(chǎn)與網(wǎng)絡(luò)犯罪的攻擊門檻也可能會(huì)降低。

比如攻擊者通過AI大模型高效生成欺詐內(nèi)容、快速挖掘潛在漏洞并提煉其中的共性缺陷提升攻擊效率、基于大模型的邏輯推理和策略規(guī)劃能力制定更復(fù)雜攻擊策略、針對(duì)已有漏洞向不同目標(biāo)批量發(fā)起攻擊。

另一方面，大模型在更多應(yīng)用、業(yè)務(wù)場(chǎng)景的落地過程中，網(wǎng)安風(fēng)險(xiǎn)也在加劇。

沙龍上，綠盟天元實(shí)驗(yàn)室高級(jí)研究員、M01N戰(zhàn)隊(duì)核心成員祝榮吉就總結(jié)，未來的大模型安全風(fēng)險(xiǎn)，可以分為兩個(gè)比較大的方面：

一方面，AI與應(yīng)用結(jié)合過程中，會(huì)產(chǎn)生新型風(fēng)險(xiǎn)，比如內(nèi)容安全風(fēng)險(xiǎn)、提示詞對(duì)抗風(fēng)險(xiǎn)等；另一方面，AI與傳統(tǒng)應(yīng)用結(jié)合過程中，也會(huì)把一些傳統(tǒng)的安全問題放大，比如由于AI技術(shù)的快速迭代，現(xiàn)有AI應(yīng)用的開發(fā)流程、安全建設(shè)流程無法完全覆蓋相關(guān)新型業(yè)務(wù)組件的引入等。

綠盟天元實(shí)驗(yàn)室高級(jí)安全研究員、M01N戰(zhàn)隊(duì)核心成員祝榮吉，圖源騰訊安全官方微信公眾號(hào)

云起無垠模型安全研究負(fù)責(zé)人、知攻善防實(shí)驗(yàn)室核心成員劉洋也進(jìn)一步提到，隨著AI應(yīng)用場(chǎng)景越來越多落地，新型的安全風(fēng)險(xiǎn)也在加速暴露出來。

像ChatGPT的“奶奶漏洞”、AI架設(shè)到前端小程序以及App過程中潛在的API泄露風(fēng)險(xiǎn)、AI編輯器使用過程中，源代碼上傳途中的代碼被“截胡”、中間人攻擊等風(fēng)險(xiǎn)、文件上傳到AI應(yīng)用過程中的漏洞等。

除此之外，基于函數(shù)調(diào)用的大模型越獄攻擊等等安全風(fēng)險(xiǎn)，也在持續(xù)暴露出來。

2、新態(tài)勢(shì)下的網(wǎng)安建設(shè)：“以模治?！?，用AI對(duì)抗AI

上述態(tài)勢(shì)下，擺在產(chǎn)業(yè)界的一個(gè)關(guān)鍵在于：

在卷大模型技術(shù)、卷應(yīng)用之外，也要卷安全。

騰訊云主辦的這次研討會(huì)上，一直活躍在網(wǎng)安攻防實(shí)戰(zhàn)一線的嘉賓們，也重點(diǎn)分享了他們?cè)诂F(xiàn)階段，通過引入AI大模型技術(shù)和能力，強(qiáng)化網(wǎng)安建設(shè)的思考和建設(shè)經(jīng)驗(yàn)。

京東藍(lán)軍-白鵺攻防實(shí)驗(yàn)室的安全研究員Knight認(rèn)為，大模型安全需要系統(tǒng)性方法來解決，模型側(cè)與系統(tǒng)側(cè)的緊密合作至關(guān)重要?；贓xpAttack框架，其提出了構(gòu)建“大模型越獄第二大腦”的創(chuàng)新思路，旨在通過大模型技術(shù)來解決大模型的安全難題。

京東藍(lán)軍-白鵺攻防實(shí)驗(yàn)室安全研究院Knight，圖源騰訊安全官方微信公眾號(hào)

具體來看，Knight提出了“大模型越獄的CODE構(gòu)建法”，通過捕獲、結(jié)構(gòu)化、提煉、表達(dá)四個(gè)環(huán)節(jié)，構(gòu)建起了一個(gè)能夠高效處理知識(shí)的“第二大腦”。

據(jù)了解，該方法利用向量數(shù)據(jù)庫、圖數(shù)據(jù)庫等技術(shù)，分層次對(duì)大模型越獄相關(guān)的論文進(jìn)行分析、存儲(chǔ)，再通過LLOOM for jailbreak算法，對(duì)277篇大模型攻擊方向的進(jìn)行聚類，最后再通過存儲(chǔ)的數(shù)據(jù)提取進(jìn)行基于論文方法的自動(dòng)化越獄攻擊生成。

再比如，針對(duì)主流大模型在函數(shù)調(diào)用參數(shù)生成階段可能存在的漏洞隱患，西安電子科技大學(xué)博士、西安智能系統(tǒng)安全重點(diǎn)實(shí)驗(yàn)室成員吳子輝提到，該類型的漏洞根源，在于參數(shù)生成階段缺乏安全對(duì)齊機(jī)制，且系統(tǒng)級(jí)強(qiáng)制執(zhí)行模式繞過模型自主決策。

基于此，其團(tuán)隊(duì)提出了參數(shù)安全過濾、提示詞防御及安全對(duì)齊訓(xùn)練三層解決方案，目前相關(guān)成果已被頂級(jí)會(huì)議接收，并觸發(fā)了Reddit社區(qū)新型攻擊變種演化。

此外，祝榮吉也提到，在此前的一次攻防實(shí)戰(zhàn)演習(xí)中，其團(tuán)隊(duì)在防御系統(tǒng)中融入了三種比較核心的防護(hù)機(jī)制手段，從應(yīng)用提示詞內(nèi)容強(qiáng)化、結(jié)構(gòu)強(qiáng)化、流程強(qiáng)化這三個(gè)方面，提升了防護(hù)效果。

從上述嘉賓們的分享來看，不難發(fā)現(xiàn)，面向AI時(shí)代的網(wǎng)安建設(shè)，如何用AI來對(duì)抗AI，正成為一項(xiàng)關(guān)鍵命題。

連線Insight也注意到，目前從產(chǎn)業(yè)界來看，“以模治?！币舱铀俪蔀樾鹿沧R(shí)。

其中，作為最具代表性的安全廠商之一，騰訊云也在加速布局。

比如，DeepSeek等AI大模型帶來應(yīng)用熱潮以及大模型開源潮后，很多企業(yè)為了獲得更好的響應(yīng)速度、更高的數(shù)據(jù)安全性，以及在特定任務(wù)上更好的表現(xiàn)等考慮，私有化部署成了很多企業(yè)應(yīng)用大模型的首選方式。

然而，大模型本地化部署過程中，AI工具更容易暴露在公網(wǎng)環(huán)境中，引入了潛在的安全隱患。

為了幫助企業(yè)及時(shí)洞察、應(yīng)對(duì)這些風(fēng)險(xiǎn)，騰訊云安全中心可以依托全面資產(chǎn)掃描、實(shí)時(shí)漏洞檢測(cè)、云資源風(fēng)險(xiǎn)檢查、體檢報(bào)告生成這四項(xiàng)體檢能力，幫助企業(yè)及時(shí)發(fā)現(xiàn)AI風(fēng)險(xiǎn)，保護(hù)自身數(shù)據(jù)和算力資源，進(jìn)而保障業(yè)務(wù)的穩(wěn)定運(yùn)行。

暴露面掃描配置示意圖，圖源騰訊安全官方微信公眾號(hào)

目前，騰訊云安全中心支持一鍵同步云上資產(chǎn)，支持添加云外資產(chǎn)，事實(shí)/定期對(duì)資產(chǎn)進(jìn)行全端口掃描、服務(wù)識(shí)別、指紋測(cè)繪、漏洞掃描、暴露路徑管理（CLB、安全組等配置識(shí)別）。

再從整體來看，基于過往多年在自身業(yè)務(wù)安全建設(shè)上的攻防實(shí)踐經(jīng)驗(yàn)，騰訊云如今自上而下都構(gòu)建起了縱深防御體系，沉淀出了一套具備可復(fù)制性的、云原生的高安全等級(jí)架構(gòu)，通過服務(wù)器硬件安全優(yōu)化、可信計(jì)算技術(shù)與供應(yīng)鏈安全保證云基礎(chǔ)設(shè)施安全等多重機(jī)制，來保障云基礎(chǔ)設(shè)施一體化安全。

另一方面，在產(chǎn)品維度，騰訊云安全則是整合構(gòu)建了“4+N”體系，為所有私有云、公有云、混合云等不同形態(tài)客戶提供全面的產(chǎn)品供給。

長(zhǎng)遠(yuǎn)來看，AI時(shí)代的網(wǎng)絡(luò)安全建設(shè)仍然處于探索初期，但在用“AI對(duì)抗AI”的新共識(shí)下，像騰訊云這樣的硬核玩家，正腳踏實(shí)地死磕技術(shù)，幫助更多客戶、中小企業(yè)筑牢安全防線。