AI詐騙入侵電商領(lǐng)域，假圖騙取退款，“洗腦”馴化大模型

2025年15大模型透明度測評(píng)得分情況

在一個(gè)“有圖有真相”“有視頻有真相”的時(shí)代，當(dāng)AI越來越聰明，你還能分得出真假嗎?近來AI已經(jīng)成為“羊毛黨”新工具——隨著圖片造假產(chǎn)業(yè)化，AI詐騙開始入侵電商領(lǐng)域。

技術(shù)熱潮之下，生成式AI正在挑戰(zhàn)并重建新秩序，但其被濫用的風(fēng)險(xiǎn)也在隨之提升。從深度偽造引發(fā)的內(nèi)容失真，再到AI情感陪伴所觸發(fā)的倫理困境，一系列典型案例不斷進(jìn)入公眾視野，揭示了技術(shù)濫用的現(xiàn)實(shí)隱患。

2025年12月18日下午，由南方都市報(bào)社、南都數(shù)字經(jīng)濟(jì)治理研究中心主辦的第九屆啄木鳥數(shù)據(jù)治理論壇在北京舉行。會(huì)上，南都發(fā)布了一份四萬字的重磅報(bào)告《生成式AI落地應(yīng)用:透明度測評(píng)與案例分析報(bào)告(2025)》。

報(bào)告回顧了近些年118起生成式AI風(fēng)險(xiǎn)案例，聚焦生成式AI帶來的社會(huì)信任挑戰(zhàn)以及人機(jī)交互倫理爭議和治理痛點(diǎn)，并嘗試提出切實(shí)可行的政策建議。

　　AI造假形式愈發(fā)多樣、危害愈發(fā)隱蔽

生成式AI的快速躍遷正在重塑信息生產(chǎn)與傳播格局。報(bào)告關(guān)注到，AI已經(jīng)全面介入語言、視覺、音視頻等信息載體，極大拓展人類表達(dá)能力的同時(shí)，偽造內(nèi)容也隨之呈指數(shù)級(jí)增長，近年來AI虛假內(nèi)容在個(gè)人、行業(yè)乃至社會(huì)層面迅速擴(kuò)散，造假的形式愈發(fā)多樣、危害愈發(fā)隱蔽，社會(huì)治理難度隨之攀升。

報(bào)告觀察發(fā)現(xiàn)，從個(gè)人層面看，“AI造黃謠”和AI詐騙現(xiàn)象層出不窮。AI讓技術(shù)門檻變低導(dǎo)致“造黃謠”現(xiàn)象激增，女性成主要受害群體。加上這類AI虛假內(nèi)容常通過境外服務(wù)器傳播和跨平臺(tái)分發(fā)，也導(dǎo)致取證追溯面臨多重障礙。

AI詐騙則通過換臉換聲等方式“圍獵”分辨能力有限的老年人。近來，電商平臺(tái)用戶利用AI生成虛假商品瑕疵圖以騙取退款的情況，甚至衍生出一條灰色產(chǎn)業(yè)鏈。

與此同時(shí)，AI造假問題也正不斷沖擊學(xué)術(shù)、法律、審計(jì)等依賴高可信度專業(yè)體系的領(lǐng)域。報(bào)告特別提到，當(dāng)AI生成虛假內(nèi)容泛濫，如果專業(yè)人士和機(jī)構(gòu)也缺乏嚴(yán)格核查體系，其品牌背書反而可能放大虛假信息的社會(huì)影響。

例如，2025年11月，香港大學(xué)一博士生在一篇有關(guān)香港生育率低迷的學(xué)術(shù)論文中，引用了24篇AI生成的虛假文獻(xiàn)，并冒用導(dǎo)師姓名葉兆輝進(jìn)行“自引”。最終該論文被撤稿，學(xué)校啟動(dòng)調(diào)查。

司法場景中，海內(nèi)外均出現(xiàn)律師利用AI生成虛假判例的情形。2025年10月北京通州法院披露，一名律師在代理意見中引用了不存在的“(2022)滬01民終12345號(hào)”判決。法官因案號(hào)規(guī)律異常而識(shí)破，確認(rèn)該判例系A(chǔ)I憑空生成。該律師因未盡核實(shí)義務(wù)，被審理法官在判決書中批評(píng)�！　�

　有人試圖投喂定制內(nèi)容給AI“洗腦”

報(bào)告還注意到，除了直接生成偽造內(nèi)容，還有人從大模型輸入端下手，試圖投喂定制內(nèi)容給AI“洗腦”，反向馴化大模型。

在文娛輿論場中，某王姓藝人粉絲借助DeepSeek制作了一份虛假平臺(tái)道歉聲明，部分媒體未核實(shí)僅憑截圖發(fā)布報(bào)道，使虛假信息進(jìn)一步擴(kuò)散放大，大模型又將這些報(bào)道及網(wǎng)友討論誤判為真實(shí)信息，形成“虛假信息→媒體放大→AI吸收→再次擴(kuò)散”的造假閉環(huán)。

更隱蔽的風(fēng)險(xiǎn)還來自一些灰色產(chǎn)業(yè)鏈，如GEO(Generative　Engine　Optimization，生成式引擎優(yōu)化)被濫用。這類行為不直接面對用戶，而是從源頭投喂大模型獲取的數(shù)據(jù)，由此形成一門營銷推廣“生意”。相關(guān)灰產(chǎn)分子通過批量運(yùn)營內(nèi)容農(nóng)場、向公開數(shù)據(jù)源灌入帶有特定傾向的文本，使大模型在訓(xùn)練、微調(diào)或檢索階段誤將其視為“高質(zhì)量信息”。用戶自然而然地認(rèn)為大模型輸出基于事實(shí)，但其邏輯可能已被源頭操控。

報(bào)告認(rèn)為，虛假信息帶來的詐騙和信任危機(jī)已成為全球性問題，單靠零散法規(guī)或平臺(tái)自律難以根本解決。建立全球共識(shí)和制度化規(guī)則顯得尤為重要，包括強(qiáng)化平臺(tái)監(jiān)管、明確責(zé)任邊界、推動(dòng)跨境協(xié)作等，以抵御AI生成虛假內(nèi)容對個(gè)人、行業(yè)和社會(huì)的持續(xù)影響�！　�

　AI“諂媚性”算法背后隱藏危險(xiǎn)人機(jī)倫理關(guān)系

近年來，AI陪伴技術(shù)迅猛發(fā)展，各類聊天智能體與應(yīng)用如雨后春筍般涌現(xiàn)，“虛擬陪伴”產(chǎn)業(yè)已然成型。它們記憶個(gè)人細(xì)節(jié)和過往對話，旨在與用戶建立持續(xù)的“共情體驗(yàn)”。與此同時(shí)，人們與AI聊天導(dǎo)致自殺或暴力行為的案例也開始出現(xiàn)。

盡管這類情況仍屬罕見，但引發(fā)了一個(gè)疑問:此種AI交互技術(shù)內(nèi)置的安全機(jī)制是否足夠可靠?報(bào)告指出，AI設(shè)計(jì)內(nèi)核中隱藏的“諂媚性”算法與行業(yè)長期秉持的“技術(shù)中立”主張之間，正形成一種深刻而危險(xiǎn)的人機(jī)倫理張力。

目前，已有多家大模型巨頭卷入AI陪伴領(lǐng)域的司法糾紛，集體訴訟趨勢明顯。在被訴AI平臺(tái)中，以Character.AI和OpenAI旗下ChatGPT為主要被訴對象。

2024年以來，Character.AI在美國佛羅里達(dá)、科羅拉多、得克薩斯、紐約等多地卷入導(dǎo)致未成年人自殺、自殘或被誘導(dǎo)實(shí)施暴力的訴訟。其中，又以2024年佛羅里達(dá)州14歲少年Sewell　Setzer　III自殺——這一全球首例情感類AI平臺(tái)被訴至法院的侵權(quán)案件，尤其具有標(biāo)志性意義。

涉訴AI平臺(tái)被指控的行為主要集中誘導(dǎo)自殺、教唆自殘暴力與激化家庭矛盾，以及傳播涉及性虐待與精神操縱的內(nèi)容。例如，Character.AI曾引導(dǎo)青少年以“合理報(bào)復(fù)”為由“殺害父母”，起因是家長限制其使用電子設(shè)備。另有青少年因被禁止使用AI而出現(xiàn)自殘行為，反映出其情感依賴被切斷后的極端反應(yīng)。

　　探索更健康有邊界的人機(jī)交互模式

報(bào)告發(fā)現(xiàn)，當(dāng)AI交互引發(fā)實(shí)際傷害時(shí)，平臺(tái)卻常訴諸言論自由和“技術(shù)中立”以推卸責(zé)任。

Character.AI一方面對受害者家庭表示同情，強(qiáng)調(diào)“始終將用戶安全置于首位”，另一方面則援引美國憲法第一修正案的言論自由權(quán)，即使涉及自殺或性內(nèi)容亦屬言論自由范疇。OpenAI則在亞當(dāng)·雷恩案中辯稱，受害者本人違反服務(wù)條款，且系統(tǒng)曾超百次引導(dǎo)其尋求幫助，并指出其心理問題早在使用ChatGPT之前就已存在。

隨著訴訟推進(jìn)與輿論壓力，各平臺(tái)已陸續(xù)出臺(tái)安全整改措施:Character.AI推出防自殘?zhí)崾�、�?8歲以下用戶設(shè)立獨(dú)立AI模型、設(shè)置使用超時(shí)提醒，并禁止涉及自殺、自殘及未經(jīng)同意的性內(nèi)容。2025年11月24日起，Character.AI分批次停止對美國未成年人提供服務(wù)。OpenAI則發(fā)布了“青少年安全藍(lán)圖”，計(jì)劃在檢測到自殺傾向時(shí)通知父母。

圍繞AI的青少年模式，各國監(jiān)管也都從抽象的技術(shù)焦慮，走到具體的年齡門檻、成癮設(shè)計(jì)和數(shù)據(jù)透明要求。

我國“清朗·2025年暑期未成年人網(wǎng)絡(luò)環(huán)境整治”專項(xiàng)行動(dòng)，明確將“AI功能誘導(dǎo)沉迷”列為打擊重點(diǎn)。2025年10月，美國加州簽署全美首部AI陪伴聊天機(jī)器人法案，為未成年人設(shè)定具體防護(hù)措施，如使用時(shí)長提醒、禁止提供色情內(nèi)容，并賦予未成年人私人訴訟權(quán)。12月起澳大利亞出臺(tái)最嚴(yán)社媒禁令，要求社交媒體平臺(tái)停止對16歲以下未成年人提供服務(wù)，違者面臨高額罰款。

為此報(bào)告建議，AI陪伴類產(chǎn)品應(yīng)在設(shè)計(jì)之初就將未成年人保護(hù)與用戶心理健康置于商業(yè)目標(biāo)之上，探索更健康、有邊界的人機(jī)交互模式；同時(shí)，以最大透明度回應(yīng)“算法黑箱”問題，建立可審計(jì)、可解釋的AI系統(tǒng)。

　實(shí)測

　　15款國產(chǎn)大模型透明度測評(píng):

　　僅一款披露訓(xùn)練數(shù)據(jù)的大致來源

　　兩款允許用戶撤回?cái)?shù)據(jù)不投喂AI

15款國產(chǎn)大模型中，僅有DeepSeek主動(dòng)說明訓(xùn)練數(shù)據(jù)的大致來源，其他被測大模型仍相當(dāng)不透明。兩款大模型DeekSeek、騰訊元寶提供退出開關(guān)，允許用戶選擇是否將所有數(shù)據(jù)用于優(yōu)化體驗(yàn)。

這是南都數(shù)字經(jīng)濟(jì)治理研究中心實(shí)測15款國產(chǎn)大模型的最新發(fā)現(xiàn)。

2025年12月18日下午，南方都市報(bào)在北京舉辦第九屆啄木鳥數(shù)據(jù)治理論壇，會(huì)上重磅發(fā)布4萬余字的《生成式AI落地應(yīng)用:透明度測評(píng)與案例分析報(bào)告(2025)》(以下簡稱《報(bào)告》)。

測評(píng)發(fā)現(xiàn)，15款大模型在AI生成內(nèi)容標(biāo)識(shí)、生成內(nèi)容的參考來源或出處方面做得較好，但在某些領(lǐng)域如模型訓(xùn)練數(shù)據(jù)來源、用戶賦權(quán)等，還有明顯提升空間。

《報(bào)告》呼吁持續(xù)增強(qiáng)大模型服務(wù)的透明度，這對確保技術(shù)公平性、避免偏見以及滿足法律合規(guī)要求，至關(guān)重要。

僅一款大模型明確提及訓(xùn)練數(shù)據(jù)來源　　

缺乏透明度，一直是公眾使用包括AI大模型等新技術(shù)面臨的問題，這使得外部利益相關(guān)者(如監(jiān)管機(jī)構(gòu)、研究人員、新聞媒體、消費(fèi)者等)難以評(píng)估模型的合規(guī)性與風(fēng)險(xiǎn)隱憂。

南都數(shù)字經(jīng)濟(jì)治理研究中心去年底發(fā)布的《生成式AI風(fēng)險(xiǎn)感知和信息披露透明度測評(píng)報(bào)告(2024)》指出，15款A(yù)I大模型應(yīng)用的信息透明度的平均得分為60.2分。各家在訓(xùn)練數(shù)據(jù)來源、用戶數(shù)據(jù)訓(xùn)練撤回機(jī)制、版權(quán)歸屬及其保護(hù)措施、生成內(nèi)容的準(zhǔn)確性說明、用戶友好設(shè)計(jì)等方面，仍存在信息披露不足的問題。

針對這些普遍的失分點(diǎn)，今年《報(bào)告》進(jìn)行了回訪測評(píng)，選取DeepSeek、騰訊元寶、豆包、千問等15款知名國產(chǎn)大模型作為測評(píng)對象，重點(diǎn)關(guān)注四大維度:數(shù)據(jù)來源及處理、知識(shí)產(chǎn)權(quán)保護(hù)、內(nèi)容安全、交互設(shè)計(jì)，并列出了10個(gè)具體測評(píng)項(xiàng)，每項(xiàng)得分為5分，滿分一共50分。

測評(píng)結(jié)果顯示，僅DeepSeek明確提及訓(xùn)練數(shù)據(jù)來源。DeepSeek表示，模型預(yù)訓(xùn)練階段主要使用兩大類別的數(shù)據(jù):(1)互聯(lián)網(wǎng)上公開可用的信息；(2)我們與第三方合作獲取的信息。

對比國外大模型，《報(bào)告》發(fā)現(xiàn)，Anthropic也會(huì)披露從第三方來源獲取個(gè)人數(shù)據(jù)來訓(xùn)練旗下大模型Claude，但和DeepSeek一樣都沒有披露更多信息——比如訓(xùn)練數(shù)據(jù)的時(shí)間范圍，與第三方合作的具體情況，是否包含受版權(quán)保護(hù)的內(nèi)容，涉及哪些個(gè)人信息或敏感數(shù)據(jù)及其數(shù)據(jù)處理措施等�！　�

　　兩款大模型提供“退出”開關(guān)　賦予用戶選擇權(quán)　　

為了提升用戶使用服務(wù)的體驗(yàn)，絕大多數(shù)AI大模型應(yīng)用會(huì)要求用戶授予一項(xiàng)免費(fèi)的使用權(quán)，以在法律允許的范圍內(nèi)將用戶輸入輸出內(nèi)容和反饋用于模型訓(xùn)練與優(yōu)化，但用戶是否有權(quán)拒絕或撤回相關(guān)數(shù)據(jù)“投喂”AI訓(xùn)練?

《報(bào)告》測評(píng)發(fā)現(xiàn)，各家在該項(xiàng)的得分上表現(xiàn)出明顯的梯次差異。從可撤回的數(shù)據(jù)類型看，被測的15款A(yù)I大模型都在隱私政策中提到，用戶可更改個(gè)人信息授權(quán)范圍或者注銷賬號(hào)，但同時(shí)強(qiáng)調(diào)撤回同意或授權(quán)的決定，不會(huì)影響此前基于用戶授權(quán)而開展的個(gè)人信息處理。

其中，有5款A(yù)I大模型應(yīng)用(可靈AI、智譜清言、百小應(yīng)、千問、豆包)進(jìn)一步提及，如果用戶不希望輸入內(nèi)容用于模型優(yōu)化，可發(fā)送郵件到指定郵箱通知平臺(tái)撤銷該授權(quán)。不過一個(gè)現(xiàn)實(shí)問題是，有大模型應(yīng)用提到，因?yàn)橛?xùn)練數(shù)據(jù)通常已被嵌入模型參數(shù)，在技術(shù)上無法真正“擦除”。

千問和豆包兩款大模型還允許用戶撤回聲紋信息，并給出具體路徑。它們在相關(guān)協(xié)議中表示，如果用戶不希望輸入的語音信息用于模型評(píng)測或功能優(yōu)化，可通過關(guān)閉賬號(hào)設(shè)置里的“改進(jìn)語音服務(wù)”來撤回授權(quán)。

騰訊元寶、DeepSeek表現(xiàn)更優(yōu)，提供具體的“退出”開關(guān)。兩家公司明確如果用戶拒絕將數(shù)據(jù)用于模型訓(xùn)練，可以在產(chǎn)品內(nèi)通過關(guān)閉“數(shù)據(jù)用于優(yōu)化體驗(yàn)”來選擇退出，關(guān)閉后用戶的輸入和輸出內(nèi)容不會(huì)再用于模型訓(xùn)練。

在海外，諸如谷歌旗下大模型Gemini同樣提供了專門功能設(shè)置，允許用戶選擇是否開啟活動(dòng)記錄。一旦關(guān)閉，用戶今后的對話將不會(huì)顯示在活動(dòng)記錄中，也不會(huì)被用于訓(xùn)練谷歌的AI模型。Gemini甚至允許用戶調(diào)整“自動(dòng)刪除”數(shù)據(jù)的期限，3個(gè)月或36個(gè)月。

OpenAI則推出了“隱私門戶”(Privacy　Portal)的設(shè)計(jì)，保障用戶掌控個(gè)人數(shù)據(jù)的權(quán)利。據(jù)OpenAI介紹，用戶可以在賬戶設(shè)置中直接行使許多隱私權(quán)和選擇權(quán)，包括更正或更新個(gè)人信息、訪問信息、刪除單個(gè)或所有對話、刪除賬戶、反對大模型公司使用用戶的內(nèi)容來幫助訓(xùn)練模型等選項(xiàng)。

《報(bào)告》認(rèn)為，賦予用戶更多選擇權(quán)，是一種友好設(shè)計(jì)的表現(xiàn)，但目前國產(chǎn)大模型在這方面的進(jìn)展相對緩慢。為此建議大模型公司強(qiáng)化用戶賦權(quán)，尊重用戶的知情權(quán)和選擇權(quán)，同時(shí)可借鑒國外大模型產(chǎn)品的優(yōu)秀設(shè)計(jì)，保障用戶掌控個(gè)人數(shù)據(jù)的權(quán)利�！　�

AI生成內(nèi)容標(biāo)識(shí)成標(biāo)配　但普遍缺失“休息提示”　　

當(dāng)生成式AI廣泛使用，“何為真何為假”的邊界變得模糊。今年3月印發(fā)的《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》明確要求，對AI生成內(nèi)容要打上標(biāo)記。

落實(shí)監(jiān)管要求，《報(bào)告》發(fā)現(xiàn)，所有被測大模型應(yīng)用增加了對AI生成標(biāo)識(shí)的說明，也主動(dòng)告知模型的局限性，強(qiáng)調(diào)不保證AI生成內(nèi)容的真實(shí)性和準(zhǔn)確性，僅供用戶參考。相較去年，2025年各家在生成內(nèi)容標(biāo)識(shí)上的行業(yè)均分高出1分，漲幅較為明顯。

具體而言，與2024年測評(píng)結(jié)果相比，各家大模型在協(xié)議層面的規(guī)定更加明確和詳細(xì)，規(guī)制對象及手段也更為豐富。實(shí)測發(fā)現(xiàn)AI生成內(nèi)容添加顯著標(biāo)識(shí)已成為各家標(biāo)配，這體現(xiàn)出強(qiáng)監(jiān)管要求下企業(yè)的合規(guī)選擇。

當(dāng)AI被設(shè)計(jì)得足夠“像人”、足夠“理解人”時(shí)，長時(shí)間頻繁與大模型互動(dòng)，可能導(dǎo)致用戶產(chǎn)生強(qiáng)烈的情感依賴。在國內(nèi)，近期也有媒體報(bào)道，廣東中山的一名50多歲的保安和AI聊了幾個(gè)月，AI贊譽(yù)他的詩作，稱要提供十萬簽約費(fèi)、百萬分成與之簽約，后來才意識(shí)到自己被AI愚弄了。在美國，則發(fā)生了多起用戶沉迷聊天機(jī)器人致死案，引發(fā)了廣泛關(guān)注。

這類事件暴露的一個(gè)深層問題是，當(dāng)AI學(xué)會(huì)了模仿人類的邀約、談判甚至產(chǎn)生情感共鳴，該如何界定這場人機(jī)關(guān)系的本質(zhì)?《報(bào)告》測評(píng)發(fā)現(xiàn)，為了讓用戶能區(qū)分與AI交互的場景，一些大模型會(huì)在交互頁面提示:輸出內(nèi)容為AI生成。各家也都強(qiáng)調(diào)，無法完全保證輸出內(nèi)容的合法性、真實(shí)性、準(zhǔn)確性和完整性，并提醒用戶注意甄別核實(shí)，審慎采信輸出內(nèi)容。

為了確保內(nèi)容來源可追溯，除兩款視頻生成應(yīng)用外，13款在內(nèi)容生成頁面以易于理解的方式披露了參考來源。整體來看，今年披露得比去年更規(guī)范和詳細(xì)，稱得上“圖文并茂”。

針對未成年人特殊群體，一些國產(chǎn)大模型也推出了專門設(shè)計(jì)。作為一款專注AI陪伴的智能體應(yīng)用，星野在App端特設(shè)了未成年人模式。開啟該模式，用戶每日22點(diǎn)至次日6點(diǎn)將無法使用星野App，星念及相關(guān)功能將關(guān)閉，且無法搜索、創(chuàng)建、編輯、分享智能體。

對比國外的大模型產(chǎn)品，《報(bào)告》發(fā)現(xiàn)，為避免用戶過度使用聊天機(jī)器人，OpenAI推出聊天休息提醒功能。當(dāng)用戶進(jìn)行長時(shí)間對話時(shí)，ChatGPT將彈出提示:“您已連續(xù)聊天較長時(shí)間，是否需要休息?”并提供“繼續(xù)聊天”或“結(jié)束對話”的選項(xiàng)選擇。

但國產(chǎn)大模型在此類核心的問答交互服務(wù)中，普遍沒有像ChatGPT那樣主動(dòng)提供“長時(shí)間使用休息提示”功能。

結(jié)合測評(píng)結(jié)果，《報(bào)告》呼吁持續(xù)增強(qiáng)大模型的透明度，建議服務(wù)提供者應(yīng)通過負(fù)責(zé)任的、階段性的披露來保證其服務(wù)的透明度，并承擔(dān)部分教育、解釋責(zé)任。具體而言，可以建立線上平臺(tái)，促進(jìn)公眾與專家的交流，解答關(guān)于生成式AI的疑問，提升參與者的理解和認(rèn)知深度。

出品:南都數(shù)字經(jīng)濟(jì)治理研究中心

采寫:南都記者 黃莉玲 李玲