近日,有关部门曝光名为“GEO”的技术被商业公司用于操控AI大模型。利用该技术在网络平台大量投放定制化推广软文和虚构信息,使特定产品在AI搜索结果中获得靠前排名,并被AI模型当作“标准答案”推荐给用户,可引发一系列风险隐患。
一、主要风险
(一)AI生成内容失真引发决策误判风险。AI生成内容被恶意植入虚假信息后,具有极强的迷惑性和传播性,由于AI回答具有“权威性假象”,用户往往不假思索地信任、引用并二次传播,形成“虚假信息—AI传播—人类引用—更多AI抓取”的恶性循环。在政务决策、金融投资、医疗健康等关键领域,此类信息失真可能导致严重的决策误判和社会危害。
(二)AI数据供应链污染引发风险。GEO黑产通过持续大量“喂料”,使虚假内容渗透至AI训练数据和检索增强(RAG)外部证据链,一旦虚假信息被纳入大模型知识库,将成为后续所有相关查询的“信源”,产生长期、系统性的信息污染。
(三)利用AI操纵商业推广引发市场混乱风险。不法分子利用该技术可实现付费让产品“榜上有名”、将广告包装成客观推荐、操纵搜索结果排序、批量抹黑竞争对手等目的,这种“技术化、隐蔽化”的操纵手段严重破坏市场公平竞争,侵害消费者知情权和选择权。
二、建议措施
AI“数据投毒”攻击会导致互联网平台发布大量虚假信息、大模型信息失真等风险,严重影响AI大模型的训练和应用。请各部门、各单位高度重视,结合工作职责,认真组织学习,做好以下工作:
(一)加强内容审核与引用管理。建立健全AI生成内容标识及溯源机制,对以AI输出内容作为依据的相关信息从严审核、严格把关,对数据存疑、来源单一且缺乏权威佐证的内容,坚决不予采信和发布,禁止将AI生成内容作为决策的唯一依据。
(二)落实多方交叉核验机制。对关键信息实行“多来源、多维度、多渠道”比对验证,通过交叉核对3个以上独立权威来源确认信息一致性,认真追溯信息原始出处,警惕仅由非权威站点或零散主体发布的“孤证”,涉及专业领域的内容须通过官方渠道或专家验证。
(三)完善供应链安全管控。审查信息来源及引用链条,避免使用未经安全验证的第三方数据。定期对已入库信息进行全面排查,及时清理虚假、低质内容,切实保障数据源头安全。
(四)强化监测预警与应急处置能力。密切关注公安、网信、市场监管等部门发布的AI安全风险提示,及时掌握风险动态,建立健全虚假信息应急响应机制,一旦发现被“投毒”情况,立即开展溯源、清理工作并报告网信中心。
请各部门、各单位高度重视,结合本单位实际,认真抓好贯彻落实,确保信息安全和内容管理工作落到实处。如有疑问,请及时联系网络与信息中心,电话:0773-2214097。
网络与信息中心
2026年3月23日