当前位置:首页 > 财界新闻 > 数据“中毒”会让AI“自己学坏”

数据“中毒”会让AI“自己学坏”

2025年08月19日54258

  在一个繁忙的火车站,监控摄像头正全方位追踪站台的情况,乘客流量、轨道占用、卫生状况……所有信息实时传输给中央人工智能(AI)系统。这个系统的任务是帮助调度列车,让它们安全准点进站。然而,一旦有人恶意干扰,比如用一束红色激光模拟列车尾灯,那么摄像头可能会误以为轨道上已有列车。久而久之,AI学会了把这种假象当作真实信号,并不断发出“轨道占用”的错误提示。最终,不仅列车调度被打乱,甚至还可能酿成安全事故。

数据“中毒”会让AI“自己学坏”
图片来源于网络,如有侵权,请联系删除

  澳大利亚《对话》杂志日前报道称,这是数据“中毒”的一个非常典型的例子。AI系统在学习过程中,如果输入了错误或误导性数据,可能会逐渐形成错误认知,作出偏离预期的判断。与传统的黑客入侵不同,数据“中毒”不会直接破坏系统,而是让AI“自己学坏”。随着AI在交通、医疗、媒体等领域的普及,这一问题正引起越来越多的关注。

AI系统在学习过程中,如果输入了错误或误导性数据,可能会逐渐形成错误认知,做出偏离预期的判断。图片来源:英国《新科学家》网站

  AI“中毒”的现实风险

  在火车站的例子中,假设一个技术娴熟的攻击者既想扰乱公共交通,又想收集情报,他连续30天用红色激光欺骗摄像头。如果未被发现,这类攻击会逐渐腐蚀系统,为后门植入、数据窃取甚至间谍行为埋下隐患。虽然物理基础设施中的数据投毒较为罕见,但线上系统,尤其是依赖社交媒体和网页内容训练的大语言模型中,它已是重大隐患。

  一个著名的数据“投毒”案例发生在2016年,微软推出的聊天机器人Tay上线数小时后,就被恶意用户灌输不当言论,迅速模仿并发布到X(当时的Twitter)平台上,不到24小时就被迫下线并道歉。

  据英国《新科学家》杂志报道,2024年,互联网出现了一个标志性事件,即AI爬虫的流量首次超过人类用户,其中OpenAI的ChatGPT-User占据了全球6%的网页访问量,它本质上是ChatGPT的“上网代理”,在用户需要实时信息时替他们访问网站。而Anthropic的ClaudeBot更是长期大规模抓取网页内容,占到13%的流量。

  互联网上的大量内容正被AI模型不断采集、吸收,用于持续训练。一旦有人故意投放有毒数据,比如篡改的版权材料、伪造的新闻信息,这些大规模采集的爬虫就可能把它们带进模型,造成版权侵权、虚假信息扩散,甚至在关键领域引发安全风险。

  版权之争中的“投毒”反击

  随着AI爬虫的大规模抓取,许多创作者担心作品被未经许可使用。为了保护版权,创作者采取了法律和技术手段。如《纽约时报》起诉OpenAI,称其新闻报道被模型学习再利用,侵犯了版权。

  面对旷日持久的版权拉锯战,一些创作者转向技术“自卫”。美国芝加哥大学团队研发了两款工具。名为Glaze的工具可在艺术作品中加入微小的像素级干扰,让AI模型误以为一幅水彩画是油画。另一款工具Nightshade更为激进,它能在看似正常的猫的图片中植入隐蔽特征,从而让模型学到“猫=狗”这样的错误对应。通过这种方式,艺术家们让自己的作品在训练数据中成为“毒药”,保护了原创风格不被复制。

  这种反击方式一度在创作者群体中风靡。Nightshade发布不到一年,下载量便超过一千万次。与此同时,基础设施公司Cloudflare也推出了“AI迷宫”,通过制造海量无意义的虚假网页,将AI爬虫困在假数据的循环中,消耗其算力和时间。可以说,数据投毒在某些领域已经从一种反击手段,演变为版权与利益之争中的防御武器。

  去中心化成为AI的防护盾

  这种局面让人警觉。创作者的数据“投毒”是为了保护原创,但一旦同样的技术被用于大规模制造虚假信息,其后果可能比版权争议严重得多。

  面对这种隐蔽的威胁,研究者正在探索新的防御手段。在美国佛罗里达国际大学的Solid实验室,研究人员正着力用去中心化技术来防御数据投毒攻击。其中一种方法叫联邦学习。与传统的集中式训练不同,联邦学习允许模型在分布式设备或机构本地学习,只汇总参数而非原始数据。这种方式降低了单点中毒的风险,因为某一个设备的“坏数据”不会立刻污染整个模型。

  然而,如果在数据汇总环节遭遇攻击,损害依然可能发生。为此,另一种工具——区块链正被引入AI防御体系。区块链的时间戳和不可篡改特性,使得模型更新过程可被追溯。一旦发现异常数据,可追根溯源,定位投毒源头。同时,多个区块链网络还能互相“通报”,当一个系统识别出可疑模式时,可立刻警示其他系统。

  任何依赖现实世界数据的AI系统都可能被操纵。利用联邦学习和区块链等防御工具,研究人员和开发者正在打造更具韧性、可追溯的AI系统,在遭遇欺骗时能发出警报,提醒系统管理员及时介入,降低潜在风险。(记者 张佳欣)

【责任编辑:朱家齐】

扫描二维码推送至手机访问。

版权声明:本文由每日快讯发布,如需转载请注明出处。

“数据“中毒”会让AI“自己学坏”” 的相关文章

唱响A股好公司系列中航光电:低调、沉稳、有实力的军工典范

唱响A股好公司系列中航光电:低调、沉稳、有实力的军工典范

(原标题:唱响A股好公司系列中航光电:低调、沉稳、有实力的军工典范)图片来源于网络,如有侵权,请联系删除 编者按:为响应中央经济工作会议关于“唱响中国经济光明论”的号召,估值之家精心策划推出“唱响A股好公司系列”文章,本文系本系列中的第二十九篇。图片来源于网络,如有侵权,请联系删除 中国作...

同宇新材创业板IPO:营业收入是否真实?财务报表是否可靠?

同宇新材创业板IPO:营业收入是否真实?财务报表是否可靠?

(原标题:同宇新材创业板IPO:营业收入是否真实?财务报表是否可靠?)图片来源于网络,如有侵权,请联系删除 四会市,广东省辖县级市,由肇庆市代管,位于广东省中部。据说因境内四水(西江、北江、绥江和龙江)会流之地,故名“四会”。四会市是“中国柑桔之乡”,四会沙糖桔被评为“广东名优果品”,四会贡...

无研发不生产仅贴牌,一家46人的公司竟能撑起4亿营收?

无研发不生产仅贴牌,一家46人的公司竟能撑起4亿营收?

(原标题:无研发不生产仅贴牌,一家46人的公司竟能撑起4亿营收?)图片来源于网络,如有侵权,请联系删除 超九成收入来源于藻油DHA产品的纽曼思更像是DHA的“搬运工”,2024年上半年,该公司已出现营收净利双降苗头 标点财经、投资时间网研究员  辛夷 DHA被认为是人体所必需的一...

德斯泰员工持股平台存在非员工引关注

德斯泰员工持股平台存在非员工引关注

(原标题:德斯泰员工持股平台存在非员工引关注)图片来源于网络,如有侵权,请联系删除 除控股股东曾代多人持股外,浙江德斯泰新材料股份有限公司(以下简称“德斯泰”)员工持股平台中还存在离职员工、控股股东同村好友。《大众证券报》记者发现,在回复深交所关于员工持股平台中是否存在非发行人员工时,公司并未提及...

IPO观察:顺丰控股H股11月27日上市交易,福瑞泰克递表港交所

IPO观察:顺丰控股H股11月27日上市交易,福瑞泰克递表港交所

(原标题:IPO观察:顺丰控股H股11月27日上市交易,福瑞泰克递表港交所)图片来源于网络,如有侵权,请联系删除 《洞察IPO》周绘 | 2024-11-25 上交所&深交所 新 股 上 市  11...

GPU生产商摩尔线程开启上市辅导,杰理科技北交所辅导验收通过 | IPO

GPU生产商摩尔线程开启上市辅导,杰理科技北交所辅导验收通过 | IPO

(原标题:GPU生产商摩尔线程开启上市辅导,杰理科技北交所辅导验收通过 | IPO)图片来源于网络,如有侵权,请联系删除 《洞察IPO》周绘 | 2024-11-26 沪深两市 辅导备案登记受理  11月...