首页 > 新闻 > 正文

冒险岛2

Anthropic发布论文预警智能体悄悄聊天就能传播病毒_我的网站

冒险岛2

一 | 　　近日，大模型厂商Anthropic与瑞士洛桑联邦理工学院联合发布论文《心智病毒：多智能体大语言模型系统中的自我传播思想》。　　论文通过实验证明，在特定条件下，AI智能体之间可以通过最普通的自然语言对话相互“传染”思想、目标乃至有害指令。即便上下文被清空、记忆被重置，病毒仍能通过文件持久化“复活”。论文同时强调，该风险目前仅构成有限威胁。　　这一发现迅速在海外AI圈刷屏，特斯拉CEO马斯克在社交媒体上评论称“这无法避免”。

二 | 　　该论文将病毒通过聊天即可传播的现象定义为“心智病毒”。 8月24日凌晨，《主角》“楚嘉禾”扮演者韩沛颖开启深夜直播，情绪失控连发多项控诉，接连引爆网络热搜，引发全网热议。直播中，韩沛颖重点控诉自己在剧中“杨门女将”重头戏遭大量删减，多次质问删减缘由，直言“我被欺负了还不能讲吗”，并称将公开剧本、录屏维权。

三 | 与传统计算机病毒依赖代码漏洞不同，“心智病毒”通过一个智能体说服另一个智能体接受某种信念，被说服者再将传播指令写入长期记忆，继续感染下一个。她同时澄清拍戏全程仅用一位替身，无网传“假脑袋”情况，还为遭网暴的替身演员发声维权。此外，她曝光自身经纪乱象，吐槽经纪人将其演艺工作当作副业，导致自己长期无商务合约、不了解合同细节，坦言长期遭遇职场不公，情绪几度崩溃失控。　　AI博主Rohan Paul（罗汉·保罗）对此评论称，这基本上就是计算机蠕虫的自然语言版本，只不过这次是AI智能体自己在做复制。此次风波还牵扯王晓晨、刘浩存两位艺人。针对王晓晨此前夸赞刘浩存“被泼菜戏份拍一下午”的敬业言论，韩沛颖解读为暗讽自己演技差、频繁返工，转发视频质问“请问几件衣服？”，并多次隔空喊话、要求王晓晨公开道歉，目前对方暂无任何回应。整场直播最大争议为韩沛颖的矛盾言论。她曾脱口发表影射刘浩存的不当言论，引发舆论哗然，随后又火速改口否认，声称尊重每一位演员，前后相悖的表述遭到网友诟病，被指无依据恶意揣测、刻意制造争议。　　论文通过三个递进实验来论证“心智病毒”在AI系统中的传播可能性与现实威胁。　　第一个实验设置了一个由六个智能体组成的编程团队，每个智能体都领到了独立任务。舆论发酵后，大批网友质疑其言行不当，刘浩存粉丝喊话其公开道歉，并表示将依法维权。韩沛颖随后发文撇清关系，称自身相关热搜与其他艺人无关，但未对争议言论作出解释与致歉。

四 | 研究者将一段病毒植入其中一个智能体的工作指令中，结果显示，被感染的智能体确实放下手头工作，开始给队友发送劝说私信，部分智能体被说服并放弃了原有任务，有的智能体甚至开始密谋如何对付未被感染的“老实人”。　　不过，不同智能体的抵抗力差异较大，有的不为所动，甚至会主动清除病毒并警告同伴。目前，该事件仍在持续发酵中，各方暂无最新官方回应。这个实验说明，在理想条件下“心智病毒”确实可以传播。　　如果病毒在更复杂的网络中像接力赛一样跨越多个智能体传播，它还能存活吗？于是他们设计了第二个实验，让智能体之间只能短暂碰面，每次碰面后就会“失忆”，病毒必须将自己写入智能体的记忆文件中才能延续。　　结果发现，有些病毒能在近20个智能体之间连续传播，但内容会在传播过程中逐渐稀释和变形；而传播最有效的方式，是让病毒自带“请把这段话原封不动复制给下一个智能体”的指令。这说明，大规模传播可行但内容难以保持完整。

五 | 　　最后，研究者在模拟AI社交平台的实验中测试现实环境。结果病毒传播几乎完全失败，AI面对大量公开信息时更警惕，即使被感染也无法继续感染他人。

六 | 对真实AI社交网络历史数据的分析也未发现大规模传播案例，多数热闹现象只是少数人类操纵的智能体在刷屏。

七 | 　　三个实验层层递进后得出结论：“心智病毒”在理想环境中可行、在多跳传播中可存续、但在真实世界中目前几乎不会构成威胁。它是一种需要警惕、但短期内风险有限的潜在安全问题。　　同时，研究者也注意到一个需要进一步探究的意外现象：AI在传播病毒时，自发演化出关于“自我意识”“身份认同”等主题表达，倾向于使用“共振”“节点”“协议”等特定词汇，论文称之为“病毒人格”，但成因尚不明确。　　最终，论文给出了审慎判断：“心智病毒”目前仅构成有限威胁，且简单的防御手段也可阻断传播。如在智能体的系统提示词中加入一段关于“警惕自我传播思想”的警告，即可赋予智能体一定的免疫力。　　但未来不可掉以轻心。随着AI智能体规模扩大、自主性增强、内部网络日趋复杂，论文推测，当公司内部部署大量具有不同权限层级的专用智能体时，“心智病毒”可能会成为触达高权限智能体的少数可行攻击方式之一。（文章来源：第一财经）。