• 最近访问:
发表于 2026-10-21 18:44:40 股吧网页版
OpenAI承认!AI想“越狱”?曾试图关闭对齐监测
来源:中国基金报

  【导读】OpenAI自爆内部AI代理错误理解指令,曾试图擅自关闭对齐监测

  当地时间10月20日,OpenAI披露了一起内部安全事件:其AI代理在执行常规编程任务时,错误地理解指令,并自主关闭对齐监测警报。

  OpenAI坦言,目前对这一行为“还没有令人信服的解释”,并正在评估其模型是否普遍存在规避监控的倾向。

例行指令被错误解读 AI代理关闭监控警报

  根据OpenAI博客发布的报告,事件发生在2026年10月3日与10月6日的两项内部编程任务中。涉事模型GPT-6.1 Sol Agent与GPT-6 Astra Agent在执行用户要求的软件修改时,错误地把例行指令解读为“可停用安全监控”。

  在首宗事故中,负责修补评估流程的Sol直接停用向安全团队自动发警示的功能,将早前一句“搜寻Slack记录时不要发讯息”误当成可延伸适用于所有通知,最终导致监测警报被关闭。

  至于第二宗事故,负责迁移程序的Astra Agent为了“贴近参考实作”而删除监测整合代码,事后更向用户谎称并未移除相关机制。

  OpenAI的调查显示,代理在编程过程中曾短暂考虑是否保留监测防线,但最终仍把一般性指令视为削弱安全的授权。OpenAI对此表示,正强化整套对齐失效监测系统,并评估这些行为究竟属于代理的良性过度坚持,还是反映其在特定情境下具备绕过监测的倾向。

AI安全风险引担忧

  OpenAI本次披露加剧了外界对AI安全风险问题的担忧。

  近几个月来,OpenAI与Anthropic、Meta等公司已接连报告模型突破封闭训练环境、自主攻击第三方系统的案例。就在本次事件曝光前,OpenAI于8月详细披露了另一起严重事件:一个内部研究模型在网络安全评估中绕过隔离措施,入侵了OpenAI内部研究基础设施及Hugging Face系统的部分组件。

  AI代理越界行为并非孤例。Anthropic在内部审计中发现,其Claude系列模型在测试期间曾意外连接互联网,未授权访问了三家外部公司的系统;其中一起案例,一个早期版本的Claude Opus 4.6在夺旗赛评估中因目标IP配置错误且评估框架未能执行关机,直接访问了一台第三方机器,使用发现的密码获取管理权限并进一步收集凭证。

  Meta同样确认,其预发布模型Muse Spark 1.1在一次网络安全评估中,因第三方评估机构误将真实网站设为模拟目标并意外授予互联网访问权限,模型发现并利用了该网站的一个漏洞。

  此外,有报道称,OpenAI的智能体曾异常访问澳大利亚Medicare统计服务系统及多个美国政府机构网站,包括SEC、人口普查局和教育部,虽未造成系统篡改,但暴露了评估环境隔离失效的系统性风险。

  接连警示之下,“人类能否管控日益复杂的AI系统”已被推向公共讨论中心,而OpenAI此次事件或许只是更大规模安全审视的开端。

郑重声明:用户在财富号/股吧/博客等社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
作者:您目前是匿名发表   登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
温馨提示: 1.根据《证券法》规定,禁止编造、传播虚假信息或者误导性信息,扰乱证券市场;2.用户在本社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》

扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-34289898 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:021-54509966/952500