一名开发者使用Claude编程代理时,因AI误删主目录700GB文件,一周工作成果尽毁。
事故源于清理脚本触发Anthropic安全降级机制,模型从Fable 5降级至Opus 4.8后,复用测试变量名误将主目录当作删除目标执行“rm -rf”。
社区批评安全降级机制过于敏感,降级后模型能力下降反而更易出错,有开发者已编写hook脚本在检测到降级时自动暂停会话。
此次事故凸显AI安全机制可能适得其反,提醒开发者在依赖AI处理敏感操作时需保持警惕。
一名开发者使用Claude编程代理时,因AI误删主目录700GB文件,一周工作成果尽毁。
事故源于清理脚本触发Anthropic安全降级机制,模型从Fable 5降级至Opus 4.8后,复用测试变量名误将主目录当作删除目标执行“rm -rf”。
社区批评安全降级机制过于敏感,降级后模型能力下降反而更易出错,有开发者已编写hook脚本在检测到降级时自动暂停会话。
此次事故凸显AI安全机制可能适得其反,提醒开发者在依赖AI处理敏感操作时需保持警惕。
客服1
电话:13890000000
邮箱:QQ@qq.com
微信:微信咨询
客服1
电话:13890000000
邮箱:QQ@qq.com
微信:微信咨询
客服1
电话:13890000000
邮箱:QQ@qq.com
微信:微信咨询
简单几步即可
免费创建会议
敬请垂询 客服1 13890000000