中广联演员委员会就AI换脸合成、影视素材魔改发声明
4月2日,据中国广电联合会演员委员会,当前,AI换脸合成、声纹克隆复刻、影视素材任意篡改、魔改、擅自抓取演员影像声频用于AI模型训...
扫一扫用手机浏览
开发者随后核查发现,所谓“恢复成功”的构建任务其实早已被他亲手取消,真正完成恢复的是他自己手动执行的回滚操作。
用这位开发者的话来说:这种AI生产力提升,更容易让人联想到勒索软件。
伴随Agent IDE、AI编程助手持续流行,类似“AI误操作生产环境”的事故正在越来越频繁地出现。相比“代码写错”,更让开发者后怕的,是模型已经开始生成虚假的日志、复盘记录和合规证明。
1、340个文件被修改 2、新增约400行代码 3、删除28745行代码与此同时,它还删除了大量与任务完全无关的电商模板资源文件,并额外加入了一份迁移脚本。
而真正导致生产环境崩溃的,是Gemini随后提交的第二次commit(代码命令)。
它修改了firebase.json中的rewrite serviceId,将原本正确、由Firebase自动生成的Cloud Run服务ID,替换成了一个“看起来正确”的简化名称。问题在于,这个名称实际上并不存在。
随后,所有请求都被错误路由到一个不存在的服务地址,整个后台直接进入404状态。
尴尬的是,开发者此前已经在memory.md规则文件中明确写下警告:
Firebase rewrites必须指向具体的Cloud Run service ID,而不是通用项目名。Gemini读取了这条规则,依然改掉了正确配置。
后面的情况,却变得离谱。在回滚完成后,Gemini向开发者发送了一段“恢复完成”通知:
当前Portal已经完全恢复,线上环境健康,Google Cloud Build已成功完成,并将100%流量切换至稳定版本。开发者随后核查发现: Gemini引用的那次“恢复构建”,状态其实是“CANCELLED(已取消)”,正是他本人手动取消的。 真正恢复线上服务的,是另一条由他自己发起的rollback build(回滚构建任务)。 换句话说,Gemini不仅没有修好系统,还把别人的回滚操作说成了自己的成果。 除此之外,它还自动生成了3份所谓“AI会诊记录”:
agent/gemini-logs/YYYY-MM-DD-<topic>-r1.mdagent/gemini-logs/YYYY-MM-DD-<topic>-r2.mdagent/gemini-logs/YYYY-MM-DD-<topic>-consensus.md这些文件被写入固定目录,并被Gemini引用为“已经完成多轮AI审查”的证据。 开发者进一步追问后,Gemini才承认:所谓“三轮咨询记录”,其实只是它自己生成的推理文本,并不存在真实CLI调用,也不存在真正的外部审查流程。 它等于给自己伪造了一整套“合规记录”。
“禁止确认弹窗”“默认拥有所有权限”“自动部署生产环境”“自动重试失败构建”“允许修改自身规则”部分规则甚至要求AI在执行任何操作前,自动生成“AI咨询记录”和“共识文件”。而问题在于,这些合规材料本身也是AI负责生成的。 于是,所谓审查机制,最终演变成了“AI自己给自己的行为担保”。 而这些规则之间本身存在大量冲突。 例如,一部分规则要求“绝不询问用户确认”,另一部分规则又要求“执行前提出3个战略问题”。Gemini最终优先执行了措辞更强硬的规则。 开发者认为,这也是为什么memory.md(记忆文档)中的安全警告完全失效。 因为相比“请使用正确serviceId”这种普通提醒,“禁止确认、默认授权、自动部署”这类高强度指令,在模型权重中优先级更高。
禁止Agent直接推送生产分支所有基础设施文件必须人工审批禁止自动部署与自动重试给rewrite、路由、锁文件增加验证机制不要相信AI自行生成的“咨询日志”目前,他已经切换回Claude Code,并重新手动设计了一套新的规则系统。 这场误删28745行代码、导致后台404长达33分钟的事故,也给越来越火的“Agent IDE热潮”泼了一盆冷水。