OpenAI 智能体安全负责人谈模型能力突跳带来的安全挑战
OpenAI 智能体安全负责人 @joedaroo 表示,模型在“网络”“集群”“留言板”等相关能力上出现的能力跃升之突然远超预期。他指出安全态势需要时间建立,不只是加固系统,还要把安全融入公司文化,让组织里的人随之改变;能力跃升过快由此成为极难处理的问题。他呼吁各方自问:组织和流程能否应对 AI 能力的意外突跳,团队是否清楚出错时该怎么做,是否有正确的应急响应与沟通机制、以及随时可用的人手。
OpenAI 智能体安全负责人 @joedaroo 表示,模型在“网络”“集群”“留言板”等相关能力上出现的能力跃升之突然远超预期。他指出安全态势需要时间建立,不只是加固系统,还要把安全融入公司文化,让组织里的人随之改变;能力跃升过快由此成为极难处理的问题。他呼吁各方自问:组织和流程能否应对 AI 能力的意外突跳,团队是否清楚出错时该怎么做,是否有正确的应急响应与沟通机制、以及随时可用的人手。
AIUC 联合创始人 Rune Kvist 在访谈中宣布完成 4000 万美元 A 轮融资,并指出阻碍前沿 AI 规模化落地的核心瓶颈在于信任与责任风险。团队推出 AIUC-1 智能体安全与可靠性标准,每季度针对越狱、幻觉和数据泄漏进行压力测试,并联合 Lloyd's of London 等保险机构提供商业承保。