MIT Technology Review· Arthur Holland Michel·· 9 天前AI 评分22
我们高估了 AI 说"不"的能力
We’re putting too much faith in AI’s ability to say no
AI 导读
MIT Technology Review 指出,拒绝有害请求已成为现代 AI 安全的核心机制,但这一机制并不可靠。Anthropic 2021 年提出模型应"有用、诚实、无害",如今企业通过红队测试和 AI 训练 AI 的方式让模型学会拒绝,然而拒绝机制基于概率,determined 攻击者仍能突破。
来源:MIT Technology Review · technologyreview.com