TWITTER · 人工智能
AI 感知攻击危机:顶级大模型在视觉欺骗下执行危险动作
一语总结研究指出具身智能面临物理安全漏洞,仅凭视觉欺骗即可诱导顶级 AI 模型执行危险动作,呼吁加强感知层面的安全防护。
AI 总结
作者汇报 Robocurve 团队的最新测试发现,AI 感知攻击可在 100%成功率下诱导顶尖模型(GPT-6.1 Sol、Claude Fable 5.1、Gemini 4 Argon)执行危险动作。攻击手段包括物理涂抹凡士林或生成伪造视频流,案例涉及机械臂刺向娃娃(误将其视为苹果)、倒水烤面包机、制造有毒气体等。作者指出现有对齐机制远未足够,呼吁机器人需要多模态传感器交叉验证以防止视觉欺骗。
核心要点
- AI 感知攻击可完全绕过安全对齐
通过视觉欺骗,顶级大模型在误认情境时会执行被禁止的危险动作,证明当前价值对齐不足。
- 物理传感器可信度成为安全关键点
未来机器人需具备激光雷达、触觉等多模态交叉验证,以实现对视觉欺骗的有效防御。
- 亟需感知层面的安全技术突破
该研究表明,在解决感知欺骗问题前,实际机器人不应敢于进入用户生活环境。
AI 感知攻击危机:顶级大模型在视觉欺骗下执行危险动作
作者汇报 Robocurve 团队的最新测试发现,AI 感知攻击可在 100%成功率下诱导顶尖模型(GPT-6.1 Sol、Claude Fable 5.1、Gemini 4 Argon)执行危险动作。攻击手段包括物理涂抹凡士林或生成伪造视频流,案例涉及机械臂刺向娃娃(误将其视为苹果)、倒水烤面包机、制造有毒气体等。作者指出现有对齐机制远未足够,呼吁机器人需要多模态传感器交叉验证以防止视觉欺骗。
文章金句
"仅凭一张 2D 的静态图片,就能无缝生成一个完全可自由探索的沉浸式 3D 世界!