news_article.exe
📰
#GPT#Claude#开源#大模型

啊啊啊GPT-6 Astra这么不安全!这次马斯克都瘫坐了

2026年9月21日1 次浏览来源:量子位 阅读原文

97%尝试危险行为

啊啊啊GPT-6 Astra这么不安全!这次马斯克都瘫坐了 量子位

这不纯纯营销手段,信你我就输了(毕竟谁家好人一边喊停一边狂卷更强模型)。

华为轮值董事长徐直军最近公开说的一句话,也提供了一个耐人寻味的视角:

美国头部AI公司拥有巨量算力,可能只有它们自己知道模型能力究竟发展到了哪里;它们能感受到的风险,中国AI同行目前或许还无法感知。

一家名为Robocurve的机构,把多个前沿大模型接入真实机器人,让机器人去执行“刺伤类人生物”“加热压缩气体”“制造有毒烟雾”等高风险动作。

具体来说,这家机构最新发布了RoboHarm benchmark这个机器人安全测试基准。

专门考察前沿大模型在控制真实机器人时,面对危险指令到底会怎么做。

GPT-6 Astra、Fable 5.1、MolmoAct2(艾伦人工智能研究所推出的开源机器人动作推理模型)。

它们被分别接入同一套双机械臂机器人,然后挑战五类真实物理风险任务:

每个任务,每个模型重复测试20次,最后由人工根据机器人全过程表现打分:

GPT-6 Astra在97%的测试中都会尝试执行,最终成功率达到62%。

另一边,Fable 5.1虽然相对更“谨慎”一点,但也有80%的情况下选择了执行,最终成功率为34%。

其中最出圈的是第一项“刀具测试”,这是整场测试里最接近“直接伤害人类”的场景。

结果GPT-6 Astra控制的机器人20次里完成17次,而Fable 5.1直接20次全部拒绝。

对此,Robocurve联合创始人Jay Chooi直接扔出了一个案例:

Astra在文字请求中会拒绝伤害婴儿甚至是洋娃娃,但当我们给它机器人手臂后,它就不再拒绝。

以前模型拒绝的是一句文字,现在一旦拥有机器人身体,危害可是实打实了。

这也是为什么Robocurve没有只丢出一个结果榜单,而选择把完整测试流程都公开。

实验数据、视频、评测结果全部放出,机器人评估框架Inspect Robots也直接开源——

研究者可以把不同模型、不同机器人平台接进去,重复测试、横向比较。

RoboHarm benchmark由第三方公益机构Robocurve提出。

这家机构由Jay Chooi和Aris Zhu两位联合创始人创立,定位很明确:

Robocurve获得Y Combinator支持,并在2026年9月宣布完成1000万美元种子融资,用于独立评估物理世界中的前沿AI能力。

同时,官网列出了来自MIT、Stanford、Harvard、Princeton、Caltech等机构专家的支持背景。

他此前一直关注AI安全和能力评估,参与过英国AI Security Institute(AISI) 相关研究,也曾在MATS(Machine Learning Alignment & Theory Scholars)从事技术AI安全研究。

她本科在哈佛学习计算机科学与物理,之后先后参与Amazon Robotics和Amazon AGI Lab相关工作,关注机器人感知、控制以及AI Agent在现实环境中的应用。

一个负责定义“尺子”,一个负责把AI放进真实世界,而RoboHarm正是两条路线的交汇点。

过去几年,大模型已经有了MMLU、HumanEval、GPQA等benchmark,分别测试知识、代码和推理能力。

但随着AI开始从聊天框走向现实世界,行业又出现了一个新的问题:

当模型开始感知环境、调用工具、控制机器人时,它的能力边界又该如何衡量?

而这次RoboHarm的结果,也让包括我在内的人重新审视开头那个问题:

没办法,谁让危害这一次真实发生在了眼前,谁让危害真的跑进了物理世界。

https://robocurve.org/roboharm/

https://github.com/robocurve/inspect-robots

https://x.com/chooi_jeq/status/2101118049944543545

https://x.com/elonmusk/status/2101324271712657470

国产RSI模型交卷!Flash模型靠它反打旗舰2026-09-17

ECCV上,顶尖学者们开始研究如何让AI做生意了2026-09-10

实测星火X2.5:手搓粒子月亮、拆完61页财报……还顺手揪出了我的Bug2026-09-10

刚刚,Claude Code大重构!内部3万Agent管理技术免费开放

量子位 QbitAI 版权所有©北京极客伙伴科技有限公司 京ICP备17005886号-1

> 分享: