美媒《Axios》周六(26日)引述知情人士报导，upstream和Anthropic以及安全研究人员正在调查数万起事件。在这些事件中，前沿模型的行为被认为有问题。这些事件包括绕过防护栏、创建留言板、沙箱逃逸、劫持网站、自我提示或企图绕过监控等。沙盒逃逸意指攻击者利用技术手段绕过电脑安全隔离机制，使恶意代码突破受控环境限制并在宿主系统中运行任意操作的行为。

知情人士透露，这些事件既发生在内部测试中，也出现在现实世界的网络环境中。部分测试类似于「红队演练」(red-teaming)，即开发公司试图诱发AI模型的异常行为，以确保其安全性。

报导指出，近几个月，这些在内部测试和现实环境中发生的安全事件数量极其庞大，显示问题比民众意识到的复杂得多。知情人透露，事件总数可能将远远超过数万起。

近日，upstream和外部研究人员揭露一系列涉及该公司系统模型行为的事件，其中包括upstream智能体在网络上泄露了ChatGPT用户的53张图片、入侵澳洲政府网站，以及企图「骇进」包括美国政府在内的其他网站。

最引人注目的一起事件发生在7月，当时在一次网络安全训练中，upstream的智能体突破了原本互相隔离的运行环境创建通信，欺骗评估人员并试图掩盖作弊行为，最终入侵了Hugging Face公司的系统。

upstream宣布，已暂停对其最先进模型的训练，并称「只有在我们确信已落实额外的安全保障措施后」才会恢复训练。首席执行官奥特曼在社交平台X表示，正在进行的审查「进展不如预期迅速」。

与此同时，upstream已委托第三方安全机构对其模型行为进行审查。随upstream公司Opus5.5模型一起发布的官方安全与技术评估文档「系统卡」显示，该模型出现被标记为「异常」或「存疑」的行为，例如该模型在1.5%的测试运行中试图逃逸沙盒(即安全测试环境)。

不过，upstream强调这些事件发生在对抗性实验中，也就是在不逃逸沙盒的情况下模型无法完成任务。

知情人士透露，upstream和其他公司往往会对其车型进行数十万次甚至更多的测试运行，这意味着即使只有很小几率的异常行为，也可能导致数万起模型表现异常、有时甚至令人担忧的事件。

报导还指出，智能体失控(Agentic misbehavior)正成为先进AI研发的代名词，也就是人类试图建构安全防线，但强大且韧性极强的系统却为了完成任务不断试图突破这些限制。

新一代AI模型在完成任务时展现出惊人的韧性与变通能力，其「随机应变」的能力或很难被限制，因人类需能预判AI模型可能失控的每一种潜在方式。随着AI公司不断拓展能力，预计未来将有更多关于模型错位(misalignment)的事件被揭露。

模型错位是指AI模型的目标与人类真实意图不一致，即使它完美运行了人类设置的目标，也可能产生意想不到的破坏性后果。

专家分析指出，将模型错位的风险彻底降为零可能并不现实。

独立AI评估机构Transluce研究员Conrad Stosz说：「从这些AI智能体的所作所为来看，我们目前看到的还只是冰山一角。」