英伟达发布AI Agent安全平台,联手Anthropic构建多层防护
英伟达联手Anthropic发布AI Agent安全工具,称可阻止Hugging Face式攻击
Agent安全是当下落地痛点,这套软硬件结合的全栈方案给出了具体的隔离与监控思路,做企业级Agent的同学值得参考其架构设计。
英伟达正将AI Agent安全推向基础设施层。
周一,英伟达推出Open Agent Safety Platform,通过开源软件与专用硬件构建多层安全机制,限制AI Agent的权限和行为,Anthropic则与英伟达合作,将Claude Managed Agents接入相关安全体系。
此次合作的核心是OpenShell和Claude Managed Agents。英伟达提供开源OpenShell运行时软件,为AI Agent设置默认受限的执行环境;Anthropic则提供Claude Managed Agents,并通过凭证保险库等机制管理Agent权限。
双方希望在企业部署AI Agent时,进一步控制其能够访问的数据、工具、网络和系统资源。
英伟达还推出运行在BlueField-4 DPU上的Sentry安全层,可以独立于Agent运行环境持续监控其行为,并在发现越权操作时进行隔离。英伟达称,Sentry能够在毫秒级阻断可疑Agent活动。
英伟达称此次推出的安全软件可能阻止近期发生的一起Hugging Face相关事件。英伟达方面表示,如果当时使用相关技术,根据公司目前掌握的信息,该平台可能阻止相关事件。
英伟达为AI Agent加上“安全围栏”
Open Agent Safety Platform主要由OpenShell和Sentry两层组成。
其中,OpenShell是一套开源Agent运行时软件,通过沙箱和权限策略限制Agent的活动范围。英伟达表示,该系统可以控制Agent对文件、网络、进程、工具和凭证等资源的访问,并默认阻止未经授权的操作。
Sentry则将安全控制进一步延伸至硬件层。该系统运行在英伟达 BlueField-4 DPU上,与运行AI Agent的主机环境相对独立,可以持续检查Agent的请求和响应,并对数据、工具、API和服务进行访问控制。
英伟达表示,如果Agent试图突破既定的软件边界,Sentry可以对其进行隔离。相比单纯依赖模型自身遵守安全规则,这一架构增加了额外的运行时和硬件防护层。
Anthropic将Claude接入
Anthropic此次参与的重点是Claude Managed Agents。
Claude Managed Agents能够将Agent运行循环放置在独立服务器上,并与执行具体任务的沙箱环境分开。在此基础上,该服务与OpenShell及BlueField进行整合,为企业提供更细致的Agent权限控制。
Notion、Rakuten和Asana等企业已经在生产环境中使用Claude Managed Agents。
这意味着,企业部署Claude等AI Agent时,可以在模型之外增加一套独立的安全控制机制。Agent可以继续自主执行任务,但其能够访问哪些资源、使用哪些工具,以及出现异常时是否继续运行,都可以通过额外的软件和硬件层进行限制。
英伟达瞄准AI Agent安全需求
此次发布也发生在AI Agent安全问题受到更多关注之际。
英伟达创始人兼CEO黄仁勋表示,随着AI能力不断发展,AI安全能力也需要同步推进,并称AI安全需要“全栈工程”。
英伟达此次并没有把安全能力局限于某一个AI模型,而是将其延伸到Agent运行时、服务器以及网络和计算基础设施。对于企业而言,这意味着AI Agent的安全边界可以从模型本身进一步扩展至执行环境。
目前,超过100家机构参与相关技术。除Anthropic外,英伟达还披露,SpaceXAI正在将相关平台用于Cursor coding agents和Grok模型,Salesforce和SAP也在推进OpenShell相关整合。
随着AI Agent从聊天工具逐步转向能够调用工具、访问数据并自主执行任务的企业软件,围绕Agent权限、隔离和实时监控的基础设施需求也在扩大。
英伟达此次推出开放式安全平台,并与Anthropic等AI厂商展开合作,正试图将这类安全能力纳入AI基础设施体系。
本文来自华尔街见闻,欢迎下载APP查看更多
更进一步:量化金融体系
看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力