AI 智能体仍处于早期的发展阶段，但使用规模正快速增长。根据美国知名风险投资机构a16z 援引的 OpenRouter 数据，自2026年 2 月以来，智能体的 Token（词元）使用量增长约 14 倍。

从基础设施的角度来看， AI 智能体就像拥有持久计算环境的虚拟用户，能够持久保持状态、检索上下文、调用工具和服务、执行任务，并持续评估执行结果，直至任务完成。

当数百万甚至数十亿个智能体全天候持续工作时，计算、内存、存储和输入/输出（I/O）都必须在高并发环境下支持持续运行。这不仅对 CPU 提出了新的要求，也意味着业界需要建立新的评估标准，以测评系统处理智能体实际完成工作负载的能力。

构建面向虚拟用户的数据中心

智能体 AI 正在推动 AI 数据中心多个环节的计算需求增长。CPU 在智能体维护上下文、调用工具和访问数据的同时执行相关工作负载；在 AI 头节点（head node）中，CPU 负责作业调度、数据准备和传输以及系统调度，以确保昂贵的加速器持续保持高效运转。

与此同时，智能体还会催生更多云原生工作负载。每一次搜索、服务调用、代码执行或数据请求，都会驱动底层基础设施执行相应任务。智能体 AI 不会替代云原生工作负载，而是在现有云原生需求之上进一步叠加和放大新的需求。

随着智能体的自主性不断增强，并获得更多工具和数据访问权限，保障运行时安全的重要性也愈发凸显。主机 CPU 可专注于执行智能体工作负载，而数据处理器（DPU）及其他基础设施处理器则可为网络、存储、策略执行、遥测和隔离提供独立的控制平面。从运行云计算和智能体工作负载的 CPU，到提供安全保障和基础设施管控能力的 DPU， Arm 技术覆盖这一系统中的两大关键层面。

在本周的开放计算全球峰会（OCP Global Summit）上，这一设计趋势正逐步在实际系统中落地。Arm 正在推进向 OCP 贡献 Arm AGI CPU 服务器参考设计，而 Meta 的 Yosemite YV5 则将 Arm AGI CPU 引入 OCP 机架级设计之中。

衡量真正有意义的工作负载

CPU 性能的评估标准正在被重新定义。对于智能体计算，关键在于确保响应能力的同时, 系统能支持并发完成多少工作；对于 AI 头节点，关键在于 CPU 能否高效地保持加速器处于高利用率状态；对于云原生基础设施，关键则在于能否快速且可预测地处理每项操作。

智能体工作负载凸显了持续性能的重要性。如果吞吐量随着系统资源利用率上升而下降，那么拥有更多的理论算力并不意味着能够完成更多任务。真正重要的是，在功耗和物理条件的限制下，基础设施能够持续支撑多少实际有效的工作负载。

凭借长期服务全球超大规模数据中心的经验，Arm 对计算需求的演变有着深刻的洞察。基于此洞察，Arm 开发了一套针对智能体 AI 的全新 CPU 性能测评方法，并获得富士通（Fujitsu）、Meta 和 OpenAI 的支持。该框架基于三个原则：

组件级测试有助于排除模型推理和网络等变量的干扰，从而得以单独评估 CPU 性能；而端到端评估则可用于判断这些改进能否转化为更好的任务完成效果。

随着智能体架构和软件持续演进，这套方法论也需要持续优化。

实测表现

基于上述方法论，Signal65 对 Arm AGI CPU 与 AMD EPYC Turin 在工具调用、编排、推理与规划等工作负载中的表现进行了独立验证。两个平台均采用相同的基准测试脚本，并基于实测的服务器级性能数据, 构建清晰的机架级性能模型。

初步测试结果显示：

机架级视角至关重要，因为数据中心始终受到功耗、散热和物理空间的固定限制。尤其是在更多智能体和任务并发运行的情况下，基础设施运营商最终需要了解系统在这些限制内能够持续完成多少有效工作。

Arm AGI CPU 正是围绕这些工作负载特征而设计，凭借高核心密度、每核心内存配置以及高带宽 I/O 能力，支持智能体工作负载的持续运行。

随着智能体从“响应提示词”转向“持续完成工作”，评估基础设施能力的标准也应聚焦于其能否高效、稳定地完成实际工作，从单个智能体到整个机架皆是如此。更完善的测评方法可为业界提供更清晰的依据，以识别系统瓶颈、比较系统性能，并推动智能体基础设施在规模化发展的过程中持续优化。