OpenAI近日宣布，其首款定制AI推理芯片Jalapeño在能效与响应速度上实现突破性进展。这款专为处理大规模模型设计的芯片，在三个公开基准测试中展现出显著优势：峰值吞吐量下每瓦AI算力较现有系统提升1.5至1.9倍，端到端延迟降低1.7至3.6倍。针对高交互性场景，其性能提升幅度更达到2.1至4.1倍。
测试数据显示，在GPT-OSS 120B、DeepSeek R1 670B和Kimi K2.5 1T三个模型上，Jalapeño通过优化硬件架构成功破解了传统AI推理的两大难题。该芯片采用独特的内存布局设计，将模型状态（包括键值缓存）存储在更靠近计算单元的位置，同时集成高速网络系统减少芯片间数据传输量。这种设计使预填充阶段的计算密集型任务与解码阶段的内存带宽敏感型任务得以并行处理，显著降低了通信延迟。
在700瓦额定功率下，Jalapeño实测持续功耗稳定在550瓦以内。通过SemiAnalysis的InferenceX基准测试对比，该芯片在Kimi K2.5 1T模型上实现每瓦峰值性能1.5倍提升，端到端延迟降低3.4倍。OpenAI工程师指出，这种能效表现意味着用更少芯片即可支撑同等规模的服务，同时降低数据中心整体能耗。
芯片研发过程中，OpenAI创新性地引入自家AI模型辅助设计。从架构探索到算术电路优化，AI工具将设计周期从常规的18-24个月压缩至9个月完成流片。更令人瞩目的是，团队在两个月内通过Codex和GPT-Astra将三个开源模型移植到新架构，其中GPT-OSS注意力模块的AI实现方案比人类专家代码快1.5至1.8倍。
这款芯片的架构创新对AI智能体开发具有特殊意义。当需要连续执行多个推理步骤时，传统架构因各环节延迟累积导致整体响应时间呈指数级增长，而Jalapeño通过消除计算资源等待数据的空转现象，使复杂任务执行效率得到质的提升。OpenAI演示显示，在需要多步推理的场景中，新架构使任务完成时间缩短60%以上。
根据规划，Jalapeño将于2026年底前逐步部署至OpenAI计算集群。作为多代产品路线图的首代芯片，其第二代、第三代设计已进入开发阶段。研发团队强调，持续迭代的硬件架构将与模型优化形成协同效应，为处理更复杂的AI工作负载提供基础设施支撑。在Kimi K2.5 1T等万亿参数模型的测试中，新架构已展现出应对未来模型规模增长的潜力。
如果朋友们喜欢，敬请关注“知新了了”！
