在近期举办的Hot Chips大会上，OpenAI揭开了其全新AI推理系统Jalapeño的神秘面纱，并首次公开了该系统的基准测试数据。这款由OpenAI与博通联合研发的芯片，在性能表现上展现出显著优势，特别是在处理AI推理任务时，其效率远超当前市场上的同类产品。
根据SemiAnalysis的InferenceX测试结果，Jalapeño在单用户token处理量和每千瓦吞吐量两个关键指标上，均超越了目前顶尖的推理处理器。OpenAI硬件负责人理查德·何在媒体电话会上强调，Jalapeño不仅能在相同电力消耗下处理更多AI工作负载，还能显著缩短响应时间，既适合大规模用户服务，又能保持低延迟运行。
Jalapeño的研发并非孤立进行，而是与OpenAI自有模型紧密结合，旨在打造一个可延续多代的技术平台。通过这种协同设计，AI产品、模型、芯片和内存从研发初期便实现深度整合，为未来AI技术的演进奠定基础。该芯片专注于AI推理领域，即让已训练完成的AI模型能够高效执行任务或驱动智能体。
在性能对比测试中，OpenAI选取了英伟达的GB200和GB300超级芯片系统作为参照。结果显示，在GPT-OSS 120B、DeepSeek R1和Kimi K2.5 1T三个模型上，Jalapeño每瓦完成的AI工作量是对比系统的1.5至1.9倍，端到端延迟则降低至28%至59%。这一数据充分证明了Jalapeño在能效和速度上的双重优势。
全栈协同开发模式为Jalapeño的性能优化提供了有力支持。OpenAI团队针对推理过程中最易出现瓶颈的预填充和通信阶段进行重点优化，有效降低了延迟。通过减少数据搬运和通信延迟，Jalapeño在生成响应时能够更高效地利用本地KV缓存等模型状态，并根据不同推理阶段动态调配合适的计算、内存和网络资源。
关于Jalapeño的部署计划，OpenAI表示将在今年年底前进行小规模试点，随后于2027年逐步扩大部署规模。不过，公司并未透露明年具体的芯片投入数量，仅表示将根据实际需求和市场反馈灵活调整。
