在人工智能推理计算领域，一场关于存储与计算架构的革新正在悄然展开。寒序科技近日宣布推出其创新的uHBM®与uLPU™推理计算架构，旨在通过将模型权重驻留在计算单元内部，彻底改变传统的大规模模型推理方式。
传统的大模型推理过程中，尤其是Decode阶段，模型每生成一个Token，都需要反复读取大量权重数据。对于FFN/GEMV这类典型的内存密集型任务，推理速度往往受限于权重数据在存储接口和计算单元之间的反复搬运，而非计算单元本身的性能。一颗FP4权重仅占4 bit，单次搬运看似微不足道，但当涉及数十亿颗权重时，这种搬运过程会显著增加带宽需求、功耗和延迟，最终转化为高昂的硬件成本和运营费用。
寒序科技的uHBM®架构通过将Persistent MRAM与矩阵向量计算集成在同一颗Compute-Memory Die内，实现了权重的长期驻留。这意味着，在模型加载完成后，权重数据无需再为每个Token反复跨越传统存储接口，而是在片内直接参与计算，从而大幅降低了数据搬运带来的性能瓶颈。
作为国内首家专注于MRAM计算的公司，寒序科技在过去三年中持续推进超大带宽、Persistent MRAM、权重驻留和片内矩阵向量计算等关键技术。此次发布的uHBM®与uLPU™架构，标志着其技术积累的全面落地。
uHBM®的核心优势在于其In-Die Read Bandwidth设计值高达24 TB/s。这一数值描述的是Compute-Memory Die内部的权重读取能力，而非传统HBM指标中存储堆栈与GPU之间的外部接口带宽。通过将高带宽读取能力紧邻驻留权重，并直接送入片内GEMV单元，uHBM®实现了架构设计上的重大突破。
在行业层面，寒序科技的选择与三星和NVIDIA的技术路线形成呼应。三星通过LPDDR5X-PIM将计算进一步推入DRAM，而NVIDIA则通过Groq 3 LPX与Vera Rubin的异构推理路径，将权重保留在片上SRAM中。尽管三家公司在器件、工艺和系统形态上存在差异，但它们共同探索的核心问题是一致的：如何避免每生成一个Token时权重数据的重复搬运。
uHBM®的推出不仅是对传统HBM架构的重新定义，更是对Compute-Memory产品逻辑的深度重构。通过将高带宽发生位置从存储器与计算芯片之间转移至权重所在的Die内，uHBM®为推理计算提供了全新的性能优化路径。
基于uHBM®架构，寒序科技进一步推出了uLPU™推理计算机架构。从单颗Die到机柜级系统，uLPU™产品线覆盖了端侧和云端的不同需求。端侧形态的uLPU™ Edge将四颗uHBM®与NPU集成，NPU负责Prefill、Attention等任务，而高带宽敏感的FFN/GEMV则留在uHBM®内执行。云端形态的uLPU™ Cloud则通过UCIe实现多芯片扩展，并面向高速SerDes构建互联网络。
在应用场景方面，寒序科技特别关注具身智能模型的需求。以Qwen-VLA为例，该模型建立在Qwen3.5-4B多模态骨干之上，并增加了约1.15B参数的DiT动作解码器。寒序科技为其设定了超过2,000 Tokens/s的工程目标，旨在将机器人实时思考能力从几十Tokens/s推至全新数量级。对于需要实时抓取物体、避开障碍物并调整轨迹的机器人而言，低延迟推理不再是体验优化问题，而是直接关系到动作执行的准确性。
寒序科技的研发历程始于2023年8月，团队最初全面对标Groq LPU的超大带宽路线，但选择了不同于SRAM堆叠的技术路径。通过押注Persistent MRAM、权重驻留和片内矩阵向量计算，寒序科技完成了高带宽推理验证芯片SpinPU-ED01的流片与测试。该芯片集成120个MRAM Bank，实测片上访存带宽密度达到0.105 TB/(mm²·s)，并实现了端到端模型推理与连续24小时稳定运行。
目前，寒序科技的首代完整工程产品已进入流片前收敛阶段。未来两年，公司将聚焦于工程实现与量产，包括流片、回片、软件栈开发、系统研发、客户验证和量产准备等关键环节。围绕uHBM®与uLPU™架构，寒序科技同步启动了全球核心研发人才招募计划，重点方向涵盖SoC架构、数字设计、AI编译器、互联技术和系统研发等领域。
