← 資訊首页 | 货源大厅

中科曙光FN Neo推理存储迭代升级:首Token延迟降73%,瞄准7×24生产推理场景

2026-09-21 · 来源:36氪快讯·中继

中科曙光FN Neo推理存储迭代升级:首Token延迟降73%,瞄准7×24生产推理场景

厂商实测数据显示首Token响应时间缩减73%、Token吞吐提升150%,可靠性达99.999%,推理原生存储正成为AI算力基础设施竞争新焦点

中科曙光近日推出完成迭代升级的AI推理原生存储FN Neo。曙光方面公布的实测数据显示,新版本将模型首Token响应时间缩减73%,整体Token吞吐能力提升150%。这两项指标直指大模型推理服务最核心的用户体验瓶颈:首Token时延直接决定终端用户从发起请求到看到第一个字的等待体感,而吞吐水平则关系到系统可承载的并发请求规模。两项指标的同步改善,意味着用户交互等待时长被压缩的同时,系统并发服务能力也得到增强。

对于正在部署大模型应用的企业而言,这组数据背后对应的是真实的业务账本。在智能客服、代码助手、内容生成等高频交互场景中,首Token延迟每降低一个百分点,都直接影响用户留存与转化;而吞吐能力的提升,则意味着同等硬件投入下可支撑更多的并发会话,摊薄单次推理成本。当推理业务从实验室走向线上,存储层能否快速向推理引擎喂数据,往往成为整个推理链路的隐形瓶颈,这也是曙光此番将升级重点放在推理原生属性上的原因所在。

可靠性是此次升级的另一重点。针对生产级AI业务7×24小时不间断运行的需求,FN Neo具备99.999%的可靠性,并以多重故障防护机制保障推理业务连续不中断。这一指标的分量不容小觑:按行业通行口径,99.999%的可用性意味着全年非计划停机时间被压缩至分钟级。推理服务直接面向线上用户,存储层的故障往往意味着服务中断风险,持续可用能力因此成为此类产品进入生产环境的基本门槛。企业在评估推理存储时,除峰值性能外,更应关注故障切换机制、数据冗余策略与运维复杂度,避免因单一存储节点问题导致整条推理服务链路瘫痪。

部署侧的信息同样值得采购方留意。FN Neo兼容主流推理框架与多元组网环境,企业无需对现有系统进行大规模改造即可完成部署,在复用既有推理生态的前提下实现提质增效。这实际上降低了升级切换的门槛——对于已经搭建起推理集群的企业,可以在不推翻现有架构的前提下完成存储层迭代,缩短从测试到上线的周期,减少迁移过程中的业务中断窗口。

从产品定位看,曙光将FN Neo明确指向大模型与智能体的规模化生产落地。随着推理业务从测试验证走向线上服务,存储系统在低时延、高并发与持续可用性上的表现愈发关键,推理原生存储正成为算力基础设施厂商竞争的着力点。这一趋势对AI算力买家的意义在于:过去采购决策集中在GPU算力与推理框架选型,如今存储层的推理适配能力正在成为同等重要的评估维度。建议企业在选型时要求供应商提供贴近自身业务的PoC实测,将首Token延迟、并发吞吐、故障恢复时间等指标纳入验收标准,并以自身真实模型与流量模型进行压测,而非仅依赖厂商公布的峰值数据。

需要指出的是,上述性能数据来自厂商实测,实际生产环境中的表现仍待更多部署案例验证。从行情信息看,该型号当前无在售挂价数据,有意采购的企业需通过厂商或渠道直接询价,并结合自身推理负载规模评估容量配置与总体拥有成本。在推理算力需求快速放大的背景下,存储与算力的协同优化空间仍然可观,后续厂商在这一细分赛道的竞争值得持续关注。

Q: FN Neo此次升级的核心性能提升有多大?

A: 根据曙光公布的实测数据,新版本将模型首Token响应时间缩减73%,整体Token吞吐能力提升150%,可靠性达到99.999%,支持7×24小时不间断生产运行。

Q: 已有推理系统的企业部署FN Neo需要大规模改造吗?

A: 不需要。FN Neo兼容主流推理框架与多元组网环境,企业可在复用既有推理生态的前提下完成部署;该型号当前无在售挂价数据,采购需向厂商或渠道询价。

主题标签: Sugon · FN Neo · AI Inference · Storage · Data Center


相关阅读


萬安算交所 AIXX · 萬安算交所 AIXX · 算力硬件实名会员制交易平台 · 进入货源大厅