← 資訊首页 | 货源大厅

LLM Inference 主题文章

共 4 篇 · 由萬安算交所资讯持续追踪

• 宕机近5小时，DeepSeek全额返还用户7日API消耗
  2026-10-15 · 故障后DeepSeek承诺剥离单点依赖、杜绝复发，赠金自动到账，优先抵扣计费。
• 投机解码:草稿模型提议、目标模型验证,AI文本生成大幅提速
  2026-09-19 · 更快的草稿模型一次提议多个token,目标模型并行验证,在保持目标分布不变的前提下加速自回归生成。
• AWS 发布 SageMaker HyperPod 推理网关:首字延迟最高可降 82%
  2026-09-19 · 一套面向大语言模型推理的 Kubernetes 原生、GPU 感知路由系统,以单一托管附加组件形式部署于 Amazon EKS。据 AWS 称,该系统可将首字延
• Token价格两年暴跌九成,企业AI账单却纹丝不动
  2026-09-11 · 过去两年,行业头部模型的每百万Token价格累计下跌超90%,但Token浪费、智能体AI与上下文治理成本,正让企业实际支出居高不下。

萬安算交所 AIXX · 进入货源大厅