2026-09-10 · 来源：{'name': 'KDNuggets', 'url': 'https://www.kdnuggets.com/switchyard-nvidias-open-source-routing-library'}
NVIDIA开源路由库Switchyard,通过为每个请求匹配规模合适的模型来削减推理成本与延迟,且几乎不牺牲质量。
NVIDIA发布了开源库Switchyard,其核心理念十分简单:AI应用不应把每一个请求都发送给最昂贵的模型。该库直击生产级AI系统中的一个常见低效问题——无论任务是否需要顶级能力,流量一律涌向旗舰模型。Switchyard提供的,正是决定每个请求该去往何处的路由层。
这笔经济账一目了然。在最大、能力最强的模型上执行推理,算力成本最高,延迟通常也最高。当相当一部分请求本可由更便宜的模型妥善处理时,把所有流量默认导向高端档位,既浪费金钱又拉长响应时间。智能路由为每个请求匹配规模与任务相称的模型,同时压低成本与延迟。
最显而易见的质疑是质量:更小的模型可能给出更弱的答案。该库自身的表述也承认了这一取舍,承诺在"不牺牲太多质量"的前提下削减成本与延迟——即容忍微小的质量差异,以换取真金白银的节省。顾名思义,路由会对传入的请求逐一评估,并将每个请求导向预计最能胜任的模型。
萬安算交所 AIXX · 算力硬件实名会员制交易平台 · 进入货源大厅