2026-09-17 · 来源：{'name': 'InfoWorld', 'url': 'https://www.infoworld.com/article/4223468/typesafe-ais-new-models-work-with-machines-not-humans.html'}
前OpenAI研究员、RLHF联合提出者Diogo Almeida创办的TypeSafe AI推出面向软件而非人类的大语言模型Jev:以任务状态为输入,70至500毫秒内返回带概率的决策结果,规避自动化工作流中冗长token生成推高的成本。
Diogo Almeida创办的TypeSafe AI宣称,其新模型Jev可在70至500毫秒内返回附带概率的决策结果,避开了在自动化工作流中不断推高成本的冗长token生成。
TypeSafe AI由前OpenAI研究员、RLHF(基于人类反馈的强化学习)联合提出者Diogo Almeida创办,该公司此次推出的大语言模型专为与软件对话而非与人对话而生。这款名为Jev的模型以任务或工作流的当前状态作为输入,返回一个明确定义的决策及其所附带的概率。据Almeida在发布该系统的博客文章中介绍,这些决策涵盖调用哪个工具、下一步采取什么行动、是否批准某个请求,以及何时将任务移交给另一个模型等场景。其输出设计为可直接供自动化工作流中的软件应用或其他AI模型使用。
其核心逻辑在于:冗长已成为压在AI预算上的一道'税'。当今的大语言模型即便面对只需简单建议的请求,也会消耗或生成大量token,推高使用成本。自动化工作流让这一问题更加突出:由于软件代理流水线所做的决策远多于人工介入的流程,token账单会随决策数量同步膨胀。而当机器往往只想要一个明确答案时,环绕在答案周围的自然语言铺垫,就是回报寥寥的无效开销。
Jev的速度优势源于跳过了逐字生成文本的过程。Almeida表示,由于无需一个接一个地生成文本token,该模型的响应速度快于传统系统:延迟介于70毫秒到500毫秒之间,而TypeSafe测试过的大语言模型则需要数秒。他补充说,简洁的响应格式也让模型运行成本更低。
对于将AI嵌入自动化工作流的企业团队而言,其卖点有二:每次决策消耗的token更少,且答案返回速度足以匹配机器节奏的运营。TypeSafe瞄准的是AI使用中'读者是另一个程序而非人'的那部分场景——Almeida指出,在这一细分领域,冗长的自然语言输出只会徒增成本而毫无价值。报道还暗示,可节省的开销或许不止token成本一项。
萬安算交所 AIXX · 算力硬件实名会员制交易平台 · 进入货源大厅