大模型一定要逐字生成文字吗?前OpenAI研究员Diogo Almeida给出了否定答案。他创办的TypeSafe推出新模型Jev,不再生成自然语言,而是直接输出结构化判断、概率和置信度,并同期完成4000万美元种子轮融资,估值约2亿美元。
与ChatGPT等主流LLM不同,Jev面向软件后台的决策场景。传统LLM即使被要求返回JSON,底层仍要逐token生成再解析;而Jev可直接输出“流失风险82%”这类预设结果,程序无需解析文字即可进入下一步。TypeSafe称其采用并行采样器,并配套RLCD训练方法,让模型给出的概率尽可能可靠。
性能数据是最大卖点:在特定结构化工作流中,Jev最高比前沿LLM快近200倍、便宜400多倍,结构化输出错误率标为0%。但公司也承认,这些数字来自自行设计的评测,对照模型还需额外经过封装,因此属于偏高端收益,且0%源于schema机制保证,并非经验测试。
目前TypeSafe未公开Jev的参数规模、网络结构与训练数据,“全新架构”说法仍待验证。其定位是“smart if-statement”,瞄准分类、路由、评分、信息提取等场景,甚至用《毁灭战士》Demo展示低延迟。Jev真正的价值或许不在快多少倍,而在于能替代多少原本必须交给前沿LLM的判断。
