当前多数大模型以生成文本为主,但在很多 Agent 决策环节,我们真正需要的是可靠的概率输出。joey-1 正是为此设计,它舍弃了文本生成,直接给出校准后的概率分布,显著降低了计算开销。

模型核心指标

  • 参数量仅 2B
  • 输出为校准概率而非文本
  • P50 延迟 20 毫秒
  • 每百万输入 token 成本 0.01 美元
  • 完全开源权重

低延迟和极低成本让它特别适合实时决策系统或大规模并行调用。开发者可以将它嵌入 AI Agent 的判断模块,用于分类、排序、风险评估等任务,无需承担 70B 以上模型的昂贵推理费用。

这一发布再次表明,小型专用模型在特定垂直场景中正变得越来越有竞争力。中文团队在构建落地应用时,可以考虑用这类轻量决策模型替换部分大模型调用,显著降低整体成本并提升响应速度。