Von 是 Apache-2.0 的 395M System One 决策模型,在 Apple MPS 上约 18 毫秒本地给出带校准的答案,是 TypeSafe Jev 的开源替代。

分享:
查看替代方案

Von 试图把 Jev 背后的思路做成一份可以直接跑在自己机器上的开源权重:395M 参数,Apache-2.0。卖点和 TypeSafe 对 System One 模型的说法一致——不要再用前沿大模型处理那些根本不需要生成文本的决策。Von 不解码 token,而是接收一个状态和一组带类型的提问,一次前向就返回校准过的概率分布。

第一方仓库 创建于 2026-09-18,许可证 Apache-2.0,Python 3.12+。2026-09-20 GitHub 显示 63 star10 fork,当天还有推送。权重在 Hugging Face 上叫 wfzyx/von-1.0,safetensors 格式,基于 ModernBERT 主干,撰写时约 16 个 like1,223 次下载。63 star 说明这是一个非常早期的项目,不是经过验证的战绩。

核心功能

  • 三个决策原语Choice 返回互斥选项上的概率分布,Noul 返回某个条件成立的校准二元概率,Score 在有序等级上返回连续评分。
  • 不做自回归解码:一次前向,没有 KV cache 增长,也不会出现生成 JSON 时的 schema 解析错误。
  • 校准来自训练而非提示词:Von 用交叉熵与 Brier 分数的复合目标做后训练,再做温度缩放,因此它给出的置信度目标是反映真实准确率,而不是显得自信。
  • 跨硬件:项目列出 CUDA、Linux 上的 AMD ROCm、Apple Metal Performance Shaders 和多线程 CPU 路径。
  • 协议对齐von serve 暴露 /v1/systemone HTTP 端点,项目称其与 TypeSafe 的线上协议一致,为一方写的客户端可以直接对另一方说话。

基准测试

Von 的数字来自作者在社区基准 jabr/classifier-benchmark 上自测,共 8 个任务、78 个用例:

模型 规模 宏平均准确率 MPS/GPU 延迟 CPU 延迟 成本
Von-1.0 395M(1.5 GB) 93.5% 约 18 ms 约 480 ms 本地,Apache-2.0
GLiNER2(fastino/gliner2-large-v1) 约 300M 78.5% 约 93 ms 约 500 ms 本地,Apache-2.0
TypeSafe Jev 闭源 97.2% 约 302 ms(API) 仅云端 $0.042 / 百万输入 token

这张表要按厂商数据来读:测试集很小,模型和对照都是作者自己跑的,而且纯准确率上 Jev 仍然领先。Von 改变的是部署形态——没有 API、没有按次计费、数据不出本机。

适用场景

  • 智能体路由:在为一个生成式调用付费之前,先判断请求该走哪个工具、队列或模型。
  • 护栏与校验:对模型输出做一次廉价的二元复核。
  • 分级打分:不写提示模板,直接给严重程度、紧急度或情绪打分。
  • 离线栈:不能依赖托管决策 API 的本地优先应用。

限制:Von 不会写散文、代码或工具调用字符串。它是软件内部的决策函数,不是聊天模型;一个 395M 的非自回归分类器,在杂乱且未见过的分类体系上,也承载不了微调前沿模型的覆盖面。

定价方案

方案 价格 说明
Von-1.0 权重 $0 GitHub 与 Hugging Face 上的 Apache-2.0。
von-sdk $0 pip install von-sdkuv add von-sdknpm install von-sdk
托管 自备算力 自行部署,项目没有提供托管服务。

快速开始

pip install von-sdk          # 或者:uv add von-sdk
import von

result = von.decide(
    state="Database replication lag on cluster us-west-2 exceeded 45 seconds.",
    choices={
        "infrastructure": "Database, hardware, network, or server failures",
        "billing": "Invoices, payments, refunds, subscription queries",
        "feature_request": "Requests for new platform capabilities",
    },
)

要以服务方式跑,执行 von serve --host 0.0.0.0 --port 8000 启动 HTTP 端点,README 里给出了对 /v1/systemone"model": "von-1.0.0"curl 示例。第一方入口:仓库 READMEHugging Face 模型卡

常见问题

Von 与 TypeSafe 有关系吗?

没有。它是独立项目,自称是 Jev 的直接替代,并声称兼容同一套线上协议。

准确率能追上 Jev 吗?

在作者自己的测试集上,宏平均准确率大约落后 4 个百分点。它用本地执行和零单次成本来交换。

必须要有 GPU 吗?

不需要,支持 CPU 推理,但作者测到 CPU 约 480 ms,而 Apple MPS 上约 18 ms。

替代方案

  • Jev:被模仿的商业 System One 模型,准确率更高、开放度更低。
  • LangGraph:用普通大模型做路由决策的工作流宿主。
  • GLiNER2:做抽取任务的开放权重分类与跨度模型。

使用技巧

  1. 分类体系控制在原语舒适的基数内,更大的类别集合拆成两阶段路由。
  2. 把置信度当作闸门:高置信度头部自动执行,尾部转人工复核。
  3. 在替换现有 System One 客户端之前,自己验证 /v1/systemone 的兼容性。

总结

Von 是对 Jev 在 2026 年 9 月提出的那个问题的开源回答:分类与路由决策真的需要生成式模型吗?一个约 18 毫秒本地运行的 395M 非自回归分类器,给出了一个合理的「不需要」。如果你现在还在为在五个标签里挑一个而调用前沿模型,值得在智能体循环里试试它。

评论

还没有评论。成为第一个评论的人!