结构化判断的维护记录：Jev 和另外三家决策模型

这是结构化判断背后的维护记录。用接口时不用看，接口出问题或者要换模型时再看。前三节是默认的 Jev 1.13，后面是 2026-10-10 接入的另外三家。

接口从哪来

• 模型是用户指定的，页面是 openrouter.ai/typesafe/jev-1.13¹。页面靠 JS 渲染，抓不到正文。
• 请求格式是经 Context7 查 OpenRouter 文档仓库（openrouterteam/docs）查到的，主要看了这几篇：博客 2026-09-21 的「What is Jev」、2026-09-23 的「How to use Jev」，社区指南 jev-tutorial.mdx 和 typesafe-sdk.mdx。要点：
  • Jev 是 TypeSafe 的第一个 System One 模型，回答关于 state 的带类型问题，不生成文字。
  • 端点：教程和博客都用 POST /api/alpha/decisions；typesafe-sdk.mdx 说 OpenRouter 另有 POST /api/v1/systemone，实现的是 TypeSafe 自己的请求和响应格式，TypeSafe 的 SDK 能直接指过来。
  • 必填 model、state、questions；题型只有 noul、choice、score 三种；noul 的 criteria 可以不写。
  • 返回 model、answers、usage，OpenRouter 另外加了 id、provider 和 usage.cost。
• 元数据：GET /api/v1/models 列出的 463 个模型里没有 jev-1.13，只有 typesafe/jev-router。jev-router 是按请求自动挑模型和推理强度的路由，输出文字，跟 Jev 1.13 不是一回事。Jev 1.13 的元数据要从 GET /api/v1/models/typesafe/jev-1.13/endpoints 查：
  • 模态写的是 text->decisions，提供方只有 TypeSafe 一家，实际版本是 typesafe/jev-1.13-20260917。
  • 上下文 32000，输入每 token 0.000000042 美元，输出不要钱。2026-10-10 再查，上下文变成了 64000，价格没变。
  • 上游延迟近 30 分钟 p50 是 184 ms，p99 是 401 ms。

实测

2026-10-02 经海外中转实测。

• usage.cost 正好是输入 token 数乘单价，输出 token 照记但不收钱。
• score 是各档概率的加权平均：0.07 × 1 + 0.93 × 2 = 1.93。
• 响应头里有 X-Generation-Id，形如 gen-dec-…，跟响应体里的 id 一样。
• 同一个请求两次结果会差一两个百分点，不是完全确定的。
• 上游的 400 报错体里带 OpenRouter 账号的 user_id，中转原样透传给了 Agent。
• 材料含糊时，换英文问题、加 criteria 只把概率从 0.44 推到 0.65 左右，把材料写清楚才到 0.98。

没做的

• 长材料没测，64k 上下文没试到头，也不知道一次最多能问几道题。
• 没跟用 DeepSeek 加结构化输出做同样的判断比过准确率和速度。
• TypeSafe 的 SDK 没试，jev-router 没试。
• /api/alpha/ 是 alpha 路径，哪天改了要回来改用法页。
• 海外机的 SSH 公钥还没装回去，OpenRouter 的中转配置没同步进 assets/gateway/。

另外三家

2026-10-10 照用户的调研接入，默认仍是 Jev。三家都在 OpenRouter 上，走现成的海外中转，中转配置没动；请求格式和 Jev 一样，换 model 就行。

**有，已经不止三家了。价格上，Jev 和微软相同，OpenAI 贵约 2.38 倍；Inception 目前更便宜。性能则还没有可信的统一总冠军，要分延迟、准确率和置信度校准来看。** 以下是截至 **2026 年 10 月 10 日** 查到的信息。

先看你能直接在 **OpenRouter** 上试的几款。价格单位为美元／百万输入 token，表中模型的**输出均免费**。

| 模型 | 输入价格 | 页面当前 P50 延迟 | 上下文 | 输入类型 |
|---|---:|---:|---:|---|
| [TypeSafe Jev 1.13](https://openrouter.ai/typesafe/jev-1.13) | **$0.042** | **约 150 ms** | 64K | 文本 |
| [Microsoft-Decision-1](https://openrouter.ai/microsoft/microsoft-decision-1) | **$0.042** | 约 290 ms | 32K | 文本 |
| [GPT-6 Luna Decisions](https://openrouter.ai/openai/gpt-6-luna-decisions) | $0.10 | 约 220 ms | 1.05M | **文本、图片** |
| [Inception Mercury Decide](https://openrouter.ai/inception/mercury-decide) | **$0.02 促销价**，标价 $0.04 | 约 810 ms | 64K | 文本 |

价格、上下文和延迟来自各模型页。**P50 是平台请求的中位延迟，输入长度和流量不同，不能当成同题竞速排名。**:chatgpt-content-reference{index="0"}

Mercury 还有 [免费版](https://openrouter.ai/inception/mercury-decide:free)，有调用限额。OpenAI 上面的价格专用于 Decisions API；官方说明区域处理和长上下文可能有加价。:chatgpt-content-reference{index="1"}

假设每次决策总共输入 **1,000 token**，做 **100 万次决策**，按上述基础价格计算：Jev／微软约 **$42**，OpenAI **$100**，Mercury 促销价 **$20**。实际还要计入问题、候选答案和评分规则的 token。

**准确率方面，目前的证据更复杂。**

- **微软自测很强**：官方称在 36 套基准、近 15 万道题中准确率最高。不过这是微软自己的测试，不能直接推成所有业务上都优于 Jev 和 OpenAI。:chatgpt-content-reference{index="2"}
- **微软“最快”的宣传存在口径问题**：H2O 指出，微软比较中的部分自部署延迟用了榜单的“实测 ×2＋150 ms”调整值。例如 H2O 是约 **29 ms 实测**，调整后约 **210 ms**。因此，这种比较不足以证明微软是整个市场最快的模型。:chatgpt-content-reference{index="3"}
- **决策模型也不会在每类任务上胜出**：Red Hat 在内容安全、提示注入测试中发现，Jev 并未稳定超过专用小分类器或 LLM judge。模型选择仍然取决于任务。:chatgpt-content-reference{index="4"}

独立的 **JevBench v1.6.1** 能提供一些横向参考，但它没有给出上述三款主力模型的完整同条件排名：

| 模型 | Intelligence 分 | 校准分 | 综合分 |
|---|---:|---:|---:|
| Levanto Sage 1.3 | 65.6 | **91.6** | **74.0** |
| H2O-Lightning-4B v1.1 | 60.0 | 90.0 | 72.5 |
| Inception Mercury Decide | **65.9** | 81.3 | 72.4 |
| Jev 1.13 | 63.6 | 90.6 | 71.5 |

**这些分数不是准确率百分比。** 综合分还包含速度和成本，部分自部署成本是估算值。这里能看出：H2O 综合分高于 Jev，但 Intelligence 较低；Mercury 的 Intelligence 较高，但概率校准较弱。校准衡量的是“声称有 90% 把握的回答，是否真的约有 90% 正确”。:chatgpt-content-reference{index="5"}

其他已经确认的厂商和产品：

| 厂商 | 产品 | 价格与特点 |
|---|---|---|
| **H2O.ai** | [H2O-Lightning-4B](https://huggingface.co/h2oai/h2o-lightning-4b) | 开放权重，Qwen3.5-4B 底座，支持文本和图片；自部署成本取决于硬件及利用率。:chatgpt-content-reference{index="6"} |
| **Fastino** | [GLiDE](https://fastino.ai/blog/introducing-glide-the-first-thinking-decision-model)、GLiNER2.5-Decide | GLiDE 对不确定的问题增加推理；另有开放权重版本。此次未核实到可直接比较的 API 单价。:chatgpt-content-reference{index="7"} |
| **Levanto Labs** | [Sage](https://levanto.ai/pricing) | 输入 $0.038–0.05/M，随套餐变化；**推理输出 $10/M**，最终答案免费，另有套餐费用。支持图片、推理和搜索。:chatgpt-content-reference{index="8"} |
| **Databricks** | `ai_decide` | 提供 SQL／REST 决策能力，底层模型可能更新；更适合已有 Databricks 数据流程，不能简单当成一个固定模型来排名。:chatgpt-content-reference{index="9"} |

**我的试用顺序建议：**

- **文本分类、路由、Agent 控制**：先用 **Jev＋微软**做同题对比，单价相同，重点看错误率和 P95 延迟。
- **图片判断或超长文档**：先试 **GPT-6 Luna Decisions**。
- **低成本探索**：先试 **Mercury 免费版**；需要自部署时，优先评估 **H2O-Lightning-4B**。

如果主要处理中文，值得拿自己的中文样本测试；现有榜单分数不足以说明中文业务中的准确率。比较时除了“答对多少”，还应看**高置信度错误有多少**——这直接决定你能否放心让程序自动采取下一步。

调研说的和实测对不对得上

价格上，Jev 和微软相同，OpenAI 贵约 2.38 倍；Inception 目前更便宜。

单价没错，但一次花多少要看计费 token，各家数法差很多。同一个三道题的工单，Jev 计 476 token，微软 136——单价一样，Jev 一次贵 3.5 倍。只问一道题时 Jev 计 290，微软 33，Jev 每次像是多计两百多 token 的固定开销。调研里「每次 1000 token」的估算没算这一层。按次算，Mercury 和微软最便宜（单题时两家几乎一样，三道题时 Mercury 便宜一半多），其次是 Jev，OpenAI 最贵。

P50 是平台请求的中位延迟，输入长度和流量不同，不能当成同题竞速排名。

经中转，四家的中位数都在 1.4 秒左右，页面上 150 ms 和 290 ms 的差别被中转加跨境往返盖住了。OpenAI 和 Mercury 各出过一次 5 秒左右的慢请求。

Mercury 的 Intelligence 较高，但概率校准较弱

只有一道分档题能对照：工单有多急，Mercury 给 1.53、confidence 0.29，在「这周内要修」和「挡着收钱」之间拿不定，另外三家都在 1.7 以上。一道题说明不了校准，只是方向和榜单一致。

文本分类、路由、Agent 控制：先用 Jev＋微软做同题对比……图片判断或超长文档：先试 GPT-6 Luna Decisions。低成本探索：先试 Mercury 免费版

用法页的换模型表照这个排。Mercury 免费版我们的账号用不了（见下面实测），所以省钱那一行写的是付费版。

如果主要处理中文，值得拿自己的中文样本测试

还没做，只跑了下面几个例子，见没做的。

元数据

GET /api/v1/models/<id>/endpoints，2026-10-10 查：

• 输出都不收钱。OpenAI 另有 web_search 每次 0.01 美元，没试。
• 微软的版本日期是 2026-10-09，接入前一天才上。
• GET /api/v1/models?output_modalities=decisions 列出 19 个决策模型，调研外的还有 Cloudflare 的 Clef 三个、Perplexity、Upstage、Liquid、Together、Respan 等，没测。调研里的 H2O、Fastino、Levanto、Databricks 不在 OpenRouter 上，没接。

实测

2026-10-10 经海外中转，用法页的工单例子和 Jev 那节的退款例子，每家同样的请求：

图片和报错（图是统计课那张 1.2 MB 的手绘配图 repeated-samples-marker-doodle.png，上面一个画满圆圈的大椭圆，下面三个杯子，中间那个圆圈最少）：

• 四家都返回同样的 answers 结构，三种题型都认。Jev 和 OpenAI 的概率保留两位小数，微软和 Mercury 给完整浮点数。
• 退款例子跑两次，Mercury 两次一模一样，微软差了 3 个百分点。
• 材料含糊时四家落在 0.38 到 0.56 之间，写清楚了都接近 1——Jev 那节的结论对另外三家也成立。
• Mercury 元数据写的是只收文字，实际能看图，看图的花费是 OpenAI 的十分之一。没写进 OpenRouter 的模态，哪天可能就不认了，所以用法页看图仍写 OpenAI。
• 看图慢：OpenAI 同一张图一次 4.6 秒、一次 28 秒，Mercury 14 到 31 秒。
• 微软填图片链接不报错是最危险的：程序拿到一个看着正常的概率，其实是从链接字面猜的。
• OpenAI 拒答返回的是 502，程序要把它当「判断不了」处理，别当成网络故障去重试。

没做的

• 没拿一批自己的中文样本比准确率，也没算高置信度错误有多少；上面只是几个例子。
• OpenAI 的长材料（上下文 105 万）没试到头，web_search 没试。
• Mercury 免费版要去 OpenRouter 后台改隐私设置才能用，没改。
• 微软、Mercury 的上下文上限没试到头。
• OpenAI 的拒答只在材料完全没有答案时碰到过一次，材料含糊时会不会也拒答没测。