获取 AX Code · 免费文档

本页译自英文文档。命令、标识符和示例保持原样。运行时 7.24.4 · SDK 2.6.7。 英文原文

模型选择与恢复

状态:生效 范围:当前状态 最近审阅:2026-10-10 负责人:ax-code 运行时

AX Code 保留精确的提供商与模型选择。连接一个提供商并不会把它加入自动恢复池。没有配置回退时,瞬时失败会在现有重试上限内重试所选目标,然后停止。

配置有序回退

设置 llm_routing.fallback,位置可以是用户配置、由 AX_CODE_CONFIG 选定的自定义配置,或显式的 AX_CODE_CONFIG_CONTENT。目标是精确配对;模型 ID 可以包含斜杠。例如:

{
  "model": "my-gateway/openai/gpt-oss-120b",
  "llm_routing": {
    "fallback": [
      { "providerID": "my-gateway", "modelID": "my-backup-model" },
      { "providerID": "my-other-provider", "modelID": "my-approved-model" }
    ]
  }
}

请把这些示例替换为你已配置提供商中的精确 ID。列表最多允许八个互不相同的目标。为空或不存在表示不更换目标。项目配置和远程配置可以收窄用户授权,但不能新增或重排它们。托管限制提供最终上限。下一个已配置目标缺失时,恢复停止;AX Code 不会用目录中的另一项代替。

普通的瞬时速率限制、已识别的过载和服务器错误,可以在同一目标重试之后沿此列表前进。身份验证、权限、永久配额和无效请求失败不会授权切换。本地提供商会话不会自动迁移到远程推理。取消会停止该序列。当前请求已经发布输出或已经启动工具之后的恢复也会停止,从而保留部分进度,而不是重放副作用。

处理器通常在初次尝试之后允许五次同一目标重试;并发上限错误的重试上限为八次。提供商熔断器和外层错误上限可能更早停止。成功的工具循环步骤是新请求,不是对先前工作的重试。在受控的直接生成站点上,AI SDK 重试被禁用。外部 CLI 和网关的内部尝试可能仍然不透明。

辅助工作与现有配置

没有 small_model 时,标题、回顾和压缩继承主模型。显式的 small_model 或按角色指定的 agent 模型仍会选择该精确目标。无效的钉住会失败,而不会改到另一个提供商或模型。可选的标题与回顾工作保留其本地标题与跳过行为。压缩失败时保留转录;只有通过已配置的恢复才会更换模型。

已配置的主模型、任务、agent 与命令钉住,以及保存的最近选择,也都保持精确。不可用的钉住需要显式移除或更正。没有已配置选择、也没有最近选择的无头运行需要 --model。可见的模型选择器可以提供推荐,但这些建议不会变成恢复列表。

可选的复杂度分类器需要显式的辅助模型;没有辅助模型时,分类会被跳过。提供了主模型时,分类锚定在所请求的提供商上。显式的主模型选择会在 agent 主题路由之后仍然保留。

查看生效配置

ax-code debug routing
ax-code debug routing --model my-gateway/openai/gpt-oss-120b

这会打印精确的主模型、有序回退、辅助选择、agent 钉住和重试上限。它不会发送模型请求,也不会探测模型是否可用。正常的配置加载可能会获取已配置的远程设置。这是对配置的解释,不是对过去网关行为的重建。

用户消息会记录选择来自请求、agent 钉住、复杂度或混合路由,还是会话与配置默认值。该来源描述的是本地入口;request 并不证明是谁操作了 API 客户端。请求证据记录所选用途和目标。模型生成的自我描述,以及记忆或工具示例中的模型名称,都不是路由证据。AX Trust 和外部提供商仍对上游路由与授权负责。