取得 AX Code · 免費文件

本頁譯自英文文件。指令、識別名稱與範例保持原樣。執行環境 7.24.4 · SDK 2.6.7。 英文原文

模型選擇與復原

狀態:有效 範圍:現行狀態 上次審閱:2026-10-10 負責人:ax-code runtime

AX Code 保留確切的供應商與模型選擇。連接一個供應商並不會 把它加入自動復原池。若沒有設定備援,暫時性 失敗會在既有重試上限內重試所選目標,然後停止。

設定有序備援

在使用者設定中設定 llm_routing.fallback,或在由 AX_CODE_CONFIG 選取的自訂設定中設定,或使用明確的 AX_CODE_CONFIG_CONTENT。目標是確切的配對; 模型 ID 可以包含斜線。例如:

{
  "model": "my-gateway/openai/gpt-oss-120b",
  "llm_routing": {
    "fallback": [
      { "providerID": "my-gateway", "modelID": "my-backup-model" },
      { "providerID": "my-other-provider", "modelID": "my-approved-model" }
    ]
  }
}

把這些範例換成你已設定供應商的確切 ID。清單 最多允許八個不同目標。空白或不存在表示不變更目標。 專案與遠端設定可以縮小使用者授權,但不能新增或重排 它們。受管理的限制提供最終上限。下一個已設定目標 若遺失,復原就停止;AX Code 不會改用目錄中的另一個項目。

一般的暫時性速率限制、已辨識的過載與伺服器錯誤,可以在同一目標重試之後 沿著這份清單前進。身分驗證、權限、永久性 配額與無效請求失敗,不會授權切換。本機供應商 工作階段不會自動遷移到遠端推論。取消會停止 序列。若目前請求已發布輸出或已開始工具, 之後的復原也會停止,以保留部分進度,而不是重播效果。

處理器通常在初次嘗試之後允許五次同一目標重試; 並行上限錯誤的重試上限是八次。供應商斷路器與 外層錯誤限制可能更早停止。成功的工具迴圈步驟是新請求, 不是先前工作的重試。在受控的直接 產生位置,AI SDK 重試是停用的。外部 CLI 與閘道的內部嘗試可能仍然不透明。

輔助工作與既有設定

沒有 small_model 時,標題、回顧與壓縮繼承主要模型。 明確的 small_model 或依角色的 agent 模型仍會選擇那個確切 目標。無效的釘選會失敗,而不是改到另一個供應商或模型。選用的 標題與回顧工作保留其本機標題與略過行為。壓縮失敗時會保留 逐字稿,而且只透過已設定的復原變更模型。

已設定的主要模型、任務、agent 與指令釘選,以及已儲存的最近選擇 也保持確切。請明確移除或修正不可用的釘選。沒有已設定或最近選擇的無頭執行 需要 --model。可見的模型選擇器 可以提供建議,但那些建議不會變成復原清單。

選用的複雜度分類器需要明確的輔助模型;沒有 的話就略過分類。當提供主要模型時,它會錨定在所請求的供應商。明確的主要選擇會在 agent 主題路由之後仍然保留。

檢查生效的設定

ax-code debug routing
ax-code debug routing --model my-gateway/openai/gpt-oss-120b

這會印出確切的主要目標、有序備援、輔助選擇、agent 釘選 與重試上限。它不會送出模型請求,也不會探測模型可用性。 一般的設定載入可能會擷取已設定的遠端設定。這是 設定說明,不是對過去閘道行為的重建。

使用者訊息會記錄選擇來自請求、agent 釘選、 複雜度或混合路由,或工作階段與設定預設。這個來源描述的是本機 進入點;request 並不證明是誰操作 API 用戶端。請求證據 記錄所選用途與目標。模型產生的自我描述,以及 記憶體或工具範例中的模型名稱,都不是路由證據。AX Trust 與 外部供應商仍負責上游路由與授權。