Questa pagina è tradotta dalla documentazione inglese. Comandi, identificatori ed esempi restano invariati. Runtime 7.24.4 · SDK 2.6.7. Testo inglese

Selezione e recupero del modello

Stato: Attivo Ambito: stato attuale Ultima revisione: 2026-10-10 Responsabile: runtime di ax-code

AX Code conserva le selezioni esatte di provider e modello. Collegare un provider non lo aggiunge a un pool di recupero automatico. Senza un fallback configurato, i fallimenti transitori ritentano il bersaglio selezionato entro il limite di tentativi esistente e poi si fermano.

Configurare un fallback ordinato

Imposta llm_routing.fallback nella configurazione utente, in una configurazione personalizzata selezionata da AX_CODE_CONFIG, oppure in un AX_CODE_CONFIG_CONTENT esplicito. I bersagli sono coppie esatte; gli ID di modello possono contenere barre. Per esempio:

{
  "model": "my-gateway/openai/gpt-oss-120b",
  "llm_routing": {
    "fallback": [
      { "providerID": "my-gateway", "modelID": "my-backup-model" },
      { "providerID": "my-other-provider", "modelID": "my-approved-model" }
    ]
  }
}

Sostituisci questi esempi con gli ID esatti dei provider configurati. L’elenco consente fino a otto bersagli distinti. Vuoto o assente significa che nessun bersaglio cambia. La configurazione di progetto e quella remota possono restringere le concessioni dell’utente, ma non possono aggiungerle né riordinarle. Le restrizioni gestite forniscono un tetto finale. Un bersaglio successivo configurato ma mancante ferma il recupero; AX Code non sostituisce un’altra voce del catalogo.

Limiti di frequenza transitori ordinari, sovraccarichi riconosciuti ed errori del server possono avanzare lungo questo elenco dopo i tentativi sullo stesso bersaglio. Autenticazione, autorizzazione, quota permanente e fallimenti di richiesta non valida non autorizzano un cambio. Le sessioni di provider locali non migrano in automatico verso l’inferenza remota. L’annullamento ferma la sequenza. Anche il recupero dopo che la richiesta corrente ha pubblicato output o ha avviato uno strumento si ferma, conservando il progresso parziale invece di ripetere gli effetti.

Il processore consente di norma cinque tentativi sullo stesso bersaglio dopo il tentativo iniziale; gli errori di limite di concorrenza hanno un limite di otto tentativi. Gli interruttori di circuito del provider e i limiti di errore esterni possono fermarsi prima. I passi riusciti del ciclo di strumenti sono richieste nuove, non tentativi del lavoro precedente. I tentativi dell’AI SDK sono disattivati nei siti di generazione diretta controllati. I tentativi interni di CLI esterne e di gateway possono restare opachi.

Lavoro ausiliario e configurazione esistente

Senza small_model, titolo, riepilogo e compattazione ereditano il modello primario. Un small_model esplicito, o un modello di agente specifico del ruolo, seleziona comunque quel bersaglio esatto. I pin non validi falliscono invece di passare a un altro provider o modello. Il lavoro facoltativo di titolo e riepilogo conserva il comportamento di titolo locale o di salto. La compattazione preserva la trascrizione quando fallisce e cambia modello solo tramite il recupero configurato.

Anche i modelli primari configurati, i pin di compito, agente e comando e le selezioni recenti salvate restano esatti. Rimuovi o correggi in modo esplicito un pin non disponibile. Le esecuzioni senza interfaccia senza una selezione configurata o recente richiedono --model. Il selettore di modello visibile può offrire raccomandazioni, ma quei suggerimenti non diventano un elenco di recupero.

Il classificatore di complessità facoltativo richiede un modello ausiliario esplicito; senza di esso, la classificazione viene saltata. È ancorato al provider richiesto quando è fornito un primario. Le scelte primarie esplicite sopravvivono all’instradamento per argomento dell’agente.

Ispezionare la configurazione efficace

ax-code debug routing
ax-code debug routing --model my-gateway/openai/gpt-oss-120b

Questo stampa il primario esatto, il fallback ordinato, la selezione ausiliaria, i pin degli agenti e il limite di tentativi. Non invia una richiesta al modello e non sonda la disponibilità dei modelli. Il caricamento normale della configurazione può recuperare le impostazioni remote configurate. È una spiegazione della configurazione, non una ricostruzione del comportamento passato del gateway.

I messaggi dell’utente registrano se la selezione proviene da una richiesta, da un pin di agente, dall’instradamento di complessità o ibrido, oppure dai predefiniti di sessione e configurazione. Questa origine descrive l’ingresso locale; request non attesta chi ha operato un client API. L’evidenza della richiesta registra lo scopo e il bersaglio selezionati. Le autodescrizioni generate dal modello e i nomi di modello in memoria o negli esempi di strumenti non sono evidenza di instradamento. AX Trust e i provider esterni restano responsabili dell’instradamento e dell’autorizzazione a monte.