Halaman ini diterjemahkan dari dokumentasi bahasa Inggris. Perintah, pengenal, dan contoh tidak diubah. Runtime 7.24.4 · SDK 2.6.7. Sumber bahasa Inggris

Pemilihan dan pemulihan model

Status: Aktif Cakupan: keadaan saat ini Terakhir ditinjau: 2026-10-10 Pemilik: ax-code runtime

AX Code mempertahankan pilihan penyedia dan model yang persis. Menghubungkan penyedia tidak menambahkannya ke kumpulan pemulihan otomatis. Tanpa cadangan yang dikonfigurasi, kegagalan sementara mencoba ulang target yang dipilih dalam batas percobaan ulang yang ada lalu berhenti.

Konfigurasikan cadangan berurutan

Atur llm_routing.fallback di konfigurasi pengguna, konfigurasi khusus yang dipilih oleh AX_CODE_CONFIG, atau AX_CODE_CONFIG_CONTENT yang eksplisit. Target adalah pasangan persis; ID model boleh berisi garis miring. Misalnya:

{
  "model": "my-gateway/openai/gpt-oss-120b",
  "llm_routing": {
    "fallback": [
      { "providerID": "my-gateway", "modelID": "my-backup-model" },
      { "providerID": "my-other-provider", "modelID": "my-approved-model" }
    ]
  }
}

Ganti contoh ini dengan ID persis dari penyedia yang Anda konfigurasi. Daftar mengizinkan hingga delapan target yang berbeda. Kosong atau tidak ada berarti tidak ada perubahan target. Konfigurasi proyek dan jarak jauh dapat mempersempit pemberian pengguna tetapi tidak dapat menambah atau mengurutkan ulang mereka. Pembatasan terkelola menyediakan langit-langit akhir. Target berikutnya yang dikonfigurasi tetapi hilang menghentikan pemulihan; AX Code tidak mengganti entri katalog lain.

Batas laju sementara biasa, kelebihan beban yang dikenali, dan kesalahan server dapat maju melalui daftar ini setelah percobaan ulang target yang sama. Autentikasi, izin, kuota permanen, dan kegagalan permintaan tidak valid tidak mengotorisasi pergantian. Sesi penyedia lokal tidak otomatis bermigrasi ke inferensi jarak jauh. Pembatalan menghentikan urutan. Pemulihan setelah permintaan saat ini menerbitkan keluaran atau memulai alat juga berhenti, mempertahankan kemajuan sebagian alih-alih memutar ulang efek.

Prosesor biasanya mengizinkan lima percobaan ulang target yang sama setelah percobaan awal; kesalahan batas konkurensi punya batas delapan percobaan. Pemutus sirkuit penyedia dan batas kesalahan luar dapat berhenti lebih awal. Langkah loop alat yang berhasil adalah permintaan baru, bukan percobaan ulang kerja sebelumnya. Percobaan ulang AI SDK dinonaktifkan di situs generasi langsung yang dikendalikan. Percobaan internal CLI eksternal dan gateway dapat tetap tidak tembus pandang.

Kerja tambahan dan konfigurasi yang ada

Tanpa small_model, judul, rekap, dan pemadatan mewarisi model utama. small_model yang eksplisit atau model agen khusus peran tetap memilih target persis itu. Pin yang tidak valid gagal alih-alih pindah ke penyedia atau model lain. Kerja judul atau rekap opsional mempertahankan perilaku judul-lokal atau lewati. Pemadatan mempertahankan transkrip ketika gagal dan hanya mengubah model melalui pemulihan yang dikonfigurasi.

Model utama yang dikonfigurasi, pin tugas/agen/perintah, dan pilihan terbaru yang disimpan juga tetap persis. Hapus atau perbaiki pin yang tidak tersedia secara eksplisit. Eksekusi tanpa antarmuka tanpa pilihan terkonfigurasi atau terbaru memerlukan --model. Pemilih model yang terlihat dapat menawarkan rekomendasi, tetapi saran itu tidak menjadi daftar pemulihan.

Pengklasifikasi kompleksitas opsional memerlukan model tambahan yang eksplisit; tanpa itu, klasifikasi dilewati. Ia ditambatkan ke penyedia yang diminta ketika model utama disediakan. Pilihan utama yang eksplisit bertahan melewati perutean topik agen.

Periksa konfigurasi yang efektif

ax-code debug routing
ax-code debug routing --model my-gateway/openai/gpt-oss-120b

Ini mencetak model utama yang persis, cadangan berurutan, pilihan tambahan, pin agen, dan batas percobaan ulang. Ia tidak mengirim permintaan model atau memeriksa ketersediaan model. Pemuatan konfigurasi biasa dapat mengambil pengaturan jarak jauh yang dikonfigurasi. Ini penjelasan konfigurasi, bukan rekonstruksi perilaku gateway di masa lalu.

Pesan pengguna mencatat apakah pemilihan berasal dari permintaan, pin agen, perutean kompleksitas atau hibrida, atau bawaan sesi/konfigurasi. Sumber ini menjelaskan masuknya lokal; request tidak menyatakan siapa yang mengoperasikan klien API. Bukti permintaan mencatat tujuan dan target yang dipilih. Deskripsi diri yang dihasilkan model dan nama model di memori atau contoh alat bukan bukti perutean. AX Trust dan penyedia eksternal tetap bertanggung jawab atas perutean dan otorisasi hulu.