Halaman ini diterjemahkan dari dokumentasi bahasa Inggris. Perintah, pengenal, dan contoh tidak diubah. Runtime 7.24.4 · SDK 2.6.7. Sumber bahasa Inggris

Integrasi mesin lokal (AX Code)

Status: Aktif Cakupan: keadaan saat ini Terakhir ditinjau: 2026-09-19 Pemilik: ax-code runtime Terkait: ax-engine LOCAL-ENGINE-CLIENTS

Penyiapan runtime lokal

Pilih Runtime AX-Engine di /connect, lalu Pilih model. AX Code mengonfigurasi runtime lokal dan memulainya ketika model yang dipilih diperlukan. Tidak ada URL titik akhir atau formulir kunci API. Lihat status, Hentikan runtime lokal (saat berjalan), dan Nonaktifkan mengelola proses lokal.

AX Code memakai backend HTTP sidecar untuk AX Engine. Ia memulai ax-engine serve, melacak proses yang dimiliki, dan menyelesaikan alamat loopback serta port secara otomatis. Pengguna memilih model; AX Code menangani konfigurasi transport.

AX Code (TypeScript)
  -> select local model -> ensure/prepare -> spawn ax-engine serve
  -> managed loopback /v1 -> @ai-sdk/openai-compatible language model

Memilih model secara eksplisit menyimpan siklus hidup terkelola dan membersihkan pengaturan titik akhir atau kunci lampiran warisan. Ini juga menimpa nilai AX_ENGINE_HOST yang masih tertinggal. Klien SDK yang lebih lama mempertahankan API lampiran hanya-loopback warisan dan validasi kredensialnya. Jalur kompatibilitas itu bukan bagian menu penyedia.

AX Code tidak menautkan SDK AX Engine di dalam proses. AX Engine memiliki eksekusi model, dan AX Code memiliki siklus hidup proses di sisi klien. Kelayakan host, persiapan model, dan pemeriksaan pemanggilan alat yang hidup tetap berlaku.

Mulai dingin punya batas kesiapan 600 detik. Waktu mulai bergantung pada ukuran model, throughput penyimpanan, dan memori yang tersedia. Mulai yang habis menghentikan giliran dengan log server dan jalur model; AX Code tidak otomatis memulai ulang pemuatan dingin lain atau berganti penyedia. Selesaikan masalah yang dilaporkan sebelum mencoba ulang secara eksplisit. Amplop penyiapan model, termasuk penantian kunci siklus hidup dan penemuan kapabilitas, dibatasi 660 detik. Kedaluwarsa membatalkan penyiapan yang tertunda dan menghentikan percobaan ulang otomatis. Membatalkan permintaan juga segera menghentikan penantian, bahkan ketika dependensi penyiapan belum merespons. Balasan kesehatan yang tiba setelah tenggat kesiapan, atau setelah proses yang dimiliki keluar, tidak dapat menetapkan kesiapan.

Setelah siap, mesin tetap tinggal di memori melewati giliran percakapan. Menyelesaikan atau membatalkan giliran pemicu tidak menghentikan mesin yang siap. Membatalkan saat mulai masih berlangsung mengakhiri percobaan itu dan menghapus catatan prosesnya. Gunakan Hentikan runtime lokal untuk menghentikan mesin yang tinggal secara eksplisit.

AX Code mengikuti lokasi cache Hugging Face standar dan menghormati pilihan penyimpanan pengguna, termasuk disk lokal, mount SMB, dan NFS. Resolusi cache adalah HF_HUB_CACHE, lalu HF_HOME/hub, lalu XDG_CACHE_HOME/huggingface/hub, lalu ~/.cache/huggingface/hub. Jalur model yang dikonfigurasi secara eksplisit atau sudah disiapkan lebih diutamakan daripada penemuan cache. AX Code tidak memindahkan bobot atau menimpa pilihan ini berdasarkan jenis penyimpanan. Diagnostik mulai melaporkan jalur model yang sebenarnya agar pengguna dapat menyelidiki ketersediaan dan kinerja baca di penyimpanan yang dipilih.

Untuk mesin yang sudah ada, AX Code melakukan hingga tiga probe kesehatan, masing-masing dibatasi dua detik dan dipisah 250 milidetik, sebelum memulai ulang proses yang tidak responsif. Membatalkan permintaan mempertahankan proses yang ada.

Mengapa sidecar

Faktor	Pilihan sidecar
Bahasa host	Runtime agen Node/Bun dengan batas proses native yang eksplisit
Isolasi	Model multi-GB dan mogok native tetap di luar proses agen
Peningkatan	Lantai bundel yang digerbangi versi plus overlay terkelola opsional, tanpa membangun ulang ax-code
Model penyedia	Jalur yang kompatibel dengan OpenAI yang sama dengan penyedia lokal atau cloud lain
Multi-klien	Satu server dapat diperiksa kesehatannya dan dihentikan melalui `server.json`

Fase siklus hidup

Implementasi: packages/ax-code/src/provider/ax-engine/lifecycle.ts

Fase	Kapan (pemetaan AX Code)
`unavailable`	Kelayakan platform gagal
`missing_dependency`	Biner hilang, versi terlalu lama, atau tidak dapat dieksekusi
`missing_model`	Jalur model belum disiapkan
`starting`	Proses server tercatat tetapi belum siap
`ready`	`server.ready` dan kesehatan proses baik
`degraded`	Siap tetapi inspeksi kapabilitas mengatakan toolcall tidak didukung
`error`	Penghalang kegagalan kesehatan atau mulai pada percobaan yang berjalan

Urutan keparahan cocok dengan ax-engine docs/LOCAL-ENGINE-CLIENTS.md.

Area	Jalur
Pemunculan server / kesehatan	`packages/ax-code/src/provider/ax-engine/server.ts`
Pemuat penyedia (terkelola dan lampiran)	`packages/ax-code/src/provider/ax-engine/provider-loader.ts`
Runtime lokal TUI	`packages/ax-code/src/cli/tui/component/dialog-provider.tsx`
Pembantu tindakan lokal	`packages/ax-code/src/cli/tui/component/dialog-provider-options.ts`
Status agregat	`packages/ax-code/src/provider/ax-engine/status.ts`
Pemetaan fase	`packages/ax-code/src/provider/ax-engine/lifecycle.ts`
Kebijakan model	Pemilihan model AX Engine

Penyediaan terkelola sidecar yang disematkan bukan penyematan di dalam proses. Rilis Darwin-arm64 menempatkan engine/<version>/ di samping CLI; ax-code providers ax-engine install adalah overlay atau pembaru ketika pin yang lebih baru dipublikasikan.

Bukan tujuan

Mengganti sidecar dengan penyematan SDK di dalam proses pada AX Code
Mengadopsi gRPC sebagai transport obrolan utama
Soket Unix khusus atau pembingkaian obrolan non-OpenAI untuk klien pihak pertama
Memasukkan bobot model ke pemasang AX Code

Integrasi mesin lokal (AX Code)

Penyiapan runtime lokal

Mengapa sidecar

Fase siklus hidup

Kode terkait

Bukan tujuan