Halaman ini diterjemahkan dari dokumentasi bahasa Inggris. Perintah, pengenal, dan contoh tidak diubah. Runtime 7.24.4 · SDK 2.6.7. Sumber bahasa Inggris

Pemilihan model AX Engine

Status: Aktif Cakupan: kondisi terkini Terakhir ditinjau: 2026-09-20 Pemilik: runtime ax-code

AX Code hanya menawarkan dua paket pengembangan ini melalui AX Engine (Lokal) pada Mac Apple Silicon yang memenuhi syarat. Tiel Coder adalah bawaan; Cyber-Tiel Coder adalah alternatif.

Alias menyematkan revisi 5ab39b24bfd7f65203be9b7823b1840486f58b6d dan fe05e871ec69ad9ae8eac01fd285555514ac7daf, secara berurutan. Keduanya memakai pemilih mlx, mempertahankan paket MXFP4 penerbit. Kartu model menggambarkan kuantisasi ulang pengembangan tanpa klaim paritas kualitas tersertifikasi atau kecepatan MTP; memilihnya tidak menetapkan eksekusi bawaan atau peningkatan kecepatan.

AX Code membundel rilis AX Engine 7.5.7 yang ditandatangani, yang mencakup perbaikan pemuat namespace sidecar Tiel dari komit 51137c71a6794964d52c32c95e275c0923ed8d0b. Biner Homebrew 7.4.0 yang lebih lama tidak memiliki perbaikan itu dan menolak paket ini dengan MlxMtpRequiredButUnavailable. Pertahankan MTP sebagai wajib; penimpaan runtime eksplisit juga harus berisi perbaikan itu. Pengukuran prefill dan decode bawaan mempertahankan identitas build yang diuji semula dan tidak mensertifikasi kinerja rilis yang lebih baru.

Qwen3.8 27B, Ornith, Qwen3-Coder-Next, dan semua repositori lain dikecualikan dari pemilihan terkelola baru serta unduhan. Setiap repositori yang dipilih muncul sekali. Alias yang dikonfigurasi dan revisi cache yang lebih lama tidak menambah pilihan setelah penemuan. Penyedia lain dan antarmuka lampiran loopback yang dikonfigurasi terpisah mempertahankan perilakunya. Untuk menjalankan bawaan padat milik AX Engine sendiri, mulai ax-engine serve qwen3.8-27b:axq dan lampirkan titik akhir lokal itu; MTP jalur produk yang diukur adalah 31.05 tok/s decode pada Mac mini M4 Pro 64 GB dan 76.90 tok/s decode / 795.3 tok/s prefill pada M5 Max 128 GB. Angka itu bukan tok/s penyelesaian Tiel dan bukan kecepatan sesi AX Code. Lihat ringkasan rekan Tiel.

Periksa model yang tersedia

ax-code providers ax-engine models --json
ax-code providers ax-engine models --refresh --json

Penyegaran membaca metadata Hugging Face tanpa mengunduh bobot atau memulai model. Metadata terbundel berfungsi luring dan melengkapi repositori yang dipilih jika hilang dari cache yang lebih lama. Revisi yang ada tidak diganti diam-diam dengan revisi terbundel yang berbeda. Pemilihan tetap membutuhkan metadata sumber yang valid; pembatasan repositori tidak menetapkan kemampuan bawaan.

GET /provider/ax-engine/models mengembalikan katalog CLI yang berjalan, termasuk ID persis setiap model, repositori, kuantisasi, keadaan lokal, perkiraan memori/disk, dan status verifikasi. GUI eksternal memakai API runtime ini. Jika ia menampilkan daftar yang lebih lama, periksa CLI yang diluncurkannya dan versinya. Pengembangan AX Coder dapat memilih runtime sumber dengan AX_CODE_BINARY atau settings.axCodeBinary.

Siapkan model yang dipilih

Salin ID model persis dari katalog. Alias Tiel bawaan memakai mlx:

ax-code providers ax-engine prepare \
  --model tiel-coder-35b-axq-mxfp4 --quantization mlx --download --start

Model yang dikecualikan menggagalkan permintaan siapkan, unduh, dan aktivasi terkelola yang baru sebelum pekerjaan dimulai. Catatan model yang ada tetap tersedia untuk status dan pembersihan; ID Qwen3.8, Ornith, dan Qwen3-Coder-Next yang dihapus tidak pernah dialihkan ke artefak Tiel mana pun. Menghapus opsi tidak menghapus bobotnya atau menghentikan server yang sudah ada.

Memori dan verifikasi runtime

Kedua alias yang dipilih memakai konteks 65,536 token, batas keluaran 8,192 token, perkiraan kebutuhan memori 64 GiB, dan anggaran disk unduhan 32 GiB. Ini adalah batas penyajian AX Code, bukan konteks maksimum hulu. (Dinaikkan dari konteks awal 32,768 token: itu hanya menyisakan 24,576 token masukan yang dapat dipakai setelah cadangan keluaran, kurang dari yang dibutuhkan prompt sistem agen AX Code yang tetap dan skema alat, jadi sesi yang benar-benar baru tidak pernah dapat mengirim giliran pertama.)

Setiap perkiraan memori mencakup bobot, sidecar, cache KV, buffer, dan cadangan host. Pakai hasil kecocokan katalog langsung untuk mesin saat ini. Perkiraan ini bukan sertifikasi perangkat keras atau kualitas model.

Angka 64 GiB adalah anggaran perencanaan konteks penuh (64K) yang konservatif, bukan lantai keras. Untuk mesin inferensi lokal terkelola yang nyaman, kami merekomendasikan Apple Silicon M4 Pro dengan 48 GB memori terpadu atau lebih (misalnya Mac Mini M4 Pro 48 GB); Mac Apple Silicon yang lebih kecil tetap dapat menjalankan AX Code sendiri dari 8 GB dengan model cloud/API atau runtime lokal yang lebih ringan.

Sebelum aktivasi terkelola, AX Code memeriksa kontrak teks dan alat terstruktur model AX Engine yang aktif. Keadaan verification-required berarti persiapan selesai tetapi kontrak langsung itu belum ditetapkan. Nama repositori atau sidecar MTP saja tidak membuktikan penalaran, visi, akselerasi MTP, atau kualitas pengodean multi-giliran.

Pemadatan sesi memakai anggaran konteks/keluaran model aktif dan mencadangkan ruang masukan. Varian yang dipilih mempertahankan anggaran katalognya sendiri; konteks maksimum model sumber bukan jaminan memori terkelola.

Lihat Arsitektur mesin lokal untuk detail siklus hidup dan transport.

Kebijakan MTP terkelola

AX Engine terkelola bawaan ke required, sesuai artefak MTP yang dipilih. Drafter yang tidak tersedia menggagalkan mulai alih-alih jatuh diam-diam ke decode langsung. Bobot MTP dan pengaturan penumpukan murni tidak menetapkan akselerasi aktif. Paket Tiel Coder bawaan memakai profil spekulasi auto agar AX Engine memilih gerbang draf model alih-alih penimpaan 0.80 dari profil generik agentic. Ini terpisah dari kebijakan aktivasi MTP: penyetelan auto tetap memakai MTP required. Lingkungan eksperimental lama yang khusus untuk Qwen3.8 padat tidak diterapkan pada paket MoE ini. Lihat perbandingan profil untuk peningkatan yang diukur. Cyber-Tiel mempertahankan agentic; probe tugas-baca terkelola gagal dengan kedua profil, jadi keandalan tugasnya tetap belum terselesaikan. Kebijakan aktivasi tetap required; mesin harus menerima drafter yang sebenarnya. Untuk memilih kebijakan secara eksplisit, setel provider.ax-engine.options.mtpPolicy di ax-code.json:

{
  "provider": {
    "ax-engine": {
      "options": {
        "mtpPolicy": "required"
      }
    }
  }
}

AX_ENGINE_MTP_POLICY menyediakan tiga nilai yang sama bila tidak ada opsi penyedia yang disetel. Pemilihan runtime otomatis membutuhkan AX Engine 7.5.7 atau yang lebih baru untuk menegakkan kebijakan ini, termasuk kebijakan bawaan required. Pengaturan disabled dan auto yang eksplisit tetap menimpa bawaan. Biner yang lebih lama atau tidak dikenal menolak pemilihan kebijakan sebelum mengganti mesin yang berjalan; tingkatkan sebelum memakai kendali kebijakan terkelola. Berkas keadaan historis tanpa kebijakan tercatat melaporkan kebijakan peluncurannya sebagai tidak diketahui dan diganti pada mulai terkelola berikutnya. Mengubah kebijakan berlaku pada mulai terkelola atau permintaan model berikutnya dan mengganti proses yang ada dengan kebijakan berbeda. Ia tidak mengubah pemilihan model atau penyimpanan.

ax-code providers ax-engine start --mtp-policy disabled menimpa kebijakan hanya untuk mulai itu. Setel opsi penyedia yang menetap jika permintaan pengodean berikutnya harus memakai penimpaan yang sama. Isi HTTP siapkan/mulai juga menerima mtpPolicy. Pengaturan terkelola ini tidak mengonfigurasi ulang titik akhir yang dilampirkan secara terpisah. Setelah memperbarui sumber, mulai ulang pnpm run dev untuk memuat bawaan baru; backend pengembangan yang sudah berjalan mempertahankan kode yang dimuat sampai dimulai ulang.

ax-code providers ax-engine status (atau --json) memisahkan kebijakan yang diminta, kebijakan yang diluncurkan, dan keadaan active/inactive/unknown yang diamati. Pengamatan memakai metrik rute model terbaru dari mesin, bukan metadata model atau hitungan draf historis. Sampel model persis yang hilang tetap tidak diketahui, termasuk sebelum langkah mesin pertama yang diamati; agregat seluruh server tidak menetapkan aktivasi. required yang dikonfigurasi tidak ditampilkan sebagai bukti aktivitas. Hitungan draf/diterima, bila tersedia, bersifat kumulatif untuk mesin yang menetap. Perubahan kebijakan yang tertunda dilaporkan tanpa memulai ulang selama pemeriksaan status. Aktivasi MTP bukan janji laju token tertentu.

Menafsirkan kecepatan respons lokal

AX Engine terkelola tidak memberlakukan langit-langit token per detik. Pengukuran seperti 50 tok/s bukan target yang dikonfigurasi maupun batas atas: perangkat keras yang lebih cepat dapat menghasilkan token lebih cepat. Ukuran konteks, anggaran keluaran, dan batas konkurensi permintaan mengendalikan kapasitas, bukan laju pembuatan token yang tetap.

Cuplikan publik Tiel versus MTPLX saat ini adalah kampanye API bawaan 20 September 2026 yang diringkas di ringkasan rekan Tiel. Pada M5 Max 128 GiB paket Tiel bawaan terkelola selesai pada 194.88 tok/s termasuk TTFT (decode 217.85). Puncak decode Cyber-Tiel 249.01 tok/s adalah paket alternatif, bukan bawaan. Angka itu bukan kecepatan sesi AX Code.

Bandingkan pengukuran pada panjang masukan, anggaran keluaran, pengaturan sampling, dan keadaan cache yang sama. Pengukuran decode prompt pendek tidak menetapkan laju minimum untuk sesi pengodean dengan puluhan ribu token konteks. Memakai ulang awalan mengurangi pemrosesan prompt; decode berikutnya tetap memperhatikan konteks itu. Aktivasi MTP saja tidak menetapkan penerimaan draf yang berguna atau percepatan yang tetap.

Pisahkan mulai/penyiapan, waktu ke konten pertama, dan pembuatan berkelanjutan saat menyelidiki giliran yang lambat. Metrik ax_runtime_decode_tok_per_sec mesin adalah rata-rata berbobot eksponensial lintas permintaan, bukan laju respons saat ini. Pakai waktu permintaan dan jumlah token untuk respons itu, serta delta penghitung untuk penerimaan MTP-nya. Potongan aliran dapat berisi beberapa token; menghitung potongan sebagai token menghasilkan laju yang salah.

AX Code memakai ulang probe versi executable yang berhasil hingga lima menit. Ia memeriksa ketersediaan executable pada setiap resolusi dan membatalkan versi yang di-cache bila identitas berkas peluncur atau server bawaan berubah. Probe yang gagal tetap dapat dicoba ulang. Ini mengurangi pekerjaan penyiapan berulang; ia tidak mengubah kecepatan decode model. Backend pengembangan harus dimulai ulang untuk memuat perubahan sumber.