Halaman ini diterjemahkan dari dokumentasi bahasa Inggris. Perintah, pengenal, dan contoh tidak diubah. Runtime 7.24.4 · SDK 2.6.7. Sumber bahasa Inggris

Runtime lokal MTPLX dan oMLX

Status: Aktif

Cakupan: integrasi checkout sumber

Terakhir ditinjau: 2026-09-19

Pemilik: runtime ax-code

Checkout sumber mencakup preset terpisah MTPLX (mtplx) dan oMLX (omlx) di bawah /connect → Runtime LLM lokal. Preset ini tidak disertakan dalam biner terkemas v7.19.3. Mereka tersambung ke server yang sudah berjalan; AX Code tidak memasang, meluncurkan, atau menyetel runtime ini.

Sambungkan

1. Mulai runtime Anda dan muat model yang mendukung alat pengodean. Ikuti petunjuk MTPLX atau petunjuk oMLX.
2. Pilih MTPLX atau oMLX di menu runtime lokal AX Code dan pastikan titik akhir server.
3. Pilih model yang mampu mengode. ID model berasal dari respons GET /v1/models server.

Kedua server hulu bawaan ke port 8000. Jalankan satu per satu, atau tetapkan port berbeda dan simpan titik akhir itu secara terpisah. AX Code menambahkan /v1 sekali jika dihilangkan. Titik akhir tersimpan diutamakan atas penimpaan host. Mencantumkan preset tidak memeriksa atau mengaktifkannya. Daftar aktifkan/nonaktifkan penyedia yang ada tetap otoritatif; jika Anda memakai daftar izin, tambahkan ID baru tanpa menghapus penyedia lain.

Contoh dengan port eksplisit:

mtplx serve --model /path/to/your/mtplx-model --host 127.0.0.1 --port 8000
omlx serve --model-dir /path/to/your/models --host 127.0.0.1 --port 8001

Pakai titik akhir yang sesuai dengan server yang Anda mulai. Periksa ID modelnya dengan curl http://localhost:8000/v1/models (ubah port sesuai konfigurasi Anda).

Alat pengodean dan autentikasi

Daftar obrolan bawaan MTPLX mengidentifikasi owned_by: "mtplx" dan capability: "chat" secara terpisah dari model pengambilan. AX Code menerima transport obrolan itu untuk pemakaian alat kecuali ia secara eksplisit menonaktifkan alat. Daftar generik atau tidak dikenali mempertahankan bawaan yang konservatif.

Daftar model oMLX tidak menyatakan dukungan alat per model dan dapat mencakup model non-obrolan. Aktifkan alat hanya untuk model yang templat obrolannya mendukungnya. Tambahkan ini ke konfigurasi AX Code Anda, mengganti ID model persis yang dikembalikan server Anda:

{
  "provider": {
    "omlx": {
      "options": { "baseURL": "http://localhost:8001/v1" },
      "models": {
        "your-tool-capable-model-id": { "tool_call": true }
      }
    }
  }
}

Pilihan alat eksplisit bertahan terhadap penemuan. Model lain yang ditemukan tidak dipromosikan menjadi model pengodean. max_model_len bawaan oMLX dipakai untuk batas konteks bila ada. Pengaturan sampler runtime, pengaktifan MTP, dan batas keluaran sisi server tetap dimiliki runtime.

Untuk server yang membutuhkan autentikasi, setel provider.mtplx.options.apiKey atau provider.omlx.options.apiKey dalam konfigurasi Anda, misalnya "{env:OMLX_API_KEY}". AX Code mengirim kredensial bearer yang dikonfigurasi itu untuk penemuan maupun inferensi. Dialog titik akhir lokal tidak meminta token. Jangan menaruh kredensial di URL titik akhir.

AXQuant Qwen MTP di oMLX

Paket Qwen MTP AXQuant mencakup kepala mtp.safetensors terpisah dan kontrak eksekusi mtplx_runtime.json. Metadata terkini juga mencakup axquant_omlx_compat.json, yang mencantumkan 15 tensor MTP untuk paket 27B ini. Berkas ini menggambarkan kompatibilitas; menyalakan Lightning MTP saja tidak mengimpor kepala.

Untuk oMLX 0.6.4, pakai salinan model lokal yang lengkap dan dapat ditulis. Di Pengaturan Model, pilih Impor sidecar MTP, lalu aktifkan Lightning MTP. Pengimpor hulu menyiapkan pecahan MTP dan memperbarui indeks checkpoint salinan lokal itu. Pertahankan paket unduhan asli utuh untuk runtime lain; jangan menyunting cuplikan cache Hugging Face bersama di tempat. Lihat petunjuk model AXQuant. AX Code tersambung ke server yang sudah disiapkan dan tidak mengubah bobot model atau melakukan impor ini.

Kinerja dan cakupan

Koneksi MTPLX dan oMLX loopback menerima perilaku stabilitas awalan lokal: urutan alat deterministik dan konteks sementara setelah riwayat percakapan. Titik akhir jarak jauh dan koneksi terkelola AX Trust mempertahankan perilaku yang sudah ada; pengaturan cloud dan AX Trust tidak diubah oleh preset ini.

Lihat uji ulang klien AX Code/OpenCode untuk matriks ber-MTP yang lengkap setelah perbaikan awalan lokal, termasuk perangkat keras, versi, identitas model, keadaan cache, definisi waktu, dan pemeriksaan kode. Pengukuran runtime sebelumnya mempertahankan pemutaran ulang decode bawaan dan hasil klien historis. Koneksi kompatibel OpenAI yang berfungsi tidak menetapkan kualitas pengodean model atau menjamin laju decode.