Bu sayfa İngilizce belgenin çevirisidir. Komutlar, tanımlayıcılar ve örnekler aynıdır. Çalışma zamanı 7.24.4 · SDK 2.6.7. İngilizce kaynak

MTPLX ve oMLX yerel çalışma zamanları

Durum: Etkin

Kapsam: kaynak kopyası entegrasyonu

Son inceleme: 2026-09-19

Sahip: ax-code çalışma zamanı

Kaynak kopyası ayrı MTPLX (mtplx) ve oMLX (omlx) hazır ayarlarını /connect → Yerel LLM çalışma zamanı altında içerir. Bu hazır ayarlar v7.19.3 paketlenmiş ikili dosyalarında yoktur. Zaten çalışan bir sunucuya bağlanırlar; AX Code bu çalışma zamanlarını kurmaz, başlatmaz veya ayarlamaz.

Bağlanın

1. Çalışma zamanınızı başlatın ve kodlama araçlarını destekleyen bir model yükleyin. MTPLX yönergelerini veya oMLX yönergelerini izleyin.
2. AX Code yerel çalışma zamanı menüsünde MTPLX veya oMLX seçin ve sunucu uç noktasını onaylayın.
3. Kodlama yapabilen bir model seçin. Model kimlikleri sunucunun GET /v1/models yanıtından gelir.

Her iki yukarı akış sunucusu da varsayılan olarak 8000 bağlantı noktasını kullanır. Onları birer birer çalıştırın veya farklı bağlantı noktaları atayıp bu uç noktaları ayrı kaydedin. AX Code, atlanmışsa /v1 yolunu bir kez ekler. Kayıtlı bir uç nokta konak geçersiz kılmasının önüne geçer. Bir hazır ayarı listelemek onu yoklamaz veya etkinleştirmez. Mevcut sağlayıcı aç/kapa listeleri yetkili kalır; bir izin listesi kullanıyorsanız diğer sağlayıcılarınızı kaldırmadan yeni kimliği ekleyin.

Açık bağlantı noktalı örnekler:

mtplx serve --model /path/to/your/mtplx-model --host 127.0.0.1 --port 8000
omlx serve --model-dir /path/to/your/models --host 127.0.0.1 --port 8001

Başlattığınız sunucuya karşılık gelen uç noktayı kullanın. Model kimliklerini curl http://localhost:8000/v1/models ile inceleyin (yapılandırmanız için bağlantı noktasını değiştirin).

Kodlama araçları ve kimlik doğrulama

MTPLX yerel sohbet listesi, geri getirme modellerinden ayrı olarak owned_by: "mtplx" ve capability: "chat" tanımlar. AX Code, araçları açıkça kapatmadıkça araç kullanımı için bu sohbet taşımasını kabul eder. Genel veya tanınmayan bir liste tutucu varsayılanları korur.

oMLX model listesi model başına araç desteği bildirmez ve sohbet dışı modeller içerebilir. Araçları yalnızca sohbet şablonu onları destekleyen bir model için açın. Sunucunuzun döndürdüğü tam model kimliğini yerine koyarak AX Code yapılandırmanıza şunu ekleyin:

{
  "provider": {
    "omlx": {
      "options": { "baseURL": "http://localhost:8001/v1" },
      "models": {
        "your-tool-capable-model-id": { "tool_call": true }
      }
    }
  }
}

Açık araç seçimi keşiften sonra da kalır. Keşfedilen diğer modeller kodlama modeline yükseltilmez. oMLX yerel max_model_len değeri varsa bağlam sınırı için kullanılır. Çalışma zamanı örnekleyici ayarları, MTP açılması ve sunucu tarafı çıktı sınırları çalışma zamanına aittir.

Kimlik doğrulama isteyen bir sunucu için yapılandırmanızda provider.mtplx.options.apiKey veya provider.omlx.options.apiKey ayarlayın; örneğin "{env:OMLX_API_KEY}". AX Code bu yapılandırılmış bearer kimlik bilgisini hem keşif hem de çıkarım için gönderir. Yerel uç nokta diyalogu bir belirteç istemez. Kimlik bilgilerini uç nokta URL’sine koymayın.

oMLX içinde AXQuant Qwen MTP

AXQuant Qwen MTP paketleri ayrı bir mtp.safetensors başı ve bir mtplx_runtime.json yürütme sözleşmesi içerir. Yeni üst veri ayrıca bu 27B paketi için 15 MTP tensörünü listeleyen axquant_omlx_compat.json içerir. Bu dosyalar uyumluluğu anlatır; yalnızca Lightning MTP açmak başı içe aktarmaz.

oMLX 0.6.4 için tam, yazılabilir bir yerel model kopyası kullanın. Model Ayarları içinde MTP yan dosyasını içe aktar seçin, ardından Lightning MTP açın. Yukarı akış içe aktarıcısı bir MTP parçası hazırlar ve bu yerel kopyanın denetim noktası dizinini günceller. Özgün indirilen paketi diğer çalışma zamanları için bozulmadan tutun; paylaşılan bir Hugging Face önbellek anlık görüntüsünü yerinde düzenlemeyin. AXQuant model yönergelerine bakın. AX Code hazırlanan sunucuya bağlanır; model ağırlıklarını değiştirmez ve bu içe aktarmayı yapmaz.

Başarım ve kapsam

Geri döngü MTPLX ve oMLX bağlantıları yerel önek kararlılığı davranışını alır: belirleyici araç sıralaması ve konuşma geçmişinden sonra geçici bağlam. Uzak uç noktalar ve AX Trust yönetimli bağlantılar mevcut davranışını korur; bulut ve AX Trust ayarları bu hazır ayarlarla değişmez.

Yerel önek düzeltmesinden sonraki tam MTP açık matrisi, donanım, sürümler, model kimliği, önbellek durumu, zamanlama tanımları ve kod denetimleri dahil AX Code/OpenCode istemci yeniden sınamasına bakın. Daha önceki çalışma zamanı ölçümleri yerel decode yeniden oynatmalarını ve tarihsel istemci sonuçlarını korur. Çalışan bir OpenAI uyumlu bağlantı, bir modelin kodlama kalitesini veya bir decode hızını garanti etmez.