Bu sayfa İngilizce belgenin çevirisidir. Komutlar, tanımlayıcılar ve örnekler aynıdır. Çalışma zamanı 7.24.5 · SDK 2.6.9. İngilizce kaynak

Yerel çıkarım ölçümleri: 19 September 2026

Durum: Etkin

Kapsam: ölçülmüş tanı anlık görüntüsü

Son inceleme: 2026-09-19

Sahip: ax-code runtime

Yerel önek düzeltmesinden sonraki tam altı birleşimli istemci matrisi için yeni AX Code/OpenCode yeniden sınamasına bakın. Aşağıdaki istemci hızları özgün koşulları altında tarihsel gözlemler olarak kalır.

Bu ölçümler, 128 GiB birleşik belleği olan bir Apple M3 Max üzerinde yerel yanıt gecikmesini ve çözme hızını inceler. Keyfi bağlam uzunluklarında 30–40 tokens/s vaadi, donanım yeterliliği veya model kalitesi değerlendirmesi değildir. MTPLX ve oMLX bağlantı yönergeleri yerel çalışma zamanı rehberindedir.

Koşullar ve zamanlama

• AX Code kaynağı v7.19.3 tabanlıdır; OpenCode 1.18.31; AX Engine 7.4.0; MTPLX 2.11.3; oMLX 0.6.4 (1d7826185c5b5b69b38b27cbe57d7597b7551fd7, yalıtılmış kaynak kurulumu).
• Bir seferde tek çıkarım arka ucu. Varsayılan fan denetimi; en yüksek fan iddiası yoktur. Model dosyaları SMB depolamadaydı. MTPLX’in tam yapıt çalıştırması yalnızca MTP sidecar’ını SSD üzerinde hazırladı ve SHA-256 doğrulandı.
• Tam yapıt yeniden oynatmaları AutomatosX/AX-Qwen3.8-27B-MLX-AXQ-6bit-MTP, revizyon 4d36d652c21590f6813495351c3baf5fca5b3831 kullandı. Ayrı MTPLX Optimized-Speed istemci çalıştırmaları Youssofal/Qwen3.8-27B-MTPLX-Optimized-Speed kullandı. Bunlar farklı model paketleridir; toplam dosya boyutları benzer olsa da hızları yalnızca çalışma zamanına ait bir hızlanmayı ayıramaz.
• Ortak yeniden oynatma ayarları: temperature 0.55, top-p 1, top-k 0, seed 0, en fazla 256 üretilen belirteç. AX Engine ve MTPLX etkin MTP derinliği 3 kullandı. Çalışma zamanı çekirdekleri ve spekülatif örnekleyiciler farklıdır. Yapıt üst verisi derinlik 1 bildirir; buradaki derinlik 3 açık bir çalışma zamanı deneyidir, yapıtın belgesinin uzantısı veya yeni bir varsayılan öneri değildir. AX Engine sabit çıktılı yerel yeniden oynatması için EOS yok saydı; MTPLX ve oMLX kendi durma kurallarını izler.
• Yerel çözme hızı arka uç çözme sayaçlarını kullanır. Teslim edilen hız (reported completion tokens - 1) / (last output payload time - first output payload time) olur; boş olaylar ve canlı tutmalar çıktı sayılmaz. Bu sınırlar özdeş değildir.
• İlk yük gecikmesi sunucudaki istek hazırlığını, önbellek geri yükleme ve ön doldurmayı ve çıktıdan önceki tamponlamayı içerir. Toplam belirteçlerin tüm isteğe bölünmesi farklı bir aktarım ölçüsüdür. Araç çağrısı patlamaları ilkten son yüke çözme tahminleri için uygun değildir.

Örneğin aynı MTPLX 30k girdi yeniden oynatması 13.99 yerel çözme tokens/s ölçtü ama tüm istek boyunca yalnızca 1.13 tokens/s, çünkü soğuk ön doldurma yaklaşık 209 saniye tüketti. Düşük bir tüm istek sayısı tek başına bir çözme motoru başarısızlığı kurmaz.

Tam ağırlık AX Engine ve MTPLX yeniden oynatması

Her çift aynı tamsayı girdi belirteç dizisini aldı ve 256 belirteç yaydı. Aşağıdaki değerler tek gözlemlerdir; ortak bir tohuma rağmen üretilen belirteç kimlikleri farklı olabilir.

MTPLX bu yapıt için Sustained profilini kullandı. 30k AX Engine isteği ılıktı, MTPLX soğuktu; bu yüzden ilk belirteç süreleri bir ön doldurma hız oranı kuramaz. 30k girdi tarihsel bir adım sınırı yönergesi içerir ve tanı düzyazısı üretir; kodlama görevi kabulü değildir. 18,643 belirteçlik MTPLX yeniden oynatması 256 belirteçten sonra stop bildirdi, length değil.

Kısa istem benzer çözme hızları gösterir. Bu çalıştırmalar iki arka uçtan birinin evrensel olarak daha hızlı olduğunu veya AX Code’u başka bir arka uca geçirmenin sabit bir hızlanma garanti ettiğini göstermez.

MTPLX Optimized-Speed üzerinde AX Code ve OpenCode

Her iki istemci aynı kullanıcı görevini, tam proje yönergelerini ve dört izinli araç şemasını aldı. Görev, araç yürütmeden bir TypeScript LRU önbelleği istedi. İstemciye özgü istemler korundu; bir kayıt vekili örneklemeyi hizaladı, düşünmeyi kapattı ve 1024 belirteçlik bir istek ve sunucu tavanı kullandı. Aşağıdaki yanıtlar normal tamamlandı:

Bu ölçümler AX Code’un yerel önek düzeltmesinden (42908b46a) öncedir. AX Code daha çok bağlam gönderdi ve farklı kod üretti. Bu eşit belirteçli bir istemci yükü karşılaştırması veya önce ve sonra sonucu değildir. Ayrı bir yeniden oynatmada yalnızca otomatik taranan dizin haritasını kaldırmak girdiyi 30,717’ye düşürdü ama gözlenen çözmeyi yalnızca yaklaşık %2 iyileştirdi; dizin haritasını kaldırmak benimsenmedi.

Ayrı bir AX Engine bağdaştırıcı matrisi, 33,225 girdi belirteciyle AX Code’u 9.44–11.56 teslim t/s ve 17,290 ile OpenCode’u 12.82–13.00 gözledi. İstem uzunlukları, çıktı içeriği, önbellek durumu ve 256 belirteçlik çıktı tavanı yukarıdaki tam yanıt tablosundan farklıdır; bunları tek bir arka uç hızlanma oranında birleştirmeyin.

oMLX

oMLX sınaması tam AXQ yapıtını ve MLX 0.32.0 ile yalıtılmış bir kurulumu kullanır. qwen35_prefill ve decode_fast dahil beş yerel çekirdek içe aktarma denetiminin tümü geçti. Yalnızca metin yükleme açıkça seçilir, bağlam penceresi 65,536 ve eşzamanlılık birdir.

İlk Lightning MTP denemesi HTTP 409 döndürdü çünkü sınama oMLX’in gerekli Import MTP side-car adımını atladı. Bu bir kurulum hatasıydı, eksik AXQuant desteği değil. AXQuant kurallı qwen3-next-mtp sözleşmesini zaten sağlıyordu; güncel Hub revizyonu b0784088d4026ca569c5653e6e6243c501ef5fa9 ayrıca 15 MTP tensörünü listeleyen axquant_omlx_compat.json içerir. Özgün yeniden oynatma anlık görüntüsü bu açıklamadan öncedir.

MTP kapalı taban çizgisi özgün yapıtla tamamlandı:

Bunlar MTP kapalı sonuçlardır ve MTP açık çalışma zamanlarıyla doğal bir arka uç hız farkının kanıtı olarak karşılaştırılmamalıdır. Belirteçleyici gidiş gelişleri ve sunucu istem sayıları diğer yeniden oynatma arka uçlarının kullandığı tamsayı girdilerle eşleşti.

Düzeltilmiş MTP çalıştırması, ayrı yazılabilir bir kopyada oMLX’in kendi içe aktarıcısını kullanır. Omurga parçaları değişmez. İçe aktarıcı 15 sidecar tensör adına language_model. ekler; her tensörün dtype, şekil ve yük özeti içe aktarmadan önce ve sonra eşit doğrulandı. İçe aktarılan dosya özeti bu yüzden farklıdır çünkü başlığı değişti. Özgün üst veri ve paylaşılan model anlık görüntüsü bozulmadan kalır. MTP derinliği 3 açıkça seçilir ve derinlik başına taslak ve kabul sayaçları gerçek yürütmeyi doğrular.

Kısa sonuç, bu AXQuant paketinin içe aktarmadan sonra oMLX Lightning MTP ile çalıştığını doğrular. Uzun bağlam çözmesi etkin MTP’ye rağmen daha yavaş kalır. Farklı üretilen metin, çalışma zamanı sürümleri, çekirdekler ve spekülatif ilkeler tüm çalışma zamanları arası farkların AX Code’a bağlanmasını engeller.

Kodlama akışı kabulü ve dışlamalar

Yerel önek düzeltmesinden sonra AX Code hem AX Engine hem MTPLX üzerinde yalıtılmış salt okunur bir görevi tamamladı: bir dizin ve iki TypeScript dosyası okumak, kuyruk dolu özel durumunu açıklamak, kapasite 7’yi tanımlamak ve yalnızca ikinci dosyada bulunan bir işaretçiyi döndürmek. İkisi de başarıyla çıktı ve fikstür baytlarını korudu. Sonraki AX Engine çağrıları 11,264 girdi belirtecini yeniden kullandı; MTPLX 11,264–12,032 yeniden kullandı. İlk istek gövdeleri özdeşti ama çalışma zamanı şablonları farklı belirteç sayıları üretti. Bu, araç akışını ve gözlenen önbellek yeniden kullanımını doğrular; yamadan sabit bir hızlanma değil.

Yeni sağlayıcı kimlikleri de kaynak CLI’den canlı kabulü geçti: omlx, içe aktarılan AXQ paketi ve açık tool_call: true ile, ve mtplx, yapılandırılmış model girdisi olmadan Optimized-Speed paketiyle. MTPLX sohbet modelini ve araç yeteneğini yerel model listesinden keşfetti. Her iki çalıştırma iki başarılı dosya okuması tamamladı ve fikstür baytlarını değiştirmeden beklenen özel durumu, kapasiteyi ve yalnızca dosyadaki işaretçiyi döndürdü. İlk sistem ve kullanıcı öneki her çalıştırmanın üç isteği boyunca özdeş kaldı. oMLX 8,192 belirteci yeniden kullandı; MTPLX 11,829 ve 12,047 belirteci yeniden kullandı. Bunlar işlevsel denetimlerdir, eşleştirilmiş başarım çalıştırmaları değil; çalışma zamanları arası duvar saati hızlanması iddia edilmez.

Daha önceki 256 belirteç tavanlı AX Code yanıtları kesildi ve kurtarmaya girdi; yaklaşık 51–58 t/s yinelenen çıktı hızları taze üretim iddialarından dışlanır. Eşit olmayan proje yönergeleri veya araç izinleriyle ilk çalıştırmalar da dışlanır. Ollama ve LM Studio yalnızca istek kurulumu için incelendi; onlar için bir üretim hızı sonucu iddia edilmez.

Genel 62 belirteçlik istem, tam bir oMLX tamamlama isteği olarak geneldir. Kopya kökünden, sidecar içe aktarıldıktan, MTP açıldıktan ve model ısıtıldıktan sonra şununla gönderilebilir:

curl --no-buffer http://localhost:8000/v1/completions \
  -H 'Content-Type: application/json' \
  --data-binary @docs/data/local-inference-short-request.json

İsteğin model kimliğini sunucunuzun açtığı kimlikle değiştirin. Dosya görüntülenen şablonu içerir; sohbet şablonu ikinci kez uygulanmasın diye tamamlama uç noktasını kullanın. 62 istem belirtecini doğrulayın ve son kullanım olayını saklayın. Soğuk model yükleme ve ısıtma ayrı raporlanmalıdır.

Özel proje yönergeleri, oturum istemleri, yerel yollar ve kimlik doğrulama ayrıntıları yayımlanmaz. Temizlenmiş ölçüm verisi istem metni yerine sayılar, zamanlama, çalışma zamanı kimliği ve girdi özetleri içerir. Tam özel bağlam yeniden oynatması bu yüzden tek başına herkese açık yeniden üretilebilir bir iş yükü değildir. Yeni bir karşılaştırma için aynı model revizyonunu, belirteçleyici ve şablonu, girdi kimliklerini, çıktı ve durma kurallarını, örneklemeyi, MTP kipini, önbellek durumunu, donanımı ve seri yürütmeyi kullanın; tam görev başarısını ayrı raporlayın.

Yukarı akış sözleşmeleri: MTPLX sunucu ve model rehberi, oMLX 0.6.4. Yayımladıkları kıyaslamalar başka donanım ve iş yükleri kullanır ve buradaki ölçümlerin yerine konmaz.