Bu sayfa İngilizce belgenin çevirisidir. Komutlar, tanımlayıcılar ve örnekler aynıdır. Çalışma zamanı 7.24.4 · SDK 2.6.7. İngilizce kaynak
Tiel Coder yerel ön doldurma ve decode ölçümleri
Durum: Tarihsel yerel anlık görüntü Son inceleme: 2026-09-21 Sahip: AX Code bakımcıları Tarih: 2026-09-19 Kapsam: AX Code’un seçtiği iki Tiel paketi, AX Engine karşısında MTPLX, Apple M3 Max 128 GiB
Sıralama için yerini aldı. 20 Eylül 2026 dört makine yerel API kampanyası güncel Tiel karşısında MTPLX karşılaştırmasıdır; varsayılan paket için M5 Max tamamlama 194.88 tok/s ve Cyber-Tiel tepe decode 249.01 tok/s değerlerini içerir. Bkz. Tiel eş özeti. Bu sayfayı 19 Eylül M3 Max faz anlık görüntüsü olarak tutun (motor 7.4.0 olarak tanımlanır; üçün ortancası). Tabloları karıştırmayın.
Bu sonuçlar özgün agentic profil taban çizgisini korur. Sonraki
Tiel MTP profil karşılaştırması, AX Code’un artık seçtiği auto
profilini, iş yüküne bağlı ödünleri dahil ölçer.
Yeni Tiel paketleri her iki sınanan çalışma zamanında etkin MTP ile çalıştı. AX Engine kaynak derlemesi dört durumda 47.36–58.53 decode token/s değerine ulaştı; MTPLX 92.13–96.26 değerine ulaştı. Ön doldurma yaklaşık 1,190–1,446 token/s idi. Bunlar 128 GiB Apple M3 Max üzerinde yerel çıkarım fazı ölçümleridir; AX Code veya OpenCode uçtan uca kodlama verimi değildir.
Derleme gereksinimi: kurulu Homebrew AX Engine 7.4.0, Tiel’i Engine(MlxMtpRequiredButUnavailable) ile başlatamadı. Aşağıdaki AX Engine sonuçları, Tiel MTP ad alanı yükleyici düzeltmesini ekleyen 51137c71a6794964d52c32c95e275c0923ed8d0b commit’inin iyileştirilmiş yerel derlemesini kullanır. Bu derleme kendini hâlâ 7.4.0 olarak tanıtır. Sonuçları mevcut Homebrew ikilisinde veya yayımlanmış bir yayında destek oluşturmaz. MTP gerekli kaldı; MTP kapalı bir geri dönüş çalıştırması yoktur.
Sonuçlar
Her değer üç denemenin ortancasıdır. Tüm denemeler tam 256 token üretti ve sıfır önbelleğe alınmış girdi tokeni bildirdi. Ön doldurma ve decode ikisi de saniye başına token kullanır.
| Model | Girdi tokenleri | AX Engine ön doldurma | AX Engine decode | MTPLX ön doldurma | MTPLX decode |
|---|---|---|---|---|---|
| Tiel Coder, kısa | 458 | 1,255.61 | 57.03 | 1,207.01 | 92.27 |
| Tiel Coder, bağlam | 3,182 | 1,424.24 | 55.25 | 1,279.48 | 96.26 |
| Cyber-Tiel Coder, kısa | 483 | 1,226.86 | 58.53 | 1,189.60 | 95.09 |
| Cyber-Tiel Coder, bağlam | 3,207 | 1,446.19 | 47.36 | 1,427.62 | 92.13 |
Decode farkı, AX Code ajan döngüsünden önce, eşleşmiş girdilerle doğrudan çalışma zamanı isteklerinde vardır. Bu yerel karşılaştırma bu yüzden çalışma zamanı düzeyinde bir farkı konumlar; neden olarak tek bir çekirdek veya ilke belirlemez. Ön doldurma bu yapılandırmalar arasında çok daha yakındır. MTP kapalı bir denetim çalıştırılmadı; bu bir MTP hızlanma ölçümü değildir.
Temizlenmiş girdiler, 24 deneme makbuzunun tümü, faz sayaçları, model revizyonları ve istemci kabul sonuçları bu rapora eşlik eder.
Tam yapıtlar ve ortam
| Model | Hugging Face deposu | Revizyon |
|---|---|---|
| Tiel Coder, AX Code varsayılanı | AutomatosX/AX-Tiel-Coder-35B-A3B-MLX-AXQ-MXFP4-MTP | 5ab39b24bfd7f65203be9b7823b1840486f58b6d |
| Cyber-Tiel Coder paketi | AutomatosX/AX-Cyber-Tiel-Coder-35B-A3B-MLX-AXQ-MXFP4-MTP | fe05e871ec69ad9ae8eac01fd285555514ac7daf |
- AX Code kaynağı:
205cb556b; seçimmlxve yayımcının MXFP4 ağırlıklarını kullanır. - Konak: Apple M3 Max, 137,438,953,472 bayt bellek; macOS 27.0, derleme
26A428. - AX Engine:
51137c71a6794964d52c32c95e275c0923ed8d0byayın profili derlemesi, MLX 0.32.2. Sunucu SHA-256:1fbe7fc50ea16448f98350616273214c0475bffb3ef509fceb3f8849163e97f5. - MTPLX: 2.11.3, MLX 0.32.2, Python 3.12 ortamı.
- Her iki çalışma zamanı her modelin aynı paylaşılan Hugging Face anlık görüntüsünü okur. Model indirme, ağırlık yükleme ve sunucu başlatması faz zamanlamalarının dışındadır.
Paketler geliştirme yeniden nicelemeleridir. Bu sınamalar model kalitesini, sayısal denkliği, uzun bağlam davranışını, başka donanımı veya gelecekteki bir yayının başarımını belgelemez. Farklı modeller kullanan ve farklı bir sınırı ölçen tarihsel Qwen3.8 gerçek istemci matrisi belgesinin yerini almaz.
Ölçüm yöntemi
İstem genel bir TypeScript LRU önbelleği ve sınamalar ister; öncesinde 8 veya 96 sentetik TypeScript işlevi vardır. İletiler JSON makbuzunda saklanır. Her modelin sabitlenmiş belirteci resmi sohbet şablonunu enable_thinking=false ve add_generation_prompt=true ile işler. Ortaya çıkan tamsayı tokenler her iki arka uca değiştirilmeden gönderilir. AX Engine /tokenize çıktısı da bu kimliklere karşı denetlendi. Cyber-Tiel şablonu kimlik metni ekler ve ek 25 tokeni bununla açıklar; arka uçlar arası girdiler her model içinde eşleşir.
İstekler sıcaklık 0.55, top-p 1, top-k 0, tohum 0 ve 256 token sınırı kullanır. Her arka uç ölçülen denemelerinden önce açık bir 64 token ısınma alır. MTPLX normal başlatma/arka plan ısınmasını da yapar. Bir ısınma deneme sayılmaz. Çalıştırma sırası MTPLX/Tiel, AX Engine/Tiel, MTPLX/Cyber-Tiel, AX Engine/Cyber-Tiel idi. Bir seferde yalnızca bir çıkarım arka ucu etkindi; derleme, ölçülen denemeler başlamadan bitti. Bu küçük sabit sıralı örnek bir dayanıklılık veya karşı dengeli ısıl çalışma değildir.
AX Engine yerel /v1/generate kullanır; yanında input_tokens ve max_output_tokens vardır. MTPLX akıtılan /v1/completions kullanır; yanında tamsayı dizili prompt vardır, ardından /metrics gelir. Bunlar iki sunucu arasında istemci istem birleştirme ve sohbet şablonu işleme farklarından kaçınır. Sınırlı çıktı bir verim iş yüküdür; tam kod doğruluğu sınaması değildir.
| Ölçüm | AX Engine | MTPLX |
|---|---|---|
| Ön doldurma süresi | ax_mlx_prefill_wall_us / 1e6 |
prompt_eval_time_s |
| Ön doldurma hızı | Önbelleğe alınmamış girdi tokenleri / ön doldurma süresi | prefill_compute_tok_s, new_prefill_tokens / prompt_eval_time_s ile denetlenir |
| Decode süresi | ax_mlx_decode_wall_us / 1e6 |
decode_elapsed_s |
| Decode hızı | (output_tokens - 1) / decode duration; ilk çıktı ön doldurmaya aittir |
decode_tok_s, completion_tokens / decode_elapsed_s ile denetlenir |
| Önbellek kanıtı | Önek önbelleği AX_MLX_PREFIX_CACHE_MAX_ENTRIES=0 ile kapalı; sıfır yeniden kullanılan token |
SSD oturum önbelleği kapalı; her tamamlamada sıfır önbelleğe alınmış token |
| MTP kanıtı | Gerekli ilke, etkin model taslakçısı, pozitif kabul edilen tokenler, sıfır bildirilen doğrudan geri dönüş adımı | generation_mode=mtp, derinlik 3, pozitif taslak ve kabul sayaçları |
Yerel decode sayaçlarının ilk token sınırları biraz farklıdır; aynı zamanlayıcıymış gibi yeniden etiketlenmek yerine gerçek formülleriyle raporlanır. İki hız da çıktıyı toplam HTTP istek süresine bölmez. MTPLX yerel TTFT değeri JSON içinde tutulur; AX Engine akışsız sondası taşıma TTFT ölçmez.
Çalışma zamanı yapılandırması
AX Engine genel agentic spekülasyon profilini, 32,768 token bağlamı, 8,192 token ilan edilen çıktı bütçesini, zamanlayıcı genişliği 2,048 ve bir eşzamanlı istek kullandı. Yoğun Qwen3.8’e özgü AX Code ortam geçersiz kılmaları uygulanmadı. Kabul edilen MTP derinliği 3 idi; motorun normal taslak kapıları etkin kaldı.
SNAPSHOT uygun sabitlenmiş anlık görüntüye ve MODEL onun AX Code takma adına ayarlanmış eşdeğer başlatma bağımsız değişkenleri:
AX_MLX_PREFIX_CACHE_MAX_ENTRIES=0 /path/to/fixed/ax-engine-server \
--host 127.0.0.1 --port 18439 --model-id "$MODEL" \
--mlx --mlx-model-artifacts-dir "$SNAPSHOT" \
--mlx-mtp-policy required --speculation-profile agentic \
--mlx-mtp-disable-ngram-stacking --max-concurrent-requests 1 \
--max-batch-tokens 2048 --max-output-tokens 8192 \
--block-size-tokens 16 --total-blocks 2048
mtplx serve --model "$SNAPSHOT" --model-id "$MODEL" \
--host 127.0.0.1 --port 18442 --no-auth --agent-rewrites off \
--max-tokens 8192 --context-window 32768 --reasoning off \
--no-stats-footer --ssd-session-cache off --warmup-tokens 64 \
--strict-warmup --fan-mode default --generation-mode mtp --load-mtp --depth 3MTPLX boş yalıtılmış bir yapılandırma kullandı. AX Engine model bildirimleri sabitlenmiş, yalnızca yerel indiricisiyle hazırlandı; yayımcının model ağırlıkları ve MTP tensörleri korundu. Sonuç almak için iki yapılandırma da MTP’yi kapatmadı.
AX Code araç kabulü
Ayrı bir AX Code kaynak çalıştırması her modelden probe.txt dosyasını okuma aracıyla okumasını ve yalnızca içeriğini döndürmesini istedi. Durum ve yapılandırma yalıtıldı. AX Engine, sınanan kaynak sunucuya açık geri döngü eklemesi kullandı. Bu çalıştırmalar yerel faz tablosunun dışındadır.
| Model | Çalışma zamanı | Tamamlanan okuma | Son yanıtta doğru işaret | Yalnızca çıktı biçiminin tam eşleşmesi |
|---|---|---|---|---|
| Tiel | AX Engine kaynağı | Evet | Evet | Hayır; düzyazı ve bir kod çiti eklendi |
| Tiel | MTPLX | Evet | Evet | Evet |
| Cyber-Tiel | AX Engine kaynağı | Evet | Evet | Hayır; düzyazı ve bir kod çiti eklendi |
| Cyber-Tiel | MTPLX | Evet | Evet | Evet |
Dört istemci süreci de başarıyla çıktı ve gerçek bir okuma çağrısını tamamladı. İki AX Engine çalıştırması daha katı çıktı biçimi gereksinimini geçemedi; bu yüzden bu, tamamı yeşil bir davranışsal veya kodlama kalitesi belgesi değildir. İstemleri, araç yükleri, varsayılan örnekleme ve sohbet işlemesi, eşleşmiş token faz kıyaslamasından ayrı istemci/çalışma zamanı yollarıdır. Bu sınamalar için bulut, CLI, özel GPU veya AX Trust davranışı ayarlanmadı.
Ayrı bir yönetilen providers ax-engine start çağrısı model bağımsız değişkenini atladı ve sabitlenmiş revizyonda tiel-coder-35b-axq-mxfp4 seçti; yanında mlx vardır. Canlı durumu araç desteği, gerekli/gerekli MTP ilkesi, etkin MTP, 27 taslak token ve 23 kabul edilen token bildirdi. Yönetilen sunucu ardından başarıyla durduruldu. Bu, yalıtılmış AX Code durumu ve mevcut yardımcının AX_ENGINE_SERVER=/absolute/path/to/fixed/ax-engine-server geçersiz kılmasını kullandı; kullanıcının kurulu ikilisi ve sağlayıcı yapılandırması değiştirilmedi. Yükleyici düzeltmesini içeren bir derlemeyle pnpm run dev başlatılırken aynı geçersiz kılma ayarlanabilir.
Katalog değişikliği 11,374 belirleyici sınamayı geçti, 17 atlandı; ayrıca 208 SDK sınaması, 259 betik sınaması (94 atlandı), özyinelemeli tür denetimi, depo yapı denetimleri ve TUI denetimleri vardır. Yeni varsayılanı kullanmadan önce model seçimi ve çalışma zamanı gereksinimleri belgesine bakın.