Trang này được dịch từ tài liệu tiếng Anh. Lệnh, định danh và ví dụ giữ nguyên. Runtime 7.24.5 · SDK 2.6.9. Bản tiếng Anh
Phép đo prefill và decode gốc của Tiel Coder
Trạng thái: Ảnh chụp cục bộ lịch sử Xem xét lần cuối: 2026-09-21 Chủ sở hữu: người bảo trì AX Code Ngày: 2026-09-19 Phạm vi: hai gói Tiel đã chọn của AX Code, AX Engine so với MTPLX, Apple M3 Max 128 GiB
Đã bị thay cho bảng xếp hạng. Chiến dịch API gốc bốn máy ngày 20 September 2026 là phép so sánh Tiel với MTPLX hiện tại, gồm hoàn thành M5 Max 194.88 tok/s cho gói mặc định và đỉnh decode Cyber-Tiel 249.01 tok/s. Xem tóm tắt đồng cấp Tiel. Hãy giữ trang này như ảnh chụp pha M3 Max ngày 19 September (engine được xác định là 7.4.0; trung vị của ba lần). Đừng trộn các bảng.
Các kết quả này giữ đường cơ sở hồ sơ agentic gốc. Bản
so sánh hồ sơ MTP Tiel sau đó đo hồ sơ auto
mà AX Code chọn hiện nay, gồm các đánh đổi phụ thuộc khối lượng.
Các gói Tiel mới chạy với MTP đang hoạt động trên cả hai môi trường chạy đã thử. Bản dựng nguồn của AX Engine đạt 47.36–58.53 token decode/giây qua bốn ca; MTPLX đạt 92.13–96.26. Prefill xấp xỉ 1,190–1,446 token/giây. Đây là phép đo pha suy luận gốc trên Apple M3 Max 128 GiB, không phải thông lượng lập trình đầu-cuối của AX Code hay OpenCode.
Yêu cầu bản dựng: AX Engine Homebrew 7.4.0 đã cài không khởi động được Tiel với Engine(MlxMtpRequiredButUnavailable). Các kết quả AX Engine bên dưới dùng một bản dựng cục bộ đã tối ưu của commit 51137c71a6794964d52c32c95e275c0923ed8d0b, vốn thêm bản sửa bộ nạp không gian tên MTP Tiel. Bản dựng đó vẫn tự nhận là 7.4.0. Kết quả của nó không thiết lập hỗ trợ trong tệp nhị phân Homebrew sẵn có hay một bản phát hành đã công bố. MTP vẫn bắt buộc; không có lần chạy dự phòng với MTP tắt.
Kết quả
Mỗi giá trị là trung vị của ba lần thử. Mọi lần thử sinh đúng 256 token và báo không token đầu vào đệm. Cả prefill và decode đều dùng token mỗi giây.
| Mô hình | Token đầu vào | Prefill AX Engine | Decode AX Engine | Prefill MTPLX | Decode MTPLX |
|---|---|---|---|---|---|
| Tiel Coder, ngắn | 458 | 1,255.61 | 57.03 | 1,207.01 | 92.27 |
| Tiel Coder, ngữ cảnh | 3,182 | 1,424.24 | 55.25 | 1,279.48 | 96.26 |
| Cyber-Tiel Coder, ngắn | 483 | 1,226.86 | 58.53 | 1,189.60 | 95.09 |
| Cyber-Tiel Coder, ngữ cảnh | 3,207 | 1,446.19 | 47.36 | 1,427.62 | 92.13 |
Chênh lệch decode tồn tại trong các yêu cầu môi trường chạy trực tiếp với đầu vào đã ghép, trước vòng tác nhân của AX Code. Phép so sánh cục bộ này vì vậy định vị một khác biệt cấp môi trường chạy; nó không chỉ ra một nhân hay chính sách duy nhất là nguyên nhân. Prefill gần nhau hơn nhiều giữa các cấu hình này. Không có đối chứng MTP tắt được chạy, nên đây không phải phép đo mức tăng tốc MTP.
Đầu vào đã làm sạch, cả 24 biên nhận lần thử, bộ đếm pha, bản sửa mô hình và kết quả nghiệm thu máy khách đi kèm báo cáo này.
Tạo tác và môi trường chính xác
| Mô hình | Kho Hugging Face | Bản sửa |
|---|---|---|
| Tiel Coder, mặc định của AX Code | AutomatosX/AX-Tiel-Coder-35B-A3B-MLX-AXQ-MXFP4-MTP | bản 5ab39b24bfd7f65203be9b7823b1840486f58b6d |
| Cyber-Tiel Coder, gói thay thế | AutomatosX/AX-Cyber-Tiel-Coder-35B-A3B-MLX-AXQ-MXFP4-MTP | bản fe05e871ec69ad9ae8eac01fd285555514ac7daf |
- Nguồn AX Code:
205cb556b; việc chọn dùngmlxvà trọng số MXFP4 của nhà phát hành. - Máy chủ: Apple M3 Max, 137,438,953,472 byte bộ nhớ; macOS 27.0, bản dựng
26A428. - AX Engine: bản dựng hồ sơ phát hành của
51137c71a6794964d52c32c95e275c0923ed8d0b, MLX 0.32.2. SHA-256 máy chủ:1fbe7fc50ea16448f98350616273214c0475bffb3ef509fceb3f8849163e97f5. - MTPLX: 2.11.3, MLX 0.32.2, môi trường Python 3.12.
- Cả hai môi trường chạy đọc cùng ảnh chụp Hugging Face dùng chung của mỗi mô hình. Việc tải mô hình, nạp trọng số và khởi động máy chủ bị loại khỏi thời gian pha.
Các gói là lượng tử hóa lại cho phát triển. Các kiểm thử này không chứng nhận chất lượng mô hình, ngang bằng số, hành vi ngữ cảnh dài, phần cứng khác, hay hiệu năng của một bản phát hành tương lai. Chúng không thay ma trận máy khách thật Qwen3.8 lịch sử, vốn dùng mô hình khác và đo một ranh giới khác.
Phương pháp đo
Lời nhắc yêu cầu một bộ nhớ đệm LRU TypeScript chung và các kiểm thử, đứng trước bởi 8 hoặc 96 hàm TypeScript tổng hợp. Các thông điệp được lưu trong biên nhận JSON. Bộ tách từ đã ghim của mỗi mô hình kết xuất mẫu trò chuyện chính thức của nó với enable_thinking=false và add_generation_prompt=true. Các token số nguyên thu được được gửi không đổi tới cả hai backend. Đầu ra /tokenize của AX Engine cũng được kiểm tra đối với các ID đó. Mẫu của Cyber-Tiel thêm văn bản danh tính, giải thích thêm 25 token của nó; đầu vào xuyên backend khớp trong từng mô hình.
Yêu cầu dùng nhiệt độ 0.55, top-p 1, top-k 0, hạt giống 0, và giới hạn 256 token. Mỗi backend nhận một lần làm nóng 64 token tường minh trước các lần thử được đo. MTPLX cũng thực hiện làm nóng khởi động/nền thông thường. Một lần làm nóng không tính là lần thử. Thứ tự chạy là MTPLX/Tiel, AX Engine/Tiel, MTPLX/Cyber-Tiel, AX Engine/Cyber-Tiel. Chỉ một backend suy luận hoạt động tại một thời điểm; biên dịch xong trước khi các lần thử được đo bắt đầu. Mẫu thứ tự cố định nhỏ này không phải nghiên cứu bền bỉ hay cân bằng nhiệt.
AX Engine dùng /v1/generate gốc với input_tokens và max_output_tokens. MTPLX dùng /v1/completions phát luồng với một prompt mảng số nguyên, rồi /metrics. Những thứ này tránh khác biệt khi lắp lời nhắc máy khách và kết xuất mẫu trò chuyện giữa hai máy chủ. Đầu ra bị trần là một khối lượng thông lượng, không phải kiểm thử tính đúng của mã hoàn chỉnh.
| Phép đo | AX Engine | MTPLX |
|---|---|---|
| Thời lượng prefill | ax_mlx_prefill_wall_us / 1e6 |
prompt_eval_time_s |
| Tốc độ prefill | Token đầu vào chưa đệm / thời lượng prefill | prefill_compute_tok_s, được kiểm toán đối với new_prefill_tokens / prompt_eval_time_s |
| Thời lượng decode | ax_mlx_decode_wall_us / 1e6 |
decode_elapsed_s |
| Tốc độ decode | (output_tokens - 1) / decode duration; đầu ra đầu thuộc prefill |
decode_tok_s, được kiểm toán đối với completion_tokens / decode_elapsed_s |
| Bằng chứng bộ nhớ đệm | Bộ nhớ đệm tiền tố tắt bằng AX_MLX_PREFIX_CACHE_MAX_ENTRIES=0; không token được tái sử dụng |
Bộ nhớ đệm phiên SSD tắt; không token đệm ở mọi lần hoàn thành |
| Bằng chứng MTP | Chính sách bắt buộc, bộ nháp mô hình đang hoạt động, token được chấp nhận dương, không bước quay lui trực tiếp được báo | generation_mode=mtp, độ sâu 3, bộ đếm nháp và chấp nhận dương |
Các bộ đếm decode gốc có ranh giới token đầu hơi khác; chúng được báo với công thức thực của chúng thay vì được gắn nhãn lại như cùng bộ đếm thời gian. Không tốc độ nào chia đầu ra cho tổng thời lượng yêu cầu HTTP. TTFT gốc của MTPLX được giữ trong JSON; thăm dò không phát luồng của AX Engine không đo TTFT vận chuyển.
Cấu hình môi trường chạy
AX Engine dùng hồ sơ suy đoán agentic chung, ngữ cảnh 32,768 token, ngân sách đầu ra được quảng bá 8,192 token, độ rộng bộ lập lịch 2,048, và một yêu cầu đồng thời. Các ghi đè môi trường AX Code dành riêng cho Qwen3.8 dense không được áp dụng. Độ sâu MTP đã được nhận là 3; các cổng nháp bình thường của engine vẫn hoạt động.
Đối số khởi chạy tương đương, với SNAPSHOT đặt thành ảnh chụp đã ghim phù hợp và MODEL thành bí danh AX Code của nó:
AX_MLX_PREFIX_CACHE_MAX_ENTRIES=0 /path/to/fixed/ax-engine-server \
--host 127.0.0.1 --port 18439 --model-id "$MODEL" \
--mlx --mlx-model-artifacts-dir "$SNAPSHOT" \
--mlx-mtp-policy required --speculation-profile agentic \
--mlx-mtp-disable-ngram-stacking --max-concurrent-requests 1 \
--max-batch-tokens 2048 --max-output-tokens 8192 \
--block-size-tokens 16 --total-blocks 2048
mtplx serve --model "$SNAPSHOT" --model-id "$MODEL" \
--host 127.0.0.1 --port 18442 --no-auth --agent-rewrites off \
--max-tokens 8192 --context-window 32768 --reasoning off \
--no-stats-footer --ssd-session-cache off --warmup-tokens 64 \
--strict-warmup --fan-mode default --generation-mode mtp --load-mtp --depth 3MTPLX dùng một cấu hình tách biệt rỗng. Bản kê mô hình AX Engine được chuẩn bị bằng bộ tải chỉ cục bộ, đã ghim của nó; trọng số mô hình và tensor MTP của nhà phát hành được giữ. Không cấu hình nào tắt MTP để có được một kết quả.
Nghiệm thu công cụ AX Code
Một lần chạy nguồn AX Code riêng yêu cầu mỗi mô hình đọc probe.txt bằng công cụ đọc và chỉ trả về nội dung của nó. Trạng thái và cấu hình được tách biệt. AX Engine dùng gắn loopback tường minh tới máy chủ nguồn đã thử. Các lần chạy này bị loại khỏi bảng pha gốc.
| Mô hình | Môi trường chạy | Đã đọc xong | Dấu đúng trong câu trả lời cuối | Định dạng chỉ đầu ra chính xác |
|---|---|---|---|---|
| Tiel | Nguồn AX Engine | Có | Có | Không; thêm văn xuôi và một hàng rào mã |
| Tiel | MTPLX | Có | Có | Có |
| Cyber-Tiel | Nguồn AX Engine | Có | Có | Không; thêm văn xuôi và một hàng rào mã |
| Cyber-Tiel | MTPLX | Có | Có | Có |
Cả bốn tiến trình máy khách thoát thành công và hoàn tất một lời gọi đọc thật. Hai lần chạy AX Engine thất bại yêu cầu định dạng đầu ra chặt hơn, nên đây không phải chứng nhận hành vi hay chất lượng lập trình toàn xanh. Lời nhắc, tải công cụ, lấy mẫu mặc định và xử lý trò chuyện của chúng là đường máy khách/môi trường chạy, khác với đo chuẩn pha token đã ghép. Không hành vi đám mây, CLI, GPU riêng hay AX Trust nào được điều chỉnh cho các kiểm thử này.
Một lần gọi providers ax-engine start được quản lý riêng bỏ đối số mô hình và chọn tiel-coder-35b-axq-mxfp4 ở bản sửa đã ghim với mlx. Trạng thái trực tiếp của nó báo hỗ trợ công cụ, chính sách MTP bắt buộc/bắt buộc, MTP đang hoạt động, 27 token đã nháp và 23 token được chấp nhận. Máy chủ được quản lý sau đó được dừng thành công. Việc này dùng trạng thái AX Code tách biệt và ghi đè AX_ENGINE_SERVER=/absolute/path/to/fixed/ax-engine-server của trợ giúp sẵn có; tệp nhị phân đã cài của người dùng và cấu hình nhà cung cấp không bị thay. Cùng ghi đè có thể được đặt khi khởi động pnpm run dev với một bản dựng chứa bản sửa bộ nạp.
Thay đổi danh mục đã qua 11,374 kiểm thử tất định, với 17 bị bỏ, cộng 208 kiểm thử SDK, 259 kiểm thử tập lệnh (94 bị bỏ), kiểm tra kiểu đệ quy, kiểm tra cấu trúc kho và kiểm tra TUI. Xem lựa chọn mô hình và yêu cầu môi trường chạy trước khi dùng mặc định mới.