Trang này được dịch từ tài liệu tiếng Anh. Lệnh, định danh và ví dụ giữ nguyên. Runtime 7.24.4 · SDK 2.6.7. Bản tiếng Anh

Lựa chọn mô hình AX Engine

Trạng thái: Đang hoạt động Phạm vi: trạng thái hiện tại Xem xét lần cuối: 2026-09-20 Chủ sở hữu: môi trường chạy ax-code

AX Code chỉ đưa ra hai gói phát triển này qua AX Engine (Cục bộ) trên các máy Mac Apple Silicon đủ điều kiện. Tiel Coder là mặc định; Cyber-Tiel Coder là phương án thay thế.

Các bí danh ghim các bản sửa 5ab39b24bfd7f65203be9b7823b1840486f58b6d và fe05e871ec69ad9ae8eac01fd285555514ac7daf, theo thứ tự đó. Cả hai dùng bộ chọn mlx, giữ nguyên gói MXFP4 của nhà phát hành. Thẻ mô hình mô tả các lần lượng tử hóa lại cho phát triển, không có tuyên bố ngang chất lượng được chứng nhận hay tốc độ MTP; việc chọn chúng không thiết lập thực thi gốc hay một cải thiện tốc độ.

AX Code đóng gói bản phát hành AX Engine 7.5.7 đã ký, gồm bản sửa bộ nạp không gian tên sidecar Tiel từ commit 51137c71a6794964d52c32c95e275c0923ed8d0b. Các tệp nhị phân Homebrew 7.4.0 cũ hơn thiếu bản sửa đó và từ chối các gói này với MlxMtpRequiredButUnavailable. Hãy giữ MTP là bắt buộc; các ghi đè môi trường chạy tường minh cũng phải chứa bản sửa. Các phép đo prefill và decode gốc giữ danh tính bản dựng đã thử ban đầu và không chứng nhận hiệu năng của bản phát hành mới hơn.

Qwen3.8 27B, Ornith, Qwen3-Coder-Next và mọi kho khác bị loại khỏi lựa chọn được quản lý mới và việc tải xuống. Mỗi kho được chọn xuất hiện một lần. Bí danh đã cấu hình và các bản sửa đệm cũ hơn không thêm lựa chọn sau khi khám phá. Các nhà cung cấp khác và giao diện gắn loopback được cấu hình riêng giữ hành vi của chúng. Để chạy mặc định dense của chính AX Engine, hãy khởi động ax-engine serve qwen3.8-27b:axq và gắn endpoint cục bộ đó; MTP trên đường sản phẩm đã đo là 31.05 tok/s decode trên Mac mini M4 Pro 64 GB và 76.90 tok/s decode / 795.3 tok/s prefill trên M5 Max 128 GB. Những con số đó không phải tok/s hoàn thành của Tiel và không phải tốc độ phiên AX Code. Xem tóm tắt đồng cấp Tiel.

Kiểm tra các mô hình sẵn có

ax-code providers ax-engine models --json
ax-code providers ax-engine models --refresh --json

Việc làm mới đọc siêu dữ liệu Hugging Face mà không tải trọng số hay khởi động mô hình. Siêu dữ liệu đóng gói hoạt động ngoại tuyến và bổ sung kho đã chọn nếu kho đó thiếu trong bộ đệm cũ. Các bản sửa đang có không bị thay âm thầm bằng một bản sửa đóng gói khác. Việc lựa chọn vẫn cần siêu dữ liệu nguồn hợp lệ; hạn chế kho không thiết lập khả năng gốc.

GET /provider/ax-engine/models trả về danh mục của CLI đang chạy, gồm ID chính xác, kho, lượng tử hóa, trạng thái cục bộ, ước lượng bộ nhớ/đĩa và trạng thái xác minh của từng mô hình. Một GUI bên ngoài dùng API môi trường chạy này. Nếu nó hiện danh sách cũ hơn, hãy kiểm tra CLI mà nó khởi chạy và phiên bản của CLI đó. Phát triển AX Coder có thể chọn một môi trường chạy nguồn bằng AX_CODE_BINARY hoặc settings.axCodeBinary.

Chuẩn bị mô hình đã chọn

Sao chép đúng ID mô hình từ danh mục. Bí danh Tiel mặc định dùng mlx:

ax-code providers ax-engine prepare \
  --model tiel-coder-35b-axq-mxfp4 --quantization mlx --download --start

Các mô hình bị loại làm thất bại các yêu cầu chuẩn bị, tải xuống và kích hoạt được quản lý mới trước khi bắt đầu việc. Các bản ghi mô hình sẵn có vẫn dùng được cho trạng thái và dọn dẹp; các ID Qwen3.8, Ornith và Qwen3-Coder-Next đã gỡ không bao giờ được chuyển hướng sang một trong hai tạo tác Tiel. Gỡ một tùy chọn không xóa trọng số của nó và không dừng máy chủ đang chạy.

Xác minh bộ nhớ và môi trường chạy

Cả hai bí danh đã chọn dùng ngữ cảnh 65,536 token, giới hạn đầu ra 8,192 token, yêu cầu bộ nhớ ước lượng 64 GiB và ngân sách đĩa tải xuống 32 GiB. Đây là giới hạn phục vụ của AX Code, không phải ngữ cảnh tối đa thượng nguồn. (Được nâng từ ngữ cảnh ban đầu 32,768 token: mức đó chỉ còn 24,576 token đầu vào dùng được sau phần dự trữ đầu ra, ít hơn lời nhắc hệ thống tác nhân AX Code cố định và các lược đồ công cụ đòi hỏi, nên một phiên hoàn toàn mới không bao giờ gửi được lượt đầu.)

Mỗi ước lượng bộ nhớ gồm trọng số, sidecar, bộ nhớ đệm KV, bộ đệm và phần dự trữ máy chủ. Hãy dùng kết quả vừa khít của danh mục trực tiếp cho máy hiện tại. Các ước lượng này không phải chứng nhận phần cứng hay chất lượng mô hình.

Con số 64 GiB là ngân sách lập kế hoạch thận trọng cho toàn bộ ngữ cảnh (64K), không phải sàn cứng. Với một máy suy luận cục bộ được quản lý thoải mái, chúng tôi khuyến nghị Apple Silicon M4 Pro với 48 GB bộ nhớ hợp nhất trở lên (ví dụ Mac Mini M4 Pro 48 GB); các máy Mac Apple Silicon nhỏ hơn vẫn chạy được chính AX Code từ 8 GB với mô hình đám mây/API hoặc môi trường chạy cục bộ nhẹ hơn.

Trước khi kích hoạt được quản lý, AX Code kiểm tra hợp đồng văn bản và công cụ có cấu trúc của mô hình AX Engine đang hoạt động. Trạng thái verification-required nghĩa là việc chuẩn bị đã xong nhưng hợp đồng trực tiếp đó chưa được thiết lập. Riêng tên kho hoặc sidecar MTP không chứng minh suy luận, thị giác, tăng tốc MTP, hay chất lượng lập trình nhiều lượt.

Việc nén phiên dùng ngân sách ngữ cảnh/đầu ra của mô hình đang hoạt động và dành chỗ trống đầu vào. Biến thể đã chọn giữ ngân sách danh mục của chính nó; ngữ cảnh tối đa của mô hình nguồn không phải bảo đảm bộ nhớ được quản lý.

Xem Kiến trúc Engine cục bộ để biết chi tiết vòng đời và vận chuyển.

Chính sách MTP được quản lý

AX Engine được quản lý mặc định là required, khớp tạo tác MTP đã chọn. Một bộ nháp không sẵn có làm khởi động thất bại thay vì âm thầm quay về giải mã trực tiếp. Trọng số MTP và cài đặt xếp chồng thuần không thiết lập tăng tốc đang hoạt động. Gói Tiel Coder mặc định dùng hồ sơ suy đoán auto để AX Engine chọn cổng nháp của mô hình thay vì ghi đè 0.80 của hồ sơ agentic chung. Điều này tách khỏi chính sách kích hoạt MTP: tinh chỉnh auto vẫn dùng MTP required. Môi trường thử nghiệm cũ dành riêng cho Qwen3.8 dense không được áp dụng cho các gói MoE này. Xem so sánh hồ sơ để biết mức tăng đã đo. Cyber-Tiel giữ agentic; các thăm dò tác vụ đọc được quản lý đã thất bại với cả hai hồ sơ, nên độ tin cậy tác vụ của nó vẫn chưa được giải quyết. Chính sách kích hoạt vẫn là required; engine phải nhận bộ nháp thực tế. Để chọn chính sách một cách tường minh, đặt provider.ax-engine.options.mtpPolicy trong ax-code.json:

{
  "provider": {
    "ax-engine": {
      "options": {
        "mtpPolicy": "required"
      }
    }
  }
}

AX_ENGINE_MTP_POLICY cung cấp cùng ba giá trị khi không có tùy chọn nhà cung cấp nào được đặt. Việc chọn môi trường chạy tự động cần AX Engine 7.5.7 trở lên để thực thi các chính sách này, gồm chính sách required mặc định. Các cài đặt disabled và auto tường minh vẫn ghi đè mặc định. Các tệp nhị phân cũ hoặc không xác định từ chối việc chọn chính sách trước khi thay một engine đang chạy; hãy nâng cấp trước khi dùng các điều khiển chính sách được quản lý. Các tệp trạng thái lịch sử không ghi chính sách báo chính sách đã khởi chạy là không xác định và được thay ở lần khởi động được quản lý kế tiếp. Đổi chính sách có hiệu lực ở lần khởi động được quản lý hoặc yêu cầu mô hình kế tiếp và thay một tiến trình sẵn có bằng một chính sách khác. Việc này không đổi lựa chọn mô hình hay nơi lưu trữ.

ax-code providers ax-engine start --mtp-policy disabled ghi đè chính sách chỉ cho lần khởi động đó. Hãy đặt tùy chọn nhà cung cấp bền vững nếu các yêu cầu lập trình sau nên dùng cùng ghi đè. Các thân HTTP chuẩn bị/khởi động cũng nhận mtpPolicy. Các cài đặt được quản lý này không cấu hình lại các endpoint được gắn riêng. Sau khi cập nhật nguồn, hãy khởi động lại pnpm run dev để tải mặc định mới; một backend phát triển đang chạy giữ mã đã tải cho đến khi được khởi động lại.

ax-code providers ax-engine status (hoặc --json) tách chính sách được yêu cầu, chính sách đã khởi chạy, và trạng thái active/inactive/unknown đã quan sát. Việc quan sát dùng chỉ số tuyến mô hình mới nhất của engine, không phải siêu dữ liệu mô hình hay số nháp lịch sử. Các mẫu đúng mô hình còn thiếu vẫn là không xác định, kể cả trước bước engine được quan sát đầu tiên; các tổng hợp toàn máy chủ không thiết lập kích hoạt. required đã cấu hình không được hiển thị như bằng chứng đang hoạt động. Số nháp/được chấp nhận, khi có, là tích lũy cho engine đang cư trú. Một thay đổi chính sách đang chờ được báo mà không khởi động lại engine trong lúc kiểm tra trạng thái. Kích hoạt MTP không phải lời hứa về một tốc độ token cụ thể.

Diễn giải tốc độ phản hồi cục bộ

AX Engine được quản lý không áp trần token mỗi giây. Một phép đo như 50 tok/s không phải mục tiêu đã cấu hình cũng không phải trần trên: phần cứng nhanh hơn có thể tạo token nhanh hơn. Kích thước ngữ cảnh, ngân sách đầu ra và giới hạn đồng thời của yêu cầu kiểm soát dung lượng, không phải một tốc độ sinh token cố định.

Ảnh chụp công khai hiện tại của Tiel so với MTPLX là chiến dịch API gốc ngày 20 September 2026 được tóm tắt trong tóm tắt đồng cấp Tiel. Trên M5 Max 128 GiB, gói Tiel mặc định được quản lý hoàn thành ở 194.88 tok/s gồm TTFT (decode 217.85). Đỉnh decode Cyber-Tiel 249.01 tok/s là gói thay thế, không phải mặc định. Những con số đó không phải tốc độ phiên AX Code.

Hãy so sánh các phép đo ở cùng độ dài đầu vào, ngân sách đầu ra, cài đặt lấy mẫu và trạng thái bộ nhớ đệm. Phép đo decode của lời nhắc ngắn không thiết lập tốc độ tối thiểu cho một phiên lập trình với hàng chục nghìn token ngữ cảnh. Tái sử dụng một tiền tố giảm xử lý lời nhắc; việc giải mã sau đó vẫn chú ý tới ngữ cảnh đó. Riêng kích hoạt MTP không thiết lập tỷ lệ chấp nhận nháp hữu ích hay một mức tăng tốc cố định.

Hãy tách khởi động/thiết lập, thời gian tới nội dung đầu, và thế hệ bền vững khi điều tra một lượt chậm. Chỉ số ax_runtime_decode_tok_per_sec của engine là trung bình có trọng số mũ qua các yêu cầu, không phải tốc độ của phản hồi hiện tại. Hãy dùng thời điểm yêu cầu và số token cho phản hồi đó, cùng chênh lệch bộ đếm cho tỷ lệ chấp nhận MTP của nó. Các khối phát luồng có thể chứa nhiều token; đếm khối như token cho một tốc độ sai.

AX Code tái sử dụng các thăm dò phiên bản tệp thực thi thành công tối đa năm phút. Nó kiểm tra tệp thực thi có sẵn ở mỗi lần phân giải và vô hiệu các phiên bản đệm khi danh tính tệp trình khởi chạy hoặc máy chủ gốc đổi. Các thăm dò thất bại vẫn có thể thử lại. Việc này giảm công thiết lập lặp lại; nó không đổi tốc độ giải mã của mô hình. Một backend phát triển phải được khởi động lại để tải thay đổi nguồn.