Trang này được dịch từ tài liệu tiếng Anh. Lệnh, định danh và ví dụ giữ nguyên. Runtime 7.24.4 · SDK 2.6.7. Bản tiếng Anh

Môi trường chạy cục bộ MTPLX và oMLX

Trạng thái: Đang hoạt động

Phạm vi: tích hợp bản checkout nguồn

Xem xét lần cuối: 2026-09-19

Chủ sở hữu: môi trường chạy ax-code

Bản checkout nguồn gồm các mẫu riêng MTPLX (mtplx) và oMLX (omlx) dưới /connect → Môi trường chạy LLM cục bộ. Các mẫu này không có trong tệp nhị phân đóng gói v7.19.3. Chúng kết nối tới một máy chủ đang chạy sẵn; AX Code không cài, không khởi chạy và không tinh chỉnh các môi trường chạy này.

Kết nối

Khởi động môi trường chạy của bạn và tải một mô hình hỗ trợ công cụ lập trình. Làm theo hướng dẫn MTPLX hoặc hướng dẫn oMLX.
Chọn MTPLX hoặc oMLX trong menu môi trường chạy cục bộ của AX Code và xác nhận endpoint máy chủ.
Chọn một mô hình có khả năng lập trình. ID mô hình đến từ phản hồi GET /v1/models của máy chủ.

Môi trường chạy	ID nhà cung cấp	Endpoint API mặc định	Ghi đè máy chủ AX Code
MTPLX	`mtplx`	`http://localhost:8000/v1`	`MTPLX_HOST`
oMLX	`omlx`	`http://localhost:8000/v1`	`OMLX_HOST`

Cả hai máy chủ thượng nguồn mặc định cổng 8000. Hãy chạy chúng từng cái một, hoặc gán cổng khác và lưu các endpoint đó riêng. AX Code nối /v1 một lần nếu bị bỏ. Endpoint đã lưu được ưu tiên hơn ghi đè máy chủ. Việc liệt kê một mẫu không thăm dò hay kích hoạt nó. Danh sách bật/tắt nhà cung cấp sẵn có vẫn có thẩm quyền; nếu bạn dùng danh sách cho phép, hãy thêm ID mới mà không gỡ các nhà cung cấp khác.

Ví dụ với cổng tường minh:

mtplx serve --model /path/to/your/mtplx-model --host 127.0.0.1 --port 8000
omlx serve --model-dir /path/to/your/models --host 127.0.0.1 --port 8001

Dùng endpoint tương ứng máy chủ bạn đã khởi động. Kiểm tra ID mô hình của nó bằng curl http://localhost:8000/v1/models (đổi cổng theo cấu hình của bạn).

Công cụ lập trình và xác thực

Danh sách trò chuyện gốc của MTPLX xác định owned_by: "mtplx" và capability: "chat" tách khỏi các mô hình truy xuất. AX Code nhận vận chuyển trò chuyện đó cho việc dùng công cụ trừ khi nó tắt công cụ một cách tường minh. Một danh sách chung hoặc không nhận ra giữ các mặc định thận trọng.

Danh sách mô hình của oMLX không khai báo hỗ trợ công cụ theo từng mô hình và có thể gồm mô hình không phải trò chuyện. Chỉ bật công cụ cho mô hình có mẫu trò chuyện hỗ trợ chúng. Thêm mục này vào cấu hình AX Code của bạn, thay đúng ID mô hình mà máy chủ trả về:

{
  "provider": {
    "omlx": {
      "options": { "baseURL": "http://localhost:8001/v1" },
      "models": {
        "your-tool-capable-model-id": { "tool_call": true }
      }
    }
  }
}

Lựa chọn công cụ tường minh sống sót qua khám phá. Các mô hình được khám phá khác không được thăng lên mô hình lập trình. max_model_len gốc của oMLX được dùng cho giới hạn ngữ cảnh khi có. Cài đặt bộ lấy mẫu của môi trường chạy, việc bật MTP và giới hạn đầu ra phía máy chủ vẫn thuộc môi trường chạy.

Với máy chủ cần xác thực, hãy đặt provider.mtplx.options.apiKey hoặc provider.omlx.options.apiKey trong cấu hình của bạn, ví dụ "{env:OMLX_API_KEY}". AX Code gửi thông tin xác thực bearer đã cấu hình đó cho cả khám phá lẫn suy luận. Hộp thoại endpoint cục bộ không hỏi token. Đừng đặt thông tin xác thực trong URL endpoint.

Qwen MTP AXQuant trong oMLX

Các gói Qwen MTP của AXQuant gồm một đầu mtp.safetensors riêng và một hợp đồng thực thi mtplx_runtime.json. Siêu dữ liệu gần đây cũng gồm axquant_omlx_compat.json, liệt kê 15 tensor MTP cho gói 27B này. Các tệp này mô tả tương thích; chỉ bật Lightning MTP không nhập đầu đó.

Với oMLX 0.6.4, hãy dùng một bản sao mô hình cục bộ đầy đủ, có thể ghi. Trong Cài đặt mô hình, chọn Nhập sidecar MTP, rồi bật Lightning MTP. Bộ nhập thượng nguồn chuẩn bị một mảnh MTP và cập nhật chỉ mục checkpoint của bản sao cục bộ đó. Hãy giữ nguyên gói đã tải gốc cho các môi trường chạy khác; đừng sửa tại chỗ một ảnh chụp bộ nhớ đệm Hugging Face dùng chung. Xem hướng dẫn mô hình AXQuant. AX Code kết nối tới máy chủ đã chuẩn bị và không sửa trọng số mô hình hay thực hiện lần nhập này.

Hiệu năng và phạm vi

Kết nối MTPLX và oMLX loopback nhận hành vi ổn định tiền tố cục bộ: thứ tự công cụ tất định và ngữ cảnh tạm sau lịch sử hội thoại. Endpoint từ xa và kết nối do AX Trust quản lý giữ hành vi sẵn có; cài đặt đám mây và AX Trust không bị các mẫu này đổi.

Xem kiểm thử lại máy khách AX Code/OpenCode để có ma trận đầy đủ đã bật MTP sau bản sửa tiền tố cục bộ, gồm phần cứng, phiên bản, danh tính mô hình, trạng thái bộ nhớ đệm, định nghĩa thời gian và kiểm tra mã. Các phép đo môi trường chạy trước đó giữ các lần phát lại decode gốc và kết quả máy khách lịch sử. Một kết nối tương thích OpenAI đang hoạt động không thiết lập chất lượng lập trình của mô hình hay bảo đảm một tốc độ decode.