Trang này được dịch từ tài liệu tiếng Anh. Lệnh, định danh và ví dụ giữ nguyên. Runtime 7.24.4 · SDK 2.6.7. Bản tiếng Anh

Tích hợp engine cục bộ (AX Code)

Trạng thái: Đang hoạt động Phạm vi: trạng thái hiện tại Xem xét lần cuối: 2026-09-19 Chủ sở hữu: ax-code runtime Liên quan: ax-engine LOCAL-ENGINE-CLIENTS

Thiết lập runtime cục bộ

Chọn runtime AX-Engine trong /connect, rồi Chọn một mô hình. AX Code cấu hình runtime cục bộ và khởi động nó khi mô hình đã chọn được cần. Không có biểu mẫu URL điểm cuối hay khóa API. Xem trạng thái, Dừng runtime cục bộ (khi đang chạy) và Tắt quản lý tiến trình cục bộ.

AX Code dùng backend sidecar HTTP cho AX Engine. Nó khởi động ax-engine serve, theo dõi tiến trình mà nó sở hữu, và tự phân giải địa chỉ loopback cùng cổng. Người dùng chọn một mô hình; AX Code lo cấu hình truyền tải.

AX Code (TypeScript)
  -> select local model -> ensure/prepare -> spawn ax-engine serve
  -> managed loopback /v1 -> @ai-sdk/openai-compatible language model

Chọn một mô hình một cách tường minh sẽ lưu vòng đời được quản lý và xóa các thiết lập điểm cuối/khóa gắn kế thừa. Điều này cũng ghi đè một giá trị AX_ENGINE_HOST còn sót. Các máy khách SDK cũ hơn giữ API gắn chỉ-loopback kế thừa và việc xác thực thông tin xác thực của nó. Đường tương thích đó không thuộc menu nhà cung cấp.

AX Code không liên kết SDK của AX Engine trong cùng tiến trình. AX Engine sở hữu thực thi mô hình, còn AX Code sở hữu vòng đời tiến trình phía máy khách. Điều kiện máy chủ, chuẩn bị mô hình và kiểm tra gọi công cụ trực tiếp vẫn được áp dụng.

Khởi động lạnh có giới hạn sẵn sàng 600 giây. Thời gian khởi động phụ thuộc kích thước mô hình, thông lượng lưu trữ và bộ nhớ sẵn có. Một lần khởi động cạn kiệt sẽ dừng lượt kèm nhật ký máy chủ và đường dẫn mô hình; AX Code không tự khởi động lại một lần nạp lạnh khác hay chuyển nhà cung cấp. Hãy xử lý vấn đề được báo trước khi thử lại một cách tường minh. Phong bì thiết lập mô hình, gồm chờ khóa vòng đời và khám phá khả năng, bị giới hạn 660 giây. Hết hạn sẽ hủy thiết lập đang chờ và dừng các lần thử lại tự động. Hủy một yêu cầu cũng dừng chờ ngay lập tức, kể cả khi một phụ thuộc thiết lập chưa phản hồi. Các trả lời sức khỏe đến sau hạn sẵn sàng, hoặc sau khi tiến trình được sở hữu thoát, không thể thiết lập sẵn sàng.

Khi đã sẵn sàng, engine ở lại cư trú qua các lượt hội thoại. Hoàn thành hoặc hủy lượt khởi tạo không dừng engine đã sẵn sàng. Hủy khi khởi động vẫn đang diễn ra sẽ kết thúc lần thử đó và gỡ hồ sơ tiến trình của nó. Dùng Dừng runtime cục bộ để dừng tường minh một engine đang cư trú.

AX Code theo vị trí bộ nhớ đệm Hugging Face chuẩn và tôn trọng lựa chọn lưu trữ của người dùng, kể cả đĩa cục bộ, gắn SMB và NFS. Phân giải bộ nhớ đệm là HF_HUB_CACHE, rồi HF_HOME/hub, rồi XDG_CACHE_HOME/huggingface/hub, rồi ~/.cache/huggingface/hub. Một đường dẫn mô hình được cấu hình tường minh hoặc đã chuẩn bị sẵn được ưu tiên hơn khám phá bộ nhớ đệm. AX Code không di chuyển trọng số hay ghi đè các lựa chọn này dựa trên loại lưu trữ. Chẩn đoán khởi động báo đường dẫn mô hình thực tế để người dùng có thể điều tra khả dụng và hiệu năng đọc trên lưu trữ họ đã chọn.

Với một engine đã có, AX Code thực hiện tới ba lần dò sức khỏe, mỗi lần giới hạn hai giây và cách nhau 250 mili giây, trước khi khởi động lại một tiến trình không phản hồi. Hủy yêu cầu sẽ giữ tiến trình hiện có.

Vì sao dùng sidecar

Các pha vòng đời

Triển khai: packages/ax-code/src/provider/ax-engine/lifecycle.ts

Thứ tự mức nghiêm trọng khớp docs/LOCAL-ENGINE-CLIENTS.md của ax-engine.

Mã liên quan

Cấp phát được quản lý của một sidecar đã ghim không phải nhúng trong tiến trình. Các bản phát hành Darwin-arm64 đặt engine/<version>/ cạnh CLI; ax-code providers ax-engine install là lớp phủ/trình cập nhật khi một ghim mới hơn được xuất bản.

Việc không nhằm tới

• Thay sidecar bằng nhúng SDK trong tiến trình bên trong AX Code
• Nhận gRPC làm truyền tải trò chuyện chính
• Khung trò chuyện socket Unix tùy chỉnh hoặc không phải OpenAI cho máy khách bên thứ nhất
• Nướng trọng số mô hình vào trình cài AX Code