Trang này được dịch từ tài liệu tiếng Anh. Lệnh, định danh và ví dụ giữ nguyên. Runtime 7.24.4 · SDK 2.6.7. Bản tiếng Anh

Chọn và khôi phục mô hình

Trạng thái: Đang hoạt động Phạm vi: trạng thái hiện tại Xem xét lần cuối: 2026-10-10 Chủ sở hữu: ax-code runtime

AX Code giữ nguyên các lựa chọn nhà cung cấp/mô hình chính xác. Kết nối một nhà cung cấp không thêm nó vào một nhóm khôi phục tự động. Khi chưa cấu hình dự phòng, các lỗi tạm thời thử lại đúng mục tiêu đã chọn trong giới hạn thử lại hiện có rồi dừng.

Cấu hình một chuỗi dự phòng có thứ tự

Đặt llm_routing.fallback trong cấu hình người dùng, một cấu hình tùy chỉnh được chọn bằng AX_CODE_CONFIG, hoặc AX_CODE_CONFIG_CONTENT tường minh. Các mục tiêu là cặp chính xác; mã mô hình có thể chứa dấu gạch chéo. Ví dụ:

{
  "model": "my-gateway/openai/gpt-oss-120b",
  "llm_routing": {
    "fallback": [
      { "providerID": "my-gateway", "modelID": "my-backup-model" },
      { "providerID": "my-other-provider", "modelID": "my-approved-model" }
    ]
  }
}

Hãy thay các ví dụ này bằng mã chính xác từ các nhà cung cấp bạn đã cấu hình. Danh sách cho phép tới tám mục tiêu khác nhau. Rỗng hoặc vắng mặt nghĩa là không đổi mục tiêu. Cấu hình dự án và từ xa có thể thu hẹp quyền của người dùng nhưng không thể thêm hoặc sắp xếp lại chúng. Các hạn chế được quản lý tạo một trần cuối cùng. Thiếu mục tiêu kế tiếp đã cấu hình sẽ dừng khôi phục; AX Code không thay bằng một mục danh mục khác.

Giới hạn tốc độ tạm thời thông thường, quá tải đã nhận ra và lỗi máy chủ có thể tiến qua danh sách này sau các lần thử lại cùng mục tiêu. Lỗi xác thực, quyền, hạn mức vĩnh viễn và yêu cầu không hợp lệ không cho phép chuyển. Các phiên nhà cung cấp cục bộ không tự di chuyển sang suy luận từ xa. Hủy sẽ dừng chuỗi. Khôi phục sau khi yêu cầu hiện tại đã xuất bản đầu ra hoặc đã bắt đầu một công cụ cũng dừng, giữ tiến độ một phần thay vì phát lại hiệu ứng.

Bộ xử lý thường cho phép năm lần thử lại cùng mục tiêu sau lần thử đầu; lỗi giới hạn đồng thời có trần tám lần thử. Cầu dao nhà cung cấp và các giới hạn lỗi ngoài có thể dừng sớm hơn. Các bước vòng công cụ thành công là yêu cầu mới, không phải thử lại việc trước. Các lần thử lại AI SDK bị tắt tại các điểm sinh trực tiếp được kiểm soát. Các lần thử nội bộ của CLI bên ngoài và cổng có thể vẫn không nhìn thấy được.

Việc phụ và cấu hình hiện có

Không có small_model, tiêu đề, tóm tắt và nén kế thừa mô hình chính. Một small_model tường minh hoặc mô hình tác nhân theo vai trò vẫn chọn đúng mục tiêu đó. Ghim không hợp lệ sẽ thất bại thay vì chuyển sang nhà cung cấp hoặc mô hình khác. Việc tiêu đề/tóm tắt tùy chọn giữ hành vi tiêu đề cục bộ/bỏ qua. Nén giữ bản ghi khi thất bại và chỉ đổi mô hình qua khôi phục đã cấu hình.

Các mô hình chính đã cấu hình, ghim nhiệm vụ/tác nhân/lệnh và các lựa chọn gần đây đã lưu cũng vẫn chính xác. Hãy gỡ hoặc sửa một ghim không khả dụng một cách tường minh. Các lần chạy không giao diện không có lựa chọn đã cấu hình hoặc gần đây cần --model. Bộ chọn mô hình nhìn thấy được có thể đưa gợi ý, nhưng các gợi ý đó không trở thành danh sách khôi phục.

Bộ phân loại độ phức tạp tùy chọn cần một mô hình phụ tường minh; không có thì việc phân loại bị bỏ. Nó được neo vào nhà cung cấp đã yêu cầu khi có một mô hình chính. Các lựa chọn chính tường minh sống sót qua định tuyến chủ đề tác nhân.

Kiểm tra cấu hình đang có hiệu lực

ax-code debug routing
ax-code debug routing --model my-gateway/openai/gpt-oss-120b

Lệnh này in mô hình chính chính xác, chuỗi dự phòng có thứ tự, lựa chọn phụ, các ghim tác nhân và giới hạn thử lại. Nó không gửi yêu cầu mô hình hay dò khả dụng của mô hình. Nạp cấu hình bình thường có thể lấy các thiết lập từ xa đã cấu hình. Đây là lời giải thích cấu hình, không phải dựng lại hành vi cổng trong quá khứ.

Tin nhắn người dùng ghi lựa chọn đến từ một yêu cầu, một ghim tác nhân, định tuyến độ phức tạp/lai hay mặc định phiên/cấu hình. Nguồn này mô tả cổng vào cục bộ; request không chứng thực ai đã vận hành một máy khách API. Bằng chứng yêu cầu ghi mục đích và mục tiêu đã chọn. Tự mô tả do mô hình sinh và tên mô hình trong bộ nhớ hoặc ví dụ công cụ không phải bằng chứng định tuyến. AX Trust và các nhà cung cấp bên ngoài giữ trách nhiệm về định tuyến và ủy quyền thượng nguồn.