Trang này được dịch từ tài liệu tiếng Anh. Lệnh, định danh và ví dụ giữ nguyên. Runtime 7.24.4 · SDK 2.6.7. Bản tiếng Anh

Định tuyến tự động

Trạng thái: Đang hoạt động Phạm vi: trạng thái hiện tại Xem xét lần cuối: 2026-10-10 Chủ sở hữu: ax-code runtime

Định tuyến tự động điều khiển hai hành vi định tuyến độc lập trong ax-code:

1. Định tuyến từ khóa — hoạt động theo mặc định. Đổi tác nhân khi một tin nhắn khớp từ khóa hoặc mẫu của một chuyên gia. Kích hoạt dưới 1ms và không cần lần gọi LLM. Nó bị bỏ khi định tuyến bị tắt tường minh, người dùng nêu tên một tác nhân một cách tường minh, hoặc tin nhắn là một lần tiếp tục tổng hợp giữ tác nhân hiện tại.

2. Định tuyến độ phức tạp — tùy chọn, được bật bởi công tắc định tuyến tự động. Một lần gọi LLM nhẹ phân loại mỗi tin nhắn là độ phức tạp low, medium hoặc high. Các tin nhắn độ phức tạp low được phục vụ tự động bởi small_model đã cấu hình tường minh, giảm độ trễ cho câu hỏi đơn giản.

Theo mặc định, định tuyến tự động tắt — định tuyến độ phức tạp bị tắt. Định tuyến từ khóa tách khỏi công tắc này và vẫn hoạt động theo mặc định trừ khi bị tắt bởi cấu hình hoặc bị bỏ qua bởi một lựa chọn tác nhân tường minh.

Bắt đầu nhanh

Bật tắt từ TUI:

• Gõ /smart-llm trong lời nhắc, hoặc
• Nhấn Ctrl+P và tìm “auto-route”, hoặc
• Nhấp chỉ báo Định tuyến tự động Bật/Tắt trên thanh trạng thái

Thanh trạng thái hiện trạng thái hiện tại:

• Định tuyến tự động Bật (chữ tím) — định tuyến độ phức tạp đang hoạt động
• Định tuyến tự động Tắt (chữ trắng) — định tuyến độ phức tạp bị tắt (mặc định)

Thiết lập được giữ qua các phiên trong ax-code.json.

Cách hoạt động

Nguồn sự thật

Trang này tóm tắt hành vi hướng tới người dùng. Khi hành vi đổi, hãy đối chiếu tài liệu với:

• packages/ax-code/src/agent/router.ts cho quy tắc định tuyến từ khóa và classifyComplexity().
• packages/ax-code/src/session/prompt.ts cho lúc định tuyến từ khóa bị bỏ và lúc phân loại độ phức tạp chạy.
• packages/ax-code/src/server/routes/smart-llm.ts cho hành vi mặc định, môi trường, cấu hình và lưu bền.
• packages/ax-code/src/config/schema.ts cho các trường cấu hình định tuyến và ghi chú ngừng dùng.
• packages/ax-code/src/cli/tui/app.tsx cho tên lệnh gạch chéo, bí danh, nhãn và hành động thanh trạng thái.
• packages/ax-code/test/agent/router.test.ts và các kiểm thử đồng bộ TUI cho hành vi kích hoạt kỳ vọng.

Tránh mô tả định tuyến từ khóa và định tuyến độ phức tạp mô hình nhanh như một tính năng. Chúng cố ý tách biệt.

Định tuyến từ khóa (mặc định hoạt động, <1ms)

Tin nhắn người dùng được khớp với mẫu từ khóa và regex của từng tác nhân chuyên gia (security, architect, debug, perf, devops, test). Nếu một lần khớp đạt độ tin cậy ≥ 0.4, tác nhân có thể đổi ngay — không có lần gọi LLM. Đường này độc lập với công tắc định tuyến tự động, nhưng bị bỏ khi định tuyến bị tắt, người dùng nêu tên một tác nhân một cách tường minh, hoặc lượt hiện tại đang giữ một tác nhân hiện có cho lần tiếp tục tổng hợp.

Định tuyến độ phức tạp (chỉ định tuyến tự động, ~200-500ms)

Khi định tuyến tự động được bật, mỗi tin nhắn được gửi tới một mô hình nhanh/rẻ qua classifyComplexity(). Lần gọi LLM này trả một ước lượng độ phức tạp (low / medium / high):

• Tin nhắn độ phức tạp low dùng small_model đã cấu hình tường minh một cách tự động
• Tin nhắn medium và high dùng mô hình mặc định như thường
• Bị bỏ nếu small_model vắng hoặc không khả dụng
• Thời gian chờ 1.5 giây — lùi im lặng nếu LLM chậm hoặc không khả dụng
• Mọi lỗi được bắt im lặng — không bao giờ chặn người dùng

Định tuyến độ phức tạp độc lập với định tuyến tác nhân. Nó không phân loại nên dùng chuyên gia nào — việc đó hoàn toàn do định tuyến từ khóa xử lý.

Định tuyến tự động giúp những gì

Định tuyến từ khóa xử lý việc chọn tác nhân chuyên gia cho từ khóa kỹ thuật. Định tuyến độ phức tạp chọn tầng mô hình phù hợp dựa trên câu trả lời cần bao nhiêu suy luận.

Hạn chế và lưu ý

Độ trễ

Định tuyến độ phức tạp thêm 200-500ms cho các tin nhắn kích hoạt lần gọi phân loại. Định tuyến từ khóa (luôn hoạt động) không bị ảnh hưởng — nó trả về trong <1ms dù thế nào.

Cần một mô hình nhỏ

Định tuyến độ phức tạp cần cấu hình small_model tường minh. AX Code không suy ra một trợ giúp từ tên mô hình hay chuyển một ghim không khả dụng sang nhà cung cấp khác. Không có trợ giúp dùng được thì việc phân loại bị bỏ và mô hình chính đã chọn được giữ. Xem Khôi phục mô hình.

Mức dùng token

Mỗi lần gọi phân loại dùng khoảng 100-200 token đầu vào và 10-20 token đầu ra — không đáng kể so với lần gọi LLM chính theo sau.

Không thay thế lựa chọn tường minh

Định tuyến tự động cải thiện việc chọn tầng mô hình tự động nhưng không thể định tuyến tới tác nhân chuyên gia chỉ dựa trên ngôn ngữ tự nhiên. Với các nhiệm vụ quan trọng mà đúng chuyên gia là điều then chốt, chọn tác nhân tường minh qua bộ chọn tác nhân hoặc nhắc @agent đáng tin hơn.

Cấu hình

Bật tắt từ TUI

Dùng /smart-llm hoặc bảng lệnh (Ctrl+P → “Bật/tắt định tuyến tự động”). Thay đổi có hiệu lực ngay và được lưu vào ax-code.json của dự án bạn.

Tệp cấu hình

{
  "routing": {
    "llm": true
  }
}

Biến môi trường

AX_CODE_SMART_LLM=true ax-code

Biến môi trường ghi đè thiết lập trong tệp cấu hình.

Định tuyến tự động cùng các thiết lập khác

Khi nào nên bật định tuyến tự động

Hãy bật nếu:

• Bạn muốn câu hỏi đơn giản tự được định tuyến tới mô hình rẻ hơn, nhanh hơn
• Bạn muốn giảm chi phí token trên các trao đổi độ phức tạp thấp
• Bạn làm việc với nhà cung cấp có mô hình nhỏ/flash đáng tin

Hãy giữ tắt nếu:

• Bạn muốn không thêm độ trễ trên mọi tin nhắn
• Bạn làm việc ngoại tuyến hoặc với mạng không ổn định
• Bạn muốn giảm thiểu mức dùng token
• Bạn luôn ghim một mô hình một cách tường minh