이 페이지는 영어 문서의 번역입니다. 명령, 식별자, 예제는 그대로입니다. 런타임 7.24.4 · SDK 2.6.7. 영어 원문

AX Engine 모델 선택

상태: 활성 범위: 현재 상태 최종 검토: 2026-09-20 담당: ax-code 런타임

AX Code는 대상이 되는 Apple Silicon Mac의 **AX Engine (로컬)**을 통해 이 두 개발 팩만 제공합니다. Tiel Coder가 기본값이고, Cyber-Tiel Coder가 대안입니다.

별칭은 각각 리비전 5ab39b24bfd7f65203be9b7823b1840486f58b6d와 fe05e871ec69ad9ae8eac01fd285555514ac7daf을 고정합니다. 둘 다 mlx 선택자를 사용하며, 게시자의 MXFP4 패키지를 유지합니다. 모델 카드는 인증된 품질 동등성이나 MTP 속도 주장이 없는 개발용 재양자화를 설명합니다. 이것을 고른다고 네이티브 실행이나 속도 향상이 확립되지는 않습니다.

AX Code는 서명된 AX Engine 7.5.7 릴리스를 묶습니다. 여기에는 커밋 51137c71a6794964d52c32c95e275c0923ed8d0b의 Tiel 사이드카 네임스페이스 로더 수정이 들어 있습니다. 이전 Homebrew 7.4.0 바이너리에는 그 수정이 없어 이 팩을 MlxMtpRequiredButUnavailable로 거부합니다. MTP 필수는 유지합니다. 명시적인 런타임 재정의에도 그 수정이 있어야 합니다. 네이티브 프리필과 디코드 측정은 원래 시험한 빌드 신원을 유지하며, 더 새로운 릴리스의 성능을 인증하지 않습니다.

Qwen3.8 27B, Ornith, Qwen3-Coder-Next와 그 밖의 모든 저장소는 새로운 관리 선택과 다운로드에서 제외됩니다. 고른 저장소는 각각 한 번만 나타납니다. 구성된 별칭과 더 오래된 캐시 리비전은 탐색 뒤에 선택지를 더하지 않습니다. 다른 공급자와 따로 구성된 루프백 붙이기 인터페이스는 동작을 유지합니다. AX Engine 자체의 밀집 기본값을 실행하려면 ax-engine serve qwen3.8-27b:axq을 시작하고 그 로컬 엔드포인트를 붙입니다. 측정된 제품 경로 MTP는 Mac mini M4 Pro 64 GB에서 디코드 31.05 tok/s, M5 Max 128 GB에서 디코드 76.90 tok/s / 프리필 795.3 tok/s입니다. 이 수치는 Tiel 완료 tok/s도 AX Code 세션 속도도 아닙니다. Tiel 피어 요약을 보십시오.

사용 가능한 모델을 살펴봅니다

ax-code providers ax-engine models --json
ax-code providers ax-engine models --refresh --json

새로 고침은 가중치를 내려받거나 모델을 시작하지 않고 Hugging Face 메타데이터를 읽습니다. 묶인 메타데이터는 오프라인에서 동작하며, 더 오래된 캐시에 고른 저장소가 없으면 그것을 보완합니다. 있는 리비전을 다른 묶인 리비전으로 조용히 바꾸지는 않습니다. 선택에는 여전히 유효한 소스 메타데이터가 필요합니다. 저장소 제한이 네이티브 기능을 확립하지는 않습니다.

GET /provider/ax-engine/models은 실행 중인 CLI의 카탈로그를 반환합니다. 각 모델의 정확한 ID, 저장소, 양자화, 로컬 상태, 메모리/디스크 추정, 검증 상태가 포함됩니다. 외부 GUI는 이 런타임 API를 사용합니다. 더 오래된 목록이 보이면 그것이 실행하는 CLI와 버전을 확인합니다. AX Coder 개발은 AX_CODE_BINARY 또는 settings.axCodeBinary으로 소스 런타임을 고를 수 있습니다.

고른 모델을 준비합니다

카탈로그에서 정확한 모델 ID를 복사합니다. 기본 Tiel 별칭은 mlx을 사용합니다.

ax-code providers ax-engine prepare \
  --model tiel-coder-35b-axq-mxfp4 --quantization mlx --download --start

제외된 모델은 작업을 시작하기 전에 새로운 준비, 다운로드, 관리형 활성화 요청에 실패합니다. 기존 모델 기록은 상태와 정리에 계속 사용할 수 있습니다. 제거된 Qwen3.8, Ornith, Qwen3-Coder-Next ID는 어느 Tiel 아티팩트로도 다시 보내지지 않습니다. 선택지를 제거해도 가중치가 지워지거나 기존 서버가 멈추지는 않습니다.

메모리와 런타임 검증

고른 두 별칭은 모두 65,536토큰 컨텍스트, 8,192토큰 출력 한도, 추정 메모리 요구 64 GiB, 다운로드 디스크 예산 32 GiB를 사용합니다. 이것은 업스트림 최대 컨텍스트가 아니라 AX Code의 서빙 한도입니다. (처음의 32,768토큰 컨텍스트에서 올렸습니다. 출력 예약을 빼면 쓸 수 있는 입력 토큰이 24,576개뿐이었고, 고정된 AX Code 에이전트 시스템 프롬프트와 도구 스키마가 요구하는 것보다 적어, 새 세션이 첫 턴을 보낼 수 없었습니다.)

각 메모리 추정에는 가중치, 사이드카, KV 캐시, 버퍼, 호스트 여유가 포함됩니다. 현재 머신에는 실시간 카탈로그의 적합 결과를 사용합니다. 이 추정은 하드웨어나 모델 품질 인증이 아닙니다.

64 GiB 수치는 보수적인 전체 컨텍스트(64K) 계획 예산이지, 하드 하한이 아닙니다. 여유 있는 관리형 로컬 추론 머신으로는 통합 메모리 48 GB 이상의 Apple Silicon M4 Pro(예를 들어 Mac Mini M4 Pro 48 GB)를 권장합니다. 더 작은 Apple Silicon Mac도 클라우드/API 모델이나 더 가벼운 로컬 런타임으로 8 GB에서 AX Code 자체를 실행할 수 있습니다.

관리형 활성화 전에 AX Code는 활성 AX Engine 모델의 텍스트와 구조화 도구 계약을 확인합니다. verification-required 상태는 준비는 끝났지만 그 실시간 계약이 아직 확립되지 않았다는 뜻입니다. 저장소 이름이나 MTP 사이드카만으로는 추론, 비전, MTP 가속, 여러 턴 코딩 품질이 증명되지 않습니다.

세션 압축은 활성 모델의 컨텍스트/출력 예산을 사용하고 입력 여유를 예약합니다. 고른 변형은 자신의 카탈로그 예산을 유지합니다. 소스 모델의 최대 컨텍스트는 관리형 메모리 보장이 아닙니다.

수명 주기와 전송 세부 정보는 로컬 엔진 아키텍처를 보십시오.

관리형 MTP 정책

관리형 AX Engine의 기본값은 required이며, 고른 MTP 아티팩트와 맞습니다. 사용할 수 없는 드래프터는 직접 디코딩으로 조용히 돌아가지 않고 시작에 실패합니다. MTP 가중치와 순수 스태킹 설정이 활성 가속을 확립하지는 않습니다. 기본 Tiel Coder 팩은 auto 추측 프로파일을 사용하므로, AX Engine은 일반 agentic 프로파일의 0.80 재정의 대신 모델의 드래프트 게이트를 고릅니다. 이것은 MTP 활성화 정책과 별개입니다. auto 조정은 여전히 required MTP를 사용합니다. 이전의 밀집 Qwen3.8 전용 실험 환경은 이 MoE 팩에 적용되지 않습니다. 측정된 이득은 프로파일 비교를 보십시오. Cyber-Tiel은 agentic을 유지합니다. 관리형 읽기 작업 프로브는 두 프로파일 모두에서 실패했으므로, 그 작업 신뢰성은 아직 해결되지 않았습니다. 활성화 정책은 required로 남습니다. 엔진은 실제 드래프터를 받아들여야 합니다. 정책을 명시적으로 고르려면 provider.ax-engine.options.mtpPolicy을 ax-code.json에 설정합니다.

{
  "provider": {
    "ax-engine": {
      "options": {
        "mtpPolicy": "required"
      }
    }
  }
}

공급자 옵션이 없으면 AX_ENGINE_MTP_POLICY가 같은 세 값을 제공합니다. 이 정책을 강제하려면, 기본 required 정책을 포함해, 자동 런타임 선택이 AX Engine 7.5.7 이상을 요구합니다. 명시적인 disabled과 auto 설정은 여전히 기본값을 재정의합니다. 더 오래되었거나 알 수 없는 바이너리는 실행 중인 엔진을 바꾸기 전에 정책 선택을 거부합니다. 관리형 정책 제어를 쓰기 전에 업그레이드합니다. 기록된 정책이 없는 과거 상태 파일은 실행된 정책을 알 수 없음으로 보고하며, 다음 관리형 시작에서 교체됩니다. 정책 변경은 다음 관리형 시작이나 모델 요청에서 적용되며, 정책이 다른 기존 프로세스를 교체합니다. 모델 선택이나 저장소는 바꾸지 않습니다.

ax-code providers ax-engine start --mtp-policy disabled는 그 시작에만 정책을 재정의합니다. 이후 코딩 요청도 같은 재정의를 써야 하면 지속되는 공급자 옵션을 설정합니다. 준비/시작 HTTP 본문도 mtpPolicy을 받습니다. 이 관리형 설정은 따로 붙인 엔드포인트를 다시 구성하지 않습니다. 소스를 갱신한 뒤에는 새 기본값을 불러오도록 pnpm run dev을 다시 시작합니다. 이미 실행 중인 개발 백엔드는 다시 시작할 때까지 불러온 코드를 유지합니다.

ax-code providers ax-engine status(또는 --json)는 요청된 정책, 실행된 정책, 관찰된 active/inactive/unknown 상태를 구분합니다. 관찰은 모델 메타데이터나 과거 드래프트 횟수가 아니라 엔진의 최신 모델 경로 지표를 사용합니다. 정확한 모델 표본이 없으면, 처음 관찰된 엔진 단계 전을 포함해, 알 수 없음으로 남습니다. 서버 전체 집계가 활성화를 확립하지는 않습니다. 구성된 required은 활동의 증명으로 표시되지 않습니다. 드래프트/수용 횟수는 있을 때 상주 엔진에 대해 누적됩니다. 대기 중인 정책 변경은 상태 점검 중에 다시 시작하지 않고 보고됩니다. MTP 활성화는 특정 토큰 속도의 약속이 아닙니다.

로컬 응답 속도 해석

관리형 AX Engine은 초당 토큰 상한을 두지 않습니다. 50 tok/s 같은 측정은 구성된 목표도 상한도 아닙니다. 더 빠른 하드웨어는 토큰을 더 빨리 만들 수 있습니다. 컨텍스트 크기, 출력 예산, 요청 동시성 한도는 용량을 제어하지, 고정된 토큰 생성 속도를 제어하지 않습니다.

현재 공개된 Tiel 대 MTPLX 스냅샷은 Tiel 피어 요약에 정리된 2026년 9월 20일 네이티브 API 캠페인입니다. M5 Max 128 GiB에서 관리 기본 Tiel 팩은 TTFT를 포함해 194.88 tok/s로 완료했습니다(디코드 217.85). Cyber-Tiel 최고 디코드 249.01 tok/s는 대체 팩이지 기본값이 아닙니다. 이 수치는 AX Code 세션 속도가 아닙니다.

같은 입력 길이, 출력 예산, 샘플링 설정, 캐시 상태에서 측정을 비교합니다. 짧은 프롬프트 디코드 측정은 수만 개의 컨텍스트 토큰이 있는 코딩 세션의 최저 속도를 확립하지 않습니다. 접두사를 다시 쓰면 프롬프트 처리가 줄어듭니다. 이후 디코딩은 여전히 그 컨텍스트에 주의를 기울입니다. MTP 활성화만으로 유용한 드래프트 수용이나 고정된 가속이 확립되지는 않습니다.

느린 턴을 조사할 때는 시작/설정, 첫 내용까지의 시간, 지속 생성을 구분합니다. 엔진의 ax_runtime_decode_tok_per_sec 지표는 현재 응답의 속도가 아니라 요청들에 걸친 지수 가중 평균입니다. 그 응답에는 요청 시간과 토큰 수를 쓰고, MTP 수용에는 카운터 델타를 사용합니다. 스트리밍 청크에는 여러 토큰이 들어 있을 수 있습니다. 청크를 토큰으로 세면 속도가 틀립니다.

AX Code는 성공한 실행 파일 버전 프로브를 최대 5분 동안 다시 사용합니다. 해석할 때마다 실행 파일 가용성을 확인하고, 실행 파일이나 네이티브 서버 파일 신원이 바뀌면 캐시된 버전을 무효화합니다. 실패한 프로브는 다시 시도할 수 있습니다. 이것은 반복되는 설정 작업을 줄입니다. 모델 디코드 속도는 바꾸지 않습니다. 소스 변경을 불러오려면 개발 백엔드를 다시 시작해야 합니다.