이 페이지는 영어 문서의 번역입니다. 명령, 식별자, 예제는 그대로입니다. 런타임 7.24.4 · SDK 2.6.7. 영어 원문

MTPLX와 oMLX 로컬 런타임

상태: 활성

범위: 소스 checkout 통합

최종 검토: 2026-09-19

담당: ax-code 런타임

소스 checkout에는 별도의 MTPLX(mtplx)와 oMLX(omlx) 프리셋이 /connect 아래 로컬 LLM 런타임에 있습니다. 이 프리셋은 v7.19.3 패키지 바이너리에 포함되지 않습니다. 이미 실행 중인 서버에 연결합니다. AX Code는 이 런타임을 설치하거나, 시작하거나, 조정하지 않습니다.

연결

런타임을 시작하고 코딩 도구를 지원하는 모델을 불러옵니다. MTPLX 안내 또는 oMLX 안내를 따릅니다.
AX Code의 로컬 런타임 메뉴에서 MTPLX 또는 oMLX를 고르고 서버 엔드포인트를 확인합니다.
코딩이 가능한 모델을 고릅니다. 모델 ID는 서버의 GET /v1/models 응답에서 옵니다.

런타임	공급자 ID	기본 API 엔드포인트	AX Code 호스트 재정의
MTPLX	`mtplx`	`http://localhost:8000/v1`	`MTPLX_HOST`
oMLX	`omlx`	`http://localhost:8000/v1`	`OMLX_HOST`

두 업스트림 서버의 기본 포트는 8000입니다. 한 번에 하나만 실행하거나, 포트를 다르게 지정하고 그 엔드포인트를 따로 저장합니다. 빠뜨리면 AX Code가 /v1을 한 번 붙입니다. 저장된 엔드포인트는 호스트 재정의보다 우선합니다. 프리셋을 나열한다고 조사하거나 활성화하지는 않습니다. 기존 공급자 사용/사용 안 함 목록이 기준입니다. 허용 목록을 쓰면 다른 공급자를 빼지 않은 채 새 ID를 추가합니다.

포트를 명시한 예입니다.

mtplx serve --model /path/to/your/mtplx-model --host 127.0.0.1 --port 8000
omlx serve --model-dir /path/to/your/models --host 127.0.0.1 --port 8001

시작한 서버에 해당하는 엔드포인트를 사용합니다. 모델 ID는 curl http://localhost:8000/v1/models로 확인합니다. 구성에 맞게 포트를 바꿉니다.

코딩 도구와 인증

MTPLX의 네이티브 채팅 목록은 검색 모델과 별개로 owned_by: "mtplx"와 capability: "chat"을 식별합니다. 도구를 명시적으로 끄지 않는 한, AX Code는 도구 사용을 위해 그 채팅 전송을 받아들입니다. 일반적이거나 인식하지 못한 목록은 보수적인 기본값을 유지합니다.

oMLX의 모델 목록은 모델별 도구 지원을 선언하지 않으며 채팅이 아닌 모델을 포함할 수 있습니다. 채팅 템플릿이 도구를 지원하는 모델에만 도구를 켭니다. 서버가 반환한 정확한 모델 ID로 바꿔 AX Code 구성에 다음을 추가합니다.

{
  "provider": {
    "omlx": {
      "options": { "baseURL": "http://localhost:8001/v1" },
      "models": {
        "your-tool-capable-model-id": { "tool_call": true }
      }
    }
  }
}

명시적인 도구 선택은 탐색 뒤에도 유지됩니다. 발견한 다른 모델은 코딩 모델로 올리지 않습니다. oMLX의 네이티브 max_model_len는 있을 때 컨텍스트 한도로 사용됩니다. 런타임 샘플러 설정, MTP 사용, 서버 쪽 출력 한도는 런타임이 갖습니다.

인증이 필요한 서버에는 구성에서 provider.mtplx.options.apiKey 또는 provider.omlx.options.apiKey을 설정합니다. 예를 들어 "{env:OMLX_API_KEY}"입니다. AX Code는 그 구성된 bearer 자격 증명을 추론뿐 아니라 탐색에도 보냅니다. 로컬 엔드포인트 대화 상자는 토큰을 묻지 않습니다. 자격 증명을 엔드포인트 URL에 넣지 마십시오.

oMLX의 AXQuant Qwen MTP

AXQuant의 Qwen MTP 팩에는 별도의 mtp.safetensors 헤드와 mtplx_runtime.json 실행 계약이 있습니다. 최근 메타데이터에는 이 27B 팩의 MTP 텐서 15개를 나열하는 axquant_omlx_compat.json도 있습니다. 이 파일은 호환을 설명합니다. Lightning MTP만 켠다고 헤드가 가져와지지는 않습니다.

oMLX 0.6.4에서는 완전하고 쓸 수 있는 로컬 모델 사본을 사용합니다. 모델 설정에서 MTP 사이드카 가져오기를 고른 다음 Lightning MTP를 켭니다. 업스트림 가져오기는 MTP 샤드를 준비하고 그 로컬 사본의 체크포인트 인덱스를 갱신합니다. 다른 런타임을 위해 원래 내려받은 팩은 그대로 둡니다. 공유 Hugging Face 캐시 스냅샷을 그 자리에서 편집하지 마십시오. AXQuant 모델 안내를 보십시오. AX Code는 준비된 서버에 연결하며, 모델 가중치를 수정하거나 이 가져오기를 수행하지 않습니다.

성능과 범위

루프백 MTPLX와 oMLX 연결은 로컬 접두사 안정 동작을 받습니다. 결정적인 도구 순서와, 대화 기록 뒤의 일시적 컨텍스트입니다. 원격 엔드포인트와 AX Trust가 관리하는 연결은 기존 동작을 유지합니다. 클라우드와 AX Trust 설정은 이 프리셋으로 바뀌지 않습니다.

로컬 접두사 수정 이후 MTP가 켜진 전체 행렬은 AX Code/OpenCode 클라이언트 재시험을 보십시오. 하드웨어, 버전, 모델 신원, 캐시 상태, 시간 정의, 코드 검사가 포함됩니다. 이전 런타임 측정에는 네이티브 디코드 재생과 과거 클라이언트 결과가 남아 있습니다. OpenAI 호환 연결이 동작한다고 모델의 코딩 품질이 확립되거나 디코드 속도가 보장되지는 않습니다.