Esta página es una traducción de la documentación en inglés. Los comandos, identificadores y ejemplos no cambian. Runtime 7.24.4 · SDK 2.6.7. Original en inglés

Entornos de ejecución locales MTPLX y oMLX

Estado: Activo

Alcance: integración del checkout de código fuente

Última revisión: 2026-09-19

Responsable: entorno de ejecución de ax-code

El checkout de código fuente incluye ajustes predefinidos aparte de MTPLX (mtplx) y oMLX (omlx) bajo /connect → Local LLM runtime. Estos ajustes no están incluidos en los binarios empaquetados de v7.19.3. Se conectan a un servidor que ya está en marcha; AX Code no instala, lanza ni ajusta estos entornos de ejecución.

Conectar

1. Inicia tu entorno de ejecución y carga un modelo que admita herramientas de programación. Sigue las instrucciones de MTPLX o las instrucciones de oMLX.
2. Selecciona MTPLX u oMLX en el menú de entorno de ejecución local de AX Code y confirma el endpoint del servidor.
3. Selecciona un modelo capaz de programar. Los ID de modelo proceden de la respuesta GET /v1/models del servidor.

Ambos servidores de origen usan de forma predeterminada el puerto 8000. Ejecútalos de uno en uno, o asigna puertos distintos y guarda esos endpoints por separado. AX Code añade /v1 una vez si se omite. Un endpoint guardado tiene precedencia sobre la anulación de host. Listar un ajuste predefinido no lo sondea ni lo activa. Las listas existentes de activación y desactivación de proveedores siguen siendo autoritativas; si usas una lista de permitidos, añade el ID nuevo sin quitar tus otros proveedores.

Ejemplos con puertos explícitos:

mtplx serve --model /path/to/your/mtplx-model --host 127.0.0.1 --port 8000
omlx serve --model-dir /path/to/your/models --host 127.0.0.1 --port 8001

Usa el endpoint que corresponde al servidor que iniciaste. Inspecciona sus ID de modelo con curl http://localhost:8000/v1/models (cambia el puerto según tu configuración).

Herramientas de programación y autenticación

El listado nativo de chat de MTPLX identifica owned_by: "mtplx" y capability: "chat" aparte de los modelos de recuperación. AX Code admite ese transporte de chat para el uso de herramientas salvo que desactive las herramientas de forma explícita. Un listado genérico o no reconocido conserva valores predeterminados conservadores.

El listado de modelos de oMLX no declara el soporte de herramientas por modelo y puede incluir modelos que no son de chat. Activa las herramientas solo para un modelo cuya plantilla de chat las admita. Añade esto a tu configuración de AX Code, sustituyendo el ID exacto de modelo que devuelve tu servidor:

{
  "provider": {
    "omlx": {
      "options": { "baseURL": "http://localhost:8001/v1" },
      "models": {
        "your-tool-capable-model-id": { "tool_call": true }
      }
    }
  }
}

La elección explícita de herramientas sobrevive al descubrimiento. Los demás modelos descubiertos no se promueven a modelos de programación. El max_model_len nativo de oMLX se usa para el límite de contexto cuando está presente. Los ajustes del muestreador del entorno de ejecución, la activación de MTP y los límites de salida del lado del servidor siguen siendo propiedad del entorno de ejecución.

Para un servidor que exige autenticación, establece provider.mtplx.options.apiKey o provider.omlx.options.apiKey en tu configuración, por ejemplo "{env:OMLX_API_KEY}". AX Code envía esa credencial bearer configurada tanto para el descubrimiento como para la inferencia. El diálogo del endpoint local no pide un token. No pongas credenciales en la URL del endpoint.

MTP de Qwen AXQuant en oMLX

Los paquetes MTP de Qwen de AXQuant incluyen una cabeza aparte mtp.safetensors y un contrato de ejecución mtplx_runtime.json. Los metadatos recientes también incluyen axquant_omlx_compat.json, que lista los 15 tensores MTP de este paquete de 27B. Estos archivos describen la compatibilidad; activar Lightning MTP por sí solo no importa la cabeza.

Para oMLX 0.6.4, usa una copia local del modelo completa y escribible. En Model Settings, selecciona Import MTP side-car y luego activa Lightning MTP. El importador de origen prepara un fragmento MTP y actualiza el índice de checkpoint de esa copia local. Conserva intacto el paquete descargado original para otros entornos de ejecución; no edites in situ una instantánea compartida de la caché de Hugging Face. Consulta las instrucciones del modelo AXQuant. AX Code se conecta al servidor preparado y no modifica los pesos del modelo ni realiza esta importación.

Rendimiento y alcance

Las conexiones loopback de MTPLX y oMLX reciben el comportamiento local de estabilidad de prefijo: orden determinista de herramientas y contexto transitorio después del historial de la conversación. Los endpoints remotos y las conexiones gestionadas por AX Trust conservan su comportamiento existente; estos ajustes no cambian la configuración de la nube ni de AX Trust.

Consulta la repetición de pruebas del cliente AX Code/OpenCode para la matriz completa con MTP activado después de la corrección del prefijo local, incluido el hardware, las versiones, la identidad del modelo, el estado de la caché, las definiciones de tiempo y las comprobaciones de código. Las mediciones anteriores del entorno de ejecución conservan las reproducciones nativas de decode y los resultados históricos del cliente. Una conexión funcional compatible con OpenAI no establece la calidad de programación de un modelo ni garantiza una tasa de decode.