Cette page est traduite de la documentation anglaise. Les commandes, identifiants et exemples sont inchangés. Runtime 7.24.4 · SDK 2.6.7. Source anglaise

Runtimes locaux MTPLX et oMLX

Statut : Actif

Portée : intégration d’une extraction des sources

Dernière revue : 2026-09-19

Responsable : runtime ax-code

L’extraction des sources inclut des préréglages distincts MTPLX (mtplx) et oMLX (omlx) sous /connect → Runtime LLM local. Ces préréglages ne sont pas inclus dans les binaires empaquetés v7.19.3. Ils se connectent à un serveur déjà en cours ; AX Code n’installe, ne lance ni ne règle ces runtimes.

Connexion

1. Démarrez votre runtime et chargez un modèle qui prend en charge les outils de codage. Suivez les instructions MTPLX ou les instructions oMLX.
2. Sélectionnez MTPLX ou oMLX dans le menu de runtime local d’AX Code et confirmez le point de terminaison du serveur.
3. Sélectionnez un modèle capable de coder. Les identifiants de modèle viennent de la réponse GET /v1/models du serveur.

Les deux serveurs en amont utilisent le port 8000 par défaut. Exécutez-les un à la fois, ou assignez des ports différents et enregistrez ces points de terminaison séparément. AX Code ajoute /v1 une fois s’il est omis. Un point de terminaison enregistré a la préséance sur le forçage d’hôte. Lister un préréglage ne le sonde ni ne l’active. Les listes existantes d’activation et de désactivation des fournisseurs restent souveraines ; si vous utilisez une liste d’autorisation, ajoutez le nouvel identifiant sans retirer vos autres fournisseurs.

Exemples avec des ports explicites :

mtplx serve --model /path/to/your/mtplx-model --host 127.0.0.1 --port 8000
omlx serve --model-dir /path/to/your/models --host 127.0.0.1 --port 8001

Utilisez le point de terminaison qui correspond au serveur que vous avez démarré. Inspectez ses identifiants de modèle avec curl http://localhost:8000/v1/models (changez le port pour votre configuration).

Outils de codage et authentification

La liste de conversation native de MTPLX identifie owned_by: "mtplx" et capability: "chat" séparément des modèles de recherche. AX Code admet ce transport de conversation pour l’usage d’outils, sauf s’il désactive explicitement les outils. Une liste générique ou non reconnue conserve des défauts conservateurs.

La liste de modèles d’oMLX ne déclare pas la prise en charge d’outils par modèle et peut inclure des modèles hors conversation. N’activez les outils que pour un modèle dont le modèle de conversation les prend en charge. Ajoutez ceci à votre configuration AX Code, en remplaçant l’identifiant exact de modèle renvoyé par votre serveur :

{
  "provider": {
    "omlx": {
      "options": { "baseURL": "http://localhost:8001/v1" },
      "models": {
        "your-tool-capable-model-id": { "tool_call": true }
      }
    }
  }
}

Le choix d’outil explicite survit à la découverte. Les autres modèles découverts ne sont pas promus en modèles de codage. Le max_model_len natif d’oMLX est utilisé pour la limite de contexte lorsqu’il est présent. Les réglages d’échantillonneur du runtime, l’activation MTP et les limites de sortie côté serveur restent possédés par le runtime.

Pour un serveur qui exige une authentification, définissez provider.mtplx.options.apiKey ou provider.omlx.options.apiKey dans votre configuration, par exemple "{env:OMLX_API_KEY}". AX Code envoie cet identifiant porteur configuré pour la découverte comme pour l’inférence. La boîte de dialogue de point de terminaison local ne demande pas de jeton. Ne placez pas d’identifiants dans l’URL du point de terminaison.

MTP Qwen AXQuant dans oMLX

Les paquets MTP Qwen d’AXQuant incluent une tête distincte mtp.safetensors et un contrat d’exécution mtplx_runtime.json. Les métadonnées récentes incluent aussi axquant_omlx_compat.json, qui liste les 15 tenseurs MTP de ce paquet 27B. Ces fichiers décrivent la compatibilité ; activer Lightning MTP seul n’importe pas la tête.

Pour oMLX 0.6.4, utilisez une copie locale de modèle complète et accessible en écriture. Dans Réglages du modèle, sélectionnez Importer le sidecar MTP, puis activez Lightning MTP. L’importateur amont prépare un fragment MTP et met à jour l’index de point de contrôle de cette copie locale. Gardez le paquet téléchargé d’origine intact pour les autres runtimes ; ne modifiez pas sur place un instantané de cache Hugging Face partagé. Voir les instructions du modèle AXQuant. AX Code se connecte au serveur préparé et ne modifie pas les poids du modèle ni n’effectue cet import.

Performance et portée

Les connexions MTPLX et oMLX en boucle locale reçoivent le comportement local de stabilité de préfixe : ordre d’outils déterministe et contexte transitoire après l’historique de conversation. Les points de terminaison distants et les connexions gérées par AX Trust conservent leur comportement existant ; les réglages cloud et AX Trust ne sont pas changés par ces préréglages.

Voir le nouveau test client AX Code/OpenCode pour la matrice complète avec MTP activé après le correctif de préfixe local, y compris le matériel, les versions, l’identité du modèle, l’état du cache, les définitions de chronométrage et les contrôles de code. Les mesures d’exécution antérieures conservent les rejeux de décodage natif et les résultats clients historiques. Une connexion compatible OpenAI qui fonctionne n’établit pas la qualité de codage d’un modèle et ne garantit pas un débit de décodage.