Diese Seite ist eine Übersetzung der englischen Dokumentation. Befehle, Bezeichner und Beispiele bleiben unverändert. Runtime 7.24.4 · SDK 2.6.7. Englische Fassung

Lokale Laufzeiten MTPLX und oMLX

Status: Aktiv

Umfang: Integration der Quellarbeitskopie

Zuletzt geprüft: 2026-09-19

Verantwortlich: AX-Code-Laufzeit

Die Quellarbeitskopie enthält getrennte Vorgaben MTPLX (mtplx) und oMLX (omlx) unter /connect → Lokale LLM-Laufzeit. Diese Vorgaben sind in den gepackten Binärdateien v7.19.3 nicht enthalten und verbinden sich mit einem bereits laufenden Server. AX Code installiert, startet oder stimmt diese Laufzeiten nicht ab.

Verbinden

Starten Sie Ihre Laufzeit und laden Sie ein Modell, das Coding-Tools unterstützt. Folgen Sie der MTPLX-Anleitung oder der oMLX-Anleitung.
Wählen Sie MTPLX oder oMLX im Menü der lokalen Laufzeit von AX Code und bestätigen Sie den Serverendpunkt.
Wählen Sie ein codingfähiges Modell. Modell-IDs stammen aus der Antwort GET /v1/models des Servers.

Laufzeit	Anbieter-ID	Standard-API-Endpunkt	Host-Überschreibung in AX Code
MTPLX	`mtplx`	`http://localhost:8000/v1`	`MTPLX_HOST`
oMLX	`omlx`	`http://localhost:8000/v1`	`OMLX_HOST`

Beide Upstream-Server verwenden standardmäßig Port 8000. Führen Sie sie nacheinander aus oder weisen Sie verschiedene Ports zu und speichern Sie diese Endpunkte getrennt. AX Code hängt /v1 einmal an, wenn es fehlt. Ein gespeicherter Endpunkt hat Vorrang vor der Host-Überschreibung. Das Auflisten einer Vorgabe prüft oder aktiviert sie nicht. Vorhandene Listen zum Aktivieren und Deaktivieren von Anbietern bleiben maßgeblich. Wenn Sie eine Zulassungsliste verwenden, fügen Sie die neue ID hinzu, ohne Ihre anderen Anbieter zu entfernen.

Beispiele mit ausdrücklichen Ports:

mtplx serve --model /path/to/your/mtplx-model --host 127.0.0.1 --port 8000
omlx serve --model-dir /path/to/your/models --host 127.0.0.1 --port 8001

Verwenden Sie den Endpunkt, der zu dem Server gehört, den Sie gestartet haben. Prüfen Sie seine Modell-IDs mit curl http://localhost:8000/v1/models (ändern Sie den Port für Ihre Konfiguration).

Coding-Tools und Authentifizierung

Die native Chat-Auflistung von MTPLX kennzeichnet owned_by: "mtplx" und capability: "chat" getrennt von Retrieval-Modellen. AX Code lässt diesen Chat-Transport für die Toolnutzung zu, außer er deaktiviert Tools ausdrücklich. Eine allgemeine oder unerkannte Auflistung behält vorsichtige Vorgaben.

Die Modellauflistung von oMLX erklärt die Toolunterstützung nicht je Modell und kann Nicht-Chat-Modelle enthalten. Aktivieren Sie Tools nur für ein Modell, dessen Chat-Vorlage sie unterstützt. Fügen Sie dies Ihrer AX-Code-Konfiguration hinzu und ersetzen Sie die genaue Modell-ID, die Ihr Server zurückgibt:

{
  "provider": {
    "omlx": {
      "options": { "baseURL": "http://localhost:8001/v1" },
      "models": {
        "your-tool-capable-model-id": { "tool_call": true }
      }
    }
  }
}

Die ausdrückliche Toolwahl übersteht die Entdeckung. Andere entdeckte Modelle werden nicht zu Coding-Modellen befördert. Das native max_model_len von oMLX wird für die Kontextgrenze verwendet, soweit vorhanden. Sampler-Einstellungen der Laufzeit, MTP-Aktivierung und serverseitige Ausgabegrenzen bleiben im Besitz der Laufzeit.

Setzen Sie für einen Server, der Authentifizierung verlangt, provider.mtplx.options.apiKey oder provider.omlx.options.apiKey in Ihrer Konfiguration, zum Beispiel "{env:OMLX_API_KEY}". AX Code sendet dieses konfigurierte Bearer-Zugangsdatum sowohl für die Entdeckung als auch für die Inferenz. Der Dialog des lokalen Endpunkts fragt nicht nach einem Token. Legen Sie keine Zugangsdaten in die Endpunkt-URL.

AXQuant Qwen MTP in oMLX

Die Qwen-MTP-Pakete von AXQuant enthalten einen getrennten Kopf mtp.safetensors und einen Ausführungsvertrag mtplx_runtime.json. Jüngere Metadaten enthalten außerdem axquant_omlx_compat.json, das die 15 MTP-Tensoren für dieses 27B-Paket auflistet. Diese Dateien beschreiben Kompatibilität. Allein das Einschalten von Lightning MTP importiert den Kopf nicht.

Verwenden Sie für oMLX 0.6.4 eine vollständige, beschreibbare lokale Modellkopie. Wählen Sie unter Modelleinstellungen MTP-Sidecar importieren und aktivieren Sie dann Lightning MTP. Der Upstream-Importer bereitet einen MTP-Shard vor und aktualisiert den Checkpoint-Index dieser lokalen Kopie. Bewahren Sie das ursprünglich heruntergeladene Paket für andere Laufzeiten intakt. Bearbeiten Sie einen gemeinsamen Hugging-Face-Cache-Schnappschuss nicht an Ort und Stelle. Siehe die Modellhinweise von AXQuant. AX Code verbindet sich mit dem vorbereiteten Server und ändert keine Modellgewichte und führt diesen Import nicht aus.

Leistung und Umfang

Loopback-Verbindungen von MTPLX und oMLX erhalten das lokale Verhalten der Präfixstabilität: deterministische Toolreihenfolge und flüchtiger Kontext nach der Gesprächshistorie. Entfernte Endpunkte und von AX Trust verwaltete Verbindungen behalten ihr vorhandenes Verhalten. Cloud- und AX-Trust-Einstellungen werden durch diese Vorgaben nicht geändert.

Siehe den erneuten Clienttest von AX Code und OpenCode für die vollständige Matrix mit aktiviertem MTP nach der lokalen Präfixkorrektur, einschließlich Hardware, Versionen, Modellidentität, Cache-Zustand, Zeitdefinitionen und Codeprüfungen. Die früheren Laufzeitmessungen behalten native Decode-Wiedergaben und historische Clientergebnisse. Eine funktionierende OpenAI-kompatible Verbindung belegt weder die Coding-Qualität eines Modells noch garantiert sie eine Decode-Rate.