Diese Seite ist eine Übersetzung der englischen Dokumentation. Befehle, Bezeichner und Beispiele bleiben unverändert. Runtime 7.24.4 · SDK 2.6.7. Englische Fassung

Integration der lokalen Engine (AX Code)

Status: Aktiv Geltungsbereich: aktueller Stand Zuletzt geprüft: 2026-09-19 Verantwortlich: ax-code runtime Verwandt: ax-engine LOCAL-ENGINE-CLIENTS

Einrichtung der lokalen Laufzeit

Wählen Sie in /connect AX-Engine-Laufzeit und danach Ein Modell auswählen. AX Code konfiguriert die lokale Laufzeit und startet sie, wenn das gewählte Modell gebraucht wird. Es gibt kein Formular für eine Endpunkt-URL oder einen API-Schlüssel. Status anzeigen, Lokale Laufzeit stoppen (wenn sie läuft) und Deaktivieren verwalten den lokalen Prozess.

AX Code verwendet für AX Engine das Backend Sidecar-HTTP. Es startet ax-engine serve, verfolgt den eigenen Prozess und löst Loopback-Adresse und Port automatisch auf. Sie wählen ein Modell; AX Code übernimmt die Konfiguration des Transports.

AX Code (TypeScript)
  -> select local model -> ensure/prepare -> spawn ax-engine serve
  -> managed loopback /v1 -> @ai-sdk/openai-compatible language model

Ein Modell ausdrücklich zu wählen speichert den verwalteten Lebenszyklus und löscht ältere Einstellungen für angehängten Endpunkt und Schlüssel. Das überschreibt auch einen noch gesetzten Wert AX_ENGINE_HOST. Ältere SDK-Clients behalten die alte API zum Anhängen nur über Loopback und die zugehörige Prüfung der Zugangsdaten. Dieser Kompatibilitätsweg gehört nicht zum Anbietermenü.

AX Code bindet das SDK von AX Engine nicht im Prozess ein. AX Engine besitzt die Modellausführung, und AX Code besitzt den Prozesslebenszyklus auf der Clientseite. Die Eignung des Hosts, die Vorbereitung des Modells und die Live-Prüfungen von Werkzeugaufrufen gelten weiterhin.

Der Kaltstart hat eine Bereitschaftsgrenze von 600 Sekunden. Die Startzeit hängt von der Größe des Modells, vom Speicherdurchsatz und vom verfügbaren Speicher ab. Ist diese Grenze erschöpft, endet der Zug mit dem Serverprotokoll und dem Modellpfad; AX Code startet nicht automatisch einen weiteren Kaltstart und wechselt nicht den Anbieter. Beheben Sie das gemeldete Problem, bevor Sie ausdrücklich erneut versuchen. Der Rahmen der Modelleinrichtung, einschließlich des Wartens auf die Lebenszyklussperre und der Ermittlung der Fähigkeiten, ist auf 660 Sekunden begrenzt. Der Ablauf bricht eine ausstehende Einrichtung ab und stoppt automatische Wiederholungen. Das Abbrechen einer Anfrage beendet das Warten ebenfalls sofort, auch wenn eine Abhängigkeit der Einrichtung noch nicht geantwortet hat. Health-Antworten, die nach der Bereitschaftsfrist oder nach dem Ende des eigenen Prozesses eintreffen, können keine Bereitschaft herstellen.

Sobald die Engine bereit ist, bleibt sie über die Züge des Gesprächs hinweg resident. Das Abschließen oder Abbrechen des auslösenden Zugs stoppt die bereite Engine nicht. Ein Abbruch, während der Start noch läuft, beendet diesen Versuch und entfernt seinen Prozesseintrag. Verwenden Sie Lokale Laufzeit stoppen, um eine residente Engine ausdrücklich zu stoppen.

AX Code folgt dem üblichen Cache-Ort von Hugging Face und respektiert Ihre Speicherwahl, einschließlich lokaler Datenträger sowie Einbindungen über SMB und NFS. Die Auflösung des Cache ist HF_HUB_CACHE, dann HF_HOME/hub, dann XDG_CACHE_HOME/huggingface/hub, dann ~/.cache/huggingface/hub. Ein ausdrücklich konfigurierter oder bereits vorbereiteter Modellpfad hat Vorrang vor der Ermittlung im Cache. AX Code verschiebt Gewichte nicht und überschreibt diese Wahl nicht aufgrund des Speichertyps. Die Startdiagnose meldet den tatsächlichen Modellpfad, damit Sie Verfügbarkeit und Leseleistung in Ihrem gewählten Speicher untersuchen können.

Bei einer bestehenden Engine führt AX Code bis zu drei Health-Prüfungen aus, jeweils auf zwei Sekunden begrenzt und durch 250 Millisekunden getrennt, bevor ein nicht antwortender Prozess neu gestartet wird. Das Abbrechen der Anfrage erhält den bestehenden Prozess.

Warum Sidecar

Lebenszyklusphasen

Implementierung: packages/ax-code/src/provider/ax-engine/lifecycle.ts

Die Reihenfolge der Schwere entspricht docs/LOCAL-ENGINE-CLIENTS.md von ax-engine.

Zugehöriger Code

Die verwaltete Bereitstellung eines festgelegten Sidecars ist keine Einbettung im Prozess. Veröffentlichungen für Darwin-arm64 legen engine/<version>/ neben die CLI; ax-code providers ax-engine install ist die Überlagerung bzw. die Aktualisierung, wenn eine neuere Festlegung veröffentlicht wird.

Nicht-Ziele

• Den Sidecar in AX Code durch eine Einbettung des SDK im Prozess zu ersetzen
• gRPC als primären Transport für den Chat zu übernehmen
• Einen eigenen Unix-Socket oder ein Framing für den Chat, das nicht OpenAI entspricht, für Clients aus erster Hand
• Modellgewichte in das Installationsprogramm von AX Code einzubauen