Эта страница переведена с английской документации. Команды, идентификаторы и примеры не изменены. Среда выполнения 7.24.4 · SDK 2.6.7. Английский оригинал

Локальные среды выполнения MTPLX и oMLX

Статус: действует

Область: интеграция исходной рабочей копии

Последняя проверка: 2026-09-19

Владелец: среда выполнения ax-code

Исходная рабочая копия включает отдельные пресеты MTPLX (mtplx) и oMLX (omlx) в /connect → Локальная среда LLM. Этих пресетов нет в упакованных двоичных файлах v7.19.3. Они подключаются к уже работающему серверу. AX Code не устанавливает, не запускает и не настраивает эти среды.

Подключение

1. Запустите свою среду и загрузите модель, которая поддерживает инструменты написания кода. Следуйте инструкциям MTPLX или инструкциям oMLX.
2. Выберите MTPLX или oMLX в меню локальной среды AX Code и подтвердите конечную точку сервера.
3. Выберите модель, способную писать код. Идентификаторы моделей берутся из ответа сервера GET /v1/models.

Оба вышестоящих сервера по умолчанию слушают порт 8000. Запускайте их по одному или назначьте разные порты и сохраните эти конечные точки отдельно. AX Code один раз добавляет /v1, если его нет. Сохранённая конечная точка важнее переопределения узла. Перечисление пресета его не опрашивает и не активирует. Существующие списки включения и отключения провайдеров остаются авторитетными. Если вы используете список разрешений, добавьте новый идентификатор, не удаляя другие провайдеры.

Примеры с явными портами:

mtplx serve --model /path/to/your/mtplx-model --host 127.0.0.1 --port 8000
omlx serve --model-dir /path/to/your/models --host 127.0.0.1 --port 8001

Используйте конечную точку того сервера, который вы запустили. Посмотрите его идентификаторы моделей через curl http://localhost:8000/v1/models (смените порт под свою конфигурацию).

Инструменты написания кода и аутентификация

Собственный список чата MTPLX отличает owned_by: "mtplx" и capability: "chat" от моделей извлечения. AX Code допускает этот транспорт чата для инструментов, если он явно не отключает инструменты. Общий или нераспознанный список сохраняет консервативные значения по умолчанию.

Список моделей oMLX не объявляет поддержку инструментов по моделям и может включать модели не для чата. Включайте инструменты только у модели, чей шаблон чата их поддерживает. Добавьте это в конфигурацию AX Code, подставив точный идентификатор модели, который вернул ваш сервер:

{
  "provider": {
    "omlx": {
      "options": { "baseURL": "http://localhost:8001/v1" },
      "models": {
        "your-tool-capable-model-id": { "tool_call": true }
      }
    }
  }
}

Явный выбор инструментов переживает обнаружение. Другие обнаруженные модели не повышаются до моделей написания кода. Собственный max_model_len oMLX используется как предел контекста, когда он есть. Настройки сэмплера среды, включение MTP и пределы вывода на стороне сервера остаются у среды выполнения.

Для сервера, которому нужна аутентификация, задайте provider.mtplx.options.apiKey или provider.omlx.options.apiKey в конфигурации, например "{env:OMLX_API_KEY}". AX Code отправляет эти настроенные учётные данные bearer и для обнаружения, и для вывода. Диалог локальной конечной точки не спрашивает токен. Не помещайте учётные данные в URL конечной точки.

AXQuant Qwen MTP в oMLX

Пакеты Qwen MTP от AXQuant включают отдельную голову mtp.safetensors и контракт выполнения mtplx_runtime.json. Недавние метаданные также включают axquant_omlx_compat.json, где перечислены 15 тензоров MTP для этого пакета 27B. Эти файлы описывают совместимость. Одно включение Lightning MTP голову не импортирует.

Для oMLX 0.6.4 используйте полную записываемую локальную копию модели. В Настройках модели выберите Импорт sidecar MTP, затем включите Lightning MTP. Вышестоящий импортёр готовит шард MTP и обновляет индекс контрольной точки этой локальной копии. Оставьте исходный скачанный пакет целым для других сред. Не правьте на месте общий снимок кэша Hugging Face. См. инструкции модели AXQuant. AX Code подключается к подготовленному серверу и не меняет веса модели и не выполняет этот импорт.

Производительность и область

Соединения MTPLX и oMLX через loopback получают локальное поведение устойчивости префикса: детерминированный порядок инструментов и временный контекст после истории разговора. Удалённые конечные точки и соединения под управлением AX Trust сохраняют прежнее поведение. Настройки облака и AX Trust этими пресетами не меняются.

Полную матрицу с включённым MTP после исправления локального префикса, включая оборудование, версии, личность модели, состояние кэша, определения таймингов и проверки кода, см. в повторной проверке клиентов AX Code и OpenCode. Более ранние измерения среды сохраняют собственные повторы decode и исторические результаты клиентов. Рабочее соединение, совместимое с OpenAI, не устанавливает качество написания кода модели и не гарантирует скорость decode.