本页译自英文文档。命令、标识符和示例保持原样。运行时 7.24.5 · SDK 2.6.9。 英文原文

MTPLX 与 oMLX 本地运行时

状态：生效

范围：源码检出集成

最近审阅：2026-09-19

负责人：ax-code 运行时

源码检出包含分开的 MTPLX（mtplx）和 oMLX（omlx）预设，位于 /connect → 本地 LLM 运行时 之下。这些预设不包含在 v7.19.3 打包二进制文件中。它们连接到已经在运行的服务器；AX Code 不安装、启动或调优这些运行时。

连接

1. 启动你的运行时，并加载支持编码工具的模型。遵循 MTPLX 说明 或 oMLX 说明。
2. 在 AX Code 的本地运行时菜单中选择 MTPLX 或 oMLX，并确认服务器端点。
3. 选择具备编码能力的模型。模型 ID 来自服务器的 GET /v1/models 响应。

两个上游服务器默认端口都是 8000。一次运行一个，或分配不同端口并分别保存这些端点。若省略，AX Code 会追加一次 /v1。已保存的端点优先于主机覆盖。列出预设并不会探测或激活它。现有的提供方启用/禁用列表仍然权威；如果你使用允许列表，请加入新 ID，而不要移除其他提供方。

带显式端口的示例：

mtplx serve --model /path/to/your/mtplx-model --host 127.0.0.1 --port 8000
omlx serve --model-dir /path/to/your/models --host 127.0.0.1 --port 8001

使用与你启动的服务器对应的端点。用 curl http://localhost:8000/v1/models 检查其模型 ID（按你的配置更改端口）。

编码工具与认证

MTPLX 的原生聊天列表把 owned_by: "mtplx" 和 capability: "chat" 与检索模型分开标识。除非它显式禁用工具，AX Code 会接纳该聊天传输以供工具使用。通用或无法识别的列表保留保守默认值。

oMLX 的模型列表不声明每个模型的工具支持，并且可以包含非聊天模型。仅对聊天模板支持工具的模型启用工具。把下面内容加入你的 AX Code 配置，替换成服务器返回的确切模型 ID：

{
  "provider": {
    "omlx": {
      "options": { "baseURL": "http://localhost:8001/v1" },
      "models": {
        "your-tool-capable-model-id": { "tool_call": true }
      }
    }
  }
}

显式的工具选择在发现之后仍然保留。其他被发现的模型不会被提升为编码模型。存在时，oMLX 的原生 max_model_len 用于上下文限制。运行时采样器设置、MTP 启用和服务器端输出限制仍归运行时所有。

对于需要认证的服务器，在配置中设置 provider.mtplx.options.apiKey 或 provider.omlx.options.apiKey，例如 "{env:OMLX_API_KEY}"。AX Code 在发现和推理时都发送该已配置的 bearer 凭据。本地端点对话框不会提示输入令牌。不要把凭据放在端点 URL 中。

oMLX 中的 AXQuant Qwen MTP

AXQuant 的 Qwen MTP 包包含分开的 mtp.safetensors 头和 mtplx_runtime.json 执行契约。近期元数据还包括 axquant_omlx_compat.json，它列出这个 27B 包的 15 个 MTP 张量。这些文件描述兼容性；仅打开 Lightning MTP 并不会导入该头。

对于 oMLX 0.6.4，使用完整、可写的本地模型副本。在 模型设置 中选择 导入 MTP 附属文件，然后启用 Lightning MTP。上游导入器准备一个 MTP 分片，并更新该本地副本的检查点索引。为其他运行时保留原始下载包的完整；不要就地编辑共享的 Hugging Face 缓存快照。见 AXQuant 模型说明。AX Code 连接到准备好的服务器，不修改模型权重，也不执行这次导入。

性能与范围

环回的 MTPLX 和 oMLX 连接获得本地前缀稳定性行为：确定性工具排序，以及对话历史之后的瞬时上下文。远程端点和 AX Trust 管理的连接保留其现有行为；这些预设不改变云端和 AX Trust 设置。

本地前缀修复之后、已启用 MTP 的完整矩阵，包括硬件、版本、模型身份、缓存状态、计时定义和代码检查，见 AX Code/OpenCode 客户端复测。较早的运行时测量 保留原生解码回放和历史客户端结果。一个能工作的 OpenAI 兼容连接并不能确立模型的编码质量，也不保证解码速率。