halogen-flash-server 的替代方案

mlx-serve 是 MIT 的 Zig 推理服务，在 Apple Silicon 上本地跑 MLX 与 GGUF，提供 OpenAI 和 Anthropic API，不用 Python。

围绕 EXL3 量化格式构建的高效本地 LLM 推理库，在消费级 GPU 上运行大型开源模型，支持张量与专家并行，并驱动 TabbyAPI 服务器。

阿里通义千问公开的 Qwen4 架构预览：125B 多模态 MoE、每 token 仅激活 6B，外加 51B N-gram 词表，原生 262K 上下文，输入定价 $0.16/百万 token。