AngelSlim 的替代方案

halogen-flash-server 是面向 Strix Halo 的推理服务，用 OpenAI 兼容 API 跑 Qwen3.8-Flash-Next。

mlx-serve 是 MIT 的 Zig 推理服务，在 Apple Silicon 上本地跑 MLX 与 GGUF，提供 OpenAI 和 Anthropic API，不用 Python。

NInfer 是 Apache-2.0 的 C++/CUDA 推理引擎，面向单张 RTX 5090 上的指定 Qwen 权重，提供兼容 OpenAI 与 Anthropic 的本地 API。

oMLX 是 Apache-2.0 的 Apple Silicon 推理服务器，带 SSD KV 缓存和 macOS 菜单栏应用，给编程智能体用。

Strata 是面向 Windows 与 Linux 的开源本地推理引擎，支持 Qwen3.8-Flash-Next，提供聊天界面、监控及兼容代理客户端的 API，部署需核对显存与内存。

NVIDIA 开源 LLM 漏洞扫描器，数十个插件与数千条提示，探测越狱、提示注入与数据泄露，是模型与智能体安全测试的行业标准起点。

MIT 智能体框架。

文档智能体加 LlamaParse。

用来写 MCP 服务器的 TypeScript 套件。

MCP India Stack 是 MIT 的离线优先 MCP 服务器，为智能体提供 76 个印度税务、身份与法律工具。

NVIDIA 开源可编程护栏工具包，用 Colang 流为 LLM 对话应用定义输入、对话、检索与输出护栏，防护越狱与提示注入。

开源 RAG 加智能体。

围绕 EXL3 量化格式构建的高效本地 LLM 推理库，在消费级 GPU 上运行大型开源模型，支持张量与专家并行，并驱动 TabbyAPI 服务器。

本地模型加 Ollama 云。