Meta 开源 30B 智能体多模态模型：从 Muse Spark 蒸馏，专为本地常驻编码与工具调用智能体设计，单张消费级 GPU 即可运行。

免费开源的桌面应用，在 Mac、Windows、Linux 上 100% 本地运行与训练 AI 模型，支持接入 Claude Code、Codex 等智能体，内置媒体生成与私有联网搜索。

设备端工作记忆：每 2 秒捕获应用、会议和聊天，再把时间线送进支持 MCP 的智能体。Pro 为 $18.99/人/月。

Liquid AI 专为端侧智能体负载训练的 2.6B 开源权重稠密模型，支持 128K 上下文与原生工具调用。LFM 2.5-2.6B 收录于 models，可对比功能、定价与替代方案。

本地模型加 Ollama 云。

NVIDIA 高效开源权重模型，30B 总参数仅激活 3B，MoE 混合架构，最长 1M token 上下文，单卡部署，适合本地推理、编码与后训练研究。

Jeff 是一组开源的 0.8B 与 2B 决策模型：输入情境和候选选项，单次前向传播返回每个选项的校准概率，在单张 GPU 上约 22 毫秒完成一次判断。

TensorSharp 是用于本地运行 GGUF 模型的 .NET 推理引擎，提供命令行、浏览器聊天与兼容 API，可接入现有 C# 应用，具体模型能力需按计算后端核对。

腾讯混元 AI Infra 团队开发的模型压缩工具包，整合量化、蒸馏、稀疏注意力与推测解码，面向语言、视觉语言及扩散模型部署，需要按目标任务评估精度与资源收益。

围绕 EXL3 量化格式构建的高效本地 LLM 推理库，在消费级 GPU 上运行大型开源模型，支持张量与专家并行，并驱动 TabbyAPI 服务器。

halogen-flash-server 是面向 Strix Halo 的推理服务，用 OpenAI 兼容 API 跑 Qwen3.8-Flash-Next。

mlx-serve 是 MIT 的 Zig 推理服务，在 Apple Silicon 上本地跑 MLX 与 GGUF，提供 OpenAI 和 Anthropic API，不用 Python。

NInfer 是 Apache-2.0 的 C++/CUDA 推理引擎，面向单张 RTX 5090 上的指定 Qwen 权重，提供兼容 OpenAI 与 Anthropic 的本地 API。

oMLX 是 Apache-2.0 的 Apple Silicon 推理服务器，带 SSD KV 缓存和 macOS 菜单栏应用，给编程智能体用。

Strata 是面向 Windows 与 Linux 的开源本地推理引擎，支持 Qwen3.8-Flash-Next，提供聊天界面、监控及兼容代理客户端的 API，部署需核对显存与内存。

AMD ROCm 的 NPU 优先运行时：在 Ryzen AI 笔记本上本地运行 LLM、VLM 与音频模型，无需 GPU，支持 256K 上下文，运行时仅 17MB。

一个面向本地 Grok Build CLI 的开源桌面工作台，提供多项目空间、实时智能体流式输出与一体化文件/代码回路，支持 macOS、Windows 与 Linux。

BaoCut 面向 Apple Silicon Mac，结合本地语音转写、双语字幕、翻译配音与智能体辅助剪辑，支持手动编辑以及通过 Claude Code 或 Codex 执行视频任务。

Inco AI 的 Apache 2.0 块扩散推测解码草稿模型。2026-08-18 发布，覆盖 Qwen3.8-27B 与 Muse Glimmer。

K2-Horizon-7B 是 IFM 推出的开放权重语言模型，提供 512K 上下文、工具调用与分阶段训练检查点，适合本地推理、长文档评估和微调研究。

Poolside 开源权重编程模型：118B 总参 / 8B 激活 MoE、100 万 token 上下文、原生交错推理、OpenMDW-1.1 协议，专为智能体编程与长程任务打造。

Ling-3.0-flash-VL 是 inclusionAI 的 MIT 多模态 MoE：总参 124B，激活 5.5B，支持图像和视频。

inclusionAI 的 MIT 混合线性 MoE：总参 124B，激活 5.1B。2026-08-21 在 Hugging Face 复核。

Ling-3.0-tiny 是 inclusionAI 的 MIT 混合线性 MoE：总参 7.9B，激活 1.3B，面向本地智能体。