本地AI全部工具（共 24 款）
- ExLlamaV3围绕 EXL3 量化格式构建的高效本地 LLM 推理库，在消费级 GPU 上运行大型开源模型，支持张量与专家并行，并驱动 TabbyAPI 服务器。
- mlx-servemlx-serve 是 MIT 的 Zig 推理服务，在 Apple Silicon 上本地跑 MLX 与 GGUF，提供 OpenAI 和 Anthropic API，不用 Python。
- NInferNInfer 是 Apache-2.0 的 C++/CUDA 推理引擎，面向单张 RTX 5090 上的指定 Qwen 权重，提供兼容 OpenAI 与 Anthropic 的本地 API。
- Ollama本地模型加 Ollama 云。
- oMLXoMLX 是 Apache-2.0 的 Apple Silicon 推理服务器，带 SSD KV 缓存和 macOS 菜单栏应用，给编程智能体用。
- Grok App一个面向本地 Grok Build CLI 的开源桌面工作台，提供多项目空间、实时智能体流式输出与一体化文件/代码回路，支持 macOS、Windows 与 Linux。
- Pieces设备端工作记忆：每 2 秒捕获应用、会议和聊天，再把时间线送进支持 MCP 的智能体。Pro 为 $18.99/人/月。
- Unsloth Desktop免费开源的桌面应用，在 Mac、Windows、Linux 上 100% 本地运行与训练 AI 模型，支持接入 Claude Code、Codex 等智能体，内置媒体生成与私有联网搜索。
- Khoj可自托管的 AI 第二大脑：用本地文档和网页问答、自定义智能体与定时自动化，支持 Obsidian / Emacs。AGPL-3.0 开源。
- Meetily隐私优先的本地 AI 会议助手：在你自己的设备上完成转写、说话人分离与总结，支持 Ollama，会议数据默认不离开设备。
- WeFlowWeFlow 是完全本地运行的微信聊天记录导出与年度报告应用，提供 HTTP API 映射，不是云端收件箱或网页版微信。
- DFlash 2Inco AI 的 Apache 2.0 块扩散推测解码草稿模型。2026-08-18 发布，覆盖 Qwen3.8-27B 与 Muse Glimmer。
- Laguna S 2.1Poolside 开源权重编程模型：118B 总参 / 8B 激活 MoE、100 万 token 上下文、原生交错推理、OpenMDW-1.1 协议，专为智能体编程与长程任务打造。
- LFM 2.5-2.6BLiquid AI 专为端侧智能体负载训练的 2.6B 开源权重稠密模型，支持 128K 上下文与原生工具调用。LFM 2.5-2.6B 收录于 models，可对比功能、定价与替代方案。
- Ling-3.0-flash-VLLing-3.0-flash-VL 是 inclusionAI 的 MIT 多模态 MoE：总参 124B，激活 5.5B，支持图像和视频。
- Ling-3.0-flashinclusionAI 的 MIT 混合线性 MoE：总参 124B，激活 5.1B。2026-08-21 在 Hugging Face 复核。
- Ling-3.0-tinyLing-3.0-tiny 是 inclusionAI 的 MIT 混合线性 MoE：总参 7.9B，激活 1.3B，面向本地智能体。
- MiniCPM5-2B面壁智能 MiniCPM5-2B 是 2B 端侧稠密模型，131k 上下文、Apache-2.0 开源，面向本地助手与工具调用。
- Muse GlimmerMeta 开源 30B 智能体多模态模型：从 Muse Spark 蒸馏，专为本地常驻编码与工具调用智能体设计，单张消费级 GPU 即可运行。
- NVIDIA Nemotron 3.5 Lightning 30B A3BNVIDIA 高效开源权重模型，30B 总参数仅激活 3B，MoE 混合架构，最长 1M token 上下文，单卡部署，适合本地推理、编码与后训练研究。
- sanoTTS超小神经网络 TTS，参数量 294k 到 2.3M。可在浏览器或约 3 美元的 ESP32-S3 上离线合成。11 个声音、6 种语言，GPL-3.0。
- Spark-X2.5-4BXHToken 出品的精简开源权重模型：混合滑窗注意力实现原生 1M 上下文，编码与 Agent 表现出色，Apache 2.0 协议，多语种。
- YuE2-3BYuE2-3B 是 M·A·P 的 CC BY-NC 音乐模型，先写出可编辑乐谱，再渲染人声与伴奏，可在本地 24GB GPU 上跑。
- MiniCPM5 SkillsMiniCPM5 Skills 是面壁智能的 SKILL.md 包，把 MiniCPM5 的部署和微调路由到 vLLM、SGLang、Ollama 和 LoRA 工具。
所有标签
A2A协议AI内容生成AI助手AI搜索AI支付AI智能体AnthropicAPIAWSBlack Forest LabsClaudeClaude CodeCloudflareCodexCohereCursorDeepgramDeepSeekElevenLabsFLUXGeminiGemmaGitGoGoogleGPTGPUGrokHugging FaceIBMJina AIKimiLangChainLangGraphLinuxLlamamacOSMarkdownMCPMetaMicrosoftMiniMaxMistralMixedbread AINous ResearchNVIDIAObsidianOpenAIOpenClawOpenCodeOpenHandsOpenRouterPerplexityPythonRAGReplitRustStability AITypeScriptVoyage AIxAI云计算代码助手代码审查代码质量企业级健康写作前沿模型加密与Web3协议可观测性向量嵌入向量数据库命令行图像生成多智能体多模态多语言字节跳动安全实时工作流开发者工具开放权重开源微调推理效率教育数据可视化数据库数据科学文档文档处理无代码/低代码智源研究院智能体框架智能体编排智能体运行时智能体钱包智谱AI月之暗面本地AI
标签为 本地AI 的内容 (24 个)
Month Visit1000DR: 80AS: 80
Month Visit1000000DR: 95AS: 95
Month Visit800000DR: 75AS: 70
Month Visit600000DR: 72AS: 70
Month Visit500000DR: 70AS: 72
Month Visit1500DR: 165AS: 160
Month Visit345DR: 100AS: 100
Month Visit1000DR: 80AS: 80
Month Visit1000DR: 80AS: 80
Month Visit1000DR: 80AS: 80
Month Visit1000DR: 80AS: 80
Month Visit1000DR: 80AS: 80
Month Visit1000DR: 80AS: 80
Month Visit1000DR: 80AS: 80
Month Visit1000DR: 80AS: 80
Month Visit1000DR: 80AS: 80
Month Visit1000DR: 80AS: 80
Month Visit1000DR: 80AS: 80
Month Visit1000DR: 80AS: 80
Month Visit1000DR: 80AS: 80
Month Visit1000DR: 80AS: 80
Month Visit1000DR: 80AS: 80
Month Visit1000DR: 80AS: 80
