TensorSharp

TensorSharp 是用于本地运行 GGUF 模型的 .NET 10 推理引擎。它提供命令行、浏览器聊天、Ollama 与 OpenAI 兼容 API，也可嵌入现有 .NET 应用。对于已有 C# 业务系统、希望接入本地模型的开发者，这种引擎与应用分离的结构值得关注。

核心功能与适用场景

项目同时提供托管 C# CPU 内核和 CUDA、Metal、Vulkan 原生后端，覆盖文本、推理、多模态输入、嵌入及部分媒体生成模型。具体能力取决于模型家族和计算后端，不能因为源码中有某项功能，就认定所有下载包均已支持。

服务能力包括连续批处理和支持前缀共享的分页 KV 缓存；部分模型可用推测解码及多 GPU 放置。TensorAgent 是使用该引擎的应用，桌面安装包与移动端源码构建有不同要求，不宜混为同一个交付形态。

先从官方 Releases 选择对应系统的 CLI 或服务端包，再根据支持列表下载一个有文档示例的模型。第一轮只输入短提示词并记录内存，然后通过兼容 API 重复相同任务。把安装验证、模型加载和业务集成分开，较容易定位失败发生在哪一层。

源码构建需要完整 .NET 10 SDK、CMake 和对应 GPU 工具链。Apple Silicon 可使用 Metal，兼容 NVIDIA 环境可使用 CUDA，没有 GPU 时也能先评估 CPU 后端。不要直接把社区帖子中的极限硬件配置当作自己的部署承诺。

代码采用 BSD 3-Clause。自行运行仍有模型存储、内存、设备和电力成本，本文不虚构托管订阅价格。README 的性能比较只适用于记录的模型、量化、硬件和工作负载，应在自己的输入长度与并发条件下重新测量。

服务端默认监听所有网络接口，没有内置认证或 TLS。首次测试应留在受控网络；对外共享前需要认证和 HTTPS 代理。AgentHost 的文件、命令工具权限也应单独检查，本地推理不自动代表所有操作都安全。

所有 GGUF 都兼容吗？ 不保证，需核对模型和后端支持表。

TensorAgent 就是引擎吗？ 它是基于引擎的应用，安装与构建条件需另行确认。

如果目标是熟悉的本地模型服务，可对照 Ollama；需要应用集成时可浏览智能体基础设施。TensorSharp 的主要价值是为 .NET 项目提供本地推理入口。下一步可按官方入门文档建立可重复的小型测试，再决定是否接入实际工作负载。