Langfuse

Langfuse 是开源的 LLM 工程平台，提供可观测性、追踪、评测与提示词管理。它追踪每一次 LLM 调用、工具调用与智能体步骤；用 LLM-as-judge 或数据集运行评测；管理提示词版本；并提供仪表盘、成本追踪与告警。它是最流行的可自托管 LLM 可观测性工具，Shopify、MoonPay 与数千个团队都在使用。

核心功能

• 完整追踪：端到端追踪每一次 LLM 调用、工具调用与智能体步骤——包括 LangGraph、CrewAI 与 OpenAI Agents SDK。
• 评测：LLM-as-judge、人工打分与基于数据集的评测汇聚一处。
• 提示词管理：提示词的版本管理、注册表与灰度发布。
• 指标与仪表盘：延迟、成本、token 用量与质量指标开箱即用。
• 成本追踪：按模型、按会话、按用户的成本明细。
• 会话与用户：追踪会话与用户交互，用于产品分析。
• 数据脱敏：自动脱敏追踪中的敏感数据。
• 40+ 集成：LangChain、LangGraph、OpenAI、Anthropic、LlamaIndex、CrewAI 等；Python 与 TypeScript SDK。
• 自托管或云端：一条 Docker 命令自托管，或使用 EU/US 区域托管云。

适用场景

谁应该使用这个工具？

• LLM 产品团队：交付 LLM 应用与智能体、需要调试与改进的团队。
• 隐私敏感企业：出于合规必须自托管可观测性的组织。
• 提示词工程师：规模化迭代提示词与评测的团队。

解决的问题

1. LLM 黑盒行为：完整追踪让每次调用与智能体步骤都可检查。
2. 规模化评测：LLM-as-judge 与数据集让质量可度量。
3. 提示词混乱：版本化提示词管理取代复制粘贴工作流。

定价方案

优势对比

相比竞品的优势：

1. 开源可自托管：功能完整的可观测性，无厂商锁定。
2. 集成广度：40+ 框架与 SDK，从 LangChain 到 CrewAI 到 OpenAI。
3. 一站式：追踪、评测与提示词管理集成于一个平台。

独特卖点：

• GitHub 15,000+ star，最大的自托管 LLM 可观测性社区。
• 柏林团队打造（2023 年创立），企业广泛采用。
• 从单命令 Docker 部署到托管云。

快速开始

入门指南

1. 部署：运行 Docker 镜像，或注册 Langfuse Cloud。
2. 获取密钥：创建项目 API Key。
3. 集成：把 Langfuse SDK 加入你的 LLM 调用（OpenAI/Anthropic 一行接入）。
4. 观察：在仪表盘中查看追踪、运行评测与管理提示词。

集成

无缝集成以下工具：

• LangChain、LangGraph、LlamaIndex、CrewAI、OpenAI Agents SDK
• OpenAI、Anthropic 及 40+ 其他框架
• Python 与 TypeScript SDK

常见问题

Langfuse 免费吗？

核心开源可免费自托管；Langfuse Cloud 有免费层加付费套餐。

能自托管吗？

能——一条 Docker 命令即可在你的基础设施上部署完整平台。

支持智能体框架吗？

支持——追踪 LangGraph、CrewAI、OpenAI Agents SDK 等。

替代方案

如果 Langfuse 不合适，可以考虑：

• LangSmith：LangChain 的平台，LangGraph 部署功能更深。
• Helicone：带网关（缓存与限流）的 LLM 可观测性。
• AgentOps：智能体聚焦的会话录制与回放。

使用技巧

1. 第一天就全面追踪：上线前而非上线后添加可观测性。
2. 用 LLM-as-judge 评测：在真实生产追踪上自动化质量打分。
3. 版本化你的提示词：用提示词注册表回滚回归。

总结

Langfuse 是让智能体可观测、可评测、可管理提示词的开源 LLM 工程平台——可自托管或云端。如果你的智能体跑在生产环境且需要完整可见性，Langfuse 是社区标准。