AgentOps

AgentOps 是一个 AI 智能体可观测性与开发平台，让你在生产环境中监控、调试与评测 AI 智能体。它录制并回放完整智能体会话——每一步、每次工具调用与每次 LLM 交互——同时追踪成本与性能。对主流智能体框架提供一行集成，是智能体时代的可观测性层。

核心功能

• 会话录制与回放：在可回放会话中观看每个智能体步骤、工具调用与 LLM 交互。
• 成本追踪：按会话、按模型、按智能体的成本明细。
• LLM 调用追踪：每次模型调用的完整追踪，含延迟与 token 用量。
• 执行图：可视化智能体执行路径与决策流。
• 评测：测试套件与 LLM-as-judge 打分，衡量智能体质量。
• 告警：智能体异常或成本飙升时主动通知。
• 一行集成：一行代码为 OpenAI、Anthropic、CrewAI、AutoGen、LangChain、LangGraph、LlamaIndex 与 OpenAI Agents SDK 添加监控。
• 隐私选项：自托管或云端部署。

适用场景

谁应该使用这个工具？

• 智能体框架用户：用 CrewAI、AutoGen 或 LangGraph 构建、需要可见性的团队。
• 生产智能体团队：交付智能体、必须调试与监控的任何人。
• 成本敏感构建者：按会话与模型追踪智能体花费的团队。

解决的问题

1. 黑盒智能体行为：会话回放精确显示智能体做了什么。
2. 多智能体调试：执行图让复杂流程可检查。
3. 失控成本：按会话成本追踪尽早抓住昂贵智能体运行。

定价方案

优势对比

相比竞品的优势：

1. 智能体专属回放：完整会话回放，而非仅逐调用追踪。
2. 框架原生：CrewAI、AutoGen、LangGraph 等一行集成。
3. 执行图：看到智能体如何分支、委派与决策。

独特卖点：

• 为多智能体调试而生——最棘手的可观测性问题。
• GitHub 5,000+ star 与活跃开源社区。
• 自托管与云端双选项。

快速开始

入门指南

1. 安装：pip install agentops。
2. 获取 API Key：在 agentops.ai 创建账户。
3. 集成：在智能体代码中添加 AgentOps.init()——一行。
4. 观察：在仪表盘中观看会话回放、追踪与成本。

集成

无缝集成以下工具：

• CrewAI、AutoGen、LangChain、LangGraph、LlamaIndex、OpenAI Agents SDK
• OpenAI、Anthropic 等模型 Provider
• Python 与 TypeScript

常见问题

支持 CrewAI 吗？

支持——AgentOps 对 CrewAI 及其他主流框架提供一行集成。

能自托管吗？

能——自托管与云端选项都有。

追踪成本吗？

追踪——内置按会话、按模型、按智能体的成本追踪。

替代方案

如果 AgentOps 不合适，可以考虑：

• Langfuse：40+ 集成的开源可观测性。
• LangSmith：内置部署的 LangChain 平台。
• Helicone：带网关缓存的 LLM 可观测性。

使用技巧

1. 上线前集成：开头一行胜过事后补装。
2. 关注执行图：尽早发现委派循环与失控分支。
3. 设置成本告警：在账单飙升前抓住昂贵智能体运行。

总结

AgentOps 为智能体时代带来生产级可观测性——会话回放、成本追踪、执行图，全部一行框架集成。如果你用 CrewAI、AutoGen 或 LangGraph 构建智能体且需要看到它们的所作所为，AgentOps 正是为此而生。