Langfuse

Langfuse は、可観測性・トレーシング・評価・プロンプト管理のためのオープンソース LLM エンジニアリングプラットフォームです。すべての LLM 呼び出し・ツール呼び出し・エージェントステップをトレースし、LLM-as-judge やデータセットで評価を実行し、プロンプトのバージョンを管理し、ダッシュボード・コスト追跡・アラートを提供します。最も人気のあるセルフホスト可能な LLM 可観測性ツールで、Shopify・MoonPay など数千のチームが採用しています。

主な機能

• 完全トレーシング：すべての LLM 呼び出し・ツール呼び出し・エージェントステップをエンドツーエンドでトレース。LangGraph・CrewAI・OpenAI Agents SDK にも対応。
• 評価：LLM-as-judge・手動スコアリング・データセットベースの評価を 1 か所で。
• プロンプト管理：プロンプトのバージョニング・レジストリ・段階的リリース。
• メトリクスとダッシュボード：レイテンシ・コスト・トークン使用量・品質メトリクスをすぐに利用可能。
• コスト追跡：モデル別・セッション別・ユーザー別のコスト内訳。
• セッションとユーザー：製品分析のためのセッションとユーザーインタラクション追跡。
• データ編集：トレース内の機密データを自動編集。
• 40 以上の統合：LangChain・LangGraph・OpenAI・Anthropic・LlamaIndex・CrewAI など。Python・TypeScript SDK。
• セルフホストまたはクラウド：Docker でワンコマンドセルフホスト、または EU/US リージョンのマネージドクラウド。

使用シナリオ

このツールを使用すべき人は？

• LLM プロダクトチーム：デバッグと改善が必要な LLM アプリ・エージェントを提供するチーム。
• プライバシー重視企業：コンプライアンスのため可観測性をセルフホストする必要がある組織。
• プロンプトエンジニア：大規模にプロンプトと評価を反復するチーム。

解決する問題

1. ブラックボックスな LLM 動作：完全トレースで毎回の呼び出しとエージェントステップを検査可能に。
2. 大規模な評価：LLM-as-judge とデータセットで品質を測定可能に。
3. プロンプトの混乱：バージョン管理されたプロンプト管理がコピペワークフローを置き換え。

料金プラン

優位性と独自の価値提案

競合他社と比較した優位性：

1. オープンソースでセルフホスト可能：ベンダーロックインなしのフル機能可観測性。
2. 統合の広さ：LangChain から CrewAI・OpenAI まで 40 以上のフレームワーク・SDK。
3. オールインワン：トレーシング・評価・プロンプト管理を 1 つのプラットフォームに。

際立つポイント：

• GitHub 15,000 以上のスター、最大のセルフホスト型 LLM 可観測性コミュニティ。
• ベルリン発のチーム（2023 年設立）がエンタープライズ採用を獲得。
• ワンコマンド Docker デプロイからマネージドクラウドまで。

はじめに

クイックスタートガイド

1. デプロイ：Docker イメージを実行、または Langfuse Cloud に登録。
2. キーを取得：プロジェクト API キーを作成。
3. 統合：LLM 呼び出しに Langfuse SDK を追加（OpenAI/Anthropic は 1 行）。
4. 観察：ダッシュボードでトレース表示・評価実行・プロンプト管理。

統合

• LangChain・LangGraph・LlamaIndex・CrewAI・OpenAI Agents SDK
• OpenAI・Anthropic など 40 以上のフレームワーク
• Python・TypeScript SDK

よくある質問

Langfuse は無料ですか？

コアはオープンソースでセルフホスト無料。Langfuse Cloud は無料層＋有料プラン。

セルフホストできますか？

はい。Docker ワンコマンドで自前インフラに完全デプロイ可能。

エージェントフレームワークに対応していますか？

はい。LangGraph・CrewAI・OpenAI Agents SDK などをトレース可能。

代替案

Langfuse が合わない場合の選択肢：

• LangSmith：LangGraph デプロイ機能がより深い LangChain のプラットフォーム。
• Helicone：キャッシュ・レート制限のゲートウェイ付き LLM 可観測性。
• AgentOps：エージェント特化のセッション録画とリプレイ。

ヒントとベストプラクティス

1. 初日からトレース：リリース後ではなく、リリース前に可観測性を導入。
2. LLM-as-judge 評価を活用：本番トレースで品質スコアリングを自動化。
3. プロンプトをバージョン管理：レジストリで回帰をロールバック。

まとめ

Langfuse は、エージェントを可観測・評価可能・プロンプト管理可能にするオープンソースの LLM エンジニアリングプラットフォームです。セルフホストまたはクラウドで利用可能。本番エージェントに完全な可視性が必要なら、コミュニティ標準の選択肢です。