HuggingFace Experiment Tracking

HuggingFace Experiment Tracking は、公式リポジトリ huggingface/skills の huggingface-trackio スキル（スキルフォルダ）に対応します。Hugging Face の実験管理ライブラリ Trackio を使い、学習中にメトリクスを記録し、構造化されたアラートを出し、コマンドラインから結果を読み戻す方法をエージェントに教えます。ダッシュボードは Hugging Face Space に同期できるため、クラウドの学習マシンが停止してもメトリクスは残ります。

スキルは作業を三つのインターフェースに分けています。記録用の Python API、アラート用の Python API、取得用の trackio CLI で、それぞれスキルフォルダに参照ファイルがあります。

主な機能

• 記録：trackio.init()、trackio.log()、trackio.finish()、または TRL トレーナーで report_to="trackio"。
• Space 同期：space_id を渡すとライブダッシュボードを保存。自動作成される Space は既定で公開なので、非公開にするには private=True を指定。
• アラート：trackio.alert(title=..., level=trackio.AlertLevel.WARN)。レベルは INFO、WARN、ERROR。ターミナル出力、データベース保存、ダッシュボード表示に加え、Slack や Discord の webhook にも送信可能。
• 取得 CLI：trackio list projects、trackio get metric ...、trackio list alerts --project <name> --json --since <timestamp>、trackio show、trackio sync。
• エージェントのループ：アラートを仕込み、学習をバックグラウンドで起動し、アラートをポーリングし、メトリクスを読んで調整・再実行する自律サイクルを説明しています。

使用シナリオ

• ファインチューニングをエージェントに見張らせ、損失が発散したら止める。
• ブラウザを開かずにハイパーパラメータの実験を比較する。
• 学習ダッシュボードを Space として公開する。

料金

スキルは無料のオープンソースです（リポジトリは Apache-2.0）。Space への同期は Hugging Face アカウントを使い、有料の Space ハードウェアは Hugging Face の料金に従います。

はじめに

1. まず基本スキル HuggingFace CLI を入れ、hf skills add huggingface-trackio を実行。
2. 学習スクリプトに trackio.init(project="my-project", space_id="username/trackio", private=True) を追加。
3. trackio.log({"loss": loss}) で記録し、NaN や損失の停滞にアラートを設定。
4. trackio list alerts --project my-project --json でポーリング。

制約：Space が既定で公開のため、メトリクスや設定値が漏れやすい点に注意。対象は Trackio だけで、チームが別のトラッカーを標準にしている場合の橋渡しはしません。

よくある質問

以前の "experiment tracking" の掲載と同じものですか？

はい。リポジトリはその後フォルダ名を huggingface-trackio に統一しました。

Space は必須ですか？

いいえ。ローカル記録だけでも動きます。space_id はマシンが一時的な場合に必要です。

代替案

• Langfuse：学習ループではなく LLM アプリ向けのトレースと評価。
• LangSmith：LangChain 系アプリ向けのホスト型トレースと評価。
• HuggingFace Model Trainer：Trackio を標準で組み込む学習スキル。

まとめ

エージェントに学習を任せ、異常を確実に検知させたいときに使うスキルです。公開する意図がなければ Space は非公開に。詳しくは skills カテゴリ へ。