TensorSharp

TensorSharp は GGUF モデルをローカルで動かす .NET 10 推論エンジンです。CLI、ブラウザーのチャット、Ollama と OpenAI の互換 API を備え、既存の .NET アプリにも組み込めます。C# の業務システムとローカル推論を接続したい開発者に向く構成です。

機能と用途

マネージド C# の CPU カーネルに加え、CUDA、Metal、Vulkan のネイティブバックエンドを用意しています。テキスト、推論、マルチモーダル入力、埋め込み、一部のメディア生成を扱います。ただし対応範囲はモデルとバックエンドによって異なり、ソースの機能が配布済みパッケージに含まれるとは限りません。

連続バッチ処理や、接頭辞を共有するページ方式の KV キャッシュもあります。対応モデルでは投機的デコードと複数 GPU の配置を利用できます。TensorAgent はこのエンジンを使うアプリで、デスクトップ配布物とモバイルのソースビルドは条件が異なります。

最初の検証

公式 Releases から OS に合う CLI またはサーバーの配布物を選び、対応表にあるモデルを一つ取得します。短い入力でメモリーを記録し、同じ質問を互換 API から実行してください。インストール、モデル読み込み、業務との接続を分けると原因を調べやすくなります。

ソースからのビルドには完全な .NET 10 SDK、CMake、GPU 用ツールチェーンが必要です。Apple Silicon は Metal、対応する NVIDIA 環境は CUDA を選べます。GPU がない場合は CPU バックエンドで小さく試せます。

費用と制約

ライセンスは BSD 3-Clause です。自前運用でもストレージ、メモリー、機器、電力の費用は発生します。確認できないホスティング料金は掲載していません。公式の速度比較は記載されたモデル、量子化、機器、処理内容に限られ、自分の環境では測り直す必要があります。

サーバーは既定で全ネットワークインターフェースを待ち受け、認証と TLS を内蔵しません。初回は管理されたネットワークで試し、共有前に認証付き HTTPS を構成してください。AgentHost のファイルとシェル権限もチャットとは別に確認します。

FAQ と比較

すべての GGUF に対応しますか。 モデル別、バックエンド別の対応表を確認してください。

TensorAgent と同じですか。 TensorAgent はエンジンを使うアプリで、配布条件が別にあります。

一般的なローカルサービスなら Ollama と比較し、エージェント基盤も参照できます。.NET への組み込みが重要なら、公式の導入手順から再現可能なテストを作り、実際の負荷で評価するのが次の一歩です。