DeepInfer

DeepInfer は、DeepSeek が公開した Apache-2.0 の大規模オフライン推論フレームワークです。最初の公開版は DeepSeek V4.1 Flash のみをサポートし、NVIDIA SM100 GPU または Huawei Ascend 950 NPU を対象にします。ホステッド DeepSeek API や汎用モデルランチャーではなく、互換ハードウェア、Linux 環境、チェックポイント保管、エンジン外のサービス部品は運用側が用意します。

主な機能

• サービス向け実行系： 最適化カーネル、モデルとサンプラーのランタイム、非同期スケジューリング、データ/コンテキスト/エキスパート並列、エキスパート負荷分散を含みます。
• 制約付き出力： サンプラーは正規表現、JSON Schema、EBNF grammar による生成制約を文書化しており、機械可読な結果が必要な処理に使えます。
• 再現可能なリクエスト： NVIDIA では batch-invariant 推論と固定シードの決定的サンプリングを有効にできます。サービング変更の検証には役立ちますが、スループットとの比較が必要です。
• オフライン開始手順： 公式リポジトリはソースビルドと examples/offline_inference.py を掲載し、既定では Hugging Face キャッシュへ DeepSeek V4.1 Flash を取得します。

実用ワークフロー

隔離した Linux ホストに Python 3.12、GCC 13 以上、README 指定のアクセラレータ環境を用意します。NVIDIA は CUDA 13、Ascend は CANN 9.2 を使い、対応する DEEPINFER_ACCELERATOR を指定してビルドします。ダウンロードを制限する場合は DEEPINFER_HF_MODEL_DIR を審査済みローカルチェックポイントに向け、まずオフライン例を実行してから API ゲートウェイの背後に置きます。その後、構造化出力の schema、固定シード、障害復旧を代表的な要求で確認します。

DeepSeek V4 Flash を運用し、DeepSeek 製のサービングエンジンを評価したいチーム向けです。単一 GPU の限定的なローカル実行系なら NInfer と比較できます。公式のモデルやハードウェア対応範囲を外れる場合は、より汎用的なランナーを選んでください。

制限とコスト

公式に記載されるハードウェアは NVIDIA SM100 と Ascend 950 のみです。Linux とソースビルドが必要で、民生 GPU、任意の Hugging Face モデル、管理済みエンドポイントは保証されません。README は完全なサービスには KV キャッシュ、Prefill/Decode の分離、データ並列レプリカ間の負荷分散も必要だと明記しています。性能図は DeepSeek が prefill を 4 枚、decode を 64 枚の SM100 で測定したものなので、別クラスタの容量計画にそのまま使えません。

ソフトウェアは Apache-2.0 ですが、ハードウェア、電力、ストレージ、ネットワーク、モデルアクセス、運用人員は別コストです。本番導入前に範囲を絞った非本番ベンチマークを行ってください。