llama-modchip の代替ツール

DeepSeek が公開した Apache-2.0 のオフライン推論フレームワーク。DeepSeek V4.1 Flash を NVIDIA SM100 GPU または Huawei Ascend 950 NPU で大規模提供する用途向け。

mlx-serve は Apple Silicon 向け MIT の Zig 推論サーバで、Python なしに MLX と GGUF をローカル実行し OpenAI と Anthropic API を出す。

oMLX は Apache-2.0 の Apple Silicon 推論サーバで、SSD KV キャッシュと macOS メニューバーアプリをコーディングエージェント向けに提供します。

halogen-flash-server は Strix Halo 向け推論サーバで、OpenAI 互換 API で Qwen3.8-Flash-Next を動かす。

NInferは単一のRTX 5090上の指定Qwenチェックポイント向けApache-2.0のC++/CUDA推論エンジンで、OpenAIおよびAnthropic互換のローカルAPIを提供する。

StrataはWindowsとLinux向けのローカル推論エンジンです。Qwen3.8-Flash-Next、チャット画面、監視、エージェント用の互換APIを提供します。

ローカルモデルとOllamaクラウド。再確認：Free $0、Pro 月$20または年$200、Max $100は新規停止、Team は席あたり$25（最低5席）。30分のLlama3教程ではない。

Tencentのモデル圧縮ツールキット。量子化、蒸留、疎な注意機構、投機的デコードをまとめ、対象モデルと実行環境に合わせた評価を支援します。

MITのエージェントフレームワーク。再確認：GitHub 144,367 stars。ホスト型トレースは LangSmith Developer $0 / Plus 席あたり$39。製品はLangServeではない。

ドキュメントエージェントとLlamaParse。再確認：Free $0（10Kクレジット）、Starter $50、Pro $500。1,000クレジット=$1.25。OSSはMIT。

MCPサーバー向けTypeScriptキット。再確認：MIT、GitHub 928 stars。ソフトは$0。5分のClaude Desktop専用チュートリアルではない。

MCP India Stack はエージェント向けにインドの税・身分・法律ツール 76 個を載せる MIT のオフライン優先 MCP サーバー。

オープンソースのRAGとエージェント。再確認：Apache-2.0、GitHub 88,659 stars。クラウド登録はあるが公開ドル表はない。汎用スキャナではない。

EXL3量子化フォーマットを軸にした高効率ローカルLLM推論ライブラリ。テンソル・エキスパート並列で大きなオープンモデルをコンシューマーGPUで実行し、TabbyAPIサーバーを支える。