mlx-kquant の代替ツール

mlx-serve は Apple Silicon 向け MIT の Zig 推論サーバで、Python なしに MLX と GGUF をローカル実行し OpenAI と Anthropic API を出す。

oMLX は Apache-2.0 の Apple Silicon 推論サーバで、SSD KV キャッシュと macOS メニューバーアプリをコーディングエージェント向けに提供します。

llama-modchip は、CPU または混成ハードウェアで指定の疎 MoE GGUF モデルを動かす Apache-2.0 のローカル推論ツールキットです。

Tencentのモデル圧縮ツールキット。量子化、蒸留、疎な注意機構、投機的デコードをまとめ、対象モデルと実行環境に合わせた評価を支援します。

DeepSeek が公開した Apache-2.0 のオフライン推論フレームワーク。DeepSeek V4.1 Flash を NVIDIA SM100 GPU または Huawei Ascend 950 NPU で大規模提供する用途向け。

halogen-flash-server は Strix Halo 向け推論サーバで、OpenAI 互換 API で Qwen3.8-Flash-Next を動かす。

MITのエージェントフレームワーク。再確認：GitHub 144,367 stars。ホスト型トレースは LangSmith Developer $0 / Plus 席あたり$39。製品はLangServeではない。

ドキュメントエージェントとLlamaParse。再確認：Free $0（10Kクレジット）、Starter $50、Pro $500。1,000クレジット=$1.25。OSSはMIT。

MCPサーバー向けTypeScriptキット。再確認：MIT、GitHub 928 stars。ソフトは$0。5分のClaude Desktop専用チュートリアルではない。

NInferは単一のRTX 5090上の指定Qwenチェックポイント向けApache-2.0のC++/CUDA推論エンジンで、OpenAIおよびAnthropic互換のローカルAPIを提供する。

オープンソースのRAGとエージェント。再確認：Apache-2.0、GitHub 88,659 stars。クラウド登録はあるが公開ドル表はない。汎用スキャナではない。

StrataはWindowsとLinux向けのローカル推論エンジンです。Qwen3.8-Flash-Next、チャット画面、監視、エージェント用の互換APIを提供します。

NVIDIAが開発するオープンソースのLLM脆弱性スキャナー。数十のプラグインと数千のプロンプトで、脱獄・プロンプトインジェクション・データ漏洩を検出。モデルとエージェントのセキュリティテストの業界標準。

MCP India Stack はエージェント向けにインドの税・身分・法律ツール 76 個を載せる MIT のオフライン優先 MCP サーバー。