mlx-kquant

mlx-kquant は、GGUF 系 K-quant コーデックを MLX に持ち込む MIT ライセンスの拡張と CLI ツールチェーンです。Apple Silicon を使う開発者は、MLX または mlx-lm のチェックポイントを K-quant safetensors に変換し、ローカルで実行したり、LoRA アダプターを学習・統合したりできます。事実の基準は公式リポジトリで、v0.5.11 は 2026-11-08 に公開されました。

主な機能

K-quant 用 MLX 演算：C++ と Metal のカスタム演算により、K-quant のエンコード、デコード、行列積、MoE の gathered 行列積を MLX で扱います。
実務的な CLI：mlx-kquant quantize、run、chat、lora、fuse が変換、ローカル生成、対話、アダプター学習、統合を担います。
MLX ネイティブのチェックポイント：出力は MLX safetensors であり、別の GGUF ランタイムではありません。標準 mlx-lm 用のロード shim も説明されています。
複数コーデック：K-quant、legacy、いくつかの IQ、ternary、ネイティブ浮動小数点 wire 形式を文書化していますが、処理とハードウェアごとに対応範囲は異なります。

向いている用途

既に MLX を使っており、低ビットのチェックポイントを検証可能な形で評価したいなら mlx-kquant は有力です。特に Apple Silicon 向けです。一方で、ワンクリックのデスクトップモデルアプリでも、すべての量子化形式を相互運用するものでもありません。汎用的なローカルモデル管理には Ollama、Apple Silicon 向けサービングには mlx-serve も比較できます。

始め方

公式のビルド済み Metal パスは Apple Silicon と macOS 26.2 以降を要求します。まず mlx-kquant[tools] を入れ、小さくサポートされた Hugging Face または mlx-lm のチェックポイントを mlx-kquant quantize で変換して短いプロンプトで確認します。Linux CPU パスも文書化されていますが、プロジェクトはそれをスループット目的ではなく移植性と CI のための経路と説明しています。

捨ててもよいモデルディレクトリから始め、元の浮動小数点重みを残してください。代表的なプロンプトを量子化前後で比較し、自分の Mac のメモリとレイテンシを記録してから LoRA を試すのが安全です。モデル重みのライセンスはツールの MIT ライセンスとは別です。

制約と注意点

拡張は MLX ABI とヘッダーに依存するため、プロジェクトは厳密な MLX バージョンを固定しています。更新では再ビルドが必要になる場合があります。品質・性能値はプロジェクト自身の測定で独立保証ではなく、コーデックの対応も一様ではありません。API キーをシェル履歴に残さず、実験的なローダーを本番のモデルディレクトリに向けず、Agent ワークフローに使う前にアダプター出力を検証してください。