halogen-flash-server の代替ツール

mlx-serve は Apple Silicon 向け MIT の Zig 推論サーバで、Python なしに MLX と GGUF をローカル実行し OpenAI と Anthropic API を出す。

EXL3量子化フォーマットを軸にした高効率ローカルLLM推論ライブラリ。テンソル・エキスパート並列で大きなオープンモデルをコンシューマーGPUで実行し、TabbyAPIサーバーを支える。

Alibaba（通義千問）による Qwen4 アーキテクチャの先行公開：125B のマルチモーダル MoE、トークンごと 6B のみ活性化、51B の N-gram 語彙、ネイティブ 262K コンテキスト、入力 $0.16/百万トークン。