K2-Horizon-7B 的替代方案

Google DeepMind 开源权重模型，25.2B 总参数 MoE 架构每 token 仅激活 3.8B，256K 上下文，支持图文多模态输入，Apache 2.0 商用友好协议。

阿里通义千问公开的 Qwen4 架构预览：125B 多模态 MoE、每 token 仅激活 6B，外加 51B N-gram 词表，原生 262K 上下文，输入定价 $0.16/百万 token。