Google: Gemma 2 9B logo

Google: Gemma 2 9B

打开

Gemma 2 9B 是 Google 于 2024 年 6 月 27 日发布的 9B 开放权重文本模型,训练数据 8T token;Gemma 4 现为最新一代。

分享:
查看替代方案

Google: Gemma 2 9B

Gemma 2 9B 是 Google 的 90 亿参数开放权重语言模型,于 2024 年 6 月 27 日随 27B 版本一起在 Google 的 Gemma 2 公告中发布。模型卡称 Gemma 是基于与 Gemini 相同研究构建的轻量开放模型家族:面向英文的文本到文本、仅解码器语言模型,权重开放。这是预训练检查点,另有指令微调版 gemma-2-9b-it。Google 的 Gemma 页面现在列出 Gemma 1 到 Gemma 4 四代,因此 Gemma 2 属于上一代,但仍可下载。

核心功能

  • 规模与数据:据模型卡,9B 参数,训练 8 万亿 token(27B 模型为 13 万亿)。
  • 开放权重:预训练版和指令微调版均开放权重。Hugging Face 仓库有访问限制,需要登录并接受 Google 的 Gemma 许可。
  • 预期用途:文本生成、聊天机器人、摘要、NLP 研究和语言学习工具,包括在笔记本和台式机上运行。
  • 厂商基准:模型卡为预训练 9B 模型报告 MMLU 71.3(5-shot)、HellaSwag 81.9、GSM8K 68.6、HumanEval 40.2 pass@1、MATH 36.6,均为 Google 提供的数据。Google 的公告还称 9B 模型优于 Llama 3 8B 及同尺寸其他开放模型。

适用场景

  • 在本地或单张 GPU 上运行能力不错的小模型。
  • 为领域文本生成或摘要微调基础模型。
  • 小型英文语言模型的研究基线。

局限:模型卡没有给出上下文长度,且 Gemma 2 以英文为主,多语言需求请自行验证。

定价与可用性

权重可按 Gemma 许可条款免费下载。Google 的公告还提到可通过 Google AI Studio 托管访问;本条目没有在官方页面核实托管价格,因此不引用价格。

快速开始

  1. 在 Hugging Face 模型页面接受 Gemma 许可。
  2. 使用 Transformers 加载 google/gemma-2-9b,对话场景可用指令微调版 google/gemma-2-9b-it。
  3. 新项目请在 Google 的 Gemma 页面对比最新的 Gemma 系列。

常见问题

Gemma 2 9B 是开源的吗?

它在 Google 的 Gemma 许可下开放权重,需要接受条款。请结合你的用途阅读许可。

谁取代了 Gemma 2 9B?

Google 的 Gemma 页面把 Gemma 4 列为最新一代,尺寸有 E2B、E4B、12B、31B 和 26B A4B。本站收录了 Gemma 4 26B A4B。

它训练了多少 token?

据模型卡,9B 模型训练了 8 万亿 token。

有更大的 Gemma 2 吗?

有,27B 模型,见 Gemma 2 27B。

替代方案

总结

Gemma 2 9B 是文档完善、可公开获取的小型模型,现已落后一代。可用于现有流水线或研究基线,新项目请评估 Gemma 4。更多模型见模型分类。

评论

还没有评论。成为第一个评论的人!