谷歌昨晚发布了全新开源大模型系列Gemma 2，包括Gemma 2 9B和Gemma 2 27B两款型号，旨在满足研究和开发人员的广泛需求。Gemma 2系列凭借其参数小但性能卓越的特点，受到了业界的广泛关注。特别是27B模型，可在单张谷歌云TPU、英伟达A100 80GB GPU或英伟达H100 GPU上，以全精度高效运行推理，大幅降低了成本。
Gemma 2在设计上进行了多项创新，包括局部滑动窗口和全局注意力、Logit软上限、RMSNorm归一化以及分组查询注意力等技术，使得模型在保持高性能的同时，也能在各种硬件上快速推理。此外，Gemma 2还采用了知识蒸馏技术，通过向大模型学习，实现了用较少训练数据达到更好效果的目标。
Gemma 2的实用性也得到了充分体现。它轻量级且开源，兼容多种主流人工智能框架，包括Keras 3.0、vLLM、Gemma.cpp等。此外，Gemma 2还提供了广泛的示例和教程，方便用户探索新功能并构建自己的应用程序。从下个月开始，Google Cloud客户还将在Vertex AI上轻松部署和管理Gemma 2。
在安全性方面，谷歌为Gemma 2提供了「负责任的生成式AI工具包」，确保用户在使用模型时能够遵循最佳实践，降低潜在风险。