Mar, 2024

Gemma：基于 Gemini 研究和技术的开放模型

PDF
TL;DRGemma 是一种轻量级的、最先进的开放模型系列，从用于创建 Gemini 模型的研究和技术中构建而来。Gemma 模型在语言理解、推理和安全性等学术基准测试中表现出强大的性能。我们发布了两个规模的模型（20 亿和 70 亿参数），并提供预训练和微调的检查点。Gemma 在 18 个基于文本的任务中，有 11 个任务优于类似规模的开放模型。我们全面评估了模型的安全性和责任方面，同时详细描述了模型的开发过程。我们认为，负责任地发布 LLM 对于提高前沿模型的安全性，并推动 LLM 的下一波创新至关重要。
gemmalightweight modelslanguage understandingsafetyresponsibility aspects
发现论文，激发创造
  • CodeGemma: Gemma 基于的开源代码模型

    介绍了 CodeGemma，这是一套基于 Gemma 的专业开放代码模型集合，能够执行各种代码和自然语言生成任务，并发布了三个模型变体，其中 7B pretrained 和 instruction-tuned 变体在自然语言理解方面具有很强的韧性，优秀的数学推理能力，并且在代码功能方面与其他开放模型相匹配，而 2B 模型是一种用于快速代码填充和延迟敏感设置中的开放式生成的最先进的代码完成模型。

    Jun, 2024

  • LLaVA-Gemma：利用紧凑的语言模型加速多模基础模型

    我们使用近期发布的 Gemma 系列大型语言模型（LLMs）在流行的 LLaVA 框架中训练了一套多模态基础模型（MMFM）。我们测试了删除三个设计特征对模型性能的影响，并对性能进行了深入分析。最终的 LLaVA-Gemma 模型在多项评估中表现适中，但未能超越当前规模相当的 SOTA 模型。

    Mar, 2024

  • 递归 Gemma：超越变压器实现高效的开放式语言模型

    我们介绍了一个开放的语言模型，使用了谷歌的全新的 Griffin 架构。Griffin 结合了线性递归和局部注意力，在语言方面有出色的表现。它具有固定大小的状态，可减少内存使用并在长序列上实现高效的推理。我们提供了一个已经预训练的模型，其中包含 2B 个非嵌入参数，还有经过调整的指令变种。尽管这两个模型的训练标记较少，但它们都实现了与 Gemma-2B 相当的性能。

    Apr, 2024

  • Gemini: 一系列高能力的多模态模型

    介绍了一种新的多模态模型 Gemini 系列，具备对图像、音频、视频和文本的出色理解能力。Gemini 系列包括 Ultra、Pro 和 Nano 三种规模，适用于从复杂推理任务到内存受限的设备使用场景。在广泛的基准测试中，我们最强大的 Gemini Ultra 模型在 32 个基准测试中的 30 个中领先于现有技术水平，特别是在经典考试基准测试 MMLU 中，Gemini 是首个达到人类专家水平的模型，并在我们检验的 20 个多模态基准测试中改进了现有技术水平。我们相信 Gemini 模型在跨模态推理和语言理解方面的新能力将被广泛应用，并讨论了我们在向用户负责地部署这些模型方面的方法。

    Dec, 2023

  • 对于事实性、毒性、偏见和幻觉倾向进行的 Llama2、Mistral、Gemma 和 GPT 的基准测试

    本研究主要介绍了用于评估大型语言模型在企业任务中安全性的十四个新数据集。我们采用了一种方法来评估模型的安全性，即其遵循指令和输出事实、无偏见、立足点的内容的能力。在此研究中，我们使用 OpenAI GPT 作为对比点，因为它在所有安全性层面上表现出色。在开源方面，对于较小的模型，Meta Llama2 在事实性和毒性方面表现良好，但幻觉倾向最高。Mistral 幻觉最少，但无法处理毒性。它在混合了几个任务和安全向量的数据集中表现良好，但局限在狭窄的垂直领域。Gemma 是基于谷歌 Gemini 的新型开源模型，总体上平衡但稍逊。在进行来回对话（多轮提示）时，我们发现开源模型的安全性明显下降。除了 OpenAI 的 GPT 外，Mistral 是唯一在多轮测试中仍然表现良好的模型。

    Apr, 2024

  • Gemini 在医学院：探索多模态大型语言模型在医学挑战问题和幻觉上的能力

    对大型语言模型在医疗保健行业的潜在价值进行了全面评估，发现 Google 的新型多模态模型 Gemini 在医学推理、幻觉检测和医学视觉问答任务中表现尚可，但在诊断准确性上低于 MedPaLM 2 和 GPT-4 等先进模型。分析结果显示 Gemini 对幻觉、过度自信和知识缺失高度敏感，需要谨慎部署。为提高性能，采用提示策略，并通过发布 Python 模块和建立医学领域 LLM 的排行榜促进未来研究与发展。

    Feb, 2024

  • 推理中的雙子座：揭示多模態大語言模型中的常識

    Google 的 Gemini 模型通过对 12 个常识推理数据集的综合分析，展现出与其他语言模型和多模态语言模型相竞争的常识推理能力，揭示了当前语言模型和多模态语言模型在解决常识问题方面所面临的共同挑战，强调了提高这些模型的常识推理能力的进一步发展的需求。

    Dec, 2023

  • Mini-Gemini: 挖掘多模视觉语言模型的潜力

    通过引入 Mini-Gemini 框架，本论文旨在提升多模视觉语言模型（VLMs）的性能，尤其关注高分辨率视觉标记、高质量数据和 VLM 引导生成等方面，进一步挖掘了 VLMs 的潜力，使其能够同时支持图像理解、推理和生成。

    Mar, 2024

  • Gemini 1.5: 在数百万词汇的背景下实现多模态理解的突破

    Gemini 1.5 Pro 是一种高效的多模态混合专家模型，可以在上亿个上下文令牌中回忆和推理出细粒度信息，包括多个长文档和数小时的视频和音频。该模型在多模态长上下文检索任务、长文档问答、长视频问答和长上下文 ASR 等方面取得了接近完美的召回，性能达到了 Gemini 1.0 Ultra 的最先进水平，并在广泛的基准测试中与之匹敌甚至超过。最后，我们强调了大型语言模型在边界领域的令人惊讶的新功能；当给定卡拉曼语的语法手册时，该模型可以学习将英语翻译成卡拉曼语，达到与从同样内容学习的人类相似的水平。

    Mar, 2024

  • Gemini 模型在医学领域的能力

    Gemini 模型在医学应用领域的卓越表现面临着挑战，要求先进的推理能力、获取最新的医学知识和理解复杂的多模态数据。该研究引入了 Med-Gemini，一类在医学领域具有高度实用性的多模态模型，能够无缝地使用网络搜索，并可以通过定制编码器高效地适应新的模态特征。在 14 个医学基准测试中，Med-Gemini 取得了新的最佳性能，超过了 GPT-4 模型系列，并在多模态基准测试中取得了相对较大的提升。该研究通过突破先前的方法，在长期匿名健康记录和医学视频问答方面展示了 Med-Gemini 的长语境能力和非凡性能，并在医学文本摘要等任务上超越人类专家。尽管在这个安全关键领域中，需要进一步的严格评估，但我们的结果提供了 Med-Gemini 潜力的有力证据。

    Apr, 2024