Dec, 2023

Gemini: 一系列高能力的多模态模型

PDF
TL;DR介绍了一种新的多模态模型 Gemini 系列，具备对图像、音频、视频和文本的出色理解能力。Gemini 系列包括 Ultra、Pro 和 Nano 三种规模，适用于从复杂推理任务到内存受限的设备使用场景。在广泛的基准测试中，我们最强大的 Gemini Ultra 模型在 32 个基准测试中的 30 个中领先于现有技术水平，特别是在经典考试基准测试 MMLU 中，Gemini 是首个达到人类专家水平的模型，并在我们检验的 20 个多模态基准测试中改进了现有技术水平。我们相信 Gemini 模型在跨模态推理和语言理解方面的新能力将被广泛应用，并讨论了我们在向用户负责地部署这些模型方面的方法。
发现论文，激发创造
  • Gemini 1.5: 在数百万词汇的背景下实现多模态理解的突破

    Gemini 1.5 Pro 是一种高效的多模态混合专家模型，可以在上亿个上下文令牌中回忆和推理出细粒度信息，包括多个长文档和数小时的视频和音频。该模型在多模态长上下文检索任务、长文档问答、长视频问答和长上下文 ASR 等方面取得了接近完美的召回，性能达到了 Gemini 1.0 Ultra 的最先进水平，并在广泛的基准测试中与之匹敌甚至超过。最后，我们强调了大型语言模型在边界领域的令人惊讶的新功能；当给定卡拉曼语的语法手册时，该模型可以学习将英语翻译成卡拉曼语，达到与从同样内容学习的人类相似的水平。

    Mar, 2024

  • Gemini 模型在医学领域的能力

    Gemini 模型在医学应用领域的卓越表现面临着挑战，要求先进的推理能力、获取最新的医学知识和理解复杂的多模态数据。该研究引入了 Med-Gemini，一类在医学领域具有高度实用性的多模态模型，能够无缝地使用网络搜索，并可以通过定制编码器高效地适应新的模态特征。在 14 个医学基准测试中，Med-Gemini 取得了新的最佳性能，超过了 GPT-4 模型系列，并在多模态基准测试中取得了相对较大的提升。该研究通过突破先前的方法，在长期匿名健康记录和医学视频问答方面展示了 Med-Gemini 的长语境能力和非凡性能，并在医学文本摘要等任务上超越人类专家。尽管在这个安全关键领域中，需要进一步的严格评估，但我们的结果提供了 Med-Gemini 潜力的有力证据。

    Apr, 2024

  • 推进 Gemini 的多模医疗能力

    通过对 Med-Gemini 的多模态模型进行改进，我们在医学领域开发了几个 Med-Gemini 系列模型，通过二维和三维放射学、组织病理学、眼科学、皮肤科学和基因组学数据的微调，继承了 Gemini 的核心能力，并创立了 AI 基于 X 射线的报告生成的新标准，并在多项医学任务中超越了现有基线模型表现。

    May, 2024

  • Gemini 语言能力深度探析

    Google Gemini 模型是首个与 OpenAI GPT 系列在各种任务上全面匹敌的模型，本文对该模型的语言能力进行深入探索，并提供第三方客观比较 OpenAI GPT 和 Google Gemini 模型的能力，分析两者各自擅长的领域，并发现对于我们测试的所有任务，Gemini Pro 在准确度上略低于相应的 GPT 3.5 Turbo。

    Dec, 2023

  • 推理中的雙子座：揭示多模態大語言模型中的常識

    Google 的 Gemini 模型通过对 12 个常识推理数据集的综合分析，展现出与其他语言模型和多模态语言模型相竞争的常识推理能力，揭示了当前语言模型和多模态语言模型在解决常识问题方面所面临的共同挑战，强调了提高这些模型的常识推理能力的进一步发展的需求。

    Dec, 2023

  • Gemini 在医学院：探索多模态大型语言模型在医学挑战问题和幻觉上的能力

    对大型语言模型在医疗保健行业的潜在价值进行了全面评估，发现 Google 的新型多模态模型 Gemini 在医学推理、幻觉检测和医学视觉问答任务中表现尚可，但在诊断准确性上低于 MedPaLM 2 和 GPT-4 等先进模型。分析结果显示 Gemini 对幻觉、过度自信和知识缺失高度敏感，需要谨慎部署。为提高性能，采用提示策略，并通过发布 Python 模块和建立医学领域 LLM 的排行榜促进未来研究与发展。

    Feb, 2024

  • Gemma：基于 Gemini 研究和技术的开放模型

    Gemma 是一种轻量级的、最先进的开放模型系列，从用于创建 Gemini 模型的研究和技术中构建而来。Gemma 模型在语言理解、推理和安全性等学术基准测试中表现出强大的性能。我们发布了两个规模的模型（20 亿和 70 亿参数），并提供预训练和微调的检查点。Gemma 在 18 个基于文本的任务中，有 11 个任务优于类似规模的开放模型。我们全面评估了模型的安全性和责任方面，同时详细描述了模型的开发过程。我们认为，负责任地发布 LLM 对于提高前沿模型的安全性，并推动 LLM 的下一波创新至关重要。

    Mar, 2024

  • Mini-Gemini: 挖掘多模视觉语言模型的潜力

    通过引入 Mini-Gemini 框架，本论文旨在提升多模视觉语言模型（VLMs）的性能，尤其关注高分辨率视觉标记、高质量数据和 VLM 引导生成等方面，进一步挖掘了 VLMs 的潜力，使其能够同时支持图像理解、推理和生成。

    Mar, 2024

  • Gemini 对 GPT-4V：基于定性案例的视觉 - 语言模型初步比较与结合

    这篇论文对谷歌的 Gemini 和 OpenAI 的 GPT-4V (ision) 两个创新模型进行了深入的比较研究，重点关注它们在视觉理解能力、与人类交互、时间理解以及智能和情感商数等关键领域的表现，发现 GPT-4V 以精准简洁的回答著称，而 Gemini 在提供详细广泛回答和相关图像和链接方面表现出色。这些研究成果不仅揭示了 Gemini 和 GPT-4V 的比较优势，也突显了多模式基础模型领域的发展，为未来的进展铺平了道路。

    Dec, 2023

  • 挑战 GPT-4V？对 Gemini 在视觉专长方面的早期探索

    Gemini Pro is explored as a challenger to GPT-4V in multi-modal learning, showcasing comparable visual reasoning capabilities but with different answering styles and preferences, while Sphinx lags behind in domain generalizability; Gemini has the potential to be a strong contender according to quantitative evaluation on the MME benchmark.

    Dec, 2023