May, 2024

Gemini 和物理世界：大型语言模型能从多模态社交媒体帖子中估计地震震动的强度

PDF
TL;DR使用社交媒体数据和闭路电视画面，利用生成式人工智能和自然语言处理，本研究提出了一种估计地面震动强度的新方法，通过 Gemini Pro 模型的多模态语言模型，将相关信息从非结构化数据中提取出来，并得到 Modified Mercalli Intensity (MMI) 值，与独立观测数据吻合良好。这些研究结果揭示了 Gemini 除了拥有先进的视听理解能力外，似乎还利用了其他知识来源，包括对地震震级、距离和 MMI 强度之间一般关系的简化理解，这些推理和决策过程可能在其训练过程中获取。这些发现引发了有关 Gemini 对物理世界及其现象一般理解程度的有趣问题。Gemini 能够生成与已建立的科学知识一致的结果，突显了像 Gemini 这样的多模态语言模型在增进我们对复杂物理现象（如地震）的理解方面的潜力。具体而言，本研究的结果突显出像 Gemini 这样的多模态语言模型在通过分析民众参与的数据获取地震影响评估和危机态势意识方面，将公民地震学革命化的潜力。该方法为改善地震预警系统、灾难响应和地震高风险地区整体弹性提供了巨大的希望，为利用社交媒体和人工智能进行地震灾害缓解迈出了重要的一步。
发现论文，激发创造
  • Gemini 在医学院：探索多模态大型语言模型在医学挑战问题和幻觉上的能力

    对大型语言模型在医疗保健行业的潜在价值进行了全面评估，发现 Google 的新型多模态模型 Gemini 在医学推理、幻觉检测和医学视觉问答任务中表现尚可，但在诊断准确性上低于 MedPaLM 2 和 GPT-4 等先进模型。分析结果显示 Gemini 对幻觉、过度自信和知识缺失高度敏感，需要谨慎部署。为提高性能，采用提示策略，并通过发布 Python 模块和建立医学领域 LLM 的排行榜促进未来研究与发展。

    Feb, 2024

  • 推理中的雙子座：揭示多模態大語言模型中的常識

    Google 的 Gemini 模型通过对 12 个常识推理数据集的综合分析，展现出与其他语言模型和多模态语言模型相竞争的常识推理能力，揭示了当前语言模型和多模态语言模型在解决常识问题方面所面临的共同挑战，强调了提高这些模型的常识推理能力的进一步发展的需求。

    Dec, 2023

  • 评估基于生成式的大型多模态模型与基于微调的视觉转换器在基于图像的安全应用中的功效

    研究了用于解决关键安全挑战的提示引擎 Gemini-pro 多模态模型和精调 ViT 模型的适用性和效果，发现 Gemini-pro 在准确性和可靠性方面存在明显差异，而精调的 ViT 模型在两个任务上表现出色，达到近乎完美的性能。

    Mar, 2024

  • Gemini 1.5: 在数百万词汇的背景下实现多模态理解的突破

    Gemini 1.5 Pro 是一种高效的多模态混合专家模型，可以在上亿个上下文令牌中回忆和推理出细粒度信息，包括多个长文档和数小时的视频和音频。该模型在多模态长上下文检索任务、长文档问答、长视频问答和长上下文 ASR 等方面取得了接近完美的召回，性能达到了 Gemini 1.0 Ultra 的最先进水平，并在广泛的基准测试中与之匹敌甚至超过。最后，我们强调了大型语言模型在边界领域的令人惊讶的新功能；当给定卡拉曼语的语法手册时，该模型可以学习将英语翻译成卡拉曼语，达到与从同样内容学习的人类相似的水平。

    Mar, 2024

  • Gemini: 一系列高能力的多模态模型

    介绍了一种新的多模态模型 Gemini 系列，具备对图像、音频、视频和文本的出色理解能力。Gemini 系列包括 Ultra、Pro 和 Nano 三种规模，适用于从复杂推理任务到内存受限的设备使用场景。在广泛的基准测试中，我们最强大的 Gemini Ultra 模型在 32 个基准测试中的 30 个中领先于现有技术水平，特别是在经典考试基准测试 MMLU 中，Gemini 是首个达到人类专家水平的模型，并在我们检验的 20 个多模态基准测试中改进了现有技术水平。我们相信 Gemini 模型在跨模态推理和语言理解方面的新能力将被广泛应用，并讨论了我们在向用户负责地部署这些模型方面的方法。

    Dec, 2023

  • 挑战 GPT-4V？对 Gemini 在视觉专长方面的早期探索

    Gemini Pro is explored as a challenger to GPT-4V in multi-modal learning, showcasing comparable visual reasoning capabilities but with different answering styles and preferences, while Sphinx lags behind in domain generalizability; Gemini has the potential to be a strong contender according to quantitative evaluation on the MME benchmark.

    Dec, 2023

  • 从 GPT-4 到 Gemini 和更远：通过四种方式评估 MLLMs 的一般化能力、可靠性和因果关系

    通过对专有和开源多模态大语言模型的定性研究，本文旨在增强对最近的 MLLM 在一般化、可信度和因果推理能力方面与广大公众期望之间差距的理解，主要关注文本、代码、图像和视频四个模态，最终目标是提高 MLLM 透明度，发现 14 个实证性发现以深入了解专有和开源 MLLM 的能力和限制，以实现更可靠的多模态下游应用。

    Jan, 2024

  • Gemini 模型在医学领域的能力

    Gemini 模型在医学应用领域的卓越表现面临着挑战，要求先进的推理能力、获取最新的医学知识和理解复杂的多模态数据。该研究引入了 Med-Gemini，一类在医学领域具有高度实用性的多模态模型，能够无缝地使用网络搜索，并可以通过定制编码器高效地适应新的模态特征。在 14 个医学基准测试中，Med-Gemini 取得了新的最佳性能，超过了 GPT-4 模型系列，并在多模态基准测试中取得了相对较大的提升。该研究通过突破先前的方法，在长期匿名健康记录和医学视频问答方面展示了 Med-Gemini 的长语境能力和非凡性能，并在医学文本摘要等任务上超越人类专家。尽管在这个安全关键领域中，需要进一步的严格评估，但我们的结果提供了 Med-Gemini 潜力的有力证据。

    Apr, 2024

  • Gemini 语言能力深度探析

    Google Gemini 模型是首个与 OpenAI GPT 系列在各种任务上全面匹敌的模型，本文对该模型的语言能力进行深入探索，并提供第三方客观比较 OpenAI GPT 和 Google Gemini 模型的能力，分析两者各自擅长的领域，并发现对于我们测试的所有任务，Gemini Pro 在准确度上略低于相应的 GPT 3.5 Turbo。

    Dec, 2023

  • QuakeBERT: 社交媒体文本的准确分类以实现地震迅速评估

    社交媒体在灾难响应方面起到了帮助作用，但受到噪声的干扰，限制了对韧性城市的准确影响评估和决策制定，本研究提出了首个专业领域的 LLM 模型和整合方法，用于进行快速地震影响评估。

    May, 2024