Aug, 2024

意外脆弱：评估和解决多模态基础模型中的提示不稳定性

HTML
PDF
TL;DR本研究针对多模态基础模型（MFM）在面对与训练分布稍有不同的文本输入时表现不佳的问题，揭示了提示不稳定性对模型性能的重大影响。通过额外的数据增强训练，我们提出的新的方法可以显著提高模型在扰动测试数据上的准确性和稳定性，促进模型更有效地应对领域变化，提升其推理能力。
发现论文，激发创造
  • 量化语言模型对触发设计中伪特征的敏感性，或：我如何开始担忧触发格式

    大语言模型的关键因素在于提示设计对其性能会产生巨大影响，通过许多方面的分析研究，我们发现几种常用开源大语言模型对微妙的提示格式变化具有极高的敏感性，这种敏感性在不断增加模型大小、样本数量或进行指令调整时仍然存在。

    Oct, 2023

  • 对齐您的提示：基于分布对齐的零样本泛化的测试时提示

    通过减小分布偏移，将零样本泛化的视觉-语言模型在未见领域中的性能提升了3.08%，并且在跨数据集泛化的情况下，在所有数据集上相对于现有的最先进方法有一致的改进。

    Nov, 2023

  • SEED-Bench-2：多模态大型语言模型基准测试

    我们提出了 SEED-Bench-2，这是一个综合评估多模态大型语言模型能力的基准测试，并通过对23个主要开源多模态大型语言模型的性能评估，揭示了现有模型的局限性。

    Nov, 2023

  • 朝向健壮的多模式提示：缺失模态

    使用具体的提示设计来提高多模态学习的性能和鲁棒性，并减少提示的数量。

    Dec, 2023

  • 从多模态输入中获取语言知识

    利用FLAVA模型进行消融研究，独立变化文本和视觉输入量，发现多模态预训练既不损害模型的语言性能，也没有一致的帮助作用；然而，由于实验规模有限，这些结论还不完全确定，需要更好的架构和多模态训练技术来验证多模态输入对语言模型和人类数据效率差距的假设。

    Feb, 2024

  • LLaVA-Gemma：利用紧凑的语言模型加速多模基础模型

    我们使用近期发布的Gemma系列大型语言模型（LLMs）在流行的LLaVA框架中训练了一套多模态基础模型（MMFM）。我们测试了删除三个设计特征对模型性能的影响，并对性能进行了深入分析。最终的LLaVA-Gemma模型在多项评估中表现适中，但未能超越当前规模相当的SOTA模型。

    Mar, 2024

  • 反演上下文学习：通过破坏理解提示

    通过对大语言模型进行随机组成的实验，研究了任务描述、示例输入、标签、行内指令等多个因素对模型性能的影响，发现重复文本、大型模型以及任务和行内指令对模型性能提升具有积极影响。

    Apr, 2024

  • POEM：增强大型语言模型的多模态推理的交互式提示优化

    大型语言模型的多模态内容理解和推理能力取得了令人印象深刻的成果，我们提出了一种名为POEM的视觉分析系统，以促进对LLMs的多模态推理性能的有效提示工程。该系统支持用户通过多样化的示例和指导原则，循环迭代地设计和改进提示，以实现模型知识与人类洞察力的更好对齐和增强。通过两个案例研究和专家访谈验证了我们系统的有效性和高效性。

    Jun, 2024

  • 大语言模型下文本标注的提示稳定性评分

    我们提出了一种诊断提示稳定性的通用框架，通过采用传统的内部和外部编码者可靠性评分方法，并提供了一个名为PromptStability的Python包来估计提示稳定性得分（PSS）。通过使用六个不同的数据集和十二个结果，我们对超过150,000行的数据进行分类以：a）诊断提示稳定性较低的情况；和b）展示该包的功能。最后，我们提供了应用研究人员的最佳实践建议。

    Jul, 2024

  • HEMM: 综合评估多模态基础模型

    综合评估多模态模型的能力，包括基本技能、信息流和使用案例，通过30项任务进行全面实验，得出多模态互动、使用案例和需要推理和外部知识的任务的具有挑战性，数据和模型规模的益处，以及指导调整对性能的影响等方面的可操作见解。

    Jul, 2024