本研究探讨了预训练视觉和语言模型在两个需要多模态集成的任务中的推理能力：（1）区分正确的图像-句子对与不正确的对，以及（2）计算图像中的实体。结果显示，预训练的V＆L模型非常擅长解决任务（1），但无法充分解决任务（2），即计数探针，并不能推广到不同分布的数量。研究为我们提供了一些对这些发现的解释，并建议理解这些模型的推理和基础能力需要更有目的的调查。

Dec, 2020

本研究旨在探讨大型语言模型的编辑问题，提出当前最先进的编辑方法并构建了一个新的基准数据集进行实证分析，从而为研究社区在选择适用于特定任务或上下文的最合适的方法时提供有价值的见解。

May, 2023

该研究分析了不同的多模态指导调优方法，并评估了它们在复杂推理、对话、图像字幕、多项选择题和二元分类等任务中的性能，揭示了在将多模态能力融入大型语言模型时的架构选择的关键见解，但当前方法存在局限性，未能充分解决丰富多样的多模态指导数据集的需求和生成响应的真实性和事实性问题，这些发现阐明了适应图像理解的语言模型的现有方法学限制，并为寻求利用多模态版本的大型语言模型的研究人员和实践者提供了有价值的指导。

Oct, 2023

多模态大型语言模型（MLLMs）借助视觉知识的两个层面提升了理解和感知多模态信号的能力。通过逐步整合细粒度的空间感知视觉知识和软提示高级语义视觉证据的方法，我们的模型在多个多模态基准测试中展示了过人的优越性能。

Nov, 2023

修改存储在大型语言模型中的错误事实或注入新事实的记忆编辑（ME）方法已被证明是有效的。然而，先前的研究在ME评估方面存在两个关键限制：仅评估单个编辑的LLMs，忽视了连续编辑的需求，以及仅关注基本事实三元组的评估，忽略了更广泛的LLM能力如逻辑推理和阅读理解。这项研究通过三个方面解决了这些限制，并发现参数修改型ME在几个连续编辑后会显著降低性能，而参数保持型ME则能有效地保持LLMs的基本能力，但在以不同格式呈现的已编辑知识的准确记忆方面存在困难。此外，该研究还提出了几种可能缓解ME不利影响的策略，并从参数修改、语言建模能力和上下文学习能力三个维度进一步解释了为何参数修改型ME会损害LLMs。这项深入研究倡导在实际应用中更谨慎地使用ME。

Feb, 2024

基于多模态知识图，本研究构建了一个新的基准评估$ extbf{KEBench}$，并扩展了一种新的评估指标（可移植性），通过对五个大型视觉语言模型进行不同编辑方法的实验，深入分析这些方法对模型的影响，揭示了这些方法的优点和不足，为未来的研究提供了启示。

Mar, 2024

综述了大语言模型与视觉语言模型的最新进展，分析了它们在视觉能力、多模态输入和基准数据集方面的优势和局限性，并提出未来研究的潜在方向。

Feb, 2024

通过利用来自大型语言模型（LLM）的类别描述，我们引入了一种基于部分级别描述引导的图像和文本特征对齐方法，以构建更加可泛化的提示，并通过在 11 个基准数据集上的全面实验验证，超越了现有方法，取得了实质性的改进。

May, 2024

通过多模态基准测试工具ConBench，本研究首次揭示了大型视觉和语言模型在解决方案空间不同的提示下的答案一致性问题，并通过基于触发器的诊断优化方法，间接提高了模型的性能，以增强其描述能力。

May, 2024

这篇论文提出了一种名为WISE的方法，通过设计双参数记忆方案和知识分片机制，解决了大语言模型在终身模型编辑中的可靠性、泛化性和局部性之间的冲突，有效提升了问题回答、虚构和超越分布等任务的性能。

May, 2024