Jun, 2023

MEWL：具有指代不确定性的少样本多模态单词学习

HTML
PDF
TL;DR介绍了MachinE Word Learning（MEWL）基准测试，用于评估机器在基于视觉场景的单词学习中的表现，涵盖了交叉情境推理、自举和语用学习三个方面，通过与人类表现的比较分析发现人类与机器的单词学习存在显著差异，并呼吁机器实现人类一样的few-shot word learning。
发现论文，激发创造
  • 多模词汇分类的计算获取模型

    本文提出一种认知启发的、多模态获取模型，通过跨模态自监督在自然数据上从图像-标题对进行训练，展示了该模型学习词汇分类和物体识别能力，并展现了类似于发展心理学文献中报告的趋势。我们公开了我们的代码和训练模型，供未来参考和使用。

    May, 2022

  • 多模态机器学习的基础和趋势：原理、挑战和开放性问题

    本文旨在探讨多模态机器学习的计算与理论基础，定义了三个关键原则和六个核心技术挑战，并提出多个未来研究的开放性问题。

    Sep, 2022

  • 多模态语言模型中的当前挑战的视觉导览

    本研究探索了使用多模型文本-图像生成来实现视觉绑定对功能词汇习得的帮助程度，并发现多模型仅在极少数的代词子类和关系代词方面有效地建模功能词汇。

    Oct, 2022

  • 两词测试：大型语言模型语义基准测试

    本篇研究提出了一种新的基于双词短语的语义能力评估测试（TWT），研究评估了GPT-4、GPT-3.5和Bard等大规模语言模型的能力，显示它们在评估短语的意义和辨别无意义词组方面均表现不佳，需要继续进行测试和改进。

    Jun, 2023

  • 多模态大型语言模型在预测语言处理中体现人类式的视觉-语言整合的证据

    大型语言模型（LLMs）的高级语言处理能力引发了关于它们是否能够复制类似人类认知过程的能力的讨论，本文通过研究多模态语言模型（mLLMs）中的视觉关注权重，发现与人类一样，mLLMs中基于多模态输入的预测性语言处理过程也会受到视觉特征的注意引导。

    Aug, 2023

  • MM-BigBench：评估多模态模型在多模态内容理解任务上的表现

    通过使用全面的评估框架MM-BigBench，本文综合评估了20个语言模型（包括14个多模态大型语言模型）在14个多模态数据集上的性能，并通过引入新的指标，对不同模型和指令之间的性能以及适应性进行了评估。

    Oct, 2023

  • BLA基准：研究预训练多模态模型的基本语言能力

    我们探索了预训练语言与视觉模型在基本语言构造方面的处理程度，并提出了BLA评估基准，发现各种类型的基于Transformer的系统普遍在零样本设置下难以处理BLA，但生成型的BLIP2在上下文学习环境中显示出有希望的趋势，这为将BLA用作评估基准以及提高模型的基本语言能力打开了大门。

    Oct, 2023

  • SEED-Bench-2：多模态大型语言模型基准测试

    我们提出了 SEED-Bench-2，这是一个综合评估多模态大型语言模型能力的基准测试，并通过对23个主要开源多模态大型语言模型的性能评估，揭示了现有模型的局限性。

    Nov, 2023

  • 从多模态输入中获取语言知识

    利用FLAVA模型进行消融研究，独立变化文本和视觉输入量，发现多模态预训练既不损害模型的语言性能，也没有一致的帮助作用；然而，由于实验规模有限，这些结论还不完全确定，需要更好的架构和多模态训练技术来验证多模态输入对语言模型和人类数据效率差距的假设。

    Feb, 2024

  • 评估多模态LLM在少样本学习中的语言能力

    对Multimodal Large Language Models在VALSE基准上的性能进行综合评估，发现In-Context Learning和Chain-of-Thought prompting能显著提升模型性能，尤其适用于需要复杂推理和语境理解的任务。同时，预训练数据集的组成和few-shot learning策略对模型优化都有重要影响。

    Jul, 2024