Feb, 2023

视觉是否加速神经语言学习者的分层泛化？

PDF
TL;DR本研究探讨了神经语言模型（LM）与人类学习者的效率差距，提出了学习者除文本外的其他模式，即视觉模式的可行性，并通过两个实验表明视觉模式在简化的人工场景下加速了 LMs 的合适的语法泛化，但在嘈杂的现实场景中，LMs 很难做到。这表明视觉有助于语言习得，但学习者需要有额外的先验知识来使用原始图像进行高效的语言习得。
发现论文，激发创造
  • 分析有限数据中语言与视觉在学习中的作用

    语言对理解视觉世界有何帮助？实际观察世界还是通过文字描述更重要？通过分析具有语言和视觉能力的人工智能模型，研究人员发现语言提供了先前的知识和推理能力，有助于从有限数据中学习新任务。

    Feb, 2024

  • 视觉基准帮助在低数据环境中学习词义

    通过对具有意义的监督的视觉数据进行训练，我们发现在具有限定语言数据的情况下，视觉监督可以提高词汇学习的效率，但这种改进是有限的，并且当前的多模态建模方法未能有效利用视觉信息以构建更具人类特征的词汇表示。

    Oct, 2023

  • 从多模态输入中获取语言知识

    利用 FLAVA 模型进行消融研究，独立变化文本和视觉输入量，发现多模态预训练既不损害模型的语言性能，也没有一致的帮助作用；然而，由于实验规模有限，这些结论还不完全确定，需要更好的架构和多模态训练技术来验证多模态输入对语言模型和人类数据效率差距的假设。

    Feb, 2024

  • 定位与语义：语言如何促进视觉表征学习？

    我们通过探测的方式比较了视觉 - 语言模型和仅视觉模型的视觉表征，在广泛的任务范畴内评估学习表征的质量，发现视觉 - 语言模型更适合标签预测任务，而仅视觉模型更适合需要更多局部信息的密集预测任务，同时指出语言有利于视觉模型更好地学习语义，但不利于定位。

    Dec, 2022

  • 视觉语言预训练是否提高了词汇连接能力？

    本文研究比较基于视觉和语言的预训练模型和仅基于文本的预训练模型的语义表示，结果发现基于视觉和语言的模型在仅语言方面无法显著优于仅基于文本的模型，因此这种多模态预训练对于提高自然语言处理的效果仍需要进一步研究。

    Sep, 2021

  • 近期大型视觉 - 语言模型的有效性评估

    大视觉语言模型在专业任务和通用任务中的效能进行综合评估，发现它们在专业任务和通用任务中均表现有限，可能的因素包括专业任务认知有限、物体幻觉、文本与图像的干扰以及在复杂问题中的鲁棒性降低。

    Mar, 2024

  • 语言和视觉模型几何形态的融合含义

    通过对三种不同的预训练语言模型和三种计算机视觉模型进行实证研究，本文发现预训练语言模型具有与计算机视觉模型部分同构的表示收敛能力，其中分散性和多义性对语言和视觉空间的对齐性产生影响 。

    Feb, 2023

  • 语言模型的视觉检查

    文中系统评估了大型语言模型（LLMs）生成和识别各种复杂视觉概念的能力，并展示了如何使用文本模型训练初步的视觉表示学习系统。实验结果表明，通过精确地建模字符串，语言模型可以在视觉世界的多个方面展现出作用，同时使用文本模型生成的图像进行的自监督视觉表示学习实验突显了仅借助 LLMs 能够训练具备语义评估能力的视觉模型的潜力。

    Jan, 2024

  • 探索视觉 - 语言模型的边界：当前方法和未来方向的综述

    综述了大语言模型与视觉语言模型的最新进展，分析了它们在视觉能力、多模态输入和基准数据集方面的优势和局限性，并提出未来研究的潜在方向。

    Feb, 2024

  • 视觉任务的视觉语言模型综述

    本文系统回顾了基于语言的视觉模型在各种视觉识别任务中的应用，并总结了广泛采用的网络结构、预训练目标和下游任务，以及预训练和评估中广泛采用的数据集，并回顾和分类现有的预训练方法、传输学习方法和知识蒸馏方法。

    Apr, 2023