CVPRApr, 2024

迭代学习在大型视觉语言模型中提高组合性

PDF
TL;DR通过引入一种新的迭代训练算法，以文化传播作为归纳先验，本研究以视觉代理和语言代理之间的 Lewis 信号游戏重新定义了视觉 - 语言对比学习，并通过在训练过程中迭代重置代理权重的方式实现文化传播，使得模型对于合成语言的特性变得更易于学习，达到了在 SugarCrepe 评测中相比标准 CLIP 模型分别提升 4.7% 和 4.0% 的效果。
发现论文，激发创造
  • 神经迭代学习模型中出现组合语言

    通过提出神经迭代学习算法 (NIL)，促进交互神经网络代理人创建一种更为结构化的语言，由于这种基于组合性的语言的学习速度优势及泛化性能的提升，在推理和传输方面有着重要意义。

    Feb, 2020

  • 迭代学习用于 VQA 中的新兴系统性

    通过使用迭代学习方法，作者提出了一种新的正则化技术来促进神经模块网络结构语言化的形成，从而使其支持系统化推理和解决复杂视觉问答任务。实验结果表明，在形成结构化语言方面，这种方法比基准方法更出色，并且对于 SHAPES-SyGeT 和 CLEVR 数据集上的系统化推理任务，也实现了优异的性能表现。

    May, 2021

  • 大型视觉 - 语言模型中的复合推理引导

    使用一种新颖的生成方法，我们对大型视觉语言模型（如 GPT-4）进行控制，以描述图像并进行组合推理，在 Winoground 数据集上优于其他嵌入式方法，并在最佳描述的增强下获得最高 10% 的准确率改进。

    Jan, 2024

  • 衡量视觉语言模型的语言先验在组合推理中的作用

    我们识别了视觉 - 语言组合性的两个源头：语言先验和图像与文本之间的相互作用。我们展示了当前改进组合泛化的尝试依赖于语言先验而非图像信息，并提出了一个不依赖语言先验的组合性新度量标准。

    Oct, 2023

  • 通过机器人的交互学习语言和行动发展组成性和泛化能力

    通过基于自由能原理的预测编码和主动推理框架，将视觉、本体感知和语言集成到一个受脑启发的神经网络模型中，通过多种模拟实验及机械臂的测试，研究表明，在增加任务组合的变异性时，对于学习未知的动词 - 名词组合的泛化能力得到了显著提升，这归因于语言潜在状态空间中的自组织组合结构被感觉运动学习显著影响，视觉注意和工作记忆对于准确生成视动序列以实现语言表示目标具有重要作用，这些结果推进了我们对通过语言和感觉运动经验相互作用发展组合性机制的理解。

    Mar, 2024

  • 从组合概括的角度重新审视迭代回译

    本研究通过迭代回译一种简单而有效的半监督方法，证实其对于复合泛化的基准数据（CFQ 和 SCAN）的性能显著提高，并为理解这一机制提出了课程迭代回译，进一步提高伪并行数据的质量，进一步改善性能。

    Dec, 2020

  • 基于视觉的组合短语连续学习

    本文介绍了 VisCOLL, 一种模拟从流动视觉场景中不断习得组成短语的视觉感知语言学习任务，其使得机器模型习得人类一样的自然语言习得能力，本文构建了两个数据集，用不同的连续学习方法来比较并测试了它们。

    May, 2020

  • 探索视觉语言组合性和识别的光谱

    研究了视觉和语言模型领域的复杂关系，特别是在语言理解和细粒度图像与文本对齐方面，探索并评估了现有的 VLMs，在组合性和识别准确性之间的模式和权衡，提出了改进两者能力和基准的策略性努力的必要性。

    Jun, 2024

  • 语言在 CLIP 对象 - 属性组合泛化中起着关键作用

    通过研究图像与语言模型 (CLIP) 在不同类型的分布转换下的通用性，重点关注图像与语言模型在新颖的属性 - 对象配对组合中的分类能力。研究表明，使用大规模的训练数据和语言监督可以显著提高视觉 - 语言模型的组合泛化能力。

    Mar, 2024

  • 通过迭代学习和简单嵌入改进组合泛化能力

    通过使用基于简单嵌入的模型上的迭代学习，我们改进了深度网络的组合泛化能力，并通过基于科尔莫哥洛夫复杂性的组合性分析展示了这种改进在视觉任务和实际分子图预测任务中的有效性。

    Oct, 2023