ConStruct-VL：数据无关的连续结构化 VL 概念学习

Nov, 2022

ConStruct-VL：数据无关的连续结构化 VL 概念学习

ConStruct-VL: Data-Free Continual Structured VL Concepts Learning

James Seale Smith, Paola Cascante-Bonilla, Assaf Arbelle, Donghyun Kim, Rameswar Panda...

TL;DR该论文介绍了一种名为 ConStruct-VL 的 benchmark，旨在解决大规模预训练的视觉 - 语言模型中存在的结构化 VL 概念推理问题，为此提出了一种基于 Adversarial Pseudo-Replay 的无数据持续学习方法，并结合一种不占用记忆的分层 LoRA 神经结构，取得了比所有无数据方法高出约 7% 的性能。

Abstract

Recently, large-scale pre-trained vision-and-language (VL) foundation models have demonstrated remarkable capabilities in many zero-shot downstream tasks, achieving competitive results for recognizing objects defined by as little as short text prompts. However, it has also been shown t

vision-and-language structured vl concept continual learning adversarial pseudo-replay layered-lora neural architecture

发现论文，激发创造

使用合成数据的视觉和语言模型超越名词

本文旨在通过提供一百万级的、人工合成的图像数据集 SyViC 和相应的数据生成代码，以及细调模型的策略，探讨如何提高视觉语言模型对非物体类词汇等方面（即超越名词的视觉语言概念）的理解和组合推理能力，从而在保持零样本准确度的前提下，极大提高模型的性能。通过在 ARO 和 VL-Checklist 等基准测试上的广泛实验和削减，我们证明了用人工合成数据进行训练可以在不牺牲零样本能力的情况下大幅提升其 VLC 理解能力（如在 ARO 上提高 9.9％，VL-Checklist 上提高 4.3％）。

Mar, 2023

InterVLS：用视觉语言替代模型的交互式理解和改进

通过发现与文本对齐的概念、用模型无关的线性替代物来度量它们的影响，InterVLS 系统促进了模型的理解，通过视觉分析提供基于概念的解释和性能洞察，使用户能够调整概念的影响来更新模型，可实现无编码模型的改进。

Nov, 2023

基于生成回放的动态 VAE 模型实现持续零样本学习

本文提出了一种新的继续零样本学习模型 (DVGR-CZSL)，通过生成式回放来防止灾难性遗忘，该模型与先前学习过的类一起更新。实验证明，这种混合模型在几个数据集中优于基线，能够有效地进行任务顺序学习，并且在零样本学习中具有优越性。

Apr, 2021

使用场景图将结构化表示法加入预训练视觉与语言模型

研究表明，为了改善 VL 模型的结构理解能力，场景图等结构化标注数据虽然耗时、昂贵和繁琐，但只需要小型数据集，就足以使用专用的模型架构和新的训练范式来提高 VL 模型的表现，通过直接使用场景图标签监督图像和文本编码器，以及添加专门的自适应 SG 令牌和新的适应技术来提高 SG 信息的预测。

May, 2023

ViStruct: 基于课程引导的代码 - 视觉表征的视觉结构知识提取

在这项研究中，我们提出了 ViStruct，这是一个用于学习视觉结构知识提取的训练框架，它通过两个新颖的设计元素来改进最新的视觉 - 语言模型（VLMs）在结构化知识抽取方面的性能限制。

Nov, 2023

基于视觉的组合短语连续学习

本文介绍了 VisCOLL, 一种模拟从流动视觉场景中不断习得组成短语的视觉感知语言学习任务，其使得机器模型习得人类一样的自然语言习得能力，本文构建了两个数据集，用不同的连续学习方法来比较并测试了它们。

May, 2020

无监督对话结构学习

通过使用改良后的 VRNN 模型和离散潜在向量来提取对话结构，我们的方法在预测未见数据方面具有优异性能，并在加入对话结构后的奖励功能设计实现了更快的强化学习收敛和更好的结果。

Apr, 2019

3VL：使用树结构教授视觉与语言模型组合概念

通过引入树增强视觉语言（3VL）模型架构和训练技术，以及我们提出的锚定推理方法和差分相关性（DiRe）可解释性工具，本研究扩展任意图像 - 文本对的文本内容为分层树状结构，并将该结构引入模型学习的视觉表示，提高了模型的解释能力和组合推理能力，同时展示了锚定和差分相关性工具的应用。

Dec, 2023

Co$^2$L：对比连续学习

本文发现在连续学习的情境中，通过对比学习方法学习到的表示对抗遗忘更加鲁棒，基于该观察，我们提出了一种基于重复学习的算法，该算法着重于持续学习和维护可转移的表示，并在常见的基准图像分类数据集上进行了广泛实验验证，该方法取得了最新的最佳性能。

Jun, 2021

虚拟增强支持对比学习句子表示

通过 VaSCL 提出了一种虚拟增强支持的对比学习方法，解决了在自然语言处理中由于自然语言的离散性而无法运用通用规则进行数据增强，从而获得了无监督句子表示学习的最新最佳表现。

Oct, 2021