通过参数高效调优，利用指令调整和多模态对齐的方法，本研究提出了一种新的通用视觉 - 语言模型训练方法 PETAL，其通过独特的模式近似技术，显著减少了训练成本和对重计算资源的依赖，并在语义深度方面进行了改进。实验证明，PETAL 在多个方面超越了现有最先进的方法，同时在少样本设置中也展现了出色的优势。

Dec, 2023

本文提出了 Continual Referring Expression Comprehension (CREC) 新的设置，通过 Dual Modular Memorization (DMM) 方法，不断改进模型在连续任务上的性能，避免遗忘之前学到的知识并减少重复重新训练的需求。作者在三个常用 REC 数据集上构建了新的 CREC 基准，并通过大量实验证明 DMM 方法显著优于其他方法。

Nov, 2023

我们的研究引入了 IISAN（Intra- and Inter-modal Side Adapted Network for Multimodal Representation），它利用解耦的 Parameter-efficient Fine-tuning 结构和内部和外部适应，与完全 Fine-tuning（FFT）和最先进的 PEFT 相当，并显著减少了 GPU 内存使用和加快了训练时间。

Apr, 2024

通过参数高效的迁移学习方法，将自然领域的视觉 - 语言知识有效且高效地转移到遥感领域的图像 - 文本检索任务上，提出了一个新颖而复杂的参数高效转移学习框架，通过预训练的 CLIP 模型、多模态遥感适配器和混合多模态对比学习目标来解决遥感数据中高内部相似性的问题，并在 RSITR 任务上进行了全面的实证研究，结果表明该方法具有很大的应用潜力，可以在实际应用中实现大幅度的训练成本节省，超过传统方法 7-13% 的检索性能并达到与全面微调相媲美甚至更好的性能，为 RS 视觉 - 语言任务提供了新的思路和有用的见解。

Aug, 2023

提出了一种基于新颖的 Ladder Side-Tuning (LST) 的参数高效转移学习技术，其不需要通过 backbone 网络进行反向传播，而只需通过侧网络和梯子连接进行反向传播，从而实现了更高的存储效率，同时在自然语言处理（NLP）和视觉 - 语言（VL）任务上取得了更高的准确度、更高的存储效率。

Jun, 2022

通过轻量级分层侧网络（HSN）对 Visual Transformers 进行 Hierarchical Side-Tuning (HST) fine-tuning，实现了在各种下游任务中解决计算和内存需求大的问题，包括对象检测、实例分割和语义分割，取得了优于完全微调方法的性能。

Oct, 2023

该论文提出了一种基于多模态信息的多模态预训练和迁移学习框架（MISSRec），用于顺序推荐，以解决现有基于 ID 特征的推荐方法在稀疏 ID 和冷启动问题方面的性能不佳的问题。通过在用户和候选项两方面分别设计 Transformer-based 的编码器 - 解码器模型和动态融合模块，MISSRec 能够实现更鲁棒且可迁移的序列表示，该方法在实验中表现出的效果和灵活性使其成为实际推荐场景的可行解决方案。

Aug, 2023

本文提出了一种名为语言自适应动态子网（LADS）的框架，可以从 REC 模型中提取依赖于表达式的语言自适应子网。通过使用紧凑的子网，推理可以更加经济高效，实验证明该方法可以在 RefCOCO、RefCOCO +、RefCOCOg 和 Referit 上提高推理速度和准确率。

Jun, 2023

本篇论文提出了一种基于 Transformer 的多模态相互注意力机制和相互解码器，与之相结合的迭代式多模态交互机制及语言特征重建技术，在指代图像分割的任务中取得了很好的效果。

May, 2023

本文调查了现代方法解决自然语言与计算机视觉领域中的指代表达理解问题，包括用于编码视觉和文本模态的机制，结构化图表示的模块化架构和基于图形的模型，以及针对小型数据集的结果，提出了复合指称表述理解方向的潜在未来研究方向。

Jul, 2020