多模态任务的动态 Transformer 架构

Jan, 2024

Dynamic Transformer Architecture for Continual Learning of Multimodal Tasks

Yuliang Cai, Mohammad Rostami

TL;DR我们提出了一种基于 Transformer 的持续学习框架 TAM-CL，用于学习涉及视觉和语言的多模态任务，并通过引入额外参数和知识蒸馏实现任务间的信息交流，以及解决灾难性遗忘问题。该方法在多种挑战性的多模态任务上达到了最先进的性能。

Abstract

transformer neural networks are increasingly replacing prior architectures in a wide range of applications in different data modalities. The increasing size and computational demands of fine-tuning large pre-trained transformer neural networks pose significant challenges for the widesp

transformer neural networks continual learning vision-and-language tasks multimodal learning task attentive multimodal continual learning

发现论文，激发创造

基于对比视觉变换器的在线连续学习

本文提出了一种基于 transformer 架构的对比视觉转换器 (CVT) 框架，它设计了一种基于对比学习的强调学习策略，以实现在线学习的更好稳定性 - 可塑性权衡，并通过包含可学习的聚焦点来缓解遗忘。实验结果表明，CVT 方法在在线持续学习基准测试中达到最先进的性能，并有效缓解了灾难性的遗忘。

Jul, 2022

CLiMB: 用于视觉语言任务的持续学习基准

本研究介绍了 CLiMB 基准测试，并提出了一种改进的视觉 - 语言 Transformer (ViLT) 模型，用于同时处理多模态任务和单模态任务的连续学习问题。通过实验发现，虽然常见的连续学习方法可以缓解多模态任务学习中的遗忘问题，但并不能实现跨任务的知识转移。该基准测试将有助于研究这个多模态场景下的新型连续学习算法。

Jun, 2022

不需示例的连续 Transformer 与卷积

该论文提出了一种称为 ConTraCon 的无样本增量学习方法，它利用了 Transformer 架构，通过使用卷积对 Transformer 的多头自注意力层的键、查询和值的权重进行重新加权，从而维护每个任务的低参数需求，并使用基于图像增强的信息熵任务识别方法在推理过程中预测任务，实验结果表明该方法优于竞争方法并需要更少的参数。

Aug, 2023

学习多模态表示的自适应 Transformer

研究 transformers 中的注意机制对视觉和语言任务的扩展，并发展适应性方法来提高模型的可解释性和计算效率。具体地，研究注意范围、稀疏和结构化 dropout 等方法，以帮助了解模型对输入序列的复杂性感知和对不同模态的稀疏性偏好。

May, 2020

异质性持续学习

本文提出了一个新的解决方案，Heterogeneous Continual Learning (HCL)，它使用知识蒸馏技术和 Quick Deep Inversion (QDI) 方法来实现对不断变化的网络架构的持续学习。在各种基准测试中进行的评估表明，与现有方法相比，在各种网络架构上的准确性都有显着提高。

Jun, 2023

通过专家混合适配器增强视觉语言模型的持续学习

提出了一种参数高效的持续学习框架，通过在视觉语言模型中动态扩展一个预训练的 CLIP 模型，采用专家混合（Mixture-of-Experts）适配器以应对新任务，并引入分布鉴别自动选择器（DDAS）以保留视觉语言模型的零样本识别能力，并通过各种实验验证，该方法在提升性能的同时减少了 60% 的参数训练负担。

Mar, 2024

连续学习的记忆变压器

记忆转换器是应对神经网络在连续学习中面临的灾难性遗忘挑战的一种方法，通过引入混合适配器和基于生成模型的路由机制来减轻这个问题，实现了各种视觉连续学习任务的最新性能和出色的参数效率。

Apr, 2024

视觉语言变换器：一项调研

视觉语言任务中，基于预训练的变压器架构在视觉语言建模方面表现出色，为视觉和语言结合的任务带来了类似的进展。

Jul, 2023

利用模块化网络与任务驱动先验知识实现高效连续学习

本文提出一种基于模块化架构和任务驱动的先验知识的学习算法，能够有效地处理长时间序列任务，且在常规连续学习基准测试上表现出了竞争优势。

Dec, 2020

借助语言引导监督增强视觉持续学习

利用预训练语言模型（PLMs）中的语义知识替换持续学习（CL）中的分类器，生成对每个类别的语义目标作为监督信号，以减少遗忘并促进知识传递。

Mar, 2024