DyTox：使用动态令牌扩展的 Transformers 进行持续学习

CVPRNov, 2021

DyTox：使用动态令牌扩展的 Transformers 进行持续学习

DyTox: Transformers for Continual Learning with DYnamic TOken eXpansion

Arthur Douillard, Alexandre Ramé, Guillaume Couairon, Matthieu Cord

TL;DR提出了一种基于 Transformer 架构和共享编码器 / 解码器框架的策略，采用动态扩展特殊标记以使解码器网络适用于任务分布，从而在大数据集上取得优异结果，且不需要超参数调整。

Abstract

Deep network architectures struggle to continually learn new tasks without forgetting the previous tasks. A recent trend indicates that dynamic architectures based on an expansion of the parameters can reduce catastrophic forgetting efficiently in continual learning. However, existing

continual learning dynamic architectures transformer architecture encoder/decoder framework task-specific tokens

发现论文，激发创造

具有 Transformer 的内存高效的持续学习

使用预训练 Transformers 并扩展它们与 Adapters，我们开发了一种方法来增量训练模型处理任务序列，成功地避免了灾难性遗忘并且在多个任务上表现良好。

Mar, 2022

多模态任务的动态 Transformer 架构

我们提出了一种基于 Transformer 的持续学习框架 TAM-CL，用于学习涉及视觉和语言的多模态任务，并通过引入额外参数和知识蒸馏实现任务间的信息交流，以及解决灾难性遗忘问题。该方法在多种挑战性的多模态任务上达到了最先进的性能。

Jan, 2024

高效扩展和基于梯度的任务推断，用于无回放增量学习

我们提出了一个基于扩展的模型，用于持续学习，通过在先前任务的参数上增加模型来充分利用以前学到的信息，从而实现更好的知识传递。同时，我们还提出了一种强大的任务预测方法，通过使用熵加权的数据增强和伪标签来评估模型性能，并在各种数据集和架构设置中展示了最先进的结果。

Dec, 2023

Todyformer：面向全面的动态图卷积网络和结构感知分词

Temporal Graph Neural Networks 和 Transformers 结合，提出了一种用于动态图的新型 Transformer-based 神经网络 Todyformer，它通过将 MPNNs 的局部编码能力与 Transformers 的全局编码能力相结合来改善性能限制，并通过时间位置编码捕捉长距离依赖关系，实验证明在公共基准数据集上 Todyformer 在下游任务中 consistently 超过了最先进方法，并且在捕获动态图中广泛的时间依赖关系方面具有有效性。

Feb, 2024

用于判别性和生成性连续学习的高效特征变换

本文提出了一种称为 EFTs 的简单的任务特定特征映射转换策略，具有强大的灵活性，利用最小的参数增加了基本体系结构，使其在大规模场景下实用；我们还提出了一种特征距离最大化策略来完成类增量设置中的任务预测。通过在较广泛的一系列任务序列中的实验，包括区分性任务和生成任务，证明了该方法的实效性和效率。

Mar, 2021

使用可学习记忆调优图像 Transformer

该研究提出使用可学习的记忆令牌来增强视觉 Transformer 模型，使其适应新任务，使用较少的参数，同时保留先前学习任务的能力。我们引入一组可学习的嵌入向量，即 “记忆令牌”，提供对特定数据集有用的上下文信息。该模型的准确性，通过每层只增加少量记忆令牌来显着改善，表现仅略低于显著更昂贵的完全微调。我们还提出了一个注意力掩模方法，使其能够扩展到新的下游任务，模型可在小的增量成本下同时执行旧任务和新任务。

Mar, 2022

动态可扩展网络下的终身学习

本研究提出了一种名为 DEN (Dynamically Expandable Network) 的深度网络架构，可以在学习一系列任务时动态决定其网络容量，从而学习任务之间的重叠知识共享结构，通过选择性重新训练、动态扩展网络容量和时间戳来有效地防止语义漂移，并在现有公共数据集中验证了 DEN 的有效性。

Aug, 2017

学习多模态表示的自适应 Transformer

研究 transformers 中的注意机制对视觉和语言任务的扩展，并发展适应性方法来提高模型的可解释性和计算效率。具体地，研究注意范围、稀疏和结构化 dropout 等方法，以帮助了解模型对输入序列的复杂性感知和对不同模态的稀疏性偏好。

May, 2020

探索用于高效目标跟踪的动态 Transformer

通过使用动态网络路由所启发，本文提出了一种用于高效追踪的动态转换器框架，通过学习自动配置适当的推理路径来实现更好地利用可用计算预算，从而在相同运行速度下实现更高的性能。

Mar, 2024

Diffscaler：增强扩散变压器的生成能力

通过使用 DiffScaler，这篇论文提出了一种有效的扩展策略，使得单一预训练的扩散变压器模型能够快速适应不同的数据集，从而完成多样化的生成任务。

Apr, 2024