MELTR：元损失变压器用于学习微调视频基础模型

CVPRMar, 2023

MELTR：元损失变压器用于学习微调视频基础模型

MELTR: Meta Loss Transformer for Learning to Fine-tune Video Foundation Models

Dohwan Ko, Joonmyung Choi, Hyeong Kyu Choi, Kyoung-Woon On, Byungseok Roh...

TL;DR本文提出 MEta Loss TRansformer（MELTR），一个通过辅助学习自动组合多种损失函数以提高视频理解和多模态情感分析的能力的插件模块，并通过 UniVL、Violet 和 All-in-one 等视频基础模型的测试表明， MELTR 能够显著提高多个下游任务的性能。

Abstract

foundation models have shown outstanding performance and generalization capabilities across domains. Since most studies on foundation models mainly focus on the pretraining phase, a naive strategy to minimize a s

foundation models meta loss transformer auxiliary learning video understanding multi-modal sentiment analysis

发现论文，激发创造

元学习用于多领域文本挖掘的神经语言模型的微调

本文提出了一种名为 Meta Fine-Tuning (MFT) 的有效学习过程，该过程可作为元学习器解决多个相似的自然语言处理任务，以获取高度可转移的知识，并通过优化一系列新颖的领域破坏损失函数来鼓励语言模型对领域不变表示进行编码。实验证明，MFT 对于小样本学习具有很大的用途。

Mar, 2020

MulT: 一种端到端的多任务学习变压器

我们开发了一种称为 MulT 的端到端多任务学习 Transformer 框架，用于同时学习多个高级视觉任务，包括深度估计、语义分割、重着色、表面法线估计、2D 关键点检测和边缘检测。我们的框架基于 Swin transformer 模型，利用任务特定的基于 Transformer 的解码器头为每个视觉任务进行预测，并采用共享的注意机制模型来建模跨任务的依赖关系。我们在多个多任务基准测试中评估了我们的模型，显示出我们的 MulT 框架优于最先进的多任务卷积神经网络模型和所有各自的单任务 Transformer 模型。我们的实验进一步突出了共享所有任务的注意力的优点，并证明我们的 MulT 模型具有鲁棒性和很好的泛化性能。

May, 2022

MFTCoder：多任务精调提升代码 LLMs

Code LLMs have been enhanced through multi-task fine-tuning using MFTcoder, which outperforms single-task fine-tuning and achieves impressive performance, surpassing GPT-4 on the HumaneEval benchmark.

Nov, 2023

元转换器：多模态学习的统一框架

通过使用冻结的编码器以及共享的令牌空间，Meta-Transformer 提出了一个框架，可以在 12 种不同的模态间进行统一学习，并处理多种任务，展现了转换器在发展统一多模态智能方面的潜力。

Jul, 2023

使用任务自适应损失函数的元学习用于小样本学习

模型无关元学习（MAML）和其变体往往采用简单损失函数进行学习，为了更好地泛化，我们提出了一种新的元学习框架 MeTAL，其中损失函数适应于每个任务。

Oct, 2021

基于学得损失的元学习

本文提出了一种元学习方法，用于学习参数化损失函数，该方法可以概括不同任务和模型架构之间的关系，从而使训练过程更快速、更强健。我们的元学习框架可以灵活地在元训练时加入额外信息，从而塑造损失函数，避免在元测试时需要提供该信息。

Jun, 2019

用于层级适应的混合效应 Transformer

本文提出了混合效应 (transformer) 模型，通过引入前缀 (prefixes)，逐级学习并建立结构化的变异因素的影响，以解决 GPT-3 等现代语言模型在面对稀疏、额外的上下文环境时性能下降的问题，实验表明本模型在领域适应性测试中表现良好。

May, 2022

vid-TLDR: 轻量级视频 Transformer 的无训练自由标记合并

提出了轻量级视频 Transformer（vid-TLDR）的训练免费的令牌合并策略，通过合并背景令牌并通过关注图捕捉显著区域来提高视频 Transformer 的效率。实验证明，vid-TLDR 显着减轻了视频 Transformer 的计算复杂度，并且在与基准模型相比的性能上取得了有竞争力的结果。

Mar, 2024

高效多尺度多模态瓶颈变压器用于音视频分类

本文介绍了一种多尺度多模态转换器（MMT），利用层次化表示学习，进一步使用音频 - 视频对比损失和同模态对比损失来实现多模态融合，提高动作识别准确率。

Jan, 2024

多模态 Transformer 在视频锚定中的设计追求

本篇论文提出了一种新型的端到端、多模态 Transformer 模型 ——GTR，通过将视频定位看作一个集合预测任务来实现，采用立方体嵌入层将原始视频转换为视觉令牌；在解码器中，采用新型的多头跨模态注意力机制来更好地融合两种模态，整个模型的优化采用 Many-to-One 匹配损失函数，实现了记录性能和较快的推理速度，获得更好的结果。

Sep, 2021