本研究提出了 Aurora，一个优美的提示框架，用于跨模态传递，以解决模型复杂性和模态对齐问题。在六个跨模态下游基准测试中， Aurora 不仅优于最先进的方法，甚至优于完全微调方法。

May, 2023

本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

Apr, 2022

我们提出了一种用于增强跨模式微调的端到端方法 PaRe，通过使用选择机制和修补替换方案，逐渐生成丰富的中间模式数据，以有效弥合模态差异并提升跨模式微调的稳定性和可传递性。与手工设计、通用目标、任务特定和最先进的跨模式微调方法相比，PaRe 在三个具有挑战性的基准测试中表现出卓越性能，涵盖了十多个模式。

Jun, 2024

本文提出了一个以目标为导向的微调框架，从特定领域、语言和任务等三个方面利用各种数据来解决零资源命名实体识别中的数据稀缺问题，并在六个基准测试中实现了新的最先进性能表现。

Jul, 2021

本文介绍了一种基于目标检测的图像 - 文本预训练学习方法 Oscar，通过使用在图像中检测到的目标标签作为锚点，显著简化模型中的图像与文本的语义对齐，使其在六个视觉 - 语言理解和生成任务中创造了新的最好成果。

Apr, 2020

本文提出了一种新的多模态语音和文本输入结构，使用多头交叉注意力结合预训练语音和文本编码器，并在目标问题上联合微调。所得的编码器可用于连续的令牌级别分类或对同时文本和语音进行话语级别的预测，并高效地捕获声学 - 韵律和词汇信息。

Apr, 2022

本论文提出了一种新的双向引导空间 - 通道 - 时间（DG-SCT）注意力机制，通过引入可训练的跨模态交互层，从当前模态跨空间、通道和时间维度自适应地提取关键信息，以解决多模态任务中的特征提取挑战，其结果在多个下游任务中达到最先进水平，并在挑战性的少样本和零样本场景中表现出良好性能。

Nov, 2023

本文提出了基于物体感知的 Transformer 模型 Object-aware Transformers，使用边界框和物体标签来引导训练过程，将对象表示法引入视频 - 语言架构中，从而提高了视频文本匹配任务的性能。

Dec, 2021

研究发现，预训练的转换语言模型在很多 NLP 任务上表现出色；然而，这些模型在短语级别的表示中，除了词汇内容外，缺乏复杂的组合短语信息，进一步的 fine-tuning 只能在情感任务中局部提高性能，而在重新释义任务中则由于数据集中可能存在干扰信号的原因而不能提供改进。

May, 2021

本文提出了一种方法，即将预训练模型的嵌入与目标数据的简单句子嵌入拼接起来，再对组合嵌入训练线性分类器。实验结果表明，与冻结嵌入模型权重的 fine-tuning 相比，采用该方法的分类性能更好。同时，理论分析和实验结果还表明，组合方法不如拼接方法有效。

Apr, 2020