Jun, 2024

优化跨模态微调，逐步生成中间模态

PDF
TL;DR我们提出了一种用于增强跨模式微调的端到端方法 PaRe，通过使用选择机制和修补替换方案，逐渐生成丰富的中间模式数据，以有效弥合模态差异并提升跨模式微调的稳定性和可传递性。与手工设计、通用目标、任务特定和最先进的跨模式微调方法相比，PaRe 在三个具有挑战性的基准测试中表现出卓越性能，涵盖了十多个模式。
发现论文，激发创造
  • 模式逼近生成优秀的视觉语言提示

    本研究提出了 Aurora，一个优美的提示框架，用于跨模态传递，以解决模型复杂性和模态对齐问题。在六个跨模态下游基准测试中， Aurora 不仅优于最先进的方法，甚至优于完全微调方法。

    May, 2023

  • 潜在翻译：通过连接生成模型跨越模态

    本篇论文提出了一种基于先前训练的深度生成模型，利用潜变量空间进行无监督跨模态域迁移的新方法，并探索了通过学习一个后续接口来提高模块性的可能性。通过定量和定性的实验证明了该方法的有效性，证明了在迁移过程中局部性和语义对齐得到了保留，而且通过这种模块化结构可以大大加快新接口模型的训练速度。

    Feb, 2019

  • 通过跨模态梯度协调扩展多模态预训练

    本文讨论了跨模态对齐的效果和问题，提出了通过梯度调整和基于梯度的课程学习解决梯度冲突的方法，并将其应用于视频音频文本模态的预训练中以提高性能。

    Nov, 2022

  • PaCE: 统一的多模式对话预训练，采用渐进式和组合专家

    提出了一种有结构、组成、统一的多模态对话预训练框架 PaCE，旨在通过少量的对话和大量的非对话多模态数据，应对多模态对话多样的任务和新的挑战，采用渐进式训练方法，实现旧专家辅助新专家，拓展其能力，取得了八项多模态对话基准测试的最新成果。

    May, 2023

  • 跨模态数据编程实现快速医学机器学习

    该研究提出了一种跨模态数据编程策略，包括自然语言处理技术，用于医学机器学习模型的训练标签生成，通过仅几小时的临床医师工作即可匹配或超越医师数月手动标注的效果，为医学机器学习模型的构建提供了更快、更灵活的方法。

    Mar, 2019

  • 模态适应还是正则化？以端到端语音翻译为例的案例研究

    该研究发现，在端到端语音翻译 (E2E ST) 的预训练和微调中，存在语音和文本数据之间的模态差异，但该差异只在微调的早期阶段产生影响。然而，另一个 “容量差距” 则是高资源任务总是需要一个大模型来适应，当模型被重用于低资源任务 (E2E ST) 时，由于过拟合会导致次优性能。研究发现，规范化方法对于优化模型比模态适应方法更加重要，在 MuST-C 数据集上的实验中，可以获得 29.0 (en-de) 和 40.3 (en-fr) 的性能。

    Jun, 2023

  • 跨模态迁移的学习模态知识对齐

    通过进行一系列实验，本研究揭示了模态间差距与知识重用程度之间的关联，定义了作为模态知识差异的知识不匹配性，并提出了模态知识对齐元学习方法（MoNA）来减小模态间的知识差异，实验证明该方法可以在跨模态迁移中更好地重用源模态知识，并改进现有的微调方法。

    Jun, 2024

  • 使用大规模预训练模型提升辨别性多模态学习

    通过冻结单模态微调模型的权重、添加额外的可训练分解矩阵以及进行多模态联合训练，我们的方法 MMLoRA 增强了模态之间的适应性并提升了整体性能。

    Oct, 2023

  • 细粒度图像 - 文本检索中的配对交叉模态数据增强

    该论文研究了一个生成文本 - 图像对以提高细粒度图像 - 文本跨模态检索任务训练的开放性研究问题，并提出了一种新的框架用于成对数据增强，以揭示 StyleGAN2 模型的隐藏语义信息。

    Jul, 2022

  • PAC 调谐：基于 PAC 驱动扰动梯度下降的细调预训练语言模型

    PAC-tuning 通过两个阶段的微调和噪声注入修改梯度，成功应对了微调任务的挑战，并在 5 个基准测试任务中表现优于强基准方法，从而进一步证实了在目前使用 Adam 优化器进行训练的任何其他设置中应用 PAC 训练的潜力。

    Oct, 2023