ACLMay, 2023

PaCE: 统一的多模式对话预训练，采用渐进式和组合专家

PDF
TL;DR提出了一种有结构、组成、统一的多模态对话预训练框架 PaCE，旨在通过少量的对话和大量的非对话多模态数据，应对多模态对话多样的任务和新的挑战，采用渐进式训练方法，实现旧专家辅助新专家，拓展其能力，取得了八项多模态对话基准测试的最新成果。
multi-modal dialoguepre-trainingpaceflexible dialogue modelprogressive training
发现论文，激发创造
  • 多模态不确定性感知视觉 - 语言预训练模型

    本文通过概率分布编码器（PDE）将所有模态的表示作为概率分布映射，对不确定性建模，提出了基于概率分布的预训练任务并在视觉和语言联合任务上实现了最先进的结果。

    Oct, 2022

  • 多模态知识发现和预训练的统一连续学习框架

    该研究提出了将多模态预训练和知识发现统一到连续学习框架中的方法，以维护知识图作为基础，同时强化模型更新的外部知识引导作用在跨模态链接识别和预训练模型两方面取得了有效结果。

    Jun, 2022

  • 多阶段多模态预训练自动语音识别

    多模态预训练可以提高自动语音识别性能，尤其是结合多任务无监督预训练和基于翻译的有监督中间训练方法可以实现显著的字错误率改善。

    Mar, 2024

  • 多模态开放领域对话

    本文旨在研究结合先进的开放域对话代理和视觉模型，以实现多模态对话的目标，研究不同的图像融合方案和域自适应预训练和微调策略，并展示了我们最好的模型不仅在多模态对话方面优于现有的强模型，而且在纯文本对话方面表现也和其前身 BlenderBot 一样好，同时我们还研究并整合了安全组件，展示这种努力不会削弱模型性能方面的吸引力度量。

    Oct, 2020

  • 优化跨模态微调，逐步生成中间模态

    我们提出了一种用于增强跨模式微调的端到端方法 PaRe，通过使用选择机制和修补替换方案，逐渐生成丰富的中间模式数据，以有效弥合模态差异并提升跨模式微调的稳定性和可传递性。与手工设计、通用目标、任务特定和最先进的跨模式微调方法相比，PaRe 在三个具有挑战性的基准测试中表现出卓越性能，涵盖了十多个模式。

    Jun, 2024

  • 遮蔽编排：多任务预训练用于多角色对话表示学习

    该研究基于各类无监督预训练任务探究对话上下文表示的学习，并通过精细调整的预训练机制，有效整合了外部知识，能够大幅提高对话提取 / 摘要等下游任务的效果。

    Feb, 2020

  • 多模态表示学习：演进、预训练及其应用的综述

    本综述论文全面介绍了深度学习多模态体系结构的演变和增强，以应对文本、视觉和音频特征的多样化跨模态和现代多模态任务：包括最新的任务特定的深度学习方法，多模态预训练目标，以及从最先进的预训练多模态方法到统一体系结构。本文结合具体数据集和案例分析展示多模态学习的挑战、间隔和潜在研究主题。

    Feb, 2023

  • i-Code: 一种集成且可组合的多模态学习框架

    该论文提出了一种自我监督的预训练框架 ——i-Code，用户可以将视觉、语音和语言的模态灵活地组合成统一的多用途向量表示，通过融合网络使用新颖的注意机制和其他架构创新来从不同模态中有效地组合信息，实验证明 i-Code 可以优于现有的技术在五个视频理解任务和 GLUE NLP benchmarks 上取得最先进的表现。

    May, 2022

  • 口语对话理解的语音 - 文本对话预训练与显式跨模态对齐

    本文提出了第一种语音 - 文本对话预训练模型 SPECTRA，在输入上进行了一些优化，如引入时间信息，增加上下文理解能力，并通过实验进行了充分验证，展示了 SPECTRA 模型在语音 - 文本对话中学习言语 - 文本对齐和多轮对话上下文的能力比其他模型更强。

    May, 2023

  • UniPCM：具备任务感知自动提示的通用预训练对话模型

    使用任务驱动的自动提示生成（TAP）生成高质量提示来扩展预先训练的会话模型的数据集，从而构建了适用于各种对话任务和不同对话系统的通用会话预训练模型（UniPCM），该模型表现出强鲁棒性、卓越的迁移能力，可在低资源场景下实现九个不同数据集上的最新结果。

    Sep, 2023