Apr, 2024

有效多模型融合与对抗互补表示学习

PDF
TL;DR通过对单模型系统和多模型融合的研究，我们提出了一个基于对抗性互补表示学习框架，该框架使新训练的模型能够避免先前获取的知识，使每个单独的组成模型能够学习最大程度不同、互补的表示方法，并通过实验结果证明我们的方法相比传统的多模型融合能更有效地提高性能。此外，归因分析验证了在 ACoRL 下训练的模型获取了更多的互补知识，突显了我们的方法在提高效率和鲁棒性方面的有效性。
发现论文，激发创造
  • 从模态到模态的翻译：基于对抗表示学习和图融合网络的多模态融合

    本文提出了一种新颖的对抗性编码 - 解码 - 分类器框架来学习一个多模态不变的嵌入空间，通过对抗训练将源模态的分布翻译成目标模态的分布并引入重构损失和分类损失来约束嵌入空间，并使用分层图神经网络来融合编码表示。我们在多个数据集上实现了最先进的性能，所学的嵌入空间是有辨别力的。

    Nov, 2019

  • 针对鲁棒性多媒体推荐系统的对抗训练

    本文提出了 Adversarial Multimedia Recommendation (AMR) 方法，它使用对抗学习来提高多媒体推荐系统的鲁棒性。在对两个代表性的多媒体推荐任务进行实验后，结果验证了采用对抗学习的积极作用，并证明了我们的 AMR 方法的有效性。

    Sep, 2018

  • 用于弱监督目标定位的对抗互补学习

    本文提出了一种名为 ACoL 的方法，可以利用弱监督自动定位语义感兴趣的物体，并且能够在端到端的方式下进行训练，并在 ILSVRC 数据集上达到了 45.14％的最佳定位误差率。

    Apr, 2018

  • 多模态大型语言模型的视觉定位对抗鲁棒性

    使用多模态大型语言模型（MLLMs）对视觉定位进行饱受关注的对抗性攻击研究，通过提出三种对抗攻击范式来攻击 MLLMs 的视觉定位性能，进而为提高 MLLMs 的视觉定位的对抗鲁棒性提供了新的视角和强大的基线。

    May, 2024

  • MIR-GAN：用对抗网络提炼用于音视频语音识别的帧层次模态不变表示

    本文提出了一种基于对抗网络的方法（MIR-GAN），旨在跨模态学习共享的表征，以减轻后续的多模态融合过程，并在公共基准 LRS3 和 LRS2 上得到了比现有技术更好的表现。

    Jun, 2023

  • 利用内模态和外模态图对比学习进行多模态情感识别的对抗表示

    我们提出了一种新颖的对抗表示方法，采用内模态和跨模态图对比用于多模态情感识别，可显著提高情感识别准确率。

    Dec, 2023

  • 通过强化学习利用语言和视觉的模态特定表征进行音视频语音识别

    我们提出了一个基于强化学习的框架（MSRL），动态地协调模态不变和模态特异性的表示，从而稳定地提供互补信息，用于音视频语音识别任务，实验结果表明，此方法在 LRS3 数据集中取得了最新的成果。

    Dec, 2022

  • 迈向高效的 LLM 对实体多智能体协作的隶属

    通过引入增强优势反馈（ReAd）的多智能体协作模型，我们提出了一种新的用于解决复杂物理世界中大型语言模型（LLMs）推理能力的框架，该框架通过对 LLM 计划数据进行评论回归来学习顺序优势函数，并将 LLM 规划器视为最优化器生成最大化优势函数的行动，从而为 LLM 赋予了能够判断行动是否有助于完成最终任务的远见。

    May, 2024

  • 自监督对抗鲁棒性分离式对抗性对比学习

    本研究提出了 Decoupled Adversarial Contrastive Learning (DeACL) 框架，将 Adversarial Training 和 Self-supervised Learning 分为两个子问题分别处理，使学习无标签鲁棒表示更加简化和高效，并在实验中取得了业界领先的表现。

    Jul, 2022

  • 通过对抗性集成强化学习在非对称不完美信息游戏中实现强大的对手建模

    本文提出了一种算法框架，用于在不完美信息的非对称博弈中学习鲁棒策略，并通过对手建模来推断对手类型，使用多智能体强化学习技术通过自我博弈学习对手模型，并使用集成训练方法来提高策略的稳健性，借助随机优化方案动态更新对手整体来平衡稳健性和计算复杂性。

    Sep, 2019