ACLJun, 2024

多模态实体链接的最优传输引导相关分配

PDF
TL;DRMultimodal Entity Linking (MEL) uses optimal transport to exploit multi-element correlations and enhance fusion and matching between multimodal features, outperforming previous baselines.
发现论文，激发创造
  • 无噪声标签的交叉模态检索的统一最优传输框架

    基于最优传输的鲁棒跨模态检索框架（UOT-RCL）通过语义对齐和关系对齐两个组件，有效处理嘈杂标签并提高对噪声的鲁棒性，在三个广泛使用的跨模态检索数据集上超过了当前最先进方法。

    Mar, 2024

  • 生成式多模态实体链接

    在大规模预训练模型的基础上，提出了一种基于自然语言生成的简单而有效的跨模态实体链接方法，通过使用 in-context learning 能力以及取回多模态实例作为演示来自适应语言模型来解决昂贵且难以扩展的困境。

    Jun, 2023

  • 推文的多模态实体链接

    本文探讨多模态实体链接的任务，提出了一种方法来构建一个完全注释的 Twitter 数据集，同时提出了一种同时学习文本和视觉内容的方法来构建一个实体和言及的表征，并在 Twitter 数据集上验证了该方法的有效性，并强调在可用时，利用视觉信息的重要性。

    Apr, 2021

  • 实体链接的多粒度多模态交互网络

    本文提出了一种名为多维多模态交互网络（MIMIC）的框架，用于解决多模态实体链接（MEL）任务，并通过对相互作用单元和对比学习的设计，将简洁文本和隐含视觉线索的精细表示结合起来，实现了更好的性能，超过了各种最先进的基准模型。

    Jul, 2023

  • 实体对齐的冲突感知最优传输伪标记

    本研究提出了一种基于最优传输建模的冲突感知伪标记（CPL-OT）模型，用于实现不同知识图谱之间的实体对齐，并证明其在基准数据集上比现有模型具有更好的表现。

    Sep, 2022

  • 双视图课程优化输运用于跨语言跨模态检索

    通过 Dual-view Curricular Optimal Transport（DCOT）在跨语言跨模态检索中学习带有噪声的对应关系，从而解决机器翻译产生的不完美翻译问题，实验证明了该方法的有效性和鲁棒性。

    Sep, 2023

  • 一种基于文本匹配的双向增强框架的多模态实体链接

    多模态实体链接的双向增强框架 (DWE) 通过神经文本匹配将多模态信息与知识图谱中的实体进行链接，并利用维基百科描述来丰富实体的语义和减少实体之间的文本表示与知识图谱中实体的差异。

    Dec, 2023

  • MM-Align: 基于最优输运的对齐动力学学习，以实现快速准确推断缺失模态序列

    本文介绍一种名为 MM-Align 的新方法，利用最优传输理论中的对齐动力学学习模块和去噪训练算法，针对缺失多模态数据进行推断。通过在覆盖两个多模态任务的三个数据集上进行全面实验，结果表明我们的方法可以在各种缺失条件下执行更精确和更快的推断，并减轻过度拟合问题。

    Oct, 2022

  • 使用学生强制最优传输改善文本生成

    利用最大似然估计进行神经语言模型训练时，存在曝光偏差问题。提出使用最优传输匹配训练和测试时的序列，以及基于文本序列的结构和上下文信息进一步改进最优传输学习，有效改善了机器翻译、文本摘要和文本生成任务的表现。

    Oct, 2020

  • 多模态分布对齐的分层最优输运

    该研究提出了一个基于最优传输与聚类结构相结合的层级对齐方法，同时采用 ADMM 算法和 Sinkhorn 距离来提高噪声、模糊或多峰数据的对齐精度，并在合成数据和神经信号解码中进行了应用，表明该方法对于具有一致聚类结构的数据集在跨领域对齐方面具有显著的性能改进作用。

    Jun, 2019