我们提出了一种新颖的框架，该框架同时实现了内部信息筛选和外部信息利用的想法，通过对图形信息瓶颈原则的引导进行结构细化，将视觉和文本场景图进一步融合成统一的跨模式图形 (CMG)，通过加入潜在多模态主题特征来丰富语境，在基准 MRE 数据集上，我们的系统显着优于当前最佳模型。

May, 2023

在低资源情境下，通过多视角关系表示的基于提示的方法（MVRE）能够有效提高关系抽取任务的性能，并在三个基准数据集上达到了最先进的低资源表现。

Dec, 2023

本研究对视觉场景图的不准确信息对多模态关系提取的影响进行了分析，提出了一种基于 Transformer 的隐式精细多模态对齐的强基准方法，并通过实验表明了该方法的优越性。

Nov, 2022

本篇论文提出了一种多视图增强蒸馏框架，通过跨编解码器到对编解码器的多精细和提及相关部分的知识传输，从而有效地学习与不同提及相匹配的实体表示，实验表明该方法在几个实体链接基准上实现了最优性能。

May, 2023

本研究提出了一种知识增强的生成模型，能够前所未有地利用知识图谱来解决关系抽取问题中的歧义，显著提高了在多个基准测试和设置下的性能表现。

Jun, 2022

本研究提出了一种基于图卷积网络的多视图融合框架，用于较好地表示和识别谣言信息，并且在两个公共数据集上实验，结果表明该方法优于现有的技术。

Nov, 2022

本研究旨在提出一种基于外部知识语义增强的神经网络方法，通过多通道语义融合模型结合检索自搜索引擎的外部相关文本，对中文命名实体识别进行研究，实验证明该方法在正式和社交媒体语境下四个命名实体数据集中均取得了较好的效果。

Oct, 2022

本文提出了 MoRe 框架，使用多模态检索方法，结合文本和图像信息进行命名实体识别和关系抽取，并使用 Mixture of Experts 模块以获得最终决策。在实验中，MoRe 模型达到了四个多模态实体识别数据集和一个多模态关系抽取数据集的最佳性能，证明了结合文本和视觉提示在这些任务中对提高性能具有实际意义。

Dec, 2022

该研究提出了一种新方法，称为多视图实体表示（MuVER），旨在提高实体检索的性能，通过启发式搜索方法构造实体描述的多视图表示，并通过这种方式提高候选实体的质量。该方法在 ZESHEL 上取得了最新的性能，并在三个标准实体链接数据集上改善了候选者的质量。

Sep, 2021

本文提出了一种多视角文档表示学习框架，通过生成多个视图嵌入来表示文档，并通过全局 - 局部 loss 函数来防止多视图嵌入坍塌到同一个嵌入中，实现了稳定性的匹配，在密集检索方面取得了最新的成果。

Mar, 2022