May, 2022

视觉丰富文档中的关系表示学习

PDF
TL;DR本研究提出了 DocReL，一种文本关系表示学习框架，其中包含一种新的对比学习任务 Relational Consistency Modeling（RCM），并利用了上下文信息来改进视觉丰富文档中关系理解，如表结构识别，关键信息提取和阅读顺序检测。
relational understandingmulti-modal pre-trainingdocument representation learningrelational consistency modelingvrd
发现论文，激发创造
  • 迈向类人机理解：在视觉丰富文档中的少样关系学习

    通过引入两个新的少样本基准数据集，本研究针对可视化丰富的文档（VRD）中的键 - 值关系三元组的提取，提出了一种变分方法，其中包含关系 2D 空间先验知识和原型化校正技术，实验结果表明该方法的有效性，并为实际应用开辟了新的可能性。

    Mar, 2024

  • 基于 LayoutLMv3 的增强关系抽取模型在视觉丰富文档中的应用

    通过对 FUNSD 和 CORD 数据集上进行的广泛剖析研究及对 LayoutLMv3 的初始化，我们提出了一个模型，用于在视觉丰富的文档中进行关系抽取，其结果超过了当前行业的最佳效果，且没有特定的预训练任务和较少的参数。

    Apr, 2024

  • 场景文本识别的关系对比学习

    通过处理上下文信息和文本关系，研究论文提出一种名为 RCLSTR 的统一框架，用于景观文本识别的关联对比学习，该框架通过重新排列、层次和交互来丰富文本关系，解决了上下文信息限制和过拟合问题，提高了表示鲁棒性。实验结果证明了该方法在表示质量上优于最先进的自监督 STR 方法。

    Aug, 2023

  • 深度关系学习建模内容与语境

    本文介绍 DRaiL，一个开源的声明式框架，用于指定深度关系模型，旨在支持各种自然语言处理场景，并支持与表达性语言编码器的轻松集成，以及研究表示、推理和学习之间的相互作用。

    Oct, 2020

  • 关系深度学习：关系数据库上的图表示学习

    关系数据库中的数据存储方式使得使用机器学习模型变得具有挑战性和耗时，通过引入关系深度学习（RDL）方法，我们可以直接学习跨多个表格布置的数据，而无需进行手动特征工程。关系深度学习通过自动学习图引导，从而提取利用所有输入数据的表示，从而构建更准确的模型且速度更快。

    Dec, 2023

  • 关系提取的单模态和多模态表示训练

    通过排除每种数据类型并独立评估文本和布局数据，我们研究了文本、布局和视觉信息的相对预测能力，证明了针对关系提取任务训练联合表示的有效性。我们的实验表明，双模态的文本和布局方法表现最佳，同时文本是最重要的单一预测因子，布局几何形状也具有高度预测能力。此外，我们强调在哪些情况下视觉信息可以增强性能。

    Nov, 2022

  • 基于关系相关性的文档级关系抽取

    本论文研究了文本级别关系抽取中的长尾问题和多标签问题，并通过引入关系的共现相关性，提出了一种关系嵌入模型来解决这些挑战，最终取得了优于基线模型的结果。

    Dec, 2022

  • 连续关系抽取的一致表示学习

    研究了连续关系抽取中存在的历史信息遗忘问题，提出了一种基于对比学习和知识蒸馏的持续关系表示学习方法，能够有效地避免历史信息遗忘，并在 FewRel 和 TACRED 数据集上进行了大量实验，相比于现有基线算法，提出的方法表现更具鲁棒性。

    Mar, 2022

  • 基于大型语言模型的复合视觉线索进行零样本视觉关系检测

    通过使用 RECODE 方法，利用预训练图像 - 语言模型，我们能够解决零样本可视关系检测中存在的问题，提高了关系检测的准确性和可解释性。

    May, 2023

  • 多视角解耦学习改进低资源基于提示的关系表示

    在低资源情境下，通过多视角关系表示的基于提示的方法（MVRE）能够有效提高关系抽取任务的性能，并在三个基准数据集上达到了最先进的低资源表现。

    Dec, 2023