May, 2024

GeoContrastNet：用于语言无关文档理解的对比键 - 值边缘学习

PDF
TL;DRGeoContrastNet 是一个语言不可知的框架，通过将对比学习目标与图注意力网络（GATs）相结合，强调几何特征的重要作用，实现了结构化文档理解（DU）。我们提出了一种新的方法，将几何边缘特征与视觉特征结合在一个整体的基于 GAT 的框架中，在链接预测和语义实体识别性能方面展示了有希望的结果。我们的研究结果表明，将几何特征和视觉特征相结合，可以匹配那些在性能准确性和效率上严重依赖光学字符识别（OCR）特征的大型 DU 模型的能力。这种方法强调了页面的半结构化布局中命名文本实体之间的关系布局信息的重要性。具体而言，我们的结果突出了该模型在识别 FUNSD 数据集中的表单中的键 - 值关系以及在 RVLCDIP 业务发票的表格结构布局中发现空间关系的能力。我们的代码和预训练模型将在我们的官方 GitHub 上提供。
发现论文，激发创造
  • Doc2Graph: 一种基于图神经网络的任务无关文档理解框架

    这篇研究文章介绍了一种基于 GNN 模型的文档理解框架 ——Doc2Graph，可用于处理不同类型文档的不同任务，如发票布局分析及表格识别等，旨在提高信息提取的效率。

    Aug, 2022

  • 基于图神经网络的对抗性对比学习在具备证据感知的假新闻检测中的应用

    本文提出了一种基于证据的假新闻检测的方法，采用图形结构挖掘和对比学习来消除信息冗余，获得具有可靠性和区分度的表示，并在实验中证明了 GETRAL 相对于现有技术的优越性。

    Oct, 2022

  • 学习几何解耦表征，为补充理解三维物体点云做准备

    该研究提出了一种称为几何去耦合注意力网络（GDANet）的深度学习模型，用于将 3D 对象的点云分解成轮廓和平坦的部分，并在整合时实现语义精炼，从而实现更好的 3D 对象分类和分割。

    Dec, 2020

  • 基于视觉常识的异构图对比学习

    本研究通过引入视觉常识信息和提出异构图对比学习方法，改善视觉推理任务，使模型更专注于具有辨别力的对象和相关的视觉常识属性，并通过图关系网络推理同质边之间的关联和异质边之间的相似性，从而提高了模型的信息传输效果。在四个基准测试上的广泛实验表明，本方法显著改进了七个具有代表性的视觉问答模型，证明了它的有效性和泛化性。

    Nov, 2023

  • FormNetV2：面向表单文件信息提取的多模态图形对比学习

    FormNetV2 引入了一种集中的多模态图形对比学习策略，将自监督预训练统一为一个损失，通过提取与图形边缘相连的一对令牌之间的边界框内的图像特征，捕捉更有针对性的视觉线索，从而在 FUNSD、CORD、SROIE 和 Payment 基准测试上建立新的最先进性能。

    May, 2023

  • 无监督图对比学习中的结构和语义全局知识获取

    本文提出了一种基于结构和语义对比学习算法框架的简单神经网络 - S^3-CL，用于在无监督情况下学习表达具有全局结构和语义的节点特征，通过实验表明与现有的基于 GNN 的无监督 GCL 方法相比，S^3-CL 在不同的下游任务上可以获得优异的表现。

    Feb, 2022

  • TopoGCL: 拓扑图对比学习

    图对比学习在图神经网络的强大优势下充分利用丰富的无标签信息来学习图的特征表示，然而现有的方法忽视了高阶图子结构的重要潜在信息，本研究通过引入拓扑不变性和扩展持久性的概念来解决这个限制，提出了一种新的对比学习模式并引入了扩展持久性景观，实验结果表明 TopoGCL 模型在无监督图分类中取得了显著的性能提升。

    Jun, 2024

  • CoCo: 无监督领域自适应图分类的耦合对比框架

    提出了一种名为 CoCoGRL 的新方法来解决图形神经网络在图形分类，无监督学习，域适应等领域中需要大量标记成本的问题，此方法使用图形结构在多个视图上进行对比学习。

    Jun, 2023

  • 对比知识图谱错误检测

    本文提出了一种新的框架，ContrAstive knowledge Graph Error Detection (CAGED), 结合了 Knowledge Graph (KG) 的 embedding 和对比学习的 loss，对 KG 中的三元组进行可靠性评估，从而检测异常，通过在不同超视图中的建模 CAGED 比现有方法表现更好。

    Nov, 2022

  • 基于局部结构的图形对比表示学习

    我们提出了一种局部结构感知的图对比学习方法 (LS-GCL)，用于从多个视角建模节点的结构信息，并且通过多层对比损失函数来优化模型，实验结果表明我们的方法在节点分类和链接预测任务上均优于最先进的图表示学习方法。

    Aug, 2023