MMAug, 2023

场景文本识别的关系对比学习

PDF
TL;DR通过处理上下文信息和文本关系，研究论文提出一种名为 RCLSTR 的统一框架，用于景观文本识别的关联对比学习，该框架通过重新排列、层次和交互来丰富文本关系，解决了上下文信息限制和过拟合问题，提高了表示鲁棒性。实验结果证明了该方法在表示质量上优于最先进的自监督 STR 方法。
context-aware methodstextual relationsrepresentation learningrclstrself-supervised str methods
发现论文，激发创造
  • 多模态上下文学习使自适应场景文本识别器

    Scene text recognition (STR) in the wild faces challenges due to domain variations, font diversity, shape deformations, etc. Recent studies show that large language models (LLMs) can learn from a few demonstration examples using In-Context Learning (ICL). However, applying LLMs as a text recognizer is resource-consuming. To address this, the paper introduces E$^2$STR, a STR model trained with context-rich scene text sequences, demonstrating effective ICL capabilities with a regular-sized model and outperforming fine-tuned approaches.

    Nov, 2023

  • 视觉丰富文档中的关系表示学习

    本研究提出了 DocReL，一种文本关系表示学习框架，其中包含一种新的对比学习任务 Relational Consistency Modeling（RCM），并利用了上下文信息来改进视觉丰富文档中关系理解，如表结构识别，关键信息提取和阅读顺序检测。

    May, 2022

  • 视觉语义提高了场景文本识别中的文本推理水平

    该研究提出了一种基于图卷积网络的文本推理（GTR）方法并将其应用于场景文本识别中，该方法可以利用像素之间的空间关联来提高文本识别的性能，并在六个具有挑战性的基准测试中获得最新的最佳结果。

    Dec, 2021

  • HiCLRE：一种基于分层对比学习的远程监督关系抽取框架

    本文提出了一种基于对比学习的层次化关系抽取框架（HiCLRE），该框架结合全局结构信息和局部微粒度交互以减少噪声句子，并在不同的 DSRE 数据集中均显著优于强基准模型，其中包括了远程监督、关系抽取、多粒度重上下文化和对抗扰动等关键词。

    Feb, 2022

  • 利用神经场景图生成器学习视觉关系先验用于图像文本匹配和图像字幕生成

    通过结合神经场景图生成器和最先进的模型，我们的实验表明用于促进语言到视觉关系的关系特征能够显著改进标准的 Flickr30K 和 MSCOCO 基准测试，在端到端的视觉和语言应用中捕获视觉关系。

    Sep, 2019

  • 通过描述性关系提示和对比学习进行句子级别关系提取

    本文提出了一种新的范式 —— 具有描述性关系提示和对比学习的对抗性学习 (CTL-DRP)，用于共同考虑实体信息、关系知识和实体类型限制，通过提出的方法，在 TACRED 上获得了 76.7% 的竞争性 F1 - 分数，在 TACREV 和 Re-TACRED 都达到了 85.8% 和 91.6% 的最高水平表现。

    Apr, 2023

  • 通过对比表示学习实现少样本关系分类的高效信息提取

    利用多个句子表示和对比学习的方法，从少样本关系分类中提取丰富的信息以区分实体对的关系。

    Mar, 2024

  • 图像 - 文本 - 标签空间统一的对比学习

    该研究提出了一种新型的学习范式 - 统一对比学习（UniCL），通过将人类标注的图像标签数据和网络爬取的图像文本数据相结合，学习出在零样本，线性探测，完全微调和迁移学习方案中具有语义丰富而有区分性的表示。在各种基准测试中，UniCL 的性能均优于语言图像对比学习和监督学习方法，并且在纯图像标签数据上，其表现也不亚于监督学习方法。

    Apr, 2022

  • 召回、检索与推理：迈向更好的上下文关系抽取

    通过提出一种召回 - 检索 - 推理关系抽取框架，将大型语言模型与检索语料库相结合，从而使语言模型能够在上下文中进行可靠的推理，以提高关系抽取的性能。

    Apr, 2024

  • 半监督关系对比学习

    本文介绍了一种基于半监督关系对比学习的皮肤病诊断方法，通过有效利用未标记图像进行预训练 / 精调并验证了其在不同标记数据数量下的有效性。

    Apr, 2023