面向任务个性化的多模态少样本学习在视觉丰富的文档实体检索中的应用

EMNLPNov, 2023

面向任务个性化的多模态少样本学习在视觉丰富的文档实体检索中的应用

On Task-personalized Multimodal Few-shot Learning for Visually-rich Document Entity Retrieval

Jiayi Chen, Hanjun Dai, Bo Dai, Aidong Zhang, Wei Wei

TL;DR本研究旨在解决实体级少样本视觉文档实体检索 (VDER) 任务的挑战，并通过引入任务感知的元学习框架以及新的数据集 FewVEX，显著提高了流行的元学习基准模型的鲁棒性。

Abstract

visually-rich document entity retrieval (VDER), which extracts key information (e.g. date, address) from document images like invoices and receipts, has become an important topic in industrial NLP applications. The emergence of new document types at a constant pace, each with its uniqu

visually-rich document entity retrieval few-shot vder entity-level few-shot scenario task personalization contrastprotonet

发现论文，激发创造

大规模无噪声预训练下的文档实体检索

本文提出了一种从网络上收集海量、嘈杂、弱标注数据的方法，以弥补许多 VDER 设置中训练数据不足的缺陷，也给出了一个名为 DocuNet 的收集数据集，它不需要依赖特定文档类型或实体集，从而在各种 VDER 任务中通用应用。借助 DocuNet，我们提出了一种轻量级多模态体系结构 UniFormer，在没有额外的视觉相关性的情况下从文本、布局和图像裁剪中学习统一的表征。在不同的设置中实验我们的方法并展示了在传统实体检索和少样本学习设置中，当将这个大规模数据集与 UniFormer 相结合时的改进。

Jun, 2023

基于大规模标签解释学习的少样本命名实体识别

利用自然语言描述学习实体类型解释，通过大规模扩展实体类型和描述，可以显著提高零样本和少样本命名实体识别。

Mar, 2024

迈向类人机理解：在视觉丰富文档中的少样关系学习

通过引入两个新的少样本基准数据集，本研究针对可视化丰富的文档（VRD）中的键 - 值关系三元组的提取，提出了一种变分方法，其中包含关系 2D 空间先验知识和原型化校正技术，实验结果表明该方法的有效性，并为实际应用开辟了新的可能性。

Mar, 2024

一种用于小样本命名实体识别的统一标签感知对比学习框架

我们提出了统一的标签感知令牌级对比学习框架，通过利用标签语义作为后缀提示来丰富上下文，同时优化上下文 - 上下文和上下文 - 标签对比学习目标，从而提高推广辨别性的上下文表示。广泛的实验表明我们的方法在各种传统测试领域和大规模少样本 NER 数据集上优于先前的最先进模型，微粒 F1 分数平均绝对增益达到 7%。进一步的分析揭示了我们模型受益于其强大的迁移能力和改进的上下文表示。

Apr, 2024

少样本命名实体识别：综合研究

本文提出了一种有效地建立识别命名实体（NER）系统的方法，基于最近的基于转换器的自我监督预训练语言模型（PLMs），并探讨了三种正交的方案来改进针对少样例情况的模型泛化能力，通过大量实验结果表明，我们的方法在少数样例学习环境中显著改善或优于基于域标记微调的 PLM 线性分类器等基线方法，同时在无训练和少样例学习环境下建立了最新的业界记录。

Dec, 2020

一种具有任务特定预训练的多任务语义分解框架用于少样本命名实体识别

通过多任务预训练的多任务语义分解框架，通过引入基于示范和对比学习的两种新型预训练任务（示范式遮蔽语言建模和类对比判别），能够有效地融入实体边界信息并加强预训练语言模型中的实体表示。在下游主任务中，通过语义分解方法引入多任务联合优化框架，使模型能够整合两种不同的语义信息进行实体分类，实验证明该方法在两个少样本命名实体识别基准测试中始终优于强基线模型，并通过广泛的分析验证了其有效性和泛化能力。

Aug, 2023

通过视觉 - 非对称一致性学习在文档图像中增强的语义实体识别

从视觉丰富的表单样式文档（VFDs）中提取属于预定义类别的有意义实体是一项具有挑战性的任务。本文提出了一种全新的 Vancl 方法，通过引入颜色先验知识来增强模型对细粒度视觉和布局特征的捕捉能力，并在基准数据集上实验证明我们的方法明显优于强大的 LayoutLM 系列基线，展示了该方法的有效性，并通过研究不同的颜色方案对该方法的影响，为优化模型性能提供了启示。我们相信我们的工作将激发未来的多模态信息提取研究。

Oct, 2023

少样本实体识别的混合多阶段解码方法与实体感知对比学习

我们提出了混合多阶段解码的少样本命名实体识别方法，通过实体跨度检测和实体分类的两个阶段，结合对比学习模块以增强实体表示，实现了在少样本情况下识别新类型命名实体的能力。

Apr, 2024

Few-NERD：少样本命名实体识别数据集

本文提出了 Few-NERD 数据集，并利用其来制定基准任务，从而全面评估模型的泛化能力，结果表明 Few-NERD 具有挑战性并需要进一步研究。

May, 2021

混合视觉证据下的少样本关系抽取

多模态表示学习在少样本关系抽取上的应用

Mar, 2024