ACLOct, 2021

从未标注的数据中提取表单字段

PDF
TL;DR该研究提出了一个新的框架，使用未标记的数据来进行表单字段提取。通过挖掘未标记表单中的噪声伪标签来启动训练过程，并提取转换器模型中的区分性记号表示，以建模表单中的文本交互，并引入基于逐步伪标签集合的细化模块，以防止模型过拟合标签噪声。实验结果表明了该框架的有效性。
发现论文，激发创造
  • 深度视觉无模板形状解析

    本文提出了一种基于卷积网络的学习型、无模板的解决方案，用于检测先前印制文本和输入文本 / 手写文本，以及预测它们之间的成对关系，适用于噪声、退化和形式多种多样的历史表格图像数据集。

    Sep, 2019

  • 基于数据效率的形式文档信息提取

    本文介绍了如何使用少量标记数据和被标记语料库进行转移学习，以实现在规模上自动从表单状文件提取信息。

    Jan, 2022

  • 联合语音转录和翻译：使用 Out-of-Distribution 数据进行伪标签

    本文研究使用自训练和伪标签技术，通过数据增强和过滤等手段，在语音识别中克服领域不匹配问题，从而提高了 0.6% 的音字误率和 2.2 个 BLEU 值百分点。

    Dec, 2022

  • 通用表格理解的端到端分层关系抽取

    通过深度神经网络，结合多级注意力 U-Net 结构和部分强度场、部分关联场的联合性实现形式理解中的实体检测和链接预测，有效地提升了文档形式理解任务的表现，尤其是在 FUNSD 数据集上的表现优于原始模型和现有基准。

    Jun, 2021

  • 长文分类器中的无监督理性抽取：大海捞针

    这篇论文针对长篇文本的语言模型，研究了其对 token-level 预测准确性的影响，提出了使用 RoBERTa 分析句子的组合式软注意力架构来提取 plausible rationales 的方法，并发现相比 Longformer 驱动的基准模型，提出的方法在情感分类数据集上表现更优，且运行时间更短。

    Mar, 2023

  • 无监督可控文本形式化

    本文提出了一种新颖的可控自然语言转换框架，通过深度神经编码 - 解码器和辅助模块的加强以及基于自然语言处理工具的评分器来实现无监督训练，将其应用于正式化文本的任务中，实验表明该模型在转换文本并引入适当的正式设定方面表现良好，代码和数据集已供学术使用。

    Sep, 2018

  • 高度技术领域的非监督术语提取

    本文介绍了一个商业知识发现平台的术语提取子系统，采用全面且无监督注释器来跨越高度技术领域。该注释器通过将子词分词的新颖形态信号与使用通用领域预训练句子编码器计算的术语和主题以及内部术语相似度度量相结合，提取术语。通过在大型未标记语料库上运行 UA 生成的训练数据进行变压器模型的微调或预训练，使得此设置能够提高预测性能，同时减少 CPU 和 GPU 的推理延迟。该注释器为所有未标注语料库提供了非常有竞争力的基线。

    Oct, 2022

  • POUF: 面向提示的无监督微调大规模预训练模型

    本研究提出一种无监督的精调框架，用于快速和直接地向未标记的目标数据进行深度学习模型的预训练，并在图像分类、情感分析和自然语言推理任务中实现了持续的改进。

    Apr, 2023

  • 利用注意力机制和信念传播实现一次性文本字段标注用于结构信息提取

    本文提出了基于深度学习和注意力机制的逐字标注一次学习方法，用于结构化信息提取中的文本区域标注任务，消除了样本收集和模型应用成本的限制，并在具有各种文档类型的真实数据集上进行了验证。

    Sep, 2020

  • 基于预训练 Transformer 的无监督跨领域检测

    本研究利用预训练的 transformers 的潜在特征表示来提出了一种简单而有效的方法，用于通过无监督的领域内数据检测领域外样本，并进一步提出了两种领域特定的微调方法来提高检测准确性。在两个数据集上的实验结果验证了该方法大大提高了更一般情景下的领域外检测能力。

    Jun, 2021