Jul, 2023

文档智能理解研讨会

PDF
TL;DR文件理解和信息提取是自动理解文档并提取有价值信息的不同任务。该研究聚焦于发展领域包括商业、法律和医学在内的文档理解，以提高大量文档相关工作的效率。此外，该研究还推出了一个数据挑战，针对最近发布的文档级视觉问答（PDFVQA）数据集，旨在促进对自然语言全文档多个连续页面的结构和上下文理解的模型研究。该任务有助于将文档理解从单页水平提升到全文档水平。
发现论文，激发创造
  • PDF-VQA：一个新的 PDF 文档实际应用 VQA 数据集

    本研究提出了一种基于文档的视觉问答模型，并通过新开发的 PDF-VQA 数据集综合考察了文档理解的不同方面，包括文档元素识别、文档结构理解以及上下文理解和关键信息提取，在模型中明确地将文档元素之间的空间和层级结构关系整合起来，以此增强文档结构理解的能力。

    Apr, 2023

  • 文档 AI：基准、模型和应用

    本文简要介绍了文档智能技术的发展和应用，重点关注了基于深度学习的自然语言处理和计算机视觉方法，提出了利用预训练技术的深度学习方法作为未来文档智能研究的方向。

    Nov, 2021

  • 文档集合视觉问答

    文章提出一个新的任务 —— 使用文献收集进行文档理解，提出了一个新的数据集和新的评估指标和基线模型

    Apr, 2021

  • 隐私感知的文档视觉问答

    在本研究中，我们首次探索了文档视觉问答（DocVQA）领域的隐私问题，并提出了使用联邦学习和差分隐私的基线训练方案，用于保护敏感信息以及避免模型记忆效应所导致的私人信息泄露。

    Dec, 2023

  • V-Doc：带有文档的视觉问答系统

    V-Doc 是一种使用文档图像和 PDF 文件的问答工具，主要用于帮助研究人员和普通非深度学习专家生成、处理和理解文档的视觉问答任务，支持使用文档图像生成和使用抽取式和生成式问答对，可用于各种数据集和模型，并且通过声明性、框架不可知平台高度可扩展。

    May, 2022

  • DLUE：文件语言理解基准测试

    本文提出一种新的文档语言理解评测框架 ——DLUE，它涵盖了各种形式、领域和文档类型的文档理解任务，并对六个知名 Transformer 模型进行了系统评估，结果显示由于内容冗长、结构复杂和知识分散，文档理解仍然远未解决，没有一种神经架构能够支配所有任务，这需要一个通用的文档理解结构。

    May, 2023

  • TRIE：端到端文本阅读和信息提取以实现文档理解

    本文提出了一种统一的端到端文本阅读和信息提取网络，通过融合文本阅读的多模态视觉和文本特征来实现信息提取，并且信息提取中的语义有助于优化文本阅读，该方法在真实世界的数据集上表现出比现有方法更高的效率和准确性。

    May, 2020

  • 基于数据效率的形式文档信息提取

    本文介绍了如何使用少量标记数据和被标记语料库进行转移学习，以实现在规模上自动从表单状文件提取信息。

    Jan, 2022

  • 一种灵活框架的零样本文档级问答检测、检索和理解

    本文提出了一种三阶段文件 QA 方法，包括从 PDF 中提取文本，从提取的文本中检索证据以形成良好的上下文，以及从上下文中提取 3 种类型的知识（抽取式、生成式或布尔式）。通过对 QASPER 的评估，DRC 系统在交付更优的上下文选择的同时，Answer-F1 达到了 +7.19 的提高。结果表明，DRC 在科学文献 QA 中有很大的亮点。

    Oct, 2022

  • 文档理解的统一预训练框架

    UDoc 是一个新的文档理解的统一预训练框架，它通过使用三个自监督损失约束表示模型，将单词和视觉特征作为输入，使神经网络从无标签的数据中学习到更好的文档表示，并取得了下游任务的提升。

    Apr, 2022