Jul, 2023

银行流程自动化的多模态文档分析

PDF
TL;DR本研究旨在通过理解先进的文档分析技术，特别是多模态模型，在银行业务的操作效率提升和应对金融科技竞争方面的潜力。通过综合分析多样化的银行文件环境，我们展示了通过自动化和高级分析技术在客户业务中提高效率的机会。借助自然语言处理领域的快速发展，我们阐明了在银行业领域分析各种文件的 LayoutXLM 等模型潜力。该模型可对德国公司注册文件进行文本标记分类，整体 F1 得分约为 80%。我们的实证证据证实了布局信息在提高模型性能方面的关键作用，并进一步强调了整合图像信息的好处。有趣的是，我们的研究表明，仅使用 30% 的训练数据就可以达到超过 75% 的 F1 得分，证明了 LayoutXLM 的高效性。通过解决最先进的文档分析框架，我们的研究旨在提高流程效率，展示多模态模型在银行业务中的实际适用性和好处。
发现论文，激发创造
  • LayoutXLM: 多模态预训练用于多语种视觉丰富文档理解

    本文提出了一种基于 LayoutXLM 的多模态预训练模型，用于多语言文档理解，并在名为 XFUND 的多语言表单理解基准数据集上进行了验证，结果表明 LayoutXLM 模型在跨语言预训练方面优于现有的 SOTA 模型。

    Apr, 2021

  • LongFin：面向长金融领域文档的多模态文档理解模型

    长表是一种能够编码多达 4K 个标记的多模态文件 AI 模型，它在广泛的金融数据集上表现出超越现有公共模型的性能，同时在现有单页基准测试上保持可比较的结果。

    Jan, 2024

  • LayoutLLM：针对视觉丰富文档理解的大语言模型指令调整

    本文提出了 LayoutLLM，一种更灵活的文档分析方法，用于理解图像化文档。通过利用现有研究在文档图像理解和大规模语言模型的优势，通过与多模态指令数据集进行微调，提出的模型在单个模型中执行对文档图像的理解，并通过实验证明在各种文档分析任务中改进了基线模型。

    Mar, 2024

  • DocLLM: 多模态文档理解的自适应生成语言模型

    研究论文通过设计 DocLLM 模型，结合文本语义和空间布局，以有效地理解企业文件的丰富语义，摆脱昂贵的图像编码器，侧重于使用边界框信息来处理不规则布局和异构内容的视觉文件，通过预训练和微调，优于当前最优模型在多个任务中的性能，并且对于先前未见过的数据集具有较好的泛化能力。

    Dec, 2023

  • 大型语言模型与以文本为中心的多模态情感分析：调查

    与传统情感分析相比，多模态情感分析需要同时考虑来自多模态源的情感信号，它更符合人类在现实场景中处理情感的方式。本文综述了近期文本为中心的多模态情感分析任务中的研究，审视了大型语言模型在文本为中心的多模态情感分析中的潜力、方法、优势和局限性，总结了基于大型语言模型的多模态情感分析技术的应用场景，并探讨了未来多模态情感分析的挑战和潜在研究方向。

    Jun, 2024

  • LAPDoc：文档的布局感知提示

    最近，在大规模使用纯文本数据训练大型语言模型（LLMs）的研究进展中，出现了强大的在许多领域和任务中的泛化能力，包括特定于文档的任务。与此相反，有一种趋势是训练多模态转换器架构，专门为文档理解而设计，旨在将文本输入与相应的文档布局融合在一起。本文研究了使用纯文本 LLMs 进行特定于文档任务的可能性，通过使用布局增强的方式。我们探索了插入修改和基于规则的方法，以将纯文本 LLM 提示与布局信息进行增强。我们的实验研究了商用 ChatGPT 模型和开源 LLM Solar 的效果。我们证明了使用我们的方法，两个 LLMs 在各种标准文档基准测试中均展现出改进的性能。此外，我们研究了有噪音的 OCR 和布局错误的影响，以及 LLMs 在利用文档布局方面的局限性。我们的结果表明，通过布局增强，相较于仅使用纯文本文档，纯文本 LLMs 在文档理解方面的性能可以提高多达 15%。总之，在纯文本 LLM 或多模态文档转换器之间进行最佳模型选择时，应考虑这种方法。

    Feb, 2024

  • 体育领域的语言和多模态模型：数据集和应用调查

    综述了自 2020 年以来推动这些创新的数据集和应用程序，对数据集进行了概述和分类，包括基于语言、多模态和可转换的数据集，强调了数据集对改善体育迷体验、支持战术分析和医学诊断等各种应用的贡献，并讨论了数据集开发的挑战和未来方向。该综述为希望在体育领域利用自然语言处理和多模态模型的研究人员和实践者提供了基础资源，提供了关于当前趋势和未来机会的洞察。

    Jun, 2024

  • 金融情感分析的大规模语言模型适应

    该研究针对金融领域进行了大规模语言模型（LLM）的适应性研究，并着重研究了金融情感分析，发现通过精细调整基础模型并结合金融文档和指令数据集，小型 LLM 在性能上与大型模型可媲美，而且在参数和数据方面更高效。此外，研究还展示了如何通过 LLM 生成人工指令以增加指令数据集的样本数量。

    Jan, 2024

  • 巴西法律文件的序列感知多模态页面分类

    本研究探讨了巴西最高法院文件的多模式分类，采用 ResNet 与多核卷积神经网络提取视觉和文本特征以及 biLSTM 网络建模页面的序列性，发现多模式分类优于单一模式分类。

    Jul, 2022

  • LAMPRET：面向布局的多模态文档预训练理解

    本论文提出了一种基于多模态 Transformer 的分层框架（LAMPreT），并通过分层预训练来训练模型，以实现对文档布局的理解及其内部内容的分类和组合，来更好地进行文本块填充和图像建议两项任务。

    Apr, 2021