Mar, 2024

能否让人工智能模型欣赏文件美学？关于预测自信程度与可读性和布局质量的探究

PDF
TL;DR通过对文档设计原则的分析以及与人类认知和人工智能对文档审美的解读之间的桥梁，本研究通过相关性分析测试了噪声、字体大小对比、对齐和复杂性等四个审美效果对模型置信度的影响，结果和观察强调了基于文档设计理论的模型分析的价值，提供了进一步研究的新视角，呼吁对 AI 解读文档审美的深入研究。
发现论文，激发创造
  • 文档智能：基于 Transformer、基于图的模型和卷积神经网络的文档布局分析的比较研究

    本研究旨在对文档布局分析的最先进模型进行比较评估，并利用机器翻译技术探索跨语言文档布局分析的潜力。

    Aug, 2023

  • 多模态文档质量评估联合模型

    本文研究在评估维基百科文章和学术论文质量方面，采用同时结合文本内容和文档视觉渲染的联合模型来捕捉文档质量的显式和隐式特征，实验结果表明，文本和视觉特征是互补的，能够达到最先进的效果。

    Jan, 2019

  • 内容感知布局推断的美学文本标志合成

    本文介绍了一种基于内容感知布局生成网络的方法，将字形图像和对应文本作为输入，自动生成美观的排版布局。在设计中融合了语言学和视觉语义信息，同时训练和评估了文本 Logo3K 数据集，验证了其在合成视觉上令人愉悦的文本 Logo 方面的优越性。

    Apr, 2022

  • 通过布局结构建模增强视觉丰富文档的理解

    我们提出了 GraphLayoutLM 模型，它利用布局结构图的建模将文档布局知识注入模型，使得模型能够理解文本元素的空间排列，以提高文档的理解能力，并在 FUNSD、XFUND 和 CORD 等基准测试中取得了最先进的结果。

    Aug, 2023

  • 文档 AI：基准、模型和应用

    本文简要介绍了文档智能技术的发展和应用，重点关注了基于深度学习的自然语言处理和计算机视觉方法，提出了利用预训练技术的深度学习方法作为未来文档智能研究的方向。

    Nov, 2021

  • 具有布局感知能力的基于预训练语言模型的视觉丰富文档信息抽取方法

    本文研究信息提取的问题，使用大型预训练语言模型和图神经网络相结合的模型来高效地编码视觉和文本信息，并引入新的微调目标，通过使用大量未标记的领域内数据来改善领域内无监督微调。我们在真实世界的发票和简历数据集上进行了实验，并表明所提出的方法在发票上的绝对 F1 比强文本基线高出 6.3％ ，在简历中 F1 绝对值增加了 4.7％。在少数样本情况下，我们的方法需要比基线少 30 倍的批注数据才能在约 90％的 F1 达到相同的性能水平。

    May, 2020

  • LayoutLLM：针对视觉丰富文档理解的大语言模型指令调整

    本文提出了 LayoutLLM，一种更灵活的文档分析方法，用于理解图像化文档。通过利用现有研究在文档图像理解和大规模语言模型的优势，通过与多模态指令数据集进行微调，提出的模型在单个模型中执行对文档图像的理解，并通过实验证明在各种文档分析任务中改进了基线模型。

    Mar, 2024

  • 高效端到端视觉文档理解与根据聚类

    通过小型的预训练图像到文本模型，我们在像素级视觉语言理解的端到端模型中学习选择性文本或布局识别和推理，取得了在信息图表、扫描文档和图像三个视觉文档理解基准中的一致性改进，超过直接预测答案的相似 Pix2Struct 模型 4% 以上。

    Nov, 2023

  • 揭示美学偏好的因素：可解释的人工智能

    通过使用机器学习模型和可解释的 AI 技术，我们对影响审美偏好的属性展开研究，通过数据挖掘和多种机器学习模型的比较，揭示了影响图像美学评分的属性及其相互作用的作用，以期能深入理解影响审美判断的复杂性。

    Nov, 2023

  • 布局融合语言模型对布局分布变化的鲁棒性研究 —— 以科学文献为例

    本研究测试了布局增强语言模型对布局变化的鲁棒性，以科学论文结构恢复任务为案例，发现布局分布变化会导致模型性能下降。简单的训练策略可以降低性能下降，但模型无法在任何测试条件下达到样本内性能。本研究强调了在模型评估过程中考虑布局分布变化的必要性，并提出了一种实现方法。

    Jun, 2023