visual document understanding | BriefGPT

关键词visual document understanding

搜索结果 - 20

DocKylin：一种用于视觉文档理解的大型多模型，具有高效的视觉精简能力
DocKylin 是一种基于文档的多模态大型语言模型，使用自适应像素精简和动态标记精简模块，以降低视觉文档理解任务中的标记序列长度，并在各种评测中展现了良好的性能。
PDF3 days ago
CREPE: 坐标感知的端到端文档解析器
通过 OCR-free 序列生成模型，本研究提出了 Coordinate-aware End-to-end Document Parser (CREPE) 模型，用于图像文档理解。该模型不仅可以从文档图像中解析文本，还可以提取文本的空间坐标
PDF2 months ago
基于 LayoutLMv3 的增强关系抽取模型在视觉丰富文档中的应用
通过对 FUNSD 和 CORD 数据集上进行的广泛剖析研究及对 LayoutLMv3 的初始化，我们提出了一个模型，用于在视觉丰富的文档中进行关系抽取，其结果超过了当前行业的最佳效果，且没有特定的预训练任务和较少的参数。
PDF2 months ago
CVPRHRVDA：高分辨率视觉文档助手
利用大量的训练数据，本文提出了一种高分辨率可视文件助手（HRVDA），该模型利用内容过滤机制和指令过滤模块分别过滤不确定内容和指令的可视标记，从而在高分辨率图像的模型训练和推理方面取得高效的性能，同时在多个文档理解数据集上实现了最先进的性能
PDF3 months ago
ACL视觉引导的生成式文档布局预训练
给定一张文档图像，本研究提出了一种名为 ViTLP 的视觉引导生成文本 - 布局预训练模型，通过生成交错文本和布局序列来优化层次化语言和布局建模目标，以处理任意长度的文字密集型文档，并有效应用于各种下游的视觉文档理解任务。
PDF3 months ago
mPLUG-DocOwl 1.5：OCR-free 文档理解的统一结构学习
利用结构信息提升多模态大型语言模型在视觉文档理解中的性能，通过构建一种新的统一结构学习方法，设计了一个简单而有效的 H-Reducer 视觉到文本模块，并构建了相应的训练数据集和细致解释能力的推理调优数据集，提升了视觉文档理解基准任务的性能
PDF3 months ago
大型视觉 - 语言模型中利用对比学习增强视觉文档理解
利用对比学习框架 DoCo，该研究填补了大型视觉 - 语言模型在处理富文本场景中的细粒度特征缺失问题，提高了对文本丰富的文档的视觉表示，并在多个视觉文档理解基准上取得了优越的性能。
PDF4 months ago
AAAIInstructDoc：一份用于指令驱动的视觉文档理解零样本泛化的数据集
我们研究通过人工编写的指令，在真实世界的文档上完成各种视觉文档理解（VDU）任务，例如问答和信息提取。为此，我们提出了 InstructDoc，这是第一个包含 30 个公开可用的 VDU 数据集的大规模集合，每个数据集都有统一格式的多样指令
PDF5 months ago
高效端到端视觉文档理解与根据聚类
通过小型的预训练图像到文本模型，我们在像素级视觉语言理解的端到端模型中学习选择性文本或布局识别和推理，取得了在信息图表、扫描文档和图像三个视觉文档理解基准中的一致性改进，超过直接预测答案的相似 Pix2Struct 模型 4% 以上。
PDF7 months ago
DONUT 空洞：通过发掘知识并优化学习效率的 DONUT 稀疏化
DONUT-hole 是一种稀疏 OCR-free 视觉文档理解（VDU）模型，通过优化策略实现了模型密度的 54% 减少，同时保持性能，并在文档图像关键信息提取（KIE）任务中展示其对物流公司开发更高效 VDU 系统的潜力。
PDF8 months ago
TransferDoc: 一种自监督可转移的文档表示学习模型，统一视觉和语言
TransferDoc 是跨模态 transformer 架构，通过在自我监督学习中使用三个新颖的预训练目标，实现更丰富的语义概念的学习，从而在工业评估场景中胜过其他最先进的方法。
PDF10 months ago
SIGIRDo-GOOD：针对预训练视觉文档理解模型的分布转移评估
本研究基于文档图像相关任务，开发了一个名为 Do-GOOD 的 OOD 基准，探究现有预训练 VDU 模型对各种分布转移的鲁棒性及其脆弱性。实验结果发现，在文档图像领域，现有预训练 VDU 模型以及 OOD 泛化算法在分布转移方面表现出较大
PDFa year ago
DocFormerv2: 文档理解的本地特征
提出了一种多模态 Transformer 模型 - DocFormerv2，应用于视觉文档理解领域，在多个数据集上都取得了最先进的结果，并通过大量消融实验证明了其预训练和无监督任务设计的有效性。
PDFa year ago
DUBLIN -- 语言 - 图像网络理解文档
通过预训练 DUBLIN 模型，利用文档图像中的空间和语义信息，包括 Masked Document Content Generation Task、Bounding Box Task 和 Rendered Question Answeri
PDFa year ago
IJCAIFast-StrucTexT：一种具有模态引导动态令牌合并的高效沙漏变压器模型，用于文档理解
提出了 Fast-StrucTexT，这是一种基于 StrucTexT 算法的高效多模态框架，并使用沙漏变压器结构进行视觉文档理解，具有较高的性能和效率，可表示多粒度表示。SCA 与动态令牌合并块一起使用，以实现文档布局表示的平衡，以获得与
PDFa year ago
Wukong-Reader：用于细粒度视觉文档理解的多模态预训练
本文提出的 Wukong-Reader 通过各种新的预训练目标进行训练，以利用文档文本线中嵌套的结构知识。本文还介绍了文本线 - 区域对比学习、遮罩区域建模和文本线网格匹配等方法，以增强文本线的视觉和布局表示。实验结果表明，我们的 Wuko
PDF2 years ago
基于 Web 的视觉语料库构建技术报告，用于视觉文档理解
该论文介绍了一个名为 Web-based Visual Corpus Builder 的数据集生成引擎，可以从原始 Wikipedia HTML 转储中准确构建大规模的视觉语料库，并验证其生成的数据可以覆盖广泛的上下文和知识，成为构建强大的
PDF2 years ago
视觉文档理解的测试时间适应性
文章介绍了一种新的文档测试时间自适应方法，利用跨模态自监督学习和伪标记来使源域的模型适应测试时未标记的目标域，并在各种视觉文档理解任务中提升效果。
PDF2 years ago
ECCV无 OCR 文档理解变压器
本文介绍了一种名为 “Donut” 的 OCR-free VDU 模型，使用 Transformer 作为简单有效的架构对文档图像进行全面理解，并采用交叉熵损失预训练，通过实验表明该模型在速度和准确性方面达到了各种 VDU 任务的最新表现。
PDF3 years ago
ICCVDocFormer: 文档理解的端到端 Transformer
本文介绍了基于多模态变压器的 DocFormer 架构，它以无监督预训练方式运行，能够更好地理解各种格式和布局的文档，并结合了文本、视觉和空间特征，实现了多模态自注意层和共享学习空间嵌入等特点，使其在四个数据集上均取得了业界领先的结果。
PDF3 years ago