通过 fine-tuned LLMs 调整，研究 HTML 理解（元素语义分类，输入描述生成和自主网页导航）任务。 T5-based models 表现最佳，提出一个来自 CommonCrawl 的大规模 HTML 数据集。

Oct, 2022

本文提出了一种用于网页的新颖表示学习方法，称为 DOM-LM，以编码文本和 DOM 树结构，并通过自监督预训练学习 HTML 文档的可推广表示，实现了 Attribute Extraction，Open Information Extraction 和 Question Answering 等多种网页理解任务，并在少量标记数据和无标记数据的情况下表现出更好的泛化性能，适用于有限标记数据的实际应用环境。

Jan, 2022

通过整合文本、结构和图像等多模态信息，使用多模态预训练网络进行自动文档理解和信息提取，实现了对网页的深入理解，显著提高了网页理解任务的性能。

Feb, 2024

本文探讨了一种新的持续性的预训练策略，通过把 BART 模型继续预训练来生成简单的文本，从而提高简化任务的表现，同时与其他大型语言模型进行了比较。

May, 2023

本研究提出了一种分层感知提示调节方法（HPT）来处理多标签文本分类（HTC），通过构建动态虚拟模板和标记词，融合标记层次结构知识并引入零界多标签交叉熵损失，以提高预训练语言模型在 HTC 领域的性能，实验结果表明 HPT 在三组常用数据集上均取得了最先进的表现，能够有效地处理平衡不足和低资源情况。

Apr, 2022

本研究论文探讨了一种名为 MarkupLM 的预训练模型，它能够对 HTML/XML 等标记语言的文档进行理解和分析，相比现有的基于布局的预训练方法，在布局可交互和动态渲染的数字文档中有着更好的性能表现。实验证明，该预训练模型在多个文档理解任务上，比现有的强基线模型表现更优秀。

Oct, 2021

本文提出了一种使用正则表达式从未标记语料库中挖掘标记示例的替代模板提示方法，通过微调预训练模型，相比模板提示方法更加灵活和可解释，在使用相似模板时在多个任务中表现出更好的性能。

Oct, 2022

最近，在大规模使用纯文本数据训练大型语言模型（LLMs）的研究进展中，出现了强大的在许多领域和任务中的泛化能力，包括特定于文档的任务。与此相反，有一种趋势是训练多模态转换器架构，专门为文档理解而设计，旨在将文本输入与相应的文档布局融合在一起。本文研究了使用纯文本 LLMs 进行特定于文档任务的可能性，通过使用布局增强的方式。我们探索了插入修改和基于规则的方法，以将纯文本 LLM 提示与布局信息进行增强。我们的实验研究了商用 ChatGPT 模型和开源 LLM Solar 的效果。我们证明了使用我们的方法，两个 LLMs 在各种标准文档基准测试中均展现出改进的性能。此外，我们研究了有噪音的 OCR 和布局错误的影响，以及 LLMs 在利用文档布局方面的局限性。我们的结果表明，通过布局增强，相较于仅使用纯文本文档，纯文本 LLMs 在文档理解方面的性能可以提高多达 15%。总之，在纯文本 LLM 或多模态文档转换器之间进行最佳模型选择时，应考虑这种方法。

Feb, 2024

本文提出了一种基于超链接进行预训练的方法，并将其应用于信息检索（IR）任务中，实验结果表明此方法在大规模的 IR 和问答数据集上具有优越性。

Sep, 2022

本研究提出了一种基于 instruction-tuning 语言基础模型的 Zero-shot 能力和称为 LATIN-Prompt 的布局及任务感知的指令提示的方法，通过 OCR 工具中适当的空格和换行符从文本段中恢复布局信息，通过具体的任务描述确保模型生成满足格式要求的答案，提高了指令调整语言基础模型在文档图像问答上的零 - shot 性能，表现与基于预训练 - 微调范例的最新技术水平相当。

Jun, 2023