本文介绍了一种名为 “Donut” 的 OCR-free VDU 模型，使用 Transformer 作为简单有效的架构对文档图像进行全面理解，并采用交叉熵损失预训练，通过实验表明该模型在速度和准确性方面达到了各种 VDU 任务的最新表现。

Nov, 2021

我们对所有公开可用的 GPT-4 系列模型在文档理解领域进行了遗漏和可重复评估，发现通过提供外部 OCR 引擎识别的文本和文档图像作为输入，GPT-4 Vision Turbo 模型在处理文本语义以外的文本空间排列和视觉线索方面表现良好。评估后的分析结果显示了文本 GPT-4 模型的可能污染以及对长文档的性能显著下降。

May, 2024

DONUT-hole 是一种稀疏 OCR-free 视觉文档理解（VDU）模型，通过优化策略实现了模型密度的 54% 减少，同时保持性能，并在文档图像关键信息提取（KIE）任务中展示其对物流公司开发更高效 VDU 系统的潜力。

Nov, 2023

本研究提出了一种抽象化汇总方法，可用于文档集合而非个别文档。我们的方法应用语义聚类、主题聚类内的文档大小缩减、聚类文件的语义分块、基于 GPT 的汇总和连接以及每个主题的综合情感和文本可视化，支持探索性数据分析。通过使用 ROGUE 汇总分数将我们的结果与现有的先进系统 BART、BRIO、PEGASUS 和 MoCa 进行了统计比较，我们发现在 CNN/Daily Mail 测试数据集上，性能与 BART 和 PEGASUS 相当，在 Gigaword 测试数据集上，性能与 BART 相当。这一发现是令人鼓舞的，因为我们认为文档集合的汇总比个别文档的汇总更具挑战性。最后，我们讨论了规模问题。

Oct, 2023

本研究探索利用生成型 AI 作为绘图的助手的概念，以增强协作绘图的效率，并结合志愿地理信息和大型语言模型进行实验，结果表明，采用更详细的来源照片描述或结合附加上下文可以在不修改底层 AI 模型的情况下有效地提高地图标记建议的准确性。

Jun, 2023

我们提出了一种名为 Nougat 的神经光学理解学术文档的模型，它使用光学字符识别（OCR）将科学文档转换为标记语言。该方法有效地提高了数字时代科学知识的可访问性，将人类可读文档和机器可读文本之间的鸿沟缩小。我们发布了相关模型和代码以促进科学文本识别的未来工作。

Aug, 2023

TableGPT 是一个统一的 fine-tuned 框架，它使用外部功能命令使大型语言模型能够理解和操作表格，具有与表格无缝交互的能力，使数据操作、可视化和报告生成更加简便、易用、高效，其核心概念是全局表格表示，同时支持数据流程、查询拒绝、私有部署等功能，可以更好地适应特定的使用情况。

Jul, 2023

ChatGPT 3.5 可以将多达 3000 个词的内容浓缩成一页，能够有针对性地从给定的文本中保留关键信息；通过对七篇科学文章使用 ChatGPT 服务生成摘要并与六位合著者进行调查，发现 ChatGPT 生成的摘要能够成功概括文章中的重要信息，保留了每篇文稿的主要信息，但与原文相比，在摘要的技术深度上稍有降低；综上，我们的研究结论强调了 ChatGPT 在文本摘要功能上作为提取关键洞察的强大工具，更符合报告性的方式而非纯粹的科学论述。

Nov, 2023

本文介绍了 GPT-4，一种大规模、多模态模型，可接受图像输入和文本输入，并产生文本输出。通过预先训练，优化方法和改进后的对齐过程，GPT-4 表现出人类水平的性能。

Mar, 2023

本研究提出了一种名为 DoT 的双变形器模型，其中一个较浅的修剪变形器用于选择最佳 K 个关键词，然后一个较深的任务特定变形器将这 K 个关键词作为输入，通过优化任务特定的损失函数，两个变形器共同训练。 DoT 模型虽然产生了轻微的精度降低，但提高了训练和推理时间至少 50％。

Jun, 2021