May, 2024

RealitySummary：基于大型语言模型的按需混合现实文档增强

PDF
TL;DR我们介绍了一种名为 RealitySummary 的混合现实阅读助手，它可以通过按需的文本提取、摘要和增强来提升任何印刷或数字文档。我们探索了通过利用大规模语言模型进行按需文档增强的通用技术，并开发了一个概念验证系统，可以使用谷歌云 OCR 和 GPT-4 自动提取和摘要文本，然后使用 Microsoft Hololens 2 和 Apple Vision Pro 在文档周围嵌入信息。通过可用性研究和实地研究的结果，我们揭示了按需的混合现实文档增强的潜在效益和未来研究的机会。
发现论文，激发创造
  • 通过大型语言模型整合总结和检索，实现个性化增强

    通过使用离线总结和运行时检索，我们提出了一种新颖的基于总结的方法，扩展了基于检索的个性化，以实现更好的实时系统性能，并在实际约束下取得了更好的个性化性能。

    Oct, 2023

  • 基于摘要生成的数据增强方法用于文档分类

    通过使用 SUMMaug，一种简单但有效的基于摘要的数据增强方法，我们能够解决预训练语言模型在理解长文本（如文档）时遇到的数据稀疏问题，并在文档分类任务中取得了稳健性和准确性上的优势。

    Dec, 2023

  • 利用信息提取和压缩进行大规模多文档摘要

    开发了一种基于抽象的总结框架，适用于多个异构文档，该框架独立于标记数据。 与现有的多文件总结方法不同，我们的框架处理讲述不同故事的文档，而不是同一主题的文档。 最后，我们基于 CNN / Daily Mail 和 NewsRoom 数据集构建了总共十二个数据集变体，其中每个文档组都包含大量且多样化的文档，以评估我们的模型与其他基线系统的性能。 我们的实验表明，我们的框架在这种更通用的情况下胜过了现有的最先进方法。

    May, 2022

  • 可控多文档摘要：基于大型语言模型奖励的覆盖和连贯直观策略

    使用内存高效的大型语言模型进行文本精炼有助于提高可阅读性，而在长文本输入的文本生成任务中，如多文档摘要，控制性是一个需要关注的问题。本文研究了一种用于多文档摘要的通用的可控方法，利用大型语言模型来提炼文本。具体来说，我们训练了一个可控的内容提取方案，用于提取需要由大型语言模型提炼的文本。该方案采用了一种新颖的覆盖和连贯性直观策略，并由一个被动训练的大型语言模型适当地奖励。我们的方法在使用 ROUGE 指标进行评估时取得了有竞争力的结果，并在人工评估中在连贯性方面胜过潜在的基准。

    Oct, 2023

  • 基于检索增强生成的问答型电子健康记录摘要

    电子健康记录的总结可以极大地减少患者和医务人员的 “屏幕时间”。近年来，通过使用最先进的神经模型，电子健康记录的总结已经采用了机器学习流程。然而，这些模型产生了不够令人满意的结果，这要归因于很难获取足够的注释数据进行训练。此外，考虑到电子健康记录的整个内容在总结中的要求，由于现代大型语言模型（LLMs）中的注意机制增加了二次复杂度，导致性能较差。我们在此提出了一种方法，通过结合语义搜索、检索增强生成（RAG）和使用最新的 LLMs 的问答方法来减轻这些缺点。在我们的方法中，总结是根据专业学科专家（SMEs）认为的重要问题的答案的提取。我们的方法非常高效；几乎不需要训练；不会受到 LLMs 的 “幻觉” 问题的困扰；而且可以确保多样性，因为总结中不会有重复的内容，而是针对特定问题的多样答案。

    Jan, 2024

  • C2F-FAR 与 ChatGPT 构建的混合式长文本摘要：一项实证研究

    本文介绍了一个使用 ChatGPT 和 C2F-FAR 提出的混合抽取和摘要文本的流程，可以用于长篇文章和书籍。机器生成的摘要可以与人工摘要在自动化评估指标下表现得一样好，但在文本连贯性、忠实度和风格等方面仍存在问题。因此，我们认为 ChatGPT 还不够成熟。这项工作为 NLP 研究人员提供了有关 ChatGPT 在文本摘要方面的能力与实践需求的重要信息，促进进一步研究。

    Jun, 2023

  • 通过混合结构化摘要和基于 LLM 的数据增强改进主题相关性模型

    社交搜索中查询与文档的主题相关性是一个重要的部分，该研究提出了一种使用大型语言模型的查询重写和生成方法来改善关联建模的性能。

    Apr, 2024

  • GUMSum：英文抽象摘要的多语种数据和评估

    本文提出了 GUMSum 数据集，旨在评估抽象概括的英语摘要。该数据集高度约束，注重替换潜力、事实和忠实度，结果显示 GPT3 达到了令人印象深刻的得分，但仍然表现不如人类，并且不同类型的错误揭示了生成好概括的挑战。

    Jun, 2023

  • 抽象式摘要作为文档级事件检测的扩充

    使用抽象文本摘要作为增强方法，着重于在文档级事件检测上弥合浅层模型和深层模型之间的性能差距，使用 RoBERTa-base 和线性 SVM 对分类进行实验，结果表明，文档标题的使用不但能够增强分类性能，还能提高 RoBERTa 的 F1 分数。

    May, 2023

  • 一项用于从非结构化数据中学习结构的个性化强化学习摘要服务

    该论文提出了一种基于个性化概念的分层式摘要方法 Summation，使用强化学习算法生成特定主题的未见文档的个性化摘要，以增强理解、有效导航和满足用户独特需求从大量文献中提取有意义的见解。

    Jul, 2023