Jun, 2023

C2F-FAR 与 ChatGPT 构建的混合式长文本摘要：一项实证研究

PDF
TL;DR本文介绍了一个使用 ChatGPT 和 C2F-FAR 提出的混合抽取和摘要文本的流程，可以用于长篇文章和书籍。机器生成的摘要可以与人工摘要在自动化评估指标下表现得一样好，但在文本连贯性、忠实度和风格等方面仍存在问题。因此，我们认为 ChatGPT 还不够成熟。这项工作为 NLP 研究人员提供了有关 ChatGPT 在文本摘要方面的能力与实践需求的重要信息，促进进一步研究。
text summarizationnlplarge language modelsextractive summarizationlong documents
发现论文，激发创造
  • 探索基于 ChatGPT 的查询或基于方面的文本摘要的极限

    本文介绍了关于文本摘要的各种方法，包括提取式和抽象式，并探讨了大型语言模型在此方面的应用潜力。作者以四个数据集为例，展示了 ChatGPT 生成的摘要与人类参考的差异，并发现 ChatGPT 在摘要性能上可以与传统的微调方法媲美。该研究为各种文本摘要任务开辟了新方向，提供了有价值的见解。

    Feb, 2023

  • 基于 ChatGPT 的摘要生成方法，用于可靠的摘要生成

    本文介绍了如何通过使用两个阶段的方法（提取和生成）来提高 ChatGPT 的提取式摘要性能，结果显示，使用该方法相较于抽象式 baseline，提高了摘要的忠实度表现，但与现有的监督系统相比，ChatGPT 的提取式摘要性能仍具有不足之处。

    Apr, 2023

  • ChatGPT 在成像领域深度学习技术演进总结中的应用：一项定性研究

    ChatGPT 3.5 可以将多达 3000 个词的内容浓缩成一页，能够有针对性地从给定的文本中保留关键信息；通过对七篇科学文章使用 ChatGPT 服务生成摘要并与六位合著者进行调查，发现 ChatGPT 生成的摘要能够成功概括文章中的重要信息，保留了每篇文稿的主要信息，但与原文相比，在摘要的技术深度上稍有降低；综上，我们的研究结论强调了 ChatGPT 在文本摘要功能上作为提取关键洞察的强大工具，更符合报告性的方式而非纯粹的科学论述。

    Nov, 2023

  • 使用 GPT 对大型文档集进行抽象摘要

    本研究提出了一种抽象化汇总方法，可用于文档集合而非个别文档。我们的方法应用语义聚类、主题聚类内的文档大小缩减、聚类文件的语义分块、基于 GPT 的汇总和连接以及每个主题的综合情感和文本可视化，支持探索性数据分析。通过使用 ROGUE 汇总分数将我们的结果与现有的先进系统 BART、BRIO、PEGASUS 和 MoCa 进行了统计比较，我们发现在 CNN/Daily Mail 测试数据集上，性能与 BART 和 PEGASUS 相当，在 Gigaword 测试数据集上，性能与 BART 相当。这一发现是令人鼓舞的，因为我们认为文档集合的汇总比个别文档的汇总更具挑战性。最后，我们讨论了规模问题。

    Oct, 2023

  • 通过盲评审和文本分类算法比较 ChatGPT 生成的抽象概括和真实概括

    本研究通过使用自动度量和盲审人员评估 ChatGPT 在编写摘要上的表现，同时构建自动文本分类器以检测 ChatGPT 生成的摘要，并发现虽然文本分类算法可以区分真实和生成的摘要，但人类无法区分真实摘要和 ChatGPT 生成的摘要。

    Mar, 2023

  • 基于 ChatGPT 的跨语言摘要

    使用互动提示进行零翻译交叉语言生成任务，ChatGPT 可以在信息性和简洁性之间保持平衡，并显着提高其交叉语言生成任务性能。ChatGPT 在三个常见交叉语言生成数据集上的实验结果表明，其优于高级的 GPT 3.5 模型 (text-davinci-003)。

    Feb, 2023

  • 使用 ChatGPT 进行类人摘要评估

    通过四种人类评估方法对五个数据集上的文本摘要进行评估，研究探讨了 ChatGPT 在人类化摘要评估方面的表现，ChatGPT 优于某些数据集上常用的自动评估指标。此外，研究还分析了不同提示对结果的影响，并与人工评估结果进行了比较，从而探讨了生成的解释和无效响应。

    Apr, 2023

  • 跨语言跨时间摘要：数据集、模型、评估

    本文探讨如何应用跨语言和跨时期的文字连线技术在信息总结中的应用，并通过构建数据集、建模和评估得出结论：通过中间任务微调的端到端模型的总结质量一般；ChatGPT（无需微调）的总结质量良好，并与人类评分中相关；在对抗攻击的情况下，ChatGPT 在省略和实体替换方面的表现更好。

    Jun, 2023

  • 大语言模型的文本摘要：MPT-7b-instruct、Falcon-7b-instruct 和 OpenAI Chat-GPT 模型的比较研究

    这篇研究论文使用了各种不同的大型语言模型，包括 MPT-7b-instruct，falcon-7b-instruct 和 OpenAI ChatGPT text-davinci-003 模型，通过不同的超参数对生成的摘要进行评估，并发现 text-davinci-003 模型的表现优于其他模型。该研究还分析了 CNN Daily Mail 和 XSum 两个不同的数据集，旨在提供对大型语言模型在不同数据集上应用时性能的全面理解。这项工作为对 NLP 领域的研究人员和从业者提供了有价值的见解，同时也为开发应对各种业务挑战的高级生成式人工智能应用奠定了基础。

    Oct, 2023

  • 多模态长文摘要特征分析：金融报告案例研究

    通过对财务报告摘要化的案例研究，我们提出了一种计算框架，用于表征多模态长文本摘要，并研究了 Claude 2.0/2.1、GPT-4/3.5 和 Command 的行为。我们发现 GPT-3.5 和 Command 无法有效地完成这个摘要任务，而 Claude 2 和 GPT-4 在摘要的提取性上存在偏差。随机打乱输入后，Claude 的位置偏见消失，这表明 Claude 有识别重要信息的能力。我们还对 LLM 生成的摘要中的数量数据进行了全面调查，并提供了数量幻觉的分类。我们尝试通过提示工程来改善 GPT-4 对数字的使用，但成功有限。总体而言，我们的分析凸显出 Claude 2 在处理长的多模态输入方面的强大能力，相较于 GPT-4。

    Apr, 2024