本文介绍了关于文本摘要的各种方法，包括提取式和抽象式，并探讨了大型语言模型在此方面的应用潜力。作者以四个数据集为例，展示了 ChatGPT 生成的摘要与人类参考的差异，并发现 ChatGPT 在摘要性能上可以与传统的微调方法媲美。该研究为各种文本摘要任务开辟了新方向，提供了有价值的见解。

Feb, 2023

研究通过在三个常用的 NLG 元评估数据集上实验，评估 ChatGPT 作为 NLG 指标的可靠性，结果表明其与黄金人类判断的相关性达到了同类指标的最高水平或具有竞争性。

Mar, 2023

该研究探索了 ChatGPT 和 GPT-4 等大型语言模型在遵循人类对话摘要指南方面的能力。研究使用 DialogSum 和 DECODA 进行了实验，测试了从现有文献和人类摘要指南中提取的不同提示以及一种两步提示方法。我们的研究结果表明，GPT 模型通常会产生冗长的摘要，并偏离人类摘要指南。然而，使用人类指南作为中间步骤显示出一定的潜力，在某些情况下优于直接的字数限制提示。结果显示，GPT 模型在摘要中表现出独特的文体倾向。虽然 BERTScores 并没有明显下降，说明 GPT 的输出在语义上与人类参考和专门的预训练模型具有相似性，但 ROUGE 分数揭示了 GPT 生成的摘要与人类撰写的摘要之间的语法和词汇差异。这些发现为 GPT 模型在遵循人类对话摘要指南方面的能力和局限性提供了启示。

Oct, 2023

本研究通过使用自动度量和盲审人员评估 ChatGPT 在编写摘要上的表现，同时构建自动文本分类器以检测 ChatGPT 生成的摘要，并发现虽然文本分类算法可以区分真实和生成的摘要，但人类无法区分真实摘要和 ChatGPT 生成的摘要。

Mar, 2023

通过对 ChatGPT 在零 - shot 设置下执行对粗粒度和细粒度事实不一致性评估任务，结果表明 ChatGPT 在三个任务的 6/9 数据集上优于先前 SOTA 评估指标，具有评估事实不一致性的潜力。

Mar, 2023

本文旨在通过评估 ChatGPT 在文本风格转换多维度评估中的作用，与现有的自动度量以及人类判断的对比。结果表明，在不同等级下，与现有的自动度量相比，ChatGPT 与人类判断具有相似的相关性。

Apr, 2023

本文通过评估 ChatGPT 在各种自然语言处理任务中的表现，旨在验证其优缺点，并为未来的 LLM 研究提供思路。作者发现 ChatGPT 能够完成多种任务，取得很好的表现，但仍有许多难题需要解决。

May, 2023

ChatGPT 3.5 可以将多达 3000 个词的内容浓缩成一页，能够有针对性地从给定的文本中保留关键信息；通过对七篇科学文章使用 ChatGPT 服务生成摘要并与六位合著者进行调查，发现 ChatGPT 生成的摘要能够成功概括文章中的重要信息，保留了每篇文稿的主要信息，但与原文相比，在摘要的技术深度上稍有降低；综上，我们的研究结论强调了 ChatGPT 在文本摘要功能上作为提取关键洞察的强大工具，更符合报告性的方式而非纯粹的科学论述。

Nov, 2023

本文研究 ChatGPT 在不同目标受众和写作风格下的表现，发现相比人类撰写的文章，ChatGPT 生成的样本在词汇类型分布等方面存在差异，并可能出现事实错误或幻觉。

Jun, 2023

本文介绍了如何通过使用两个阶段的方法（提取和生成）来提高 ChatGPT 的提取式摘要性能，结果显示，使用该方法相较于抽象式 baseline，提高了摘要的忠实度表现，但与现有的监督系统相比，ChatGPT 的提取式摘要性能仍具有不足之处。

Apr, 2023