基于 ChatGPT 的跨语言摘要
本文探讨如何应用跨语言和跨时期的文字连线技术在信息总结中的应用,并通过构建数据集、建模和评估得出结论:通过中间任务微调的端到端模型的总结质量一般;ChatGPT(无需微调)的总结质量良好,并与人类评分中相关;在对抗攻击的情况下,ChatGPT 在省略和实体替换方面的表现更好。
Jun, 2023
本文介绍了关于文本摘要的各种方法,包括提取式和抽象式,并探讨了大型语言模型在此方面的应用潜力。作者以四个数据集为例,展示了 ChatGPT 生成的摘要与人类参考的差异,并发现 ChatGPT 在摘要性能上可以与传统的微调方法媲美。该研究为各种文本摘要任务开辟了新方向,提供了有价值的见解。
Feb, 2023
本文介绍了长文档跨语言摘要的研究现状,并构建了 Perseus 数据集,评估了不同的从结构和端到端方案,结果表明端到端方案卓越地胜过利用复杂机器翻译系统配备的管道模型。
Dec, 2022
该研究探索了 ChatGPT 和 GPT-4 等大型语言模型在遵循人类对话摘要指南方面的能力。研究使用 DialogSum 和 DECODA 进行了实验,测试了从现有文献和人类摘要指南中提取的不同提示以及一种两步提示方法。我们的研究结果表明,GPT 模型通常会产生冗长的摘要,并偏离人类摘要指南。然而,使用人类指南作为中间步骤显示出一定的潜力,在某些情况下优于直接的字数限制提示。结果显示,GPT 模型在摘要中表现出独特的文体倾向。虽然 BERTScores 并没有明显下降,说明 GPT 的输出在语义上与人类参考和专门的预训练模型具有相似性,但 ROUGE 分数揭示了 GPT 生成的摘要与人类撰写的摘要之间的语法和词汇差异。这些发现为 GPT 模型在遵循人类对话摘要指南方面的能力和局限性提供了启示。
Oct, 2023
本研究通过使用自动度量和盲审人员评估 ChatGPT 在编写摘要上的表现,同时构建自动文本分类器以检测 ChatGPT 生成的摘要,并发现虽然文本分类算法可以区分真实和生成的摘要,但人类无法区分真实摘要和 ChatGPT 生成的摘要。
Mar, 2023
ChatGPT 3.5 可以将多达 3000 个词的内容浓缩成一页,能够有针对性地从给定的文本中保留关键信息;通过对七篇科学文章使用 ChatGPT 服务生成摘要并与六位合著者进行调查,发现 ChatGPT 生成的摘要能够成功概括文章中的重要信息,保留了每篇文稿的主要信息,但与原文相比,在摘要的技术深度上稍有降低;综上,我们的研究结论强调了 ChatGPT 在文本摘要功能上作为提取关键洞察的强大工具,更符合报告性的方式而非纯粹的科学论述。
Nov, 2023
本文介绍了一个使用 ChatGPT 和 C2F-FAR 提出的混合抽取和摘要文本的流程,可以用于长篇文章和书籍。机器生成的摘要可以与人工摘要在自动化评估指标下表现得一样好,但在文本连贯性、忠实度和风格等方面仍存在问题。因此,我们认为 ChatGPT 还不够成熟。这项工作为 NLP 研究人员提供了有关 ChatGPT 在文本摘要方面的能力与实践需求的重要信息,促进进一步研究。
Jun, 2023
使用混合语言预训练的交叉语言文摘模型,在没有任务特定组件的情况下利用单语数据提高语言建模的效果,实现了高效的跨语言文摘。在 Neural Cross-Lingual Summarization 数据集中,我们的模型在英汉和汉英模式下相比现有技术,分别实现了 2.82 和 1.15 ROUGE-1 分数的提升。
Oct, 2020