Mar, 2023

ChatGPT 作为抽象文本摘要的事实不一致性评估器

PDF
TL;DR通过对 ChatGPT 在零 - shot 设置下执行对粗粒度和细粒度事实不一致性评估任务，结果表明 ChatGPT 在三个任务的 6/9 数据集上优于先前 SOTA 评估指标，具有评估事实不一致性的潜力。
abstractive text summarizationnatural language inferencechatgptfactual inconsistencyzero-shot setting
发现论文，激发创造
  • 探索基于 ChatGPT 的查询或基于方面的文本摘要的极限

    本文介绍了关于文本摘要的各种方法，包括提取式和抽象式，并探讨了大型语言模型在此方面的应用潜力。作者以四个数据集为例，展示了 ChatGPT 生成的摘要与人类参考的差异，并发现 ChatGPT 在摘要性能上可以与传统的微调方法媲美。该研究为各种文本摘要任务开辟了新方向，提供了有价值的见解。

    Feb, 2023

  • 基于 ChatGPT 的摘要生成方法，用于可靠的摘要生成

    本文介绍了如何通过使用两个阶段的方法（提取和生成）来提高 ChatGPT 的提取式摘要性能，结果显示，使用该方法相较于抽象式 baseline，提高了摘要的忠实度表现，但与现有的监督系统相比，ChatGPT 的提取式摘要性能仍具有不足之处。

    Apr, 2023

  • 使用 ChatGPT 进行类人摘要评估

    通过四种人类评估方法对五个数据集上的文本摘要进行评估，研究探讨了 ChatGPT 在人类化摘要评估方面的表现，ChatGPT 优于某些数据集上常用的自动评估指标。此外，研究还分析了不同提示对结果的影响，并与人工评估结果进行了比较，从而探讨了生成的解释和无效响应。

    Apr, 2023

  • ChatGPT 是一种好的 NLG 评估器吗？初步研究

    研究通过在三个常用的 NLG 元评估数据集上实验，评估 ChatGPT 作为 NLG 指标的可靠性，结果表明其与黄金人类判断的相关性达到了同类指标的最高水平或具有竞争性。

    Mar, 2023

  • 通过盲评审和文本分类算法比较 ChatGPT 生成的抽象概括和真实概括

    本研究通过使用自动度量和盲审人员评估 ChatGPT 在编写摘要上的表现，同时构建自动文本分类器以检测 ChatGPT 生成的摘要，并发现虽然文本分类算法可以区分真实和生成的摘要，但人类无法区分真实摘要和 ChatGPT 生成的摘要。

    Mar, 2023

  • ChatGPT 的一致性分析

    我们调查了 ChatGPT 的可靠性和逻辑一致性。发现虽然 ChatGPT 在语言理解能力方面有所提高，但它仍经常无法生成逻辑上正确的预测；因此，我们得出结论：在没有充分人工检查的情况下，在真实世界的风险敏感领域中使用 ChatGPT 需要进一步考虑。

    Mar, 2023

  • ChatGPT 是否解决了信息提取？绩效、评估标准、鲁棒性和错误分析

    本文评估了 ChatGPT 模型在性能、评估标准、稳健性和错误类型四个方面的能力，并提出了一种用于更准确反映 ChatGPT 性能的软匹配策略，同时发现了 ChatGPT 的最主要的错误类型是 “未注释的跨度”，从而引发了对标注数据质量的关注，并提示可以使用 ChatGPT 进行数据标注。

    May, 2023

  • 临床摘要中事实对齐的合成模仿编辑反馈

    使用 ChatGPT 生成高质量反馈数据，从而改善临床笔记概括任务中的事实一致性，并展示了 GPT 编辑在人类对齐中的潜在用途，特别是从事实角度。

    Oct, 2023

  • ChatGPT 在基准数据集上的系统研究和综合评估

    本文通过评估 ChatGPT 在各种自然语言处理任务中的表现，旨在验证其优缺点，并为未来的 LLM 研究提供思路。作者发现 ChatGPT 能够完成多种任务，取得很好的表现，但仍有许多难题需要解决。

    May, 2023

  • 一个多任务、多语言、多模态的 ChatGPT 推理、幻觉和交互评估

    本文提出了一个评估 ChatGPT 等交互式 LLM 的框架，使用公开数据集进行多任务、多语言和多模态方面的评估，发现 ChatGPT 能够生成多模态内容，但是其推理能力较差，存在幻觉问题，但通过 “提示工程” 可以与人类协作，提高性能。

    Feb, 2023