Sep, 2023

问答法评估法律摘要

PDF
TL;DR我们提出了一个新颖的法律摘要评估框架，利用 GPT-4 生成一系列覆盖参考摘要中主要观点和信息的问题 - 回答对。然后，根据参考摘要中的问题，利用 GPT-4 生成回答。最后，GPT-4 对参考摘要和生成摘要的回答进行评分，并检验了与人工评分之间的相关性，结果表明这种基于问题回答的 GPT-4 方法可以成为评估摘要质量的有用工具。
legal summarizationevaluation metricsargumentative structurequestion-answering approachgpt-4
发现论文，激发创造
  • 以问答形式作为自动度量指标，评估摘要的内容质量

    提出一种基于问答的评估度量标准（QAEval）来评估摘要的内容质量，通过分析 QAEval，证明 QA-based methods 相较于传统的基于文本内部匹配的度量标准（如 ROUGE）更加准确。

    Oct, 2020

  • GPTEval：利用 GPT-4 进行更有效的人工智能对齐的自然语言生成评估

    使用大型语言模型和一种具有连续思考特点的填充范式，提出了一种 NLG 质量评估框架，结合两种生成任务 —— 文本摘要和对话生成，使用 GPT-4 模型作为骨干模型，与以往方法相比性能更好。

    Mar, 2023

  • QuestEval: 基于事实的评估对于摘要很重要

    本文提出了一种称为 QuestEval 的新方法，通过问题回答模型评估摘要是否包含源文档中的所有相关信息，从而在一致性、连贯性、流畅性和相关性等四个评估维度上，显著改善了与人类判断的相关性，而不需要任何先验参考。

    Mar, 2021

  • 评估由 OpenAI 的 GPT 生成的大型语言模型的文本摘要

    本研究通过使用传统的 ROUGE 和潜在语义分析（LSA）等指标，将 OpenAI 的 GPT 模型作为独立的评估者，评估了 Hugging Face 的六个基于 Transformer 的模型生成的文本摘要的效果。独特地，我们将 GPT 用作评估器而非摘要生成器，使其能够独立评估摘要的质量，而无需预定义的指标。我们的分析显示 GPT 评估与传统指标之间存在显著相关性，尤其是在评估相关性和连贯性方面。结果展示了 GPT 作为评估文本摘要的强大工具的潜力，提供了对已建立指标的补充洞察，并为自然语言处理任务中基于 Transformer 的模型的比较分析提供了依据。

    May, 2024

  • 使用 ChatGPT 进行类人摘要评估

    通过四种人类评估方法对五个数据集上的文本摘要进行评估，研究探讨了 ChatGPT 在人类化摘要评估方面的表现，ChatGPT 优于某些数据集上常用的自动评估指标。此外，研究还分析了不同提示对结果的影响，并与人工评估结果进行了比较，从而探讨了生成的解释和无效响应。

    Apr, 2023

  • 增强的大型语言模型（GPT-4）用于解释法律概念

    对 GPT-4 在生成有关立法术语方面的准确性、清晰性和相关性上的表现进行评估。与基准设置相比，采用法律信息检索模块提供以前案例中的语句作为模型的上下文可以获得更好的结果，从而可以自主检索相关案例，并将这些案例中有用的语句压缩成有用的法律解释。

    Jun, 2023

  • GPT-3 时代的新闻摘要和评估

    本文研究 GPT-3 等零样本学习模型对新闻文本摘要的影响，发现零样本模型的摘要被人类普遍接受，且不会出现数据特异性问题，并探讨零样本摘要的评估问题和后续研究挑战。

    Sep, 2022

  • 法律文档摘要评估框架

    本研究提出了一种基于意图的自动摘要度量，通过在法律文件中注释意图短语，证明了该系统可以被自动化，相比于其他自动化度量如 BLEU，ROUGE-L 等，该度量在人类满意度方面表现更好。

    May, 2022

  • 利用 GPT-4 增强医学文本评估

    在医学文本生成的评估中，我们提出了一套以事实为核心的评估方面，并设计了相应的基于 GPT-4 的医学文本生成评估指标，与现有指标相比，该方法具有更高的人类判断一致性。

    Nov, 2023

  • 一种基于语义问答的文本摘要评估方法

    本文提出了一种基于问题解答的方法，通过将文本视为小型知识库进行大量提问，以精确地比较两个文本之间的内容差异，从而解决 NLP 系统评估中的一个重要问题。实验结果表明，该方法在分析大型文本语料库方面具有较高的准确性和可靠性。

    Apr, 2017