Apr, 2024

在规模化环境下协助人类进行复杂比较的自动化信息比较

PDF
TL;DR通过生成式大型语言模型和抽象总结以及标准驱动的比较终点，该研究开发了一种能够在不同领域进行高效信息比较的系统，利用语义文本相似性比较生成基于证据的分析，克服了模型推理中的信息上下文和令牌限制的困难，提供了可行的结果并实现了自动化的大规模信息比较。
generative large language modelsabstractive summarizationcriteria-driven comparison endpointsemantic text similarity comparisonsautomated information comparison
发现论文，激发创造
  • 文本摘要质量评估方法的比较研究

    基于大型语言模型的方法用于评估文本摘要，与人工评估相比，其结果接近，并且比常用的自动度量方法更一致。因此，我们提出了一种利用大型语言模型自动评估和改进文本摘要的框架，具有广泛的关注度。

    Jun, 2024

  • 通过语义相似性学习能更好地实现抽象摘要化

    本文探讨基于预训练语言模型的摘要生成模型。通过与基准数据集 CNN/DM 的参考摘要的人工评估比较，发现相对于参考摘要而言，由最新的语言模型 BART 生成更高分的摘要。我们对 CNN/DM 数据集内在特性、预训练语言模型的进展及其对训练数据的泛化能力进行了分析，最终提出了对于提高抽象化摘要生成的学习方法的思考。

    Feb, 2020

  • 新闻摘要的大型语言模型基准测试

    通过对十种不同的预训练方法、提示和模型规模的大型语言模型进行人类评估，我们发现指导调整而不是模型规模是 LLM 的零样本摘要能力的关键，并通过从自由职业作家收集的高质量摘要进行人类评估，得出 LLM 摘要被认为与人类撰写的摘要相媲美的结论。

    Jan, 2023

  • 大型语言模型是否适合作为抽象概括的评估器？

    本文旨在探讨使用 LLMS（例如 “gpt-3.5-turbo”）作为自动评估器来评估摘要的性能，并比较了不同的评估方法和提示格式对其评估能力的影响。作者建议哪些提示格式可以提高 LLM 的性能，并讨论了 LLM 的评估能力随摘要质量和评估维度的变化。

    May, 2023

  • SimCLS: 简单的对比学习摘要生成框架

    本文提出了一个概念简单但实践强大的抽象摘要框架 SimCLS，通过将文本生成任务转化为无参考质量估计问题（即质量评估），辅之以对比学习，能够弥合目前主导的序列到序列学习框架的学习目标与评估度量之间的差距。实验结果表明，SimCLS 可以在对现有最高分系统进行轻微修改的情况下，大幅改善其性能。在 CNN/DailyMail 数据集上，相对于 BART 的 ROUGE-1 取得了 2.51 的绝对改进和相对于 PEGASUS 的 2.50 的绝对改进，将最新的性能推向了一个新水平。我们已开源我们的代码和结果。同时，我们提出的模型已被部署到 ExplainaBoard 平台上，允许研究人员更细致地了解我们的系统。

    Jun, 2021

  • TriSum: 从大型语言模型中学习结构化理由的文摘能力

    通过 TriSum 框架，我们将大型语言模型的文本摘要能力提炼为一个紧凑且本地化的模型，以应对资源有限和注重隐私的环境。通过对各项任务进行演化式学习，我们的方法在各个评估基准上提升了本地化模型的性能，并提供了摘要的合理解释。

    Mar, 2024

  • 大型语言模型：多样的角色扮演者用于摘要评估

    本文提出了一种新的评估框架，基于 LLMs，并通过比较生成文本和参考文本来提供全面的评估。该模型基于角色扮演者提示机制模拟生成文本的客观和主观维度，并引入了上下文提示机制以生成基于输入上下文的动态角色扮演者配置文件，并根据批处理提示设计了多角色扮演者提示技术，以将多个评估结果集成到评估结果中。在自动摘要任务的两个真实数据集上进行的实验结果表明，该模型非常具有竞争力，且与人类注释者具有非常高的一致性。

    Mar, 2023

  • 利用大型语言模型进行元素感知式摘要：专家对齐评估和思路链方法

    研究发现 CNN / DailyMail 和 BBC XSum 数据集的参考摘要存在噪音，因为这些摘要主要存在于事实幻觉和信息冗余方面。为了解决这个问题，他们提出了 “Summary Chain-of-Thought（SumCoT）” 技术，通过逐步摘要的方式生成细粒度的摘要。利用新的测试集，研究人员观察到 LLM 具有惊人的零 - shot 摘要能力，该技术旨在使他们将更细粒度的细节集成到与人类写作方式相关的最终摘要中。实验结果表明，该方法在两个数据集上的 ROUGE-L 优于现有技术。

    May, 2023

  • 利用大型语言模型作为参考学习自动摘要

    本文提出了一种新的学习范式，考虑到 LLMS 是常用摘要数据集中的参考标准，用对比学习和 LLM 作为摘要质量评估器进行摘要训练方法。实验证明，用 GPTScore 和 GPTRank 两种 LLM 计分方式训练出来的较小的摘要模型，其性能可以与参考的 LLM 相媲美，通过访问 LLMS 它只需要很小的预算。

    May, 2023

  • 大规模支持大型语言模型输出的意义构建

    研究了如何同时呈现多个大型语言模型的响应，设计了包括计算文本文档之间相似性和差异性的预存和新方法以及如何渲染它们的输出的五个特征，通过对用户研究和八个案例研究的评估发现这些特征支持多样的意义理解任务，并使之前被认为过于困难的任务现在变得可行，最后提出了设计指南以指导未来对新型大型语言模型界面的探索。

    Jan, 2024