EMNLPNov, 2023

LLM 辅助的半监督式提取式对话摘要

PDF
TL;DR使用未标记数据进行客户 - 代理商对话的摘要生成，通过将摘要问题建模为问答问题，使用大型语言模型生成伪标签，并通过精细调整专门的聊天总结模型来有效地从大型语言模型中转移知识。
发现论文，激发创造
  • 基于 LLM 伪标签的半监督学习提升抽取式摘要生成

    使用半监督方法解决在有限标记数据场景下的提取式文本摘要任务，提出了一种基于 GPT-4 的基于提示的伪标签选择策略，通过使用 LLM 评估和生成伪标签，改进了不同数据集上的 ROUGE-1 指标 10-20％，减少了无标记样本数量。

    Nov, 2023

  • 零样本对话摘要评估与小型大型语言模型

    大型语言模型在会话摘要方面的能力有待探索，本研究评估了使用大约 100 亿个参数的语言模型在会话摘要上的性能，展示了其对各种提示的表现，并且证明了模型生成的摘要取决于指令，LLMs 在不同指令下的性能差异，如果提示选择不当，有时会导致 ROUGE 分数的显著下降，还通过人工评估对模型进行了评估，并讨论了模型在会话摘要方面的限制。

    Nov, 2023

  • 对话状态跟踪中有效且高效的会话检索与隐式文本摘要

    基于大型语言模型的少样本对话状态跟踪研究，通过有效且高效的对话检索器，在没有细调数据的情况下，利用对话的文本摘要进行检索并获得显著提升。

    Feb, 2024

  • 利用 LLMs 进行对话质量测量

    该论文探讨了使用大型语言模型（LLMs）进行自动对话质量评估的方法，并在公共和专有数据集上尝试了各种配置。结果表明，更大的模型产生了更准确的对话标签；算法选择背景上下文示例优于随机选择；在输出最终标签之前，使用 “思维链”（CoT）推理和标签提取过程进行合理化，可以提高性能；精细调整的 LLMs 优于开箱即用的模型。研究结果表明，合适地调整和具有足够推理能力的 LLMs 可以用于自动对话评估。

    Jun, 2024

  • LeanContext: 高效领域特定问答的成本效益探究利用 LLMs

    LeanContext 是一种从上下文中高效提取与查询密切相关的关键句子的方法，采用强化学习技术动态确定提取的句子数量，其余重要性较低的句子通过开源的文本缩减方法进行缩减。与保留完整上下文的基准方法相比，尽管成本减少了 37.29％至 67.81％，LeanContext 的 ROUGE-1 得分仅下降了 1.41％至 2.65％。此外，如果使用免费预训练的基于大型语言模型的摘要方法来缩减上下文，LeanContext 可以进一步修改缩减后的上下文，提高准确性（ROUGE-1 得分）13.22％至 24.61％。

    Sep, 2023

  • 利用大型语言模型作为参考学习自动摘要

    本文提出了一种新的学习范式，考虑到 LLMS 是常用摘要数据集中的参考标准，用对比学习和 LLM 作为摘要质量评估器进行摘要训练方法。实验证明，用 GPTScore 和 GPTRank 两种 LLM 计分方式训练出来的较小的摘要模型，其性能可以与参考的 LLM 相媲美，通过访问 LLMS 它只需要很小的预算。

    May, 2023

  • 在大型语言模型中，递归总结实现了长期的对话记忆

    使用大型语言模型递归生成摘要 / 记忆，从而提高长期记忆能力，进而解决开放领域对话系统中遗忘重要信息的问题。实验证明，该方法可以在长对话环境中生成更加一致的回应。

    Aug, 2023

  • 利用非对话摘要进行对话摘要

    本文提出了一种方法，利用非对话摘要数据来增强对话摘要系统，通过转换文档摘要数据对来创建更适合对话摘要的训练数据，使其具有非对话数据集的良好特性，增强了在所有训练方案中的可信度。实验证明，利用非对话数据进行训练，可以显著提高摘要性能以及保持数据来源的准确性。

    Oct, 2022

  • LaMSUM: 一种使用 LLMs 的用户生成内容抽取式摘要的新框架

    这项研究通过利用投票算法，提出了一种新的框架 LaMSUM，通过大型语言模型生成用户生成的文本的摘要，结果显示 LaMSUM 优于现有的提取式摘要方法，同时试图解释语言模型生成的摘要产生的原因。

    Jun, 2024

  • 文本摘要质量评估方法的比较研究

    基于大型语言模型的方法用于评估文本摘要，与人工评估相比，其结果接近，并且比常用的自动度量方法更一致。因此，我们提出了一种利用大型语言模型自动评估和改进文本摘要的框架，具有广泛的关注度。

    Jun, 2024