Dec, 2023

上下文感知解码降低查询重心摘要中的虚构

PDF
TL;DR通过对大规模可重复性研究一个最近提出的上下文感知解码方法（CAD），我们发现在新闻摘要和查询聚焦摘要数据集上，CAD 在提高查询聚焦摘要质量方面表现出色，减少了事实错误 / 幻觉，并且在绝大多数情况下保留了词汇模式的匹配，同时增加了推理时间的计算复杂度，减慢了解码速度。
query-focused summarizationlarge language modelscontext-aware decodinghallucinationsqfs quality
发现论文，激发创造
  • 信任你的证据：上下文感知解码减少幻觉

    提出了一种上下文感知解码技术（CAD），通过对比上下文的存在与否来放大模型生成输出的概率得分，从而显著提高了 OPT、GPT、LLaMA 和 FLAN-T5 等不同 LM 系列在摘要任务中的可信度，并能够有效地改变模型的先验知识以解决知识冲突而带来的质量问题。

    May, 2023

  • 从无需查询的资源中生成查询聚焦型摘要

    该研究提出了一种基于神经网络的 MaRGE 模型，通过弱监督学习从支持证据中生成查询模型和自动生成摘要，从而实现基于查询的自动摘要，在查询爆炸性增长和追踪信息的需要下，取得了最先进的表现。

    Dec, 2020

  • 面向查询的轻量级约束生成式摘要方法

    本研究提出一种基于约束生成模型 Neurological Decoding 的查询聚焦摘要算法，避免了额外的参数和训练，使用轻量的梯度归因模型从文档中提取重要的标记，并通过操作最终词汇似然使生成的摘要满足这些约束条件。该方法在两个公共 QFS 集合上表现出与最先进模型相近的有效性。

    Apr, 2023

  • 基于查询聚焦的多文档概括及远程监督

    本研究提出了一种基于问题回答的粗糙到精细的建模框架，用于解决过去在建立查询与文本段之间关联性上面的问题，并在标准 QFS 基准测试中表现优异。

    Apr, 2020

  • 探索面向查询的摘要的神经模型

    本文系统地探讨了神经网络方法在以查询为中心的自动文摘 (QFS) 中的应用，涉及了两种分类：抽取式 - 生成式和端到端模型，并提出了两种模型扩展。这些方法在 QMSum 数据集上实现了最先进的性能，并通过人类评估实现了更全面和基于事实的自动文摘。

    Dec, 2021

  • 利用答案相关性提高查询聚焦主题摘要

    本研究提出了基于问题回答模型的 QFS-BART 模型，通过显式的答案相关性，生成连贯且与答案相关的摘要，并在 Debatepedia 数据集上取得了最新的最优性能。

    May, 2021

  • 提高抽象化摘要中的忠实性

    本研究提出了 Faithfulness Enhanced Summarization (FES) 模型，该模型使用 question-answering (QA) 技术检查 encoder 是否完全理解输入文档，并回答关键信息的问题，并引入 max-margin loss 来防止语言模型的过度自信。实验表明，我们的模型在两个基准摘要数据集 CNN/DM 和 XSum 上显著优于强对比模型，并生成比对比模型更符合事实的摘要。

    Oct, 2022

  • 针对查询聚焦摘要比较显著内容的 QontSum

    该论文提出了一种利用对比学习来改进模型关注输入文档中最相关区域的新方法 QontSum，应用于基于查询的摘要生成，强调 QFS 在 Gen-IR 中 Grounded Answer Generation（GAR）上的作用，并通过基准测试数据集和人类评估说明了它的有效性和实用性。

    Jul, 2023

  • 查询驱动的抽象总结的多样性注意力模型

    该研究提出了一种基于编码 - 注意 - 解码范式的查询式摘要模型，具有查询注意模型和多样性基于注意模型。实验表明，该模型相对于基础模型具有 28% 的 ROUGE-L 分数的增益。

    Apr, 2017

  • 用于生成上下文感知查询建议的层次递归编码器 - 解码器

    本文提出了一种基于概率模型的搜索建议方法，使用新颖的分层递归编解码器架构，能够考虑任意长度的查询序列，实现上下文感知，解决数据稀疏问题，在下一个查询预测任务中优于现有上下文感知方法，并且可以用于许多其他应用。

    Jul, 2015