Oct, 2023

RECOMP: 通过压缩和选择性增强改进基于检索的语言模型

PDF
TL;DR将检索到的文档压缩为文本摘要，以降低计算成本并减轻语言模型的负担，以提高任务性能；在语言建模和开放域问题回答任务中，以最低为 6% 的压缩率实现性能上最小损失，并在给定一种语言模型训练方法时能够迁移到其他语言模型，并提供与检索文档基本一致的摘要。
retrieving documentstextual summariescompressorslanguage modelingopen domain question answering
发现论文，激发创造
  • TCRA-LLM：基于令牌压缩检索的大规模语言模型，用于推理成本降低

    使用自学生成的样本进行 Fine-tune，我们提出了两种方法进行文本压缩：摘要压缩和语义压缩。摘要压缩可以减少 65% 的检索令牌大小并提高 0.3% 的准确性，语义压缩可以将令牌大小减少 20%，但只有 1.6% 的准确性损失。

    Oct, 2023

  • 增强检索辅助语言模型的双阶段一致性学习压缩器

    该论文提出了一种新颖的两阶段一致性学习方法，用于改进检索增强语言模型的性能，通过整合一致性学习，目标是生成与教师模型的语义表示保持一致并提高对原始检索文档的忠实程度的摘要，经过多个数据集的经验证明，在问答任务中具有显著的精确性和效率提升，优于现有的基线模型，并展示了在检索增强生成框架中结合对比学习和一致性学习范式的协同效应。

    Jun, 2024

  • 大型语言模型的语义压缩

    本研究探讨了大型语言模型在近似压缩和语义压缩方面的应用及其效果评价，并提出了二元评价指标：是否精确重构 (ERE) 和语义重构有效性 (SRE)，结果表明 GPT-4 可能有效地压缩和重构文本，并保留原始文本的语义要素。

    Apr, 2023

  • 将语言模型适应于压缩上下文

    该论文旨在介绍一种新型的 AutoCompressors 语言模型，可以将长文档内容压缩成简洁的总结向量，并将其用作语言模型的轻提示，从而提高了模型处理长文本时间的效率，并在任务演示、检索等领域取得了显著进展。

    May, 2023

  • 利用信息提取和压缩进行大规模多文档摘要

    开发了一种基于抽象的总结框架，适用于多个异构文档，该框架独立于标记数据。 与现有的多文件总结方法不同，我们的框架处理讲述不同故事的文档，而不是同一主题的文档。 最后，我们基于 CNN / Daily Mail 和 NewsRoom 数据集构建了总共十二个数据集变体，其中每个文档组都包含大量且多样化的文档，以评估我们的模型与其他基线系统的性能。 我们的实验表明，我们的框架在这种更通用的情况下胜过了现有的最先进方法。

    May, 2022

  • 通过大型语言模型整合总结和检索，实现个性化增强

    通过使用离线总结和运行时检索，我们提出了一种新颖的基于总结的方法，扩展了基于检索的个性化，以实现更好的实时系统性能，并在实际约束下取得了更好的个性化性能。

    Oct, 2023

  • 无监督双智能体强化学习实现高效可解释的压缩文本摘要

    提出了一种利用无监督双代理强化学习来优化摘要语义覆盖和流畅度的高效且可解释的压缩摘要方法，该模型由提取器代理和压缩器代理组成，并且两个代理都具有多头注意力指针结构。实验结果表明，该模型在广泛使用的三个数据集上均取得了有希望的表现。

    Jun, 2023

  • 联合提取和压缩具有汇总状态表示的文档

    提出了一种新的神经模型用于文本摘要，首先从文档中提取句子然后再压缩它们，达到了抽象方法所暴露出的难度和提取方法所缺乏的简洁性的平衡，且所提模型在 CNN/DailyMail 和 Newsroom 数据集上均取得了最先进的效果。

    Apr, 2019

  • 一种基于句子压缩的框架用于查询焦点的多文档摘要

    本文提出了一个基于句子压缩技术的任务框架，通过基于解析树的一系列学习模型，设计一种创新的 Beam Search 解码器来高效地找到高概率压缩结果，将语言学动机和查询相关性融入压缩过程中，并在多项指标上显著优于最先进的系统，包括在 DUC 2006 和 2007 摘要任务中分别获得 ROUGE-2 指标上 8.0% 和 5.4% 的改进。

    Jun, 2016

  • 神经抽取式文本摘要与句法压缩

    本文提出了一种基于联合提取和句法压缩的神经模型用于单文档摘要，该模型选择文档中的句子，通过句法分析识别可能的压缩，并用神经模型评分这些压缩以生成最终的摘要，实验结果表明，该模型在 ROUGE 评估中表现良好，能够达到与最先进系统相当的性能，并且其输出一般保持语法正确。

    Feb, 2019