May, 2022

使用增强学习对 Transformer 进行微调实现高效无监督句子压缩

PDF
TL;DR本文利用强化学习和预训练变压器模型，将任务转化为二元序列标注，进一步优化无监督的句子压缩模型，提高推断效率。
sentence compressionunsupervised methodsreinforcement learningtransformerinference time
发现论文，激发创造
  • 利用去噪自编码器进行无监督的句子压缩

    本研究通过加入噪声的方式进行了一个摘要任务来训练去噪自编码器从而实现了在不需要配对的语料库的情况下进行句子压缩。使用标准文本摘要数据集的人类评估表明，我们的模型与基于监督学习的语法正确性和意义保留基准相当，不需要目标数据，我们的无监督模型已经学会生成不完美但合理可读的句子摘要。

    Sep, 2018

  • 无监督双智能体强化学习实现高效可解释的压缩文本摘要

    提出了一种利用无监督双代理强化学习来优化摘要语义覆盖和流畅度的高效且可解释的压缩摘要方法，该模型由提取器代理和压缩器代理组成，并且两个代理都具有多头注意力指针结构。实验结果表明，该模型在广泛使用的三个数据集上均取得了有希望的表现。

    Jun, 2023

  • 基于强化学习的无监督句子自动摘要系统生成多种长度的摘要

    本篇论文提出了一种基于强化学习的抽象模型，用于无人工摘要的句子摘要，同时还开发了一种多摘要机制来提高摘要质量。实验结果表明，该模型明显优于抽象和提取式模型，经常生成未包含在原始文本中的新单词。

    Dec, 2022

  • 语言作为潜变量：离散生成模型用于句子压缩

    通过深度生成模型进行文本压缩，利用离散语言模型分布作为文档的潜在表示，生成模型引入离散语言模型的概念，通过变分自编码器进行推断，本研究在大量监督数据训练的情况下，得出抽象和提取式压缩的最新成果，并探索半监督压缩场景。

    Sep, 2016

  • 使用强化学习学习将单词组合成句子

    使用强化学习学习树形神经网络，以计算自然语言句子的表示形式。优化树形结构以提高下游任务的性能，实验证明学习任务特定的组合顺序的好处，优于基于树库注释的顺序编码器和递归编码器。分析所发现的树形结构，发现了一些语言直观的结构，但这些结构与传统的英语句法结构是不同的。

    Nov, 2016

  • 利用预训练的层次 Transformer 进行无监督抽取式摘要

    本文提出了一种使用 transformer 自注意力机制进行无监督文本摘要提取的方法，并在 CNN / DailyMail 和 New York Times 数据集上证明其优于现有的无监督模型，且不太依赖于句子位置。

    Oct, 2020

  • 使用句子转换器进行零样本文本匹配的自动审计

    本文探讨了使用基于 transformer 的 Sentence-Bert 模型进行无监督文本匹配的效率，结果表明该模型对于金融领域内外的文本均有很好的鲁棒性。

    Oct, 2022

  • 无监督文本生成的搜索与学习

    深度学习，文本生成，无监督学习，搜索与学习方法，机器学习模型

    Sep, 2023

  • 一种基于句子压缩的框架用于查询焦点的多文档摘要

    本文提出了一个基于句子压缩技术的任务框架，通过基于解析树的一系列学习模型，设计一种创新的 Beam Search 解码器来高效地找到高概率压缩结果，将语言学动机和查询相关性融入压缩过程中，并在多项指标上显著优于最先进的系统，包括在 DUC 2006 和 2007 摘要任务中分别获得 ROUGE-2 指标上 8.0% 和 5.4% 的改进。

    Jun, 2016

  • 语言建模即压缩

    通过压缩模型来解决预测问题和训练大型语言模型的相关研究，大型语言模型展现出强大的预测和压缩能力，此视角为规模定律、分词和上下文学习提供了新的观点，并且可以使用任何压缩器构建条件生成模型。

    Sep, 2023