Oct, 2023

利用注意力机制：基于注意力的自编码器的高效序列缩减

PDF
TL;DR通过引入一种新的基于注意力的方法，使得序列长度可以直接调节的自动编码器模型，在将输入序列减小到原始大小的一半时仍能以约 90% 的准确率复原原始序列。
machine learning modelssequential datasequence length reductionattention-based methodautoencoder model
发现论文，激发创造
  • 通过注意力值压缩输入长度和生成文本

    本文研究了 BERT 的注意力机制，探究了两个问题：如何使用注意力机制减少输入长度和如何将注意力用作条件文本生成的控制机制，并发现 BERT 的早期层对文本分类任务的关注度更高，其注意力和可以用于过滤给定序列的令牌，一定程度上减少了输入长度同时保持良好的测试准确性。

    Mar, 2023

  • 序列模型的离散自编码器

    本文旨在通过强制使用自动编码器并引入改进的语义哈希技术，从序列模型中提取更好的表示，以提高其在语言建模和机器翻译等任务中的表现，并展示了该技术在生成多元化翻译方面的应用。

    Jan, 2018

  • SEQ^3: 可微分的序列到序列到序列自编码器用于无监督的抽象句子压缩

    本文介绍了一种基于序列 - 序列 - 序列自编码器 (SEQ^3) 的神经网络模型用于非监督抽象句子压缩，利用预训练语言模型作为潜变量的先验，结合连续的松弛机制使模型可优化，避免了对平行文本摘要对的依赖，实现了在基准数据集上取得了诱人的结果。

    Apr, 2019

  • 评估序列到序列模型的增量性

    该研究提出三个新的指标以评估具有和不具有注意力机制的 RNN 的行为，发现不同模型类型处理句子的方式存在关键差异，这揭示了人类和注意力中心方法在语言处理方面的行为上存在的显著对比。

    Jun, 2019

  • DNA 序列的无监督表示学习

    本文利用一种序列到序列自编码器模型以无监督的方式学习长度可变的 DNA 序列的固定维度的潜在表示，并在监督学习的拼接位点分类任务中进行了定量和定性评估。实验表明，此类表示法可用作通常相关的任务中的特征或先验，并且采用的模型归因技术获得的序列特征对分类精度有显著影响。

    Jun, 2019

  • 神经编码器 - 解码器中的输出长度控制

    本文提出两种基于解码和两种基于学习的方法，用于控制神经编码器 - 解码器模型的输出序列长度，结果表明学习方法在摘要生成任务中具有控制长度而不降低摘要质量的能力。

    Sep, 2016

  • 半监督序列学习

    本文提出两种方法用于使用未标记的数据改善序列学习。第一种方法是预测序列中的下一个元素，第二种方法是使用序列自编码器。通过这两种算法的无监督训练，我们可以训练出更稳定且泛化性能更好的长短时记忆网络，并在诸如 IMDB、DBpedia 和 20 Newsgroups 等文本分类任务中获得强大的性能。

    Nov, 2015

  • 分层注意力编码器解码器

    本文提出了一种基于分层循环编码器解码器结构的模型，通过采样 softmax 估计开发了一种训练算法，可以在不需要高频解码器的情况下训练整个模型，显著降低了自回归模型训练的存储需求并改进了总的训练时间。

    Jun, 2023

  • 序列到序列模型的变分注意力

    本文提出了一种变分注意力机制来避免变分编码器 - 解码器中的未被注意模型绕过，并在增加生成语句的多样性的同时不降低其质量。

    Dec, 2017

  • 使用均值 - 最大值注意力自编码器学习通用句子表示

    本文提出了一种基于均值 - 最大值注意力自编码器的无监督学习模型，它通过 MultiHead 自注意机制和均值 - 最大值策略捕获输入序列的信息，并在大规模无标注数据上进行训练，得到高质量的句子表示，在十种转移学习任务上均超越了其他无监督方法，比传统的循环神经网络训练时间大大缩短。

    Sep, 2018