ACLMay, 2015

一种针对可变长度序列的固定大小编码方法及其在神经网络语言模型中的应用

PDF
TL;DR本文提出了一种名为 FOFE 的新型定长序列编码方法，通过简单的遗忘机制，FOFE 模型可以很好地模拟变长序列中的单词顺序关系，并应用于前馈神经网络语言模型的训练中，证实 FOFE 所构建的模型不仅在使用有限的神经元数量时，优于标准输入的前馈神经网络语言模型，也能胜过流行的循环神经网络语言模型。
发现论文，激发创造
  • 使用位置编码控制输出序列长度

    该研究提出了一种简单而有效的方法，将正弦位置编码扩展到神经编码器 - 解码器模型中，以保持长度限制，可生成任意长度的文本，并提高 ROUGE 分数。

    Apr, 2019

  • 针对自监督语音模型的一次性序列压缩

    本研究提出了一种可以在多种下游任务中调节压缩率的模型压缩方法，该方法可以在保证语音模型性能的前提下，减小计算成本并且不需要通过网格搜索来确定不同任务的压缩率。

    Nov, 2022

  • 序列模型的离散自编码器

    本文旨在通过强制使用自动编码器并引入改进的语义哈希技术，从序列模型中提取更好的表示，以提高其在语言建模和机器翻译等任务中的表现，并展示了该技术在生成多元化翻译方面的应用。

    Jan, 2018

  • 神经编码器 - 解码器中的输出长度控制

    本文提出两种基于解码和两种基于学习的方法，用于控制神经编码器 - 解码器模型的输出序列长度，结果表明学习方法在摘要生成任务中具有控制长度而不降低摘要质量的能力。

    Sep, 2016

  • 采用重新阅读和复制机制的高效摘要生成

    本文提出了一种新的 encoder-decoder 模型来解决 NLP 中的 sequence to sequence prediction 任务，新模型考虑了整个输入序列并引入复制机制来有效处理小样本集和 OOV 问题。在 Gigaword 数据集和 DUC 竞赛中，该模型的性能超过了现有模型。

    Nov, 2016

  • 抽象式摘要全球编码

    本研究提出了一种全局编码框架，用于控制源上下文的全局信息并降低了重复现象，经过对 LCSTS 和英文 Gigaword 的评估，该模型优于基线模型。

    May, 2018

  • 序列到序列模型的变分注意力

    本文提出了一种变分注意力机制来避免变分编码器 - 解码器中的未被注意模型绕过，并在增加生成语句的多样性的同时不降低其质量。

    Dec, 2017

  • 层次循环模型简化的层数越少越简单

    通过 “越低越简单” 的策略，我们提出了 Scalar Gated Unit 和 Fixed-size Ordinally-Forgetting Encoding 两种方法改进了基于 GRU 的 Hierarchical Recurrent Encoder-Decoder 和 R-NET 模型，显著减少了训练时间和参数数量，且略有性能提升。

    Sep, 2018

  • 评估序列到序列模型的增量性

    该研究提出三个新的指标以评估具有和不具有注意力机制的 RNN 的行为，发现不同模型类型处理句子的方式存在关键差异，这揭示了人类和注意力中心方法在语言处理方面的行为上存在的显著对比。

    Jun, 2019

  • 随机位置编码增强 Transformer 的长度泛化

    本研究发现，Transformers 在固定上下文长度的任务中表现出快速泛化的特性。但是，它们不能在任意长度序列上泛化，即使是像复制字符串这样的简单任务也不行。本文介绍了一种新的位置编码方案，可以解决长序列位置编码失效的问题，并通过大规模实验，证明该方案可提高分类精度。

    May, 2023