分层注意力编码器解码器

Jun, 2023

Hierarchical Attention Encoder Decoder

Asier Mujika

TL;DR本文提出了一种基于分层循环编码器解码器结构的模型，通过采样 softmax 估计开发了一种训练算法，可以在不需要高频解码器的情况下训练整个模型，显著降低了自回归模型训练的存储需求并改进了总的训练时间。

Abstract

Recent advances in large language models have shown that autoregressive modeling can generate complex and novel sequences that have many real-world applications. However, these models must generate outputs autoregressively, which becomes time-consuming when dealing with long sequences.

large language models autoregressive modeling hierarchical recurrent encoder decoder sampled softmax estimation training algorithm

发现论文，激发创造

序列模型的离散自编码器

本文旨在通过强制使用自动编码器并引入改进的语义哈希技术，从序列模型中提取更好的表示，以提高其在语言建模和机器翻译等任务中的表现，并展示了该技术在生成多元化翻译方面的应用。

Jan, 2018

具有辅助解码器的分层自回归图像模型

提出使用离散表示图像的方法，可以让基于自回归的生成模型输出具备更好的大规模连贯性，在 ImageNet 数据集上进行实验，证明了分层条件自回归模型可以在 128×128 和 256×256 的分辨率上生成逼真的图像。

Mar, 2019

高效级联跳跃解码的自回归文本生成

通过提出一种名为分级跳跃解码（HSD）的新型解码策略，我们可以减少计算工作量和分配计算资源，从而在效率和文本质量之间取得平衡，实验证明 HSD 在文本生成任务中具有优势。

Mar, 2024

深度自回归模型的块并行解码

该论文提出了一种新颖的分块并行解码方案，来提高序列生成的速度，并在机器翻译和图像超分辨率任务上通过实验验证了该方法的有效性。

Nov, 2018

用于生成上下文感知查询建议的层次递归编码器 - 解码器

本文提出了一种基于概率模型的搜索建议方法，使用新颖的分层递归编解码器架构，能够考虑任意长度的查询序列，实现上下文感知，解决数据稀疏问题，在下一个查询预测任务中优于现有上下文感知方法，并且可以用于许多其他应用。

Jul, 2015

针对视频字幕的分层边界感知神经编码器

本论文提出了一种循环视频编码方案，可以发现和利用视频的分层结构，并且改善了电影描述数据集的现有技术结果。

Nov, 2016

增强解码器：训练递归神经网络进行时间序列预测

本研究提出了一种名为增强解码器的新型训练方法，通过引入辅助模型生成备用解码器输入来解决多步骤时间序列预测中的累积误差问题，并利用强化学习算法动态选择最优输入以提高准确性。综合实验表明，该方法在多个数据集上优于常见训练方法。此外，该方法在基于自注意力的序列到序列预测模型中同样表现良好。

Jun, 2024

深度自回归网络

本文介绍了一种深度、生成式自编码器，它能够从数据中学习分层式分布式表示。通过基于最小描述长度原理的有效近似参数估计方法，我们证明了该方法在几个经典数据集上取得了最先进的生成性能。

Oct, 2013

应用于字幕生成的分层循环神经网络视频编码器

本文提出了一种新的层次循环神经编码器（HRNE）方法来利用视频的时间信息，该方法能够有效地减少输入信息流的长度，合成多个连续输入，并降低计算操作，且能够探测不同粒度的帧块之间的时间过渡，应用于视频字幕生成中实验表明其优于现有的视频字幕系统。

Nov, 2015

面向任务的分层 Transformer 对话系统

本文提出了一种广义的分层 Transformer 编码器框架，并通过一系列实验展示了分层编码如何帮助任务导向的对话系统中的 transformer-based 模型更好地理解上下文从而实现更好的自然语言理解。

Oct, 2020