本文提出了两种强有力的方法，CTC 和 Imputer，用于非自回归机器翻译，模拟了动态规划中的潜在对齐。我们重新审视了 CTC 和 Imputer 模型，并证明了一个简单的 CTC 模型可以实现单步非自回归机器翻译的最新成果，与之前的工作相反。另外，我们还将 Imputer 模型适应于非自回归机器翻译，并证明只需 4 个生成步骤，Imputer 即可匹配自回归 Transformer 基准的性能。

Apr, 2020

这篇论文研究了使用深度神经网络架构解决多元时间序列插补问题。通过利用低秩插补方法的经验和专长，我们为传统的 Transformer 模型添加了三项知识驱动的增强，包括投影时间注意力、全局自适应图卷积和 Fourier 插补损失。这些面向任务的归纳偏置利用了不完整时间序列的内在结构，使得我们的模型适用于多种插补问题。我们通过在包括交通速度、交通流量、太阳能、智能电表和空气质量等异构数据集上进行全面的案例研究来进一步加强其可解释性，并通过有希望的实证结果有力地证明了将低秩属性等时间序列原始特征纳入模型可以大幅促进通用化模型的开发，从而解决广泛的时空插补问题。

Dec, 2023

本研究提出插入变换器，是基于插入操作的迭代，部分自回归模型，可在解码期间在序列中的任何位置插入标记，这种灵活性提供了多种性能优势，特别是在 WMT 2014 英德机器翻译任务中表现出色，成功恢复原始 Transformer 的性能，同时只需要对数次迭代即可完成。

Feb, 2019

本文提出了一种新颖的深度生成模型：Non-AutOregressive Multiresolution Imputation（NAOMI），利用空时数据的多分辨率结构，采用分治策略从粗到细粒度递归解码，通过对抗训练进一步提高模型性能，能有效地处理长序列数据的缺失问题。在稳定和随机动力学系统的基准数据集上评估表明，与自回归模型相比，该模型在缺失值插补的准确性和长序列的泛化性能方面均取得了显著改进（减少平均预测误差达 60%）。

Jan, 2019

本文提出了一个基于神经网络的端到端模型，可以在存在缺失值的时间序列数据上，同时实现预测并融合缺失值，相比现有方法表现出更好的综合性能。

Jun, 2023

本文提出了一种部分自回归模型 Levenshtein Transformer，在线性时间复杂度内支持插入和删除操作，实现了互补的拆解和精细化的设计思路，成功地提高了机器翻译和文本自动编辑的效率。

May, 2019

提出了一个框架以训练非自回归序列到序列模型进行编辑任务，在此过程中，原始输入序列被迭代地编辑以生成输出。通过两种策略解决了在机器翻译训练的模仿学习算法在编辑场景下导致的训练和推断之间不匹配问题，从而显著提高了英文编辑任务上的输出质量和输出复杂度。

Mar, 2022

本文探讨了一种基于顺序决策的生成模型及其在数据填充方面的应用，利用神经网络和引导策略搜索算法训练模型，在多个数据集上取得了有效结果。

Jun, 2015

本研究提出了一种基于迭代重对齐的端到端 Transformer 模型，在语音识别中优化了 CTC（Connectionist Temporal Classification）对齐，允许长度可变的插入和删除操作。该模型在一个迭代过程中具有很强的性能，甚至具有更浅的编码器。

Oct, 2020

基于连续时间自回归神经网络（NCDEs）的连续时间自编码器（CTA）方法，在时间序列输入中表现出最佳的填补性能。

Dec, 2023