该论文提出了一种基于超参数化损失函数的自回归模型框架，用于处理神经科学等领域中存在的时间序列数据误差和模型不确定性问题，并验证该方法能够成功去噪、重构系统参数，为脑机接口数据分析以及癫痫等脑部疾病的研究提供了新的方法。

Apr, 2023

提出了一种流式的 “半自回归” ASR 模型，通过在上一个片段中引入先前块中发出的标签作为额外上下文，使用语言模型（LM）子网络，以及引入了一种新的贪婪解码算法来解决块边界附近的插入和删除错误，提高了语音处理的准确性和响应速度。

Sep, 2023

本文提出了一种新颖的无监督自回归神经模型，用于学习通用的语音表示，通过无需音素或单词边界标签的方法，从大量未标记数据中学习。我们的模型的语音表示显著提高了电话分类和说话人验证的性能，并且我们的分析表明，不同级别的语音信息由我们的模型在不同层次上捕获。

Apr, 2019

提出了一种流式非自回归（non-AR）解码算法，其利用新型变换器解码器架构在每个帧上执行文本和音频的本地自我关注，并在每个层上进行时间对齐的交叉关注，实现了高效率和低延迟，在声音搜索数据集和 Librispeech 上的实验显示，我们的流式模型表现良好，并且在第一遍模型容量较小的情况下进行判别式训练会进一步提高词误率。

Apr, 2022

我们提出了一种声学增强的语言建模方法，通过使用语音单元预测中的错误积累来改善 TTS 模型的性能，通过自我监督表示来作为自回归语言模型的训练目标，并采用非自回归模型来预测包含细粒度声学细节的离散声学编解码器，以减少非自回归训练中的错误传播，客观和主观评估验证了我们提出方法的有效性。

Jun, 2024

本文提出一种帧级模型，采用高效增强记忆变压器块和动态延迟训练方法来提高流媒体自动语音识别的性能和降低计算复杂性，通过缓存机制并重复使用结合增强记忆库作为有限历史上下文的补充，以达到更好的性能。实验表明，该模型在 LibriSpeech 数据集上具有较高的性能。

Mar, 2022

本文探索在有限监督数据的情况下，如何使用半监督学习和自学习相结合的自回归编码器 - 解码器模型处理会话性语音领域，结果表明，在在领域内数据较为有限时，通过 XLS-R 模型自伪转录，使用这种自回归模型比微调 XLS-R 模型的效果更好，可以将 WER 降低 8% 的绝对值。

Oct, 2022

本文对不同的无自回归（NAR）建模方法进行了比较性研究，实验证明了 NAR 模型相较自回归基线的精度降低代价下，可以同时在序列中生成多个输出，具有在实时应用中优足的潜力，在自动语音识别领域的性能差距上得到了一些有趣的发现，并展示了结合这些技术来进一步提高精度并应用于无自回归端到端语音翻译的能力。

Oct, 2021

提出了一种新的自回归模型家族，它结合了主成分分析的灵感，允许任何时间进行采样，并将维度有序地组织到一个结构化表示空间中。实验证明，这种方法在减少计算预算的同时，样本质量可以逐渐降低，同时在图像数据中使用仅 60％到 80％的所有潜在维度，几乎没有样本质量损失（通过 FID 度量）。

Feb, 2021

使用自回归模型回答超出单步预测的复杂概率查询，包括未来事件的时机和特定事件在另一事件发生之前的可能性。通过开发一类宽泛的、高效的近似技术，对顺序模型中的边缘化进行建模。这些技术仅依赖于对预先训练的自回归模型的下一步条件分布的访问和采样，包括传统参数模型和最近的神经自回归模型。针对离散顺序模型、标记的时间点过程和随机跳跃过程，提出了具体的方法，每个方法都适用于一类明确定义的信息丰富、长程概率查询。

Mar, 2024