non-autoregressive transformers | BriefGPT

关键词non-autoregressive transformers

搜索结果 - 5

CVPR重访非自回归 Transformer 用于高效图像合成
通过重新评估非自回归变压器的训练和推理策略设计，本文提出了一种名为 AutoNAT 的方法，该方法在自动框架中直接解决最优策略，从而大幅提升了非自回归变压器的性能，并且能够与最新的扩散模型在显著降低推理成本的同时进行可比较的表现。
PDFa month ago
DiffNorm：自监督标准化非自回归语音转语音翻译
这项研究介绍了 DiffNorm，一种基于扩散的规范化策略，通过去噪合成损坏的语音特征构建规范化的目标数据，同时提出使用无分类器指导来进行非自回归 Transformer 模型的正则化，从而在速度和翻译质量上实现了显著的提升。
PDFa month ago
利用对比学习优化非自回归变换器
本文提出了一种基于 DA-Transformer 模型和从模型分布中采点的对比约束的非自回归 Transformer 模型，通过这种方式减轻模态学习的难度，取得了在机器翻译，文本摘要和改写等多个基准数据集中显著的最新非自回归 Transfo
PDFa year ago
DiMS: 迭代非自回归变换器的多步精简
本文提出了一种叫做 Distill Multiple Steps 的简单而有效的蒸馏技术，它可以通过使用学生模型和教师模型，使得输出的质量得到提高，且能够减少到达特定翻译质量所需的步骤数。
PDF2 years ago
ICML有向无环 Transformer 模型用于非自回归机器翻译
通过将隐藏状态表示成有向无环图，在非自回归的情况下同时捕获多个翻译，并促进快速预测，DA-Transformer 在 WMT 基准测试的原始训练数据上实验表明，DA-Transformer 比以前的 NATs（非自回归 transform）
PDF2 years ago