non-autoregressive models | BriefGPT

关键词non-autoregressive models

搜索结果 - 34

ACL基于 CTC 的非自回归式无文字语音翻译
通过结合预训练、知识蒸馏和先进的非自回归训练技术，如 glancing training 和 non-monotonic latent alignments，基于 CTC 的非自回归模型在直接语音到语音翻译中实现了与自回归模型相当的翻译质量
PDF23 days ago
ACLTEncDM：理解语言模型编码空间中扩散模型的属性
本文介绍了一种名为 TEncDM（Text Encoding Diffusion Model）的新方法，通过在语言模型编码空间中训练模型，使用基于 Transformer 的解码器和自条件机制，实现了文本生成任务中优于现有非自回归模型的效果
PDF4 months ago
与协作学习一起利用多样的建模背景进行神经机器翻译
本研究提出了一种新颖的通用协作学习方法 DCMCL，在这种方法中，自回归模型（AR）和非自回归模型（NAR）被视为协作者，通过令牌级相互学习和序列级对比学习，在两种模型之间层次化地利用双向语境信息。广泛的实验结果表明，所提出的 DCMCL
PDF4 months ago
OWSM-CTC：一种用于语音识别、翻译和语种识别的开放式编码器语音基础模型
基于连接主义时间分类（CTC）的新型仅编码器语音模型（OWSM-CTC）在多语言自动语音识别（ASR），语音翻译（ST）和语言识别（LID）任务上取得了有竞争力的结果，并在 ST 上提高了 25％的相对改进，在推断中更为稳健且速度更快，同时
PDF4 months ago
Emage: 非自回归式文本到图像生成
非自回归模型在生成图像时具有高效生成大量图像标记、低推理延迟等特点，与自回归模型相比，其参数规模为 346M，使用一台 V100 GPU 在 1 秒内生成了一张 256×256 像素的高质量图像。
PDF6 months ago
AMLNet：非自回归多时标时间序列预测的对抗求知神经网络
AMLNet 是一种创新的非自回归模型，通过在线知识蒸馏方法实现真实的预测，结合了自回归和非自回归模型的优势，并通过两个关键机制实现知识传递。大量的实验表明，AMLNet 优于传统的自回归和非自回归模型，提供了一个提高准确性和加快计算速度的
PDF8 months ago
基于能量的语音合成模型
这篇论文描述了如何使用基于能量的模型（EBMs）通过噪声对比估计训练，并通过 Langevin Markov Chain Monte-Carlo（MCMC）进行采样，从而扩展了非自回归模型在语音合成中的应用。在 LJSpeech 数据集上的
PDF8 months ago
针对具有不完整信息的文本生成的对抗非自回归模型
本文提出一种新型的 Non-autoregressive Transformer 模型，即 Adversarial Non-autoregressive Transformer，在 Incomplete Information Scenar
PDFa year ago
定向无环 Transformer 预训练用于高质量的非自回归文本生成
提出一种 Pre-trained Directed Acyclic Transformer（PreDAT）和新颖的预训练任务来促进 NAR 生成中的预测一致性。在五个文本生成任务上的实验表明，PreDAT 明显优于现有的预先训练的 NAR
PDFa year ago
动态对齐掩码 CTC: 带有对齐交叉熵的改进型掩码 CTC
本研究提出动态对齐 Mask CTC 方法，利用 Aligned Cross Entropy（AXE）和 Dynamic Rectification 两种方法，使非自回归模型在语音识别中的解码效率得到很大提升。AXE 忽略绝对位置对齐，关心
PDFa year ago
Diff-Glat: 并行序列到序列学习的扩散环视变换器
Diff-Glat 是一种采用模态扩散过程和残差凝视训练的非自回归模型，旨在解决多模态数据建模困难问题，相较于自回归变换器，Diff-Glat 在解码效率和准确性方面均表现出卓越的性能。
PDF2 years ago
替换文本语言模型以进行风格转换
介绍了一种用于文本风格转换的序列到序列语言建模框架。该方法通过非自回归蒙版语言模型生成目标风格的新跨度，同时保持了自回归模型的灵活性和非自回归模型的准确性，以弥合句子级和单词级风格转换方法之间的差距。通过 RLM 的隐层表示进行风格 - 内
PDF2 years ago
EMNLPELMER: 一种高效且有效的文本生成的非自回归预训练语言模型
研究了采用预训练语言模型 (PLMs) 方法的文本生成任务，提出了一种用于 NAR 文本生成的有效 PLM（ELMER），它可以显式地建模 NAR 生成中的标记依赖。ELMER 可根据预测置信度在不同层产生标记，从而实现优化并快速的生成，在
PDF2 years ago
EMNLP有向无环转换器的维特比解码在非自回归机器翻译中的应用
本文提出了一种基于维特比解码的 DA-Transformer 模型，能够在保持速度优势的同时提高翻译效果，适用于非自回归模型的神经机器翻译。
PDF2 years ago
最近邻非自回归文本生成
该研究提出一种新的训练策略，使用最近邻作为 NAR 解码器的初始状态，并进行迭代编辑来改进文本生成质量，结果表明该方法在机器翻译和数据到文本任务上均获得了较高的翻译质量和更少的解码迭代次数。
PDF2 years ago
高效准确的非自回归多轮口语理解模型：捕捉显著的历史信息
本文提出了一种名为 SHA-LRT 的新型多轮对话 Spoken Language Understanding 模型，它通过历史 - 注意机制从历史话语中捕获显著的历史信息，并使用中间状态引导最终预测，有效提高了多轮对话中语言理解的性能，并
PDF2 years ago
ACL非自回归机器翻译：速度不像看起来那么快
本研究对非自回归模型及自回归模型在机器翻译中的效率进行了探究，并提出了对非自回归模型的进一步实验和评测。
PDF2 years ago
语音转文本非自回归建模的比较研究
本文对不同的无自回归（NAR）建模方法进行了比较性研究，实验证明了 NAR 模型相较自回归基线的精度降低代价下，可以同时在序列中生成多个输出，具有在实时应用中优足的潜力，在自动语音识别领域的性能差距上得到了一些有趣的发现，并展示了结合这些技
PDF3 years ago
Volctrans GLAT 系统：非自回归翻译 Meet WMT21
本论文介绍了 Volctrans 在 WMT21 新闻翻译共享任务中的贡献，利用 Glancing Transformer 构建并行翻译系统，取得了在德语 -> 英语翻译任务上的最佳 BLEU 得分（35.0），超过了所有强的自回归对应物。
PDF3 years ago
MMPIMNet：一种用于场景文本识别的并行、迭代和模拟网络
该研究提出了一种平行、迭代和模仿网络 (PIMNet)，它采用了一种平行注意机制来更快地预测文本，以及一种迭代生成机制来使预测更加准确。与自回归模型相比，该方法在推理时间上更快，同时保持了很高的准确性。
PDF3 years ago