AAAIDec, 2023

利用蒸馏自回归模型获得高性能的非自回归车辆路径问题求解器，以提高推理速度

PDF
TL;DR本文提出了一种通用的引导式非自回归知识蒸馏（GNARKD）方法，通过知识蒸馏从自回归模型中获取低推理延迟的高性能非自回归模型，通过将 GNARKD 应用于三种广泛采用的自回归模型，我们得到了在合成和真实实例中的 NAR VRP 求解器，实验结果表明，GNARKD 显著减少推理时间（快 4-5 倍），可接受的性能下降（2-3%），据我们所知，这是第一个通过知识蒸馏从自回归模型获取 NAR VRP 求解器的研究。
neural construction modelsvehicle routing problemsautoregressive learning approachnon-autoregressive learning approachguided non-autoregressive knowledge distillation
发现论文，激发创造
  • 一种自适应混合蒸馏方法用于非自回归生成

    本文提出了一种基于自适应学习的混合蒸馏算法，用于进一步提高 BANG 生成质量。实验证明该方法有效性，并且不会影响推理延迟，相比 BANG 可以显著提高 BLEU 分数，在自回归生成方法方面还可获得超过 7 倍的加速。

    May, 2022

  • 非自回归模型的序列生成研究

    该研究通过提出一种分析模型来表征 Non-autoregressive 模型生成不同序列任务的难易程度，并发现知识蒸馏和源 - 目标对齐技术可以帮助提升 Non-autoregressive 模型的准确性，减少目标序列的依赖性。

    Apr, 2020

  • 神经机器翻译及其扩展中的非自回归生成调查

    本文对不自回归生成（NAR）进行了系统的调查，并比较和讨论了不同方面的各种非自回归翻译（NAT）模型，包括数据处理、建模方法、训练标准、解码算法以及受到预训练模型的好处，同时简要回顾了 NAR 模型在机器翻译以外的其他应用，并讨论了未来探索的潜在方向。

    Apr, 2022

  • 语音转文本非自回归建模的比较研究

    本文对不同的无自回归（NAR）建模方法进行了比较性研究，实验证明了 NAR 模型相较自回归基线的精度降低代价下，可以同时在序列中生成多个输出，具有在实时应用中优足的潜力，在自动语音识别领域的性能差距上得到了一些有趣的发现，并展示了结合这些技术来进一步提高精度并应用于无自回归端到端语音翻译的能力。

    Oct, 2021

  • AMLNet：非自回归多时标时间序列预测的对抗求知神经网络

    AMLNet 是一种创新的非自回归模型，通过在线知识蒸馏方法实现真实的预测，结合了自回归和非自回归模型的优势，并通过两个关键机制实现知识传递。大量的实验表明，AMLNet 优于传统的自回归和非自回归模型，提供了一个提高准确性和加快计算速度的多时间段时间序列预测的有希望途径。

    Oct, 2023

  • 非自回归机器翻译：速度不像看起来那么快

    本研究对非自回归模型及自回归模型在机器翻译中的效率进行了探究，并提出了对非自回归模型的进一步实验和评测。

    May, 2022

  • 一种基于 EM 方法的非自回归条件序列生成方法

    本文提出的一种新方法使用统一的 EM 框架共同优化 AR 和 NAR 模型，以有效地引导系统消除输出序列中的多模态，评估结果表明，该方法在机器翻译任务上实现了具有竞争力的性能，同时显著减少了推理延迟。

    Jun, 2020

  • 基于编辑的非自回归神经机器翻译的强化学习

    非自回归（NAR）语言模型在神经机器翻译（NMT）中以低延迟著称。然而，由于较大的解码空间和准确捕捉目标单词间的依赖关系的困难，在 NAR 模型和自回归模型之间存在性能差距。为了解决这些挑战，我们将强化学习（RL）应用于编辑型 NAR 模型的典型例子 Levenshtein Transformer，通过使用自生成的数据，证明 RL 可以提高编辑型 NAR 模型的性能。我们探索了两种 RL 方法：逐步奖励最大化和情节奖励最大化，讨论了这两种方法的优缺点并进行了实证验证。此外，我们在实验中研究了温度设置对性能的影响，确认正确的温度设置对 NAR 模型的训练的重要性。

    May, 2024

  • 非自回归模型词汇扩容用于高效生成式检索

    该论文研究了非自回归语言模型作为生成式检索的更高效的替代方法，并提出了 PIXAR，一种扩展目标词汇的新方法，通过包括多词实体和常见短语（高达 500 万个标记）来减少标记之间的依赖性，并通过推理优化策略在保持低推理延迟的同时实现了好于标准非自回归模型 31.0% 的相对改进 (MRR@10，MS MARCO 数据集)。

    Jun, 2024

  • 蒸馏数据复杂度如何影响非自回归机器翻译的质量和置信度？

    研究表明，非自回归模型在机器翻译中表现良好，但由于其需要从自回归模型中提炼知识，受到了一定的限制。本文针对这个问题进行了研究，通过实验发现，虽然减少词汇多样性和减少重新排序复杂性都有助于 NAR 学习更好的源和目标之间的对齐关系，从而提高翻译质量，但是词汇多样性是提炼增加模型置信度的主要原因，并会对不同的 NAR 模型产生不同的影响。

    May, 2021