sequence-level knowledge distillation | BriefGPT

关键词sequence-level knowledge distillation

搜索结果 - 9

参数高效的多样化语义转换：基于序列级知识蒸馏的方法
本研究通过使用大型语言模型（LLMs）并应用序列级知识蒸馏方法，开发了三种不同的模型用于释义领域中的改写任务，这些模型具有更快的推理时间，能够生成质量相当的多样化释义，并在人类评估中表现出仅有 4% 的性能下降。
PDF2 months ago
EMNLP通过校准蒸馏增强摘要模型的抽象性
提出了一种名为 DisCal 的新方法，通过引入两种监督方式，提高生成摘要的抽象性（通过 n-gram 重叠度量），同时不牺牲信息量（通过 ROUGE 度量），并在摘要提取中优于之前的方法。
PDF8 months ago
ACL序列级知识蒸馏的 f - 分歧最小化
我们提出了一个名为 f-DISTILL 的框架，将序列级别的知识蒸馏作为最小化广义 f - 分歧函数的过程，并显示现有的 SeqKD 和 ENGINE 方法是我们 f-DISTILL 方法的近似。通过在四个数据集上的实验，我们发现我们的方法
PDFa year ago
基于 n-best 重排序的精准知识蒸馏
在 WMT21 德英翻译任务上，我们提出了一种通过 n-best 重新排序来扩展顺序级知识蒸馏的方法，以考虑不仅仅是第一顶假设，而且还要考虑教师模型的前 n 个顶假设，利用一组多样化的模型，包括公开可用的大型预训练模型，为训练学生模型提供更
PDFa year ago
ACL单一参考不足够：基于参考选择的多样蒸馏用于非自回归翻译
本文提出了一种名为 DDRS 的新方法，通过选取多个高质量的参考翻译来解决非自回归神经机器翻译中的多模态问题，采用 SeedDiv 方法来实现不同翻译生成，并在机器翻译基准测试中获得了 29.82 BLEU 的成绩，相较先前最高 BLEU
PDF2 years ago
ACL使用扰动长度感知位置编码进行非自回归神经机器翻译
本文提出了一种采用扰动的长度感知位置编码的序列级知识蒸馏方法，并将其应用于学生模型 Levenshtein Transformer 中，以提高非自回归神经机器翻译的翻译效果。实验结果表明，该方法在 WMT14 德语到英语翻译中相较传统方法提
PDF3 years ago
ESPnet-ST IWSLT 2021 离线语音翻译系统
本研究描述了 ESPnet-ST 组在 IWSLT 2021 中提交的语音翻译模型。通过训练数据、模型架构和音频分割等方面的努力，结合多种技术如序列级知识蒸馏、Conformer 编码器等，同时使用模型组合达到了 31.4 BLEU 的最佳
PDF3 years ago
ACL精华、适应、精华：为神经机器翻译训练小型、域内模型
本研究探讨了领域自适应设置下，使用序列级别知识蒸馏训练小型、内存高效的机器翻译模型的最佳实践。该研究的大规模实证结果在机器翻译领域中（使用三个语种对三个领域进行测试）表明，最佳性能需要两次平衡知识蒸馏，一次使用通用数据，另一次使用具体领域的
PDF4 years ago
将序列级知识蒸馏解释为神经机器翻译中的数据增强
使用序列级知识蒸馏技术在数据增强和正则化的前提下训练较小的机器翻译模型，可实现类似于基准 SLKD 的结果，并显著提高 BLEU 分数。
PDF5 years ago