ICMLJun, 2023

EM-Network: 序列学习的 Oracle 辅助自蒸馏技术

PDF
TL;DREM-Network 是一种新的自蒸馏方法，可通过目标信息进行监督式序列到序列学习，具有比仅使用源输入更好的预测，可用于语音识别和机器翻译等领域。
self-distillationseq2seqoracle guidanceem-networksupervised learning
发现论文，激发创造
  • 自我蒸馏提高 DNA 序列推断

    我们提出了一种创新的深度神经网络模型，通过 `学生 ' 和` 教师 ' 子网络之间的协同学习，结合了掩蔽学习和对比学习，从而在个体序列的语境信息和序列总体分布数据之间有效融合，该方法显著提升了大多数推理任务的性能。

    May, 2024

  • 序列标注的编码器 - 解码器 Transformer 蒸馏

    本文提出了一个无幻觉的框架，以序列标记为例，该框架非常适用于蒸馏，追求计算效率的蒸馏方法有望从这些大模型获得的知识中获益，并在多个序列标记数据集上展现了新的卓越表现，证明了这个框架在少量数据学习场景下进行大模型蒸馏的有用性。

    Feb, 2023

  • 半监督序列学习

    本文提出两种方法用于使用未标记的数据改善序列学习。第一种方法是预测序列中的下一个元素，第二种方法是使用序列自编码器。通过这两种算法的无监督训练，我们可以训练出更稳定且泛化性能更好的长短时记忆网络，并在诸如 IMDB、DBpedia 和 20 Newsgroups 等文本分类任务中获得强大的性能。

    Nov, 2015

  • 用于组合泛化的解开序列生成的学习模型

    本文提出了一种基于源输入逐步自适应重编码的 sequence-to-sequence 模型扩展，以此来鼓励解开编码时存在的混淆状态。最终实验结果表明，这个扩展能够提供更好的解释性和推广性。

    Oct, 2021

  • MetaDistiller: 借助元学习自我提升的自顶向下蒸馏网络

    本文提出使用标签生成器以元学习技术优化生成更优软目标，然后利用中间特征图学习软目标来实现网络的自我增强，从而在网络模型压缩方面达到更好的效果，并在两个常见的基准数据集上进行了实验，结果表明该方法的有效性。

    Aug, 2020

  • 自我蒸馏：通过蒸馏提高卷积神经网络性能

    提出了一种名为 “自蒸馏” 的卷积神经网络训练框架，通过将网络大小缩小而不是扩大来显著提高卷积神经网络的性能（准确性）。它与传统的知识蒸馏不同，后者是将预训练的教师神经网络的输出作为 softmax 层输出的近似值强制学生神经网络去逼近。该框架将知识内化到网络本身，对深度方面的可伸缩推理提供了灵活性，能够在资源有限的边缘设备上运行。

    May, 2019

  • 自知力蒸馏在自然语言处理中

    本文提出一种基于深度学习模型自身的软目标概率的自我知识蒸馏方法，在两种基本的 NLP 任务（语言模型和神经机器翻译）上部署实验，并表明了该方法的性能提高。

    Aug, 2019

  • 消除任何人的落后：在线自我监督自我蒸馏用于顺序推荐

    在线自监督自蒸馏的顺序推荐方法（S^4Rec）应用于现代推荐系统中，通过在线聚类和对抗学习策略来有效地处理数据稀疏性和用户行为数据有限性的挑战，并利用自监督学习和自蒸馏方法实现知识传递。

    Mar, 2024

  • 一种基于 EM 方法的非自回归条件序列生成方法

    本文提出的一种新方法使用统一的 EM 框架共同优化 AR 和 NAR 模型，以有效地引导系统消除输出序列中的多模态，评估结果表明，该方法在机器翻译任务上实现了具有竞争力的性能，同时显著减少了推理延迟。

    Jun, 2020

  • 序列学习的上下文非局部神经网络

    本文提出了 contextualized non-local neural networks (CN3) 模型，它综合了 self-attention 和 graph neural networks 两种方法的优点，能在一定范围内构建特定任务的句子结构，从而在文本分类、语义匹配和序列标注等 10 个 NLP 任务中表现优异。

    Nov, 2018