May, 2024

自我蒸馏提高 DNA 序列推断

PDF
TL;DR我们提出了一种创新的深度神经网络模型，通过 `学生 ' 和` 教师 ' 子网络之间的协同学习，结合了掩蔽学习和对比学习，从而在个体序列的语境信息和序列总体分布数据之间有效融合，该方法显著提升了大多数推理任务的性能。
self-supervised pretrainingdna sequencescollaborative learningcontrastive learninginference tasks
发现论文，激发创造
  • 自我蒸馏：通过蒸馏提高卷积神经网络性能

    提出了一种名为 “自蒸馏” 的卷积神经网络训练框架，通过将网络大小缩小而不是扩大来显著提高卷积神经网络的性能（准确性）。它与传统的知识蒸馏不同，后者是将预训练的教师神经网络的输出作为 softmax 层输出的近似值强制学生神经网络去逼近。该框架将知识内化到网络本身，对深度方面的可伸缩推理提供了灵活性，能够在资源有限的边缘设备上运行。

    May, 2019

  • 基于时空一致性的自蒸馏学习用于脉冲神经网络

    脉冲神经网络 (SNNs) 通过事件驱动、低功耗特性和高生物解释性而引起了广泛关注。本文通过知识蒸馏 (KD) 提高了预训练教师模型的 SNN 模型性能，同时探索了一种经济高效的自我蒸馏学习方法，即时间 - 空间自我蒸馏 (TSSD) 学习方法。实验证明该方法在多个数据集上具有卓越的性能，为高性能 SNN 学习方法提供了新的融合思路。

    Jun, 2024

  • 无监督学习的盲生物序列去噪

    无监督集合学习（SSSL）方法能够在没有直接观察到干净的源序列标签的情况下，将亚读物聚集在嵌入空间中并估计单个集合嵌入作为亚读物在潜在空间和序列空间中的中点，从而实现对生物序列进行准确去噪。该方法在模拟的长读长 DNA 数据和真实的抗体序列数据集上表现出优于基准方法的去噪性能，为高通量 DNA 测序数据在下游科学应用中的潜力提供更好的实现。

    Sep, 2023

  • 消除任何人的落后：在线自我监督自我蒸馏用于顺序推荐

    在线自监督自蒸馏的顺序推荐方法（S^4Rec）应用于现代推荐系统中，通过在线聚类和对抗学习策略来有效地处理数据稀疏性和用户行为数据有限性的挑战，并利用自监督学习和自蒸馏方法实现知识传递。

    Mar, 2024

  • 自监督知识蒸馏用于少样本学习

    该论文提出了一种两阶段的学习方法，通过最大化特征嵌入的熵来创造一个最佳输出流形，并通过自我监督的双胞胎约束流形，最小化特征嵌入的熵来提高深度神经网络在少样本学习任务中的表示能力。

    Jun, 2020

  • 知识蒸馏与自监督相遇

    本文介绍了一种新的知识蒸馏方法，使用自我监督信号作为辅助任务来提取自预训练教师模型中的丰富知识，并将其成功地传递到学生网络中，从而实现了在各种基准测试下的表现优异。

    Jun, 2020

  • 自我监督学习中在线知识蒸馏

    本文提出了一种基于单阶段在线知识蒸馏的自我监督学习法 Distill-on-the-Go (DoGo)，采用深度互联策略，通过对齐两个模型的相似度得分的 softmax 概率来提供更好的表征质量，实验结果表明，该方法在存在噪声和有限标签以及区分数据方面具有显著性能提升和泛化能力

    Apr, 2021

  • 改善自监督语音处理模型在扭曲场景下的泛化性能

    本文提出采用交叉失真映射和域对抗训练技术对自监督学习的语音预训练模型进行知识蒸馏，以缓解性能差距问题，具有较好的性能表现。

    Oct, 2022

  • 时间序列的自学习特征提取

    时间序列上的自我监督学习能够使得类似于自然语言处理和计算机视觉领域中最近释放的潜力发挥出来。通过使用基于 data2vec 自蒸馏框架的一个概念上简单而强大的非对比度方法，我们的方法展示了在分类和预测等下游任务上与 UCR、UEA 和 ETT 以及 Electricity 数据集上的最先进的自我监督学习方法相比的竞争力。

    Nov, 2023

  • 神经序列生成的自训练再探

    本文提出了一种基于自训练的半监督学习方法，通过加入 label 缺失的无标签数据和模型预测，模型的性能和精确度可以得到有效的提升，而 dropout 和注入噪声则是关键操作。

    Sep, 2019