MMJul, 2021

使用蒸馏进行连续表示的虚假媒体泛化检测

PDF
TL;DR本论文研究人工智能的连续学习及其在神经网络领域的应用，提出了 Continual Representation using Distillation (CoReD) 方法，以增加数据效率并对抗深度伪造技术进行序列领域适应任务的新深伪和生成对抗网络合成人脸数据集，取得了比当前的基准方法更好的实验结果。
artificial intelligencecontinual learningdeepfakesneural networksdomain adaptation
发现论文，激发创造
  • 连续伪造媒体检测：将深假检测器调整到新的生成技术

    我们提出了两种连续学习技术对短序列和长序列的伪媒体进行分析，结果显示连续学习方法可以与最有前途的检测方法相结合，实现对最新生成技术的追赶。此外，我们还提出了如何将这种学习方法整合到深度伪造检测管道中进行持续集成和持续部署，以保持检测器的不断维护。

    Jun, 2024

  • 生物特征识别的持续表征学习

    本研究旨在提出一种新的持续表示学习方法，使用领域选择和一致性松弛策略，对大量身份执行知识蒸馏，以提高持续学习模型的可扩展性和灵活性，并在生物识别中提供用于多步骤的大规模基准测试。研究表明，比起其他竞争者，本方法获得了更好的结果。

    Jun, 2020

  • 深度流式正则判别分析的持续学习

    我们提出了流媒体版本的正则判别分析算法，与卷积神经网络结合，证明在 ImageNet ILSVRC-2012 数据集上表现优于批量学习和现有的流媒体学习算法。

    Sep, 2023

  • DFIL：利用领域不变伪造线索进行 Deepfake 增量学习

    通过增量学习和领域不变表示，以及基于多角度知识蒸馏方法的特征级和标签级正则化，我们的研究提出了一种新型增强型 deepfake 检测模型，通过选择中心和困难样本来更新回放集，并取得了 7.01 的平均遗忘率和 85.49 的平均准确率。

    Sep, 2023

  • Co$^2$L：对比连续学习

    本文发现在连续学习的情境中，通过对比学习方法学习到的表示对抗遗忘更加鲁棒，基于该观察，我们提出了一种基于重复学习的算法，该算法着重于持续学习和维护可转移的表示，并在常见的基准图像分类数据集上进行了广泛实验验证，该方法取得了最新的最佳性能。

    Jun, 2021

  • 对比有监督蒸馏用于连续表示学习

    本文提出了一种名为对比监督蒸馏（CSD）的训练过程，用于解决连续表征学习中的灾难性遗忘问题，如何通过利用蒸馏设置中的标签信息来降低特征遗忘并学习有区别力的特征，从而使学生模型从教师模型中进行对比学习，在视觉检索任务中缓解灾难性遗忘，且表现优于当前的最新方法。

    May, 2022

  • 利用深度学习方法进行深度伪造检测：综述

    本论文旨在探讨不同的方法学以实现具有更高准确度的低成本模型，以检测 Deepfake，并解决数据集的泛化问题。

    Apr, 2023

  • 生成蒸馏下的扩散模型的持续学习

    借助生成性重放的扩散模型的生成蒸馏方法，可以显着提升持续学习性能，只需适度增加计算成本。

    Nov, 2023

  • 持续学习的不变表示学习

    本文提出了一种名为 IRCL 的伪排练式学习方法，其中通过将类不变表示与条件生成模型分离并与类特定表示共同使用，以学习顺序任务。该方法证明了在两个著名的连续学习基准上都比基于正则化和基于伪排练的方法更好，并成功地解决了灾难性遗忘问题。

    Jan, 2021

  • 基于狄利克雷生成的排练的持续学习

    近期的数据驱动任务导向对话系统在增量学习方面存在计算约束和耗时的问题，而连续学习试图通过避免密集的预训练来解决此问题，但它面临的问题是灾难性遗忘。本文提出了 Dirichlet 连续学习（DCL），这是一种新颖的基于生成的排练策略，用于连续学习。与传统上在条件变分自编码器（CVAE）中使用的高斯潜变量不同，DCL 利用 Dirichlet 分布的灵活性和多功能性来建模潜在先验变量。这使得它能够有效地捕捉先前任务的句子级特征并有效地指导伪样本的生成。此外，我们介绍了 Jensen-Shannon 知识蒸馏（JSKD），一种强大的基于逻辑的知识蒸馏方法，在伪样本生成期间增强了知识传递。我们的实验证实了我们方法在意图检测和槽填充任务上的有效性，并且胜过了最先进的方法。

    Sep, 2023