Dec, 2023

多领域假新闻检测的双教师去偏执蒸馏框架

PDF
TL;DR提出了一种基于 Dual-Teacher De-biasing Distillation 框架的多领域假新闻检测方法，通过知识蒸馏方法构建了一个不带偏见的教师和一个具有领域知识的干净教师来指导学生模型，以减少领域偏见问题并保持性能，实验证明该方法在偏见度量上明显优于现有基准方法，并保证了具有竞争性的性能。
multi-domain fake news detectiondomain bias problemdual-teacher de-biasing distillation frameworkknowledge distillation methodsadversarial de-biasing distillation loss
发现论文，激发创造
  • 人脸反翻拍的双教师知识蒸馏与领域对齐

    本文提出了一种用于人脸反欺诈的领域对抗攻击方法，通过对输入图像添加扰动使其在领域间不可区分从而实现领域对齐；此外，结合领域对抗攻击与双教师知识蒸馏，开发了一种具有领域对齐的双教师知识蒸馏框架用于人脸反欺诈。在公共数据集上进行大量的消融研究和与最先进方法的比较结果验证了我们提出方法的优势。

    Jan, 2024

  • 通过双重对抗去偏置的域外证据感知假新闻检测

    我们提出了一种新颖的对抗性学习方法，称为 “Dual Adversarial Learning”，以解决在新闻内容和证据内容之间进行推理时遇到的偏差问题，并减少内容偏差的影响。

    Apr, 2023

  • 不同领域之间的直接蒸馏

    基于知识蒸馏，提出了一种新的单阶段方法 “不同领域之间的直接蒸馏”(4Ds)，通过可学习的适配器和融合 - 激活机制，实现了从教师网络到学生网络的跨领域知识转移，取得了可靠的学生网络性能并超过了现有方法。

    Jan, 2024

  • 使用领域针对性数据增强来提升知识蒸馏的鲁棒性

    本文介绍了一种基于知识蒸馏的方法和使用语言模型创建任务特定无标签数据增强来提高模型在 NLI 任务中的性能，在 out-of-distribution 方面的表现超过以前的方法。通过 Distilled Minority Upsampling 来鲁棒性提高了 SNLI-hard 的表现。

    May, 2023

  • BERT 无监督领域自适应的知识蒸馏

    利用 BERT 预训练语言模型，结合领域适应性方法和知识蒸馏算法，提出了一种简单而有效的无监督领域适应方法，称为对抗适应与蒸馏，在 30 个领域对跨领域情感分类的任务中取得了最先进的性能。

    Oct, 2020

  • 基于无偏均衡学习的跨领域目标检测方法

    本研究提出了一种新的 UMT 模型，通过消除教师模型的偏差、使用像素级别的自适应增强训练样本、以及采用基于分布的估算策略来选择最适合当前模型的样本，从而消除了跨域识别中常见的模型偏差，并取得了显著的性能提升。

    Mar, 2020

  • 新闻上的语言偏见检测的领域自适应预训练方法

    本文针对媒体偏见的重要形式 —— 用词偏见展开研究。提出了一种基于 DA-RoBERTa 模型的领域自适应方法，实现在句子级别上对有偏见的用词进行检测。同时，训练了 DA-BERT 和 DA-BART 两种基于转换器的模型，并证明了这些模型在相同数据上优于以前的偏见检测方法。

    May, 2022

  • 通过领域和实例级别的迁移改善 Influential Domain 的假新闻检测

    提出了一种针对特定领域的虚假新闻检测方法 DITFEND，该方法采用了领域和实例级别的转移学习框架，同时转移领域级别知识和实例级别知识以提高特定目标领域的性能。实验结果表明，DITFEND 比基本模型在真实场景中具有更好的性能提升效果。

    Sep, 2022

  • 通过多教师对抗蒸馏缓解精度 - 鲁棒性平衡

    本文提出了一种多教师对抗鲁棒性蒸馏的方法 (MTARD)，以指导模型的对抗训练过程，并通过熵平衡算法和归一化损失平衡算法来解决准确性和鲁棒性之间的平衡问题。实验证明，MTARD 在公共数据集上优于现有的对抗训练和蒸馏方法。

    Jun, 2023

  • 双向蒸馏的多视角特征表示在对话生成中的应用

    本文提出一种基于知识蒸馏的对话模型训练框架，通过分组多任务学习、多视角特征蒸馏和双向蒸馏等策略，找到多数据集共性知识以提高模型泛化性能。实验结果表明该框架可以有效地提高模型的泛化性能，而不影响训练效率。

    Feb, 2021