Oct, 2022

用对比权重修剪实现高效去偏

PDF
TL;DR探索具有偏置数据集中的最佳无偏子网络的方法对于神经网络中可能存在的偏置仍然没有得到充分的研究，因此我们使用 Debiased Contrastive Weight Pruning（DCWP）算法来探索无需昂贵的组注释即可探索无偏子网络的方法，并证明该方法在比参数减少的情况下显著优于现有方法
neural networksbiassubnetworksstructure learningdebiasing
发现论文，激发创造
  • 去偏术者：奇妙的权值及其发现方法

    算法偏见、去偏方法、深度学习、基地址模型、架构对策

    Mar, 2024

  • 修枝视觉模型存在的偏差：深入分析与对策

    该研究系统地调查和表征神经网络剪枝在计算机视觉中引起偏差的现象，提出基于未压缩模型的易于使用的标准，以确定裁剪是否会增加偏差，并确定在压缩后最容易受到偏差预测影响的样本。

    Apr, 2023

  • 参数高效的 Diff 剪枝用于偏差缓解

    介绍了一种模块化的架构，应用 DiffPruning 和对抗训练技术在保持语言模型存储效率的同时，减少预设受保护属性对推理结果的影响。

    May, 2022

  • 从有偏分类器训练去偏分类器：从失败中学习

    本文利用人类的知识针对神经网络的偏见问题提出了一个基于失败的去偏见训练方法，该方法通过训练两个神经网络同时进行，其思想是：(a) 通过反复放大偏见意图意图有意地训练第一个网络，(b) 重点关注具有对该偏差反对意见的样本以去偏见训练第二个网络。实验表明，该方法在合成和真实数据集中显著改善了网络抵御各种偏见的训练，甚至在某些情况下，比需要显式监督的有关特征的去偏见方法表现更好。

    Jul, 2020

  • 优秀子网络存在的证明：基于贪婪前向选择的剪枝

    我们通过提出一种基于贪心策略的网络修剪方法来证明神经网络修剪的有效性，理论上能够通过在足够大的预先训练的网络上应用贪心选择策略找到具有更低损失的小型子网络，并在 ImageNet 上实现了更好的结果，实践中利用修剪的子网络可以从大型模型中获得信息的优势。

    Mar, 2020

  • 特征层面的无偏自然语言理解

    本文提出了一种名为 Debiasing Contrastive Learning (DCT) 的 NLU 去偏置方法，该方法通过对比学习，同时缓解了编码偏置潜在特征和偏置影响的动态性，使用正向采样和动态负向抽样策略选取了最小相似度的偏态样本和动态选择最相似的负向偏态样本，实验表明，DCT 在保持分布内性能的同时，优于最先进的基线算法，在分布之外的数据集上表现出色，并减少了模型表示中的偏置潜在特征。

    Dec, 2022

  • 消除偏见掩码：自然语言理解中一种新的快捷方式缓解框架

    介绍一种新的语言模型去偏置化的方法，使用剪枝口罩来确定模型去偏置化行为，不需要重新训练模型，可以高效地存储口罩并在推断时切换到多种去偏置行为。

    Oct, 2022

  • 通过卷积核的权重分布重新考虑准确性和鲁棒性的权衡

    研究表明对抗攻击是深度神经网络的潜在威胁，本文提出了一种动态网络架构 AW-Net，通过梯度规范化、分化处理和根据输入样本调整网络权重的方法，实现了同时提高准确性和鲁棒性的性能。

    Jun, 2023

  • 网络剪枝空间

    本研究提出网络剪枝空间的概念，探讨子网络结构在不同剪枝范围内的最小精度损失并证明了在某个剪枝范围内存在最佳的 FLOPs-to-parameter-bucket 比率，通过实验结果表明，我们找到的子网络在合理的 FLOPs 下优于现有最先进的剪枝方法。

    Apr, 2023

  • DeNetDM：通过网络深度调节降低偏差

    当神经网络在偏见数据集上训练时，它们往往会无意中学习到具有偏见的相关性，从而在实现强大的泛化和鲁棒性方面面临挑战。我们介绍了一种新颖的去偏见方法 DeNetDM，它基于浅层和深层网络的不同属性，使用基于专家产品的训练范例创建出带有偏见和去偏见架构的模型，并通过模型转移来生成目标去偏模型。大量实验证明我们的方法优于当前的去偏方法，在三个数据集上取得了约 5% 的明显改进，这些数据集包括合成数据和真实世界数据。DeNetDM 无需偏见标签或偏见类型的注释，仍然能够与有监督的对照模型表现相当。此外，我们的方法有效利用了数据中具有偏见冲突的多样性点，超越了以前的方法，避免了需要显式增强多样性的数据增强方法。该研究的源代码将在接受后提供。

    Mar, 2024