Jun, 2021

评估和减轻知识蒸馏中砍枝神经网络的偏差

PDF
TL;DR本文提出了两种简单而有效的度量方法，CEV 和 SDE，以量化剪枝模型的偏差防御质量，并展示了知识蒸馏可以调和剪枝神经网络中的偏差。我们发现模型相似度与剪枝诱导的偏差之间存在强关联，这提供了一种强大的方法来解释为什么在剪枝神经网络中会发生偏差。
发现论文，激发创造
  • 测量两次，裁剪一次：量化深度神经网络中的偏差和公平性

    本文提出了两个简单而有效的度量标准，Combined Error Variance (CEV) 和 Symmetric Distance Error (SDE)，以定量评估两个模型的类别偏差相对多少。 通过评估这些新指标的性能并展示它们的实际应用，我们证明它们不仅可以用于衡量公平性，而且还可以用于衡量偏差。 这些演示表明，我们的指标可以满足在多类分类中衡量偏差的特定需求。

    Oct, 2021

  • 修枝视觉模型存在的偏差：深入分析与对策

    该研究系统地调查和表征神经网络剪枝在计算机视觉中引起偏差的现象，提出基于未压缩模型的易于使用的标准，以确定裁剪是否会增加偏差，并确定在压缩后最容易受到偏差预测影响的样本。

    Apr, 2023

  • 参数高效的 Diff 剪枝用于偏差缓解

    介绍了一种模块化的架构，应用 DiffPruning 和对抗训练技术在保持语言模型存储效率的同时，减少预设受保护属性对推理结果的影响。

    May, 2022

  • 数据剪枝中的知识提取

    通过集成知识蒸馏技术，本文探讨在数据修剪过程中的应用，证明了使用简单随机修剪方法优于复杂的修剪方法，并研究了修剪程度与知识蒸馏权重的关系，以及教师网络规模对准确性的影响。

    Mar, 2024

  • 建模和减轻图神经网络的数据偏差

    该论文提出了利用 EDITS 框架通过减少有偏数据来减轻 GNN 模型的偏见，以实现更公平的结果。在新提出的度量指标的引导下，EDITS 可以以模型无关的方式优化输入数据，从而解决针对不同应用场景中不同 GNN 模型的偏差问题，并且不会降低 GNN 模型的性能。

    Aug, 2021

  • 压缩模型偏差特征分析

    该论文探讨了神经网络压缩技术所产生的 Compression Identified Exemplars（CIE）对算法偏差的影响，并提议将 CIE 作为人类审核工具，以检查数据集中最具挑战性的示例。

    Oct, 2020

  • 偏差缓解技术中的关键问题调查

    本研究提出了一个改进的评估协议、合理的指标和一个新的数据集，以评估现有的 7 种最先进的减少偏差算法的有效性。研究发现，算法利用隐藏的偏见，无法适应多种偏向，而且对调整数据集的选择非常敏感。因此呼吁社区采用更严格的评估方法。

    Apr, 2021

  • 标签噪声下量化彩票：准确性，校准和复杂度

    本文介绍了一种使用稀疏双下降方法鉴定和表征与分类任务相关的剪枝模型，该方法对网络大小变化具有鲁棒性，并表明剪枝模型不仅具有更好的计算性能，而且可以更好地表示学习中的不确定性。

    Jun, 2023

  • 视觉偏差缓解的知识不确定性加权损失

    提出一种基于贝叶斯神经网络和认知不确定性加权损失函数的方法，动态识别可能训练样本中的偏见并在训练期间对其加权，以减弱深度神经网络在视觉数据中出现的学习偏见。在偏见基准数据集和实际面部检测问题上，展示了这种方法缓解视觉偏见的潜力，并考虑了方法的优点和缺点。

    Apr, 2022

  • 强健数据修剪：揭示和克服隐性偏见

    在数据密集型模型的时代，精心选择训练数据对于减轻深度学习的昂贵成本至关重要。本文通过删除冗余或无信息的样本来解决这个问题，并提出了一个公平感知的修剪方法，其在标准计算机视觉基准上展示了良好的性能，与现有算法形成鲜明对比。

    Apr, 2024