Jun, 2022

InBiaseD: 通过感知形状来改善归纳偏置蒸馏从而提高泛化性能和鲁棒性

PDF
TL;DR提出了 InBiaseD 来提取感知偏倚和为神经网络带来形状意识。 该方法通过偏差对齐目标来强制学习更通用的表示，从而减轻了深度神经网络中的一些缺点，如易受损的数据。 InBiaseD 通过无缝插入现有的对抗训练方案，对改善分类和鲁棒性之间的平衡起到了帮助的作用。
发现论文，激发创造
  • 共同指导：跨归纳偏差蒸馏

    该研究提出了一种新颖的基于蒸馏的方法，用于训练视觉 transformers，并取得了比先前同等架构的 transformers 更好的性能，该方法的关键是使用具有不同归纳偏差的轻量级 teachers 来共同指导 student transformer，从而实现不同的知识交汇和提升。

    Jun, 2021

  • 利用子网络注入归纳偏置

    通过机械式子任务诱导方法，在训练模型中实现特定的子任务以引入归纳偏差，以减少训练数据量并成功诱导出人类类似的形状偏差。

    Oct, 2023

  • 深度生成模型中的偏差和泛化：一个实证研究

    本文提出一个系统研究深度生成模型的偏差和泛化的框架，并通过认知心理学实验方法探讨其生成新属性和组合的特点与人类心理学的相似之处。作者发现这些模式与常用模型和结构一致。

    Nov, 2018

  • 利用合成数据集：深度神经网络泛化中的形状偏向作用

    最近的深度学习研究主要受制于使用基于越来越大数据集训练的大型模型。然而，对广泛数据集的需求增加引发了一些担忧。针对此问题，新的研究方向出现了，专注于创建合成数据以替代真实数据。在本研究中，我们调查了神经网络在合成数据集上训练时展示的形状偏差，作为合成数据质量的一个指标。具体而言，我们的发现有三个关键点：（1）形状偏差在不同的网络架构和监督类型之间存在差异，对其作为泛化的预测因素以及解释模型识别与人类能力差异的能力产生了怀疑。（2）仅依靠形状偏差来估计泛化是不可靠的，因为它与多样性和自然性纠缠在一起。（3）我们提出了一种将形状偏差解释为估计数据集中样本多样性的工具的新方法。我们的研究旨在阐明在深度学习中使用合成数据及其相关形状偏差的影响，解决有关泛化和数据集质量的担忧。

    Nov, 2023

  • 迈向归纳偏差的精确计算

    我们提出了一种计算归纳偏差的新方法，该方法涉及对来自假设空间的随机假设的损失分布进行建模，以估计相对于这些假设需要的归纳偏差，从而提供了一种信息理论解释特定模型架构对特定任务的好处的度量，并为开发需要更大归纳偏差的任务提供了定量指导，从而鼓励更强大的归纳偏差的发展。

    Jun, 2024

  • 将符号先验知识融入神经网络中的概念学习

    通过使用元学习方法从符号贝叶斯模型的先验分布生成一组任务集，我们能够将快速概念学习所需的归纳偏倚转移到神经网络中，创造出具有对短逻辑公式表达的概念存在偏倚的神经网络，这些结果与人类表现高度一致。

    Feb, 2024

  • 深度学习高层认知的归纳偏好

    本文提出了一个假设，认为人类和动物的智能可以由少数原则解释，这些原则可以帮助我们建立灵活、具有系统化泛化能力的人工智能系统，从而弥补当前机器学习与人类智能之间巨大的差距，并提供 AI 研究和神经科学理论的灵感来源。

    Nov, 2020

  • 知识蒸馏传递诱导偏置

    该研究探讨了在模型之间利用知识蒸馏的方法将归纳偏差迁移的可行性和效果，以不同归纳偏差的模型（LSTMs vs. Transformers 和 CNNs vs. MLPs）为例，研究了归纳偏差对模型收敛结果的影响以及知识蒸馏的迁移效果。

    May, 2020

  • 提炼归纳偏见：超越模型压缩的知识蒸馏

    通过集成式蒸馏方法从轻量级教师模型中蒸馏归纳偏差，我们介绍了一种创新的蒸馏方法，以支持视觉转换和文本领域之间的统一信息处理，提高了学生性能，并减轻了计算负担和提高了效率。

    Sep, 2023

  • 深度神经网络的认知心理学：基于形状偏差案例研究

    本文提出利用认知心理学的问题描述、理论和实验方法来解决现代深度神经网络的可解释性问题，并将发展心理学中关于儿童如何学习物体名称的分析应用到 DNN 模型中。发现在 ImageNet 分类任务上，表现良好的一次性学习模型也存在类似人类倾向于按照形状而非颜色对物体进行分类的偏向，并证明了认知心理学工具揭示 DNNs 的隐藏计算属性的能力。

    Jun, 2017