我们提出了一种计算归纳偏差的新方法，该方法涉及对来自假设空间的随机假设的损失分布进行建模，以估计相对于这些假设需要的归纳偏差，从而提供了一种信息理论解释特定模型架构对特定任务的好处的度量，并为开发需要更大归纳偏差的任务提供了定量指导，从而鼓励更强大的归纳偏差的发展。
Jun, 2024
提出了 InBiaseD 来提取感知偏倚和为神经网络带来形状意识。 该方法通过偏差对齐目标来强制学习更通用的表示，从而减轻了深度神经网络中的一些缺点，如易受损的数据。 InBiaseD 通过无缝插入现有的对抗训练方案，对改善分类和鲁棒性之间的平衡起到了帮助的作用。
Jun, 2022
本文研究了自动学习偏见的模型，该模型假设学习者嵌套在相关学习任务的环境中，并在此环境中搜索包含良好解决方案的假设空间，进而获得更好的推广效果。
Jun, 2011
通过使用元学习方法从符号贝叶斯模型的先验分布生成一组任务集，我们能够将快速概念学习所需的归纳偏倚转移到神经网络中，创造出具有对短逻辑公式表达的概念存在偏倚的神经网络，这些结果与人类表现高度一致。
Feb, 2024
本研究针对自监督学习提供了首个理论分析，其中包括来自模型类祖产的归纳偏差的影响。我们特别关注对比学习 - 一种在视觉领域广泛使用的自监督学习方法。我们发现，当模型具有有限的容量时，对比表示将恢复与模型结构兼容的某些特殊聚类结构，但忽略数据分布中的许多其他聚类结构，从而捕捉了更加现实的情景。我们将理论实例化为几个合成数据分布，并提供实证证据来支持该理论。
Nov, 2022
该研究探讨了在模型之间利用知识蒸馏的方法将归纳偏差迁移的可行性和效果，以不同归纳偏差的模型（LSTMs vs. Transformers 和 CNNs vs. MLPs）为例，研究了归纳偏差对模型收敛结果的影响以及知识蒸馏的迁移效果。
May, 2020
我们在本文中介绍了两种归纳偏差方法，分别针对语法结构和依赖关系，实现了深度学习模型的归纳偏差，并通过这些方法建立了深度学习模型的潜在分层表示，使模型能够处理复杂的序列结构并在语言处理任务中取得了优秀的效果。
介绍一种通过元学习来探索语言习得中归纳偏好的影响的框架，并展示了一个基于音节结构的案例研究来验证该方法传递了预期的语言归纳偏好。
Jun, 2020
通过在自然语言任务描述和生成这些任务的程序中预测表示，并指导它们对更具人类化的归纳偏差进行联合训练，结果表明在下游元增强学习代理中，这些表示的抽象支持是关键。
May, 2022
本文研究了深度强化学习算法中的归纳偏见及其对算法性能的影响，并通过实验发现了某些领域特定组件的更有效的自适应解决方案可能会提高算法性能。
Jul, 2019