迈向归纳偏差的精确计算

IJCAIJun, 2024

Towards Exact Computation of Inductive Bias

Akhilan Boopathy, William Yue, Jaedong Hwang, Abhiram Iyer, Ila Fiete

TL;DR我们提出了一种计算归纳偏差的新方法，该方法涉及对来自假设空间的随机假设的损失分布进行建模，以估计相对于这些假设需要的归纳偏差，从而提供了一种信息理论解释特定模型架构对特定任务的好处的度量，并为开发需要更大归纳偏差的任务提供了定量指导，从而鼓励更强大的归纳偏差的发展。

Abstract

Much research in machine learning involves finding appropriate inductive biases (e.g. convolutional neural networks, momentum-based optimizers, transformers) to promote generalization on tasks. However, quantification of the amount of →

inductive bias machine learning hypothesis space information-theoretic interpretation neural network architectures

发现论文，激发创造

归纳偏置学习模型

本文研究了自动学习偏见的模型，该模型假设学习者嵌套在相关学习任务的环境中，并在此环境中搜索包含良好解决方案的假设空间，进而获得更好的推广效果。

Jun, 2011

深度生成模型中的偏差和泛化：一个实证研究

本文提出一个系统研究深度生成模型的偏差和泛化的框架，并通过认知心理学实验方法探讨其生成新属性和组合的特点与人类心理学的相似之处。作者发现这些模式与常用模型和结构一致。

Nov, 2018

利用子网络注入归纳偏置

通过机械式子任务诱导方法，在训练模型中实现特定的子任务以引入归纳偏差，以减少训练数据量并成功诱导出人类类似的形状偏差。

Oct, 2023

InBiaseD: 通过感知形状来改善归纳偏置蒸馏从而提高泛化性能和鲁棒性

提出了 InBiaseD 来提取感知偏倚和为神经网络带来形状意识。该方法通过偏差对齐目标来强制学习更通用的表示，从而减轻了深度神经网络中的一些缺点，如易受损的数据。 InBiaseD 通过无缝插入现有的对抗训练方案，对改善分类和鲁棒性之间的平衡起到了帮助的作用。

Jun, 2022

模型无关的泛化困难度度量

该研究提出了第一个与模型无关的任务内在泛化难度度量，称为归纳偏差复杂度度量，该度量可以应用于计算和比较监督学习、增强学习和元学习的泛化难度。

May, 2023

LIME 数学推理基元归纳偏好学习

通过在数据集中编码归纳偏见，我们提出了一种名为 'LIME' 的新型预训练方法，该方法设计了三个综合任务，旨在要求模型具有演绎、归纳和拟合的能力。LIME 任务成本低廉，能够显著优于传统的预训练方法，且只需要典型下游任务计算成本的一小部分。

Jan, 2021

探究作为归纳偏好的定量化

该研究旨在通过贝叶斯框架度量文本中的归纳偏差量，并通过对 Contextual embeddings 的探究，比较了 fastText 和 BERT 在不同任务上的性能表现差异。

Oct, 2021

神经架构归纳偏差对于关系任务的影响

本研究探讨了在深度学习中通过将关系和感觉信息分隔，以及引入归纳偏差来改善系统的推理性能，并提出了基于相似性分数的简单架构 -- Compositional Relational Network (CoRelNet), 增强了模型的鲁棒性，提高了关系计算的分布外泛化能力。

Jun, 2022

扩展 MLPs: 归纳偏差的故事

本研究重新探讨了深度学习最基本的构架之一 —— 多层感知机（MLP）在视觉任务中的性能极限，重点研究了不同规模下的预训练对于 MLP 性能的影响，揭示了缺乏归纳偏差时尺度扩展对于性能表现的提升。

Jun, 2023

知识蒸馏传递诱导偏置

该研究探讨了在模型之间利用知识蒸馏的方法将归纳偏差迁移的可行性和效果，以不同归纳偏差的模型（LSTMs vs. Transformers 和 CNNs vs. MLPs）为例，研究了归纳偏差对模型收敛结果的影响以及知识蒸馏的迁移效果。

May, 2020