区分基于规则和范例的一般化学习系统

ICMLOct, 2021

区分基于规则和范例的一般化学习系统

Distinguishing rule- and exemplar-based generalization in learning systems

Ishita Dasgupta, Erin Grant, Thomas L. Griffiths

TL;DR本研究基于实验方法，探讨了分类学习系统的归纳偏差对样本和规则泛化之间的权衡，并发现标准神经网络模型存在特征偏见和样本驱动等问题，对机器学习研究的系统泛化、公平性和数据增广等产生了影响。

Abstract

Machine learning systems often do not share the same inductive biases as humans and, as a result, extrapolate or generalize in ways that are inconsistent with our expectations. The trade-off between exemplar- and rule-based →

inductive biases generalization category-learning systems neural network models systematic generalization

发现论文，激发创造

Transformers 在存储信息的上下文和权重方面存在不同的泛化能力

本文研究 Transformer 模型的归纳偏差，发现预训练模型在处理稀少类似规则的数据时更倾向于基于规则的归纳，而在无监督学习上表现出基于例子的归纳偏差。

Oct, 2022

深度生成模型中的偏差和泛化：一个实证研究

本文提出一个系统研究深度生成模型的偏差和泛化的框架，并通过认知心理学实验方法探讨其生成新属性和组合的特点与人类心理学的相似之处。作者发现这些模式与常用模型和结构一致。

Nov, 2018

从规则中学习概括标记实例

本文提出了一种规则示例方法来收集人类监督，以结合规则的效率和实例标签的质量，通过潜在的覆盖变量联合去噪规则，通过覆盖和标签变量上的软蕴涵损失训练模型，并将去噪的规则和训练好的模型一起用于推理。实证评估表明，我们的算法比现有的几种方法更精确地学习从混合干净和嘈杂监督中学习，并且耦合的规则示例监督有效去噪规则。

Apr, 2020

通过示例教人何时听从分类器

研究了人工智能与人类合作决策的有效性，提出基于样例的教学策略，利用近邻规则和代理的强弱进行教学，有效提高任务表现。

Nov, 2021

从网络化样本中学习

针对机器学习算法默认独立采样的局限性，在网络化数据样本学习中，使用了有效的样本加权方案，提高了错误边界，从而使丢弃过多共享信息的方法不再是唯一选择。

May, 2014

从示例到规则：信息提取的神经引导规则合成

本文介绍了一项利用程序合成技术在信息提取领域中自动生成规则并取得了与状态 - of-art 相当甚至更好表现的方法。

Jan, 2022

通过示例进行抽象化？BERT 中词汇类别推理的表征案例研究

我们通过分析 BERT 在语言学敏感任务中的表征行为，发现它在使用新词汇时能够向已知词汇的类别示例区域推广，这表明学习者的示例编码能够产生类似于抽象的行为。