- 因果灵感的隐变量增强单域泛化
通过基于因果学习和干预的方法,我们提出了一种新颖的因果启发潜在特征增强方法,用于单域泛化,我们可以生成多样的隐式特征级变换,在潜在空间中更好地补偿对初始有限图像级变换的依赖,捕捉更稳定的领域不变因果特征以实现泛化。
- DIGIC:通过因果发现实现领域通用的模仿学习
通过利用演示数据分布发现领域泛化策略的因果特征,我们设计了一个名为 DIGIC 的新框架,通过因果发现从演示数据分布中找到专家行为的直接原因,实现了只使用单一域数据进行领域泛化模仿学习,并且在底层因果模型的非结构化假设下作为跨域变化方法的补 - 因果特征的预测因子不能很好地推广到新的领域
研究了机器学习模型在因果特征上训练后在不同领域的泛化能力,发现使用所有可用特征的预测模型在域内和域外的准确性都要优于只使用因果特征的模型,表明在泛化到新领域时,最好的做法是训练包含所有特征的最佳模型。
- 释放反事实增强数据在超出分布的泛化中的潜力
通过引入两个额外的基于 Counterfactually-Augmented Data 的结构属性约束,从而从 Fisher 的线性判别的角度分析特征空间中的近视现象,本研究发现 Counterfactually-Augmented Dat - 基于词组搜索的自动对抗样本增强方法用于文本分类鲁棒性提升
本文提出一种新的基于词组挖掘的方法,用于解决大规模预训练语言模型的词汇捷径问题,建立反事实的语义增强机制并应用自适应投票机制,能够更准确地识别有效的因果特征,进而提升模型的分类效果。
- DRCFS:双重稳健因果特征选择
DRCFS 是一种具有理论保证的双重稳健特征选择方法,可用于确定复杂系统中与目标变量高度相关的因果特征,特别是针对非线性和高维问题。
- 图形对抗鲁棒性:不变因果防御
提出了一种旨在学习具有强预测性和不变性的因果特征以实现图形对抗鲁棒性的不变因果防御方法,称为 Invariant causal DEfense method against adversarial Attacks (IDEA),并通过实验证 - CVPR通过对抗工具变量回归揭示对抗样本的因果特征和因果免疫,以实现鲁棒网络
本文提出了从因果关系的角度,采用对抗工具变量回归来研究对抗训练网络中的异常漏洞,探明了对抗样本固有的因果特征,并提出 CAFE 的防御方法,以改善对抗鲁棒性。
- 提高语言模型的超出分布普适能力:反事实增强数据是不够的
本文研究了 Counterfactually-Augmented Data 对自然语言处理模型的改进作用,发现其普遍存在的近视现象导致了其潜能无法完全被发掘。作者设计了两类新的约束来帮助提取更完整的因果特征,通过情感分析和自然语言推理两个任 - 通过插值正交特征进行样本高效的域适应
本文提出了一种名为 Pro$^2$ 的轻量、样本高效的方法,通过将预训练嵌入映射到正交方向来学习多样的预测特征,并在小目标数据集上适应目标分布。在多个数据集上的试验表明,与标准线性探测等先前方法相比,Pro$^2$ 提高了 5-15% 的性 - 具有不变因果特征的世界模型对比无监督学习
运用不变性原则的世界模型,通过对比非相关部分或观察风格的差异性,使用对比无监督学习,学习不变因果特点,提出了一个新的改进型辅助任务方法,取得了 iGibson 数据集上优秀的表现
- 不变性原理遇见信息瓶颈:超出分布泛化
通过在线性分类任务中的实验证明了仅仅使用不变性原理是不够的,利用信息瓶颈限制的形式加入不变性原则可以解决当因果特征占据标签信息的时候分类模型的失效问题。
- CVPR通过反事实和不变数据生成实现强健的分类模型
该研究针对机器学习应用中存在的假相关问题,以图像分类为例,提出两种数据生成策略来减少此类问题,并在多个领域的数据集上表现出更好的准确性和更好的解释能力。
- 通过自动生成的反事实情况实现文本分类中对伪相关性的鲁棒性
通过增加具有相反特性和标签的反事实数据来训练鲁棒的文本分类器,以强化模型可靠性和泛化性,实验证明,其在人工生成对照样本和原始测试数据上表现出较高的鲁棒性和精准度。
- ICML使用因果匹配进行域泛化
本论文表明,领域泛化的目标不仅仅是考虑到类别标签,还包括特定因果特征,并提出了一种基于匹配的算法来实现该目标,该算法通过数据增强的方式观察基本对象并近似目标结果,结果表明该算法优于先前方法。