通过对超参、架构、框架和数据集进行大规模实证研究，我们发现训练方法的差异会导致模型产生不同的泛化行为，从而在子域中表现更好，与其他模型的错误更不相关。这种多样性可以提高集成表现，并且连低准确度的模型也可以用来提高高准确度的模型。此外，我们发现训练方法的差异会使表示捕捉到有重叠但不是超集的特征集，将其结合可以提高下游性能。

Oct, 2021

语言模型的内部工作机制是通过表示相异度测量所评估的，这是一组有潜力的工具，可以增加对语言模型内部工作机制的了解。

Oct, 2023

本文通过介绍新的多样性度量方法介绍了一种新的模型集成方法，该方法特别适用于数据限制和协变量转移，可显著提高模型的多样性和泛化性能。

Nov, 2019

本文提出了一种新颖的分离方法来解决不变表示的问题，通过正交约束作为独立的代理来将有意义和敏感表示分离，并通过熵最大化来明确地强制有意义的表示对敏感信息不可知。该方法在公开的数据集上进行了评估，并将其与最先进的方法进行了比较，证明其在处理公平性和不变性方面具有最先进的性能。

Mar, 2020

本文分析了无监督学习分离表示的最新进展并挑战了一些常见假设，通过实验研究发现，不加监督训练的模型很难达到良好的分离效果，同时，增加分离度似乎不会降低学习的样本复杂度，未来的研究应该关注归纳偏置和 (隐式) 监督的作用，考虑在多个数据集上复现实验结果。

Nov, 2018

本研究提出一种基于深度学习的表示学习方法，采用实例区分和特征装饰来提高聚类的效果，在 CIFAR-10 和 ImageNet-10 数据集中进行了实验，分别获得了 81.5% 和 95.4% 的准确率。

May, 2021

本文提出一种新的方法来达到对真实世界输入的鲁棒性，该方法利用了分解输入的表示来定义不同的变化因素，并通过对不同图像的表示进行对抗组合生成新的输入图像。我们使用 StyleGAN 模型来证明这一框架的有效性，并通过训练模型对真实世界的变化进行了不变性训练，从而改善了模型的泛化能力，并降低了冗余相关性的影响。

Dec, 2019

本研究提出了一种基于特征级数据增广技术的去偏方法，通过使培训数据多样化，可以更有效地消除图像分类模型中偏见的影响。

Jul, 2021

本研究提出了一种针对强化学习中存在相关特征的高维观察数据的辅助任务方法，通过最小化表示中特征的条件互信息来学习解缠缚表示，以提高对相关性变化的泛化能力。实验结果表明，该方法可以提高强化学习算法的训练性能和泛化能力。

May, 2023

本文提供了对无监督学习解开重要变动因素的最新发展的观点，旨在挑战一些常见的假设。本文首先从理论上证明了，无监督的解开表示恒妄图反演和数据上的约定性偏见是不可能的。接着，通过对 8 个数据集进行超过 14,000 个模型的训练，本文发现虽然不同的方法成功地实现了相应损失所鼓励的特性，但是没有监督的情况下，好的解开模型似乎无法被识别。此外，不同的评估指标并不总是在什么应该被认为是 “解开的” 上达成一致，而且在估计上表现出系统性差异。最后，增加的解开性似乎并不一定会导致学习下游任务的样本复杂度减少。本文的结果表明，关于解开学习的未来工作应该明确归因于诱导偏见和（隐含的）监督的作用，研究解开表示的具体好处，并考虑到涵盖几个数据集的可重复的实验设置。

Oct, 2020