Dec, 2023
超出寻常：针对协变量转移的光谱自适应回归
Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift
Benjamin Eyre, Elliot Creager, David Madras, Vardan Papyan, Richard Zemel
TL;DR设计深度神经网络分类器，能够在与可用训练数据不同的分布上具有强健性，是机器学习研究中的一个活跃领域。然而，回归的世纪问题 - 即建模连续目标的类似问题 - 仍然相对未经探索。为了解决这个问题，我们回归到第一原理，并分析了最小二乘回归的封闭形式解对协变量转移的敏感性。我们以源数据和目标数据的特征谱分解来表征 OLS 模型的超出分布风险。然后，我们利用这一洞察力，提出了一种方法，用于适应预训练神经回归模型的最后一层权重，以在来源于不同分布的输入数据上表现更好。我们展示了这种轻量级的谱适应过程如何改善合成数据集和真实数据集的超出分布性能。