使用可微分遗忘方法处理分布偏移下的时间序列预测
提出了一个基于表示学习和样本重加权的误差界,针对因果推断和无监督域自适应问题,在设计转换下减少泛化误差的算法框架,与以往方法相比具有更好的效果并具有渐近一致性。
Feb, 2018
我们通过综合当前时期和历史时期的数据集,研究模型评估和选择在变化环境中的情况。为了应对未知且可能随机的时间分布转移,我们开发了一种自适应滚动窗口方法来估计给定模型的泛化误差。该策略还通过估计两个候选模型的泛化误差差异来方便比较。我们进一步将两两比较整合到单一淘汰赛中,从候选模型集合中实现接近最优的模型选择。理论分析和数值实验证明了我们提出的方法对数据非稳定性的适应性。
Feb, 2024
提出了一种方法,通过元学习未来梯度生成器来预测未来数据分布的梯度信息,从而训练推荐模型并减小时序领域广义误差,相比 Batch Update 算法,该算法在本地遗憾中的梯度变异项中实现更小的时序领域广义误差。
Sep, 2022
本文提出了一种选择自适应窗口并利用其中的数据构建预测集的策略,通过优化估计的偏差 - 方差平衡来选择窗口,并为该方法提供了明确的覆盖保证,展示了其对潜在时间漂移的适应性。通过对合成和实际数据进行数值实验,验证了其有效性。
Jun, 2024
本文提出了一种自适应的线上学习方法 - 自适应符合推断方法,该方法结合了预测集和符合推断的思想,能够在任何黑箱模型中实现长时间内预期的覆盖概率,从而解决了数据变化扰动的问题。
Jun, 2021
提出了一种新的 Decorrelated Weighting Regression (DWR) 算法,能够提高模型错误规范化和未知测试数据下的参数估计准确性和预测稳定性。
Jan, 2020
在机器学习任务中,分布偏移是一种常见情况,其表示训练模型使用的数据与实际应用模型的数据不同。本文旨在定义和检测教育环境中的分布偏移,关注标准预测问题,即学习一个以输入序列为输入(预测变量)X=(x_1,x_2,...,x_m) 并生成输出 Y=f (X) 的模型。
May, 2024
分布变化是现代统计学习中的一个严重问题,我们研究了 Wasserstein 分布变化以及联合分布变化,分析了一些重要的统计问题,包括位置估计、线性回归和非参数密度估计。对于均值估计和线性回归的预测误差,我们找到了最小二乘风险和最不利扰动,并证明了样本均值和最小二乘估计量分别是最优的。对于其他问题,我们提供了几乎最优的估计器和精确的有限样本界限。我们还引入了几种用于边界化分布变化的最小风险的工具,如平滑技术、最不利优先级序列的推广以及 Le Cam、Fano 和 Assouad 方法的泛化。
Aug, 2023
本文提出了一种基于超网络的框架,称为超时间序列预测(HTSF),它在分布漂移下可以实现准确的时间序列预测,并通过实验验证在 9 个基准测试中达到了最先进的性能。
Feb, 2022
探索在源域具有充足标签数据但目标域仅有稀缺标签数据的情况下,开发了具有最小值线性风险的估计量的转移学习算法,包括协变量转移和模型转移,同时也考虑了数据来自线性或一般非线性模型的情况,证明了线性最小值估计器与各种源/目标分布的非线性估计器相比的绝对误差是一个常量。
Jun, 2021