Feb, 2024

模型评估与选择在时间分布转移下

PDF
TL;DR我们通过综合当前时期和历史时期的数据集，研究模型评估和选择在变化环境中的情况。为了应对未知且可能随机的时间分布转移，我们开发了一种自适应滚动窗口方法来估计给定模型的泛化误差。该策略还通过估计两个候选模型的泛化误差差异来方便比较。我们进一步将两两比较整合到单一淘汰赛中，从候选模型集合中实现接近最优的模型选择。理论分析和数值实验证明了我们提出的方法对数据非稳定性的适应性。
发现论文，激发创造
  • 未知时态漂移下的无分布预测推理

    本文提出了一种选择自适应窗口并利用其中的数据构建预测集的策略，通过优化估计的偏差 - 方差平衡来选择窗口，并为该方法提供了明确的覆盖保证，展示了其对潜在时间漂移的适应性。通过对合成和实际数据进行数值实验，验证了其有效性。

    Jun, 2024

  • Wild-Time: 一个基于视野内时间变化的分布漂移测试基准

    本文介绍了机器学习领域中的分布漂移和时间漂移问题，通过时间戳元数据来增强模型学习能力，提出了一个包含五个数据集的基准测试，使用 13 种不同的方法进行系统评估，同时针对不同的实际应用场景设计了两种评估策略，发现现有的方法已经无法缩小在分布内和分布外数据间的性能差距。

    Nov, 2022

  • T-SaS：面向流数据的移动感知动态适应

    在没有任何先兆的情况下，本文旨在解决连续数据建模中突发分布转变的问题。具体而言，我们设计了一个名为 T-SaS 的贝叶斯框架，使用离散分布建模变量捕捉数据的突变。然后，我们设计了一个模型，通过学习判断在完整网络中应该激活哪些神经元来实现与该离散变量的动态网络选择进行自适应。通过一组稀疏网络的重叠，采用动态遮罩策略来支持不同分布之间的互相转移。大量实验证明我们的方法在准确检测分布转变边界以获取不同分布的片段并有效适应下游预测或分类任务方面优越。

    Sep, 2023

  • 自监督测试时间训练实现在分布偏移时的泛化

    本文中，我们提出了测试时间训练的一般方法，通过将单个未标记的测试样本转化为自监督学习问题并在此基础上更新模型参数，从而改善预测模型在训练和测试数据来自不同分布时的性能，特别是在评估对分布的稳健性方面，我们的简单方法在各种图像分类基准测试中导致了改进。

    Sep, 2019

  • 一种基于语言模型的挖掘时序数据分布变化的框架

    使用大型语言模型和数据源接口来探索和收集时间序列数据集的方法，扩大数据量以应对限制或缺乏关键属性的原始数据，有效补充现有数据集，尤其在数据分布变化方面。演示了通过实际示例证明了收集数据集的有效性，并展示了在这些数据集上进行微调的时间序列预测基础模型与未经微调的模型相比具有可比的性能。

    Jun, 2024

  • 使用可微分遗忘方法处理分布偏移下的时间序列预测

    本文提出了一种基于加权经验风险最小化的方法处理时间序列预测中的分布偏移问题，具有遗忘机制和基于梯度的学习方法，可提高优化效率和参数灵活性。

    Jul, 2022

  • 社交媒体中语言模型的时间泛化的系统分析

    该研究论文主要研究机器学习中的时序转变对社交媒体的影响，通过提出一种统一的评估方案，发现语言模型在不同时间设置下会出现性能下降，尤其在命名实体识别、仇恨言论检测等任务中。而在主题分类和情感分类等任务中，性能下降不明显，同时发现对测试期进行连续预训练并不能提高语言模型的时序适应能力。

    May, 2024

  • 面向在线推荐系统的适应时移数据分布的未来梯度下降

    提出了一种方法，通过元学习未来梯度生成器来预测未来数据分布的梯度信息，从而训练推荐模型并减小时序领域广义误差，相比 Batch Update 算法，该算法在本地遗憾中的梯度变异项中实现更小的时序领域广义误差。

    Sep, 2022

  • 学习加权表示以实现跨设计通用化

    提出了一个基于表示学习和样本重加权的误差界，针对因果推断和无监督域自适应问题，在设计转换下减少泛化误差的算法框架，与以往方法相比具有更好的效果并具有渐近一致性。

    Feb, 2018

  • 一种信息理论方法应对分布转换

    从信息理论的角度，本文探讨了机器学习模型在实际应用中遭遇的数据偏移问题，比较了近期领域泛化与公正分类研究中一些最有前途的目标。根据我们的理论分析和实证评估，我们得出结论，模型选择过程需要根据观察到的数据、纠正因素和数据生成过程的结构进行认真考虑的指导。

    Jun, 2021