本文介绍了机器学习领域中的分布漂移和时间漂移问题，通过时间戳元数据来增强模型学习能力，提出了一个包含五个数据集的基准测试，使用 13 种不同的方法进行系统评估，同时针对不同的实际应用场景设计了两种评估策略，发现现有的方法已经无法缩小在分布内和分布外数据间的性能差距。

Nov, 2022

本文提出了一种基于超网络的框架，称为超时间序列预测（HTSF），它在分布漂移下可以实现准确的时间序列预测，并通过实验验证在 9 个基准测试中达到了最先进的性能。

Feb, 2022

该论文研究深度神经网络在非训练时数据分布下表现不佳的问题，提出一种全测试时间适应的解决方案，通过使用替代熵和添加基于批次的熵最大化的多样性正则化器来解决熵最小化的早期收敛和不稳定性问题，并且可以通过在完全测试时间适应性损失中学习无需目标域标签或源域数据的输入变换模块，从而达到在 ImageNet-C 等挑战性基准测试中提高公共预训练图像分类器鲁棒性的效果。

Jun, 2021

我们通过综合当前时期和历史时期的数据集，研究模型评估和选择在变化环境中的情况。为了应对未知且可能随机的时间分布转移，我们开发了一种自适应滚动窗口方法来估计给定模型的泛化误差。该策略还通过估计两个候选模型的泛化误差差异来方便比较。我们进一步将两两比较整合到单一淘汰赛中，从候选模型集合中实现接近最优的模型选择。理论分析和数值实验证明了我们提出的方法对数据非稳定性的适应性。

Feb, 2024

本文研究了测试时间训练（TTT）在处理语音应用中的分布偏移问题的应用。我们引入分布偏移到标准语音分类任务的测试数据集中，并探索了测试时间训练（TTT）如何帮助调整到分布偏移。在我们的实验中，包括背景噪声和语音中的性别和年龄等自然变化引起的分布偏移，我们确定了 TTT 面临的一些关键挑战，包括对优化超参数（例如，优化步数和选择 TTT 的参数子集）的敏感性以及可扩展性（例如，由于每个示例都有自己的参数集，TTT 不具有可扩展性）。最后，我们提出使用 BitFit 作为解决上述挑战的参数高效微调算法，BitFit 仅考虑偏差参数进行微调，并证明它相对于微调模型的所有参数更加稳定。

Sep, 2023

本文中，我们提出了测试时间训练的一般方法，通过将单个未标记的测试样本转化为自监督学习问题并在此基础上更新模型参数，从而改善预测模型在训练和测试数据来自不同分布时的性能，特别是在评估对分布的稳健性方面，我们的简单方法在各种图像分类基准测试中导致了改进。

Sep, 2019

提出了一种方法，通过元学习未来梯度生成器来预测未来数据分布的梯度信息，从而训练推荐模型并减小时序领域广义误差，相比 Batch Update 算法，该算法在本地遗憾中的梯度变异项中实现更小的时序领域广义误差。

Sep, 2022

我们的研究主要关注于考察与时间序列相关的特定超参数（如上下文长度和验证策略）对时间序列预测中最先进的 MLP 模型性能的影响，通过对 20 个时间序列预测数据集进行了 4800 种配置的广泛实验，我们的研究结果表明这些参数的调整对性能至关重要。此外，我们还引入了迄今为止最大的用于时间序列预测的元数据集 TSBench，包括 97200 个评估，相较于该领域的先前作品增加了 20 倍。最后，我们展示了该创建的元数据集在多保真度超参数优化任务中的实用性。

Mar, 2024

通过基于方差的函数分析技术，在持续任务学习中探索了超参数选择的作用以及根据任务复杂度不断自动调整超参数的必要性，实证表明该方法可以持续地加快超参数优化速度并在不断变化的顺序任务中表现出鲁棒性，为现实应用中更高效、更稳健、更适应性强的持续学习方法做出了贡献。

Mar, 2024

本文提出了一种基于加权经验风险最小化的方法处理时间序列预测中的分布偏移问题，具有遗忘机制和基于梯度的学习方法，可提高优化效率和参数灵活性。

Jul, 2022