测试时间训练用于抑郁症检测
本文研究了测试时间训练(TTT)在处理语音应用中的分布偏移问题的应用。我们引入分布偏移到标准语音分类任务的测试数据集中,并探索了测试时间训练(TTT)如何帮助调整到分布偏移。在我们的实验中,包括背景噪声和语音中的性别和年龄等自然变化引起的分布偏移,我们确定了 TTT 面临的一些关键挑战,包括对优化超参数(例如,优化步数和选择 TTT 的参数子集)的敏感性以及可扩展性(例如,由于每个示例都有自己的参数集,TTT 不具有可扩展性)。最后,我们提出使用 BitFit 作为解决上述挑战的参数高效微调算法,BitFit 仅考虑偏差参数进行微调,并证明它相对于微调模型的所有参数更加稳定。
Sep, 2023
本次研究调查了测试时间适应(TTA)在机器学习中的应用与优化方法。针对不同的学习场景,研究紧分测试时间领域适应、测试时间批适应、在线测试时间适应和测试时间先验适应四类,总结了高级算法的分类方法,探讨了 TTA 的应用与未来研究的挑战。
Mar, 2023
该篇论文提出了一种 Test-Time Self-Training(TeST)技术,通过使用学生 - 老师结构学习不变和强鲁棒性表示来适应新的分布,进而提高模型在分布变化的测试时期的适应性,其结果显示,与现代域自适应算法相比,使用 TeST 的模型在目标检测和图像分割上达到了最新的测试时间域适应算法的最优水平。
Sep, 2022
通过鉴别噪声特征图,学习对投射特征图的噪声视图进行分类,从而在新的领域上正确调整模型,本研究提出了基于噪声对比测试时间训练(NC-TTT)的一种新的无监督测试时间训练技术,实验证明了我们方法在这一任务上相对于最近的方法的优势。
Apr, 2024
本文中,我们提出了测试时间训练的一般方法,通过将单个未标记的测试样本转化为自监督学习问题并在此基础上更新模型参数,从而改善预测模型在训练和测试数据来自不同分布时的性能,特别是在评估对分布的稳健性方面,我们的简单方法在各种图像分类基准测试中导致了改进。
Sep, 2019
深度学习模型在各种视觉任务中展现出卓越的性能,但它们常常容易受到测试时的领域转移所影响。为了缓解这些脆弱性,已经开发了测试时训练(TTT)方法,在训练时同时解决了主任务和次要任务,以在测试时作为自监督代理任务。在本文中,我们提出了一种基于多尺度特征图和离散潜在表示之间相互信息最大化的新型无监督 TTT 技术,它可以作为一项辅助聚类任务整合到标准训练中。实验结果表明,在不同的常见测试时适应基准上具有竞争力的分类性能。
Oct, 2023
我们提出了一种新颖的测试时训练(LLMTTT)流程,借助大型语言模型作为注释者,在精心选择的节点集上进行图上的测试时适应,从而相对于现有的超出分布泛化方法,获得显著的性能提升。
Apr, 2024
本文提出了一种名为 ROID 的方法,该方法通过使用确定性和多样性加权、源模型和自适应模型的加权平均以及自适应添加先验校正方案等多项技术手段,解决了在线测试时自适应的问题,以及由于多种因素引起的模型性能下降问题。该方法在多种数据集、模型和场景下进行了评估,并在普遍 TTA 领域取得了新的标准。
Jun, 2023
本文提出了一种改进的测试时间自适应方法(ITTA),通过引入一个可学习的一致性损失,用于更新辅助测试任务,并且只在测试阶段更新可训练参数,从而解决了域泛化中分布偏移问题,实验表明,该方法在多个评估基准上具有卓越的性能。
Apr, 2023
在测试期间,通过使用未标记的测试数据流独占地对预先训练的模型进行适应,测试时间适应(TTA)在实际应用中具有重要价值。本研究引入了一个更具挑战性的实用测试时间适应(PTTA)设置,并提出了一种广义鲁棒的测试时间适应(GRoTTA)方法来有效解决困难问题。通过稳定地通过鲁棒参数适应使模型平衡预测测试样本,实验表明 GRoTTA 在 PTTA 设置下明显优于现有竞争对手,有助于在实际应用中采用。
Oct, 2023