视频流的测试时间训练
深度学习模型在各种视觉任务中展现出卓越的性能,但它们常常容易受到测试时的领域转移所影响。为了缓解这些脆弱性,已经开发了测试时训练(TTT)方法,在训练时同时解决了主任务和次要任务,以在测试时作为自监督代理任务。在本文中,我们提出了一种基于多尺度特征图和离散潜在表示之间相互信息最大化的新型无监督 TTT 技术,它可以作为一项辅助聚类任务整合到标准训练中。实验结果表明,在不同的常见测试时适应基准上具有竞争力的分类性能。
Oct, 2023
本文研究了测试时间训练(TTT)在处理语音应用中的分布偏移问题的应用。我们引入分布偏移到标准语音分类任务的测试数据集中,并探索了测试时间训练(TTT)如何帮助调整到分布偏移。在我们的实验中,包括背景噪声和语音中的性别和年龄等自然变化引起的分布偏移,我们确定了 TTT 面临的一些关键挑战,包括对优化超参数(例如,优化步数和选择 TTT 的参数子集)的敏感性以及可扩展性(例如,由于每个示例都有自己的参数集,TTT 不具有可扩展性)。最后,我们提出使用 BitFit 作为解决上述挑战的参数高效微调算法,BitFit 仅考虑偏差参数进行微调,并证明它相对于微调模型的所有参数更加稳定。
Sep, 2023
我们提出了一种新颖的测试时训练(LLMTTT)流程,借助大型语言模型作为注释者,在精心选择的节点集上进行图上的测试时适应,从而相对于现有的超出分布泛化方法,获得显著的性能提升。
Apr, 2024
通过鉴别噪声特征图,学习对投射特征图的噪声视图进行分类,从而在新的领域上正确调整模型,本研究提出了基于噪声对比测试时间训练(NC-TTT)的一种新的无监督测试时间训练技术,实验证明了我们方法在这一任务上相对于最近的方法的优势。
Apr, 2024
本文提出一种测试时训练(test-time training)的方法用于部署深度神经网络模型在不同域中数据的适配过程,其中采用实际顺序的 test-time anchored clustering(TTAC)协议来进行强化测试时间的特征学习,最终在六个测试数据集中超越其他已有的测试时训练方法。
Jun, 2022
在测试期间,通过使用未标记的测试数据流独占地对预先训练的模型进行适应,测试时间适应(TTA)在实际应用中具有重要价值。本研究引入了一个更具挑战性的实用测试时间适应(PTTA)设置,并提出了一种广义鲁棒的测试时间适应(GRoTTA)方法来有效解决困难问题。通过稳定地通过鲁棒参数适应使模型平衡预测测试样本,实验表明 GRoTTA 在 PTTA 设置下明显优于现有竞争对手,有助于在实际应用中采用。
Oct, 2023
通过在视频变压器的跨关注点中引入核的角度并应用两种时间平滑核,重新定义流式视频识别模型,拥有常数时间更新每帧的优势,在 THUMOS'14 和 EPIC-Kitchen-100 数据集上取得了最新的成果。
Sep, 2022
本文提出了一种改进的测试时间自适应方法(ITTA),通过引入一个可学习的一致性损失,用于更新辅助测试任务,并且只在测试阶段更新可训练参数,从而解决了域泛化中分布偏移问题,实验表明,该方法在多个评估基准上具有卓越的性能。
Apr, 2023
开发一种测试时自适应方法,用于语义分割任务中针对视频序列中逐渐变化的领域进行模型适应,主要基于合成自驾车视频数据集 SHIFT,目标是分析分布变化并开发一个能够适应数据动态变化和在不同场景中泛化的方法。
Oct, 2023
提出了一种改进测试时间训练 / 适应的方法,通过自我训练和数据分离增强开放世界测试时间训练(OWTTT)的鲁棒性,在 5 个 OWTTT 基准测试上实现了最先进的性能。
Aug, 2023