通过扩散生成反馈测试时间调整鉴别模型

Nov, 2023

通过扩散生成反馈测试时间调整鉴别模型

Test-time Adaptation of Discriminative Models via Diffusion Generative Feedback

Mihir Prabhudesai, Tsung-Wei Ke, Alexander C. Li, Deepak Pathak, Katerina Fragkiadaki

TL;DR通过使用扩散模型生成反馈，Diffusion-TTA 方法可以将预先训练的判别模型适应到测试集中的每个无标签示例，并通过反向传播梯度来最大化图像似然目标，从而显著提高各种大规模预训练判别模型的准确性。

Abstract

The advancements in generative modeling, particularly the advent of diffusion models, have sparked a fundamental question: how can these models be effectively used for discriminative tasks? In this work, we find

generative modeling diffusion models discriminative tasks diffusion-tta test-time adaptation

发现论文，激发创造

基于导向的扩散模型的测试时适应

这篇论文介绍了一种新的基于引导的扩散驱动自适应方法，通过引入详细和全局的引导信息以及考虑分类器的引导信息，解决了测试数据与源域之间的语义信息丢失和模型偏移问题，并在多个实验中取得了显著的改进。

Dec, 2023

回到源头：扩散驱动的测试时适应

该研究提出了一种基于扩散生成模型的测试时间自适应方法（DDA），该方法可在不重新训练模型的情况下通过对输入数据进行自适应来提高模型在移位目标数据上的准确性，并在 ImageNet-C 基准测试中展现了更加鲁棒的表现。

Jul, 2022

全面走向合成：通过扩散驱动的测试时间自适应进行合成域对齐

通过 Synthetic-Domain Alignment（SDA）框架，使用有条件扩散模型生成合成数据集，然后使用无条件扩散模型对每个样本添加噪声和降噪，以解决扩散驱动的 TTA 方法中源模型和合成数据之间的潜在领域差异问题。实验证明，SDA 可以实现更好的领域对齐，并一致优于现有的扩散驱动 TTA 方法。

Jun, 2024

扩散模型的迁移学习

该论文介绍了一种名为 Transfer Guided Diffusion Process (TGDP) 的新方法，用于在目标领域中将预训练的扩散模型与域分类器的额外指导相结合，以实现优化后的扩散模型，进一步将 TGDP 扩展为用于建模数据及其对应标签的条件版本，并引入两个附加的正则化项以提高模型性能，通过高斯混合模拟和真实心电图数据集验证了 TGDP 方法的有效性。

May, 2024

基于扩散模型的测试时间图像适应性用于鲁棒皮肤病变分类

我们提出了一种测试时间图像适应方法，通过同时更新和预测测试图像来提高模型在测试数据上的准确性，通过扩散模型将目标测试图像反投影到源域，设计结构指导模块通过低通滤波添加细化操作，用于正则化扩散以保留结构信息，并引入自整合方案自动调整对适应和未适应输入的依赖关系，增强适应鲁棒性。在我们构建的 ISIC2019-C 和 Dermnet-C 损坏鲁棒性评估基准上进行的大量实验表明，我们的方法在各种损坏、体系结构和数据区域上使分类器更加鲁棒。我们的数据集和代码将在 https://github.com/minghu0830/Skin-TTA_Diffusion 上提供。

May, 2024

领域泛化的改进测试时适应

本文提出了一种改进的测试时间自适应方法（ITTA），通过引入一个可学习的一致性损失，用于更新辅助测试任务，并且只在测试阶段更新可训练参数，从而解决了域泛化中分布偏移问题，实验表明，该方法在多个评估基准上具有卓越的性能。

Apr, 2023

使用双判别器对去噪扩散模型进行对抗训练的高保真多说话人 TTS

通过在扩散模型中引入两个辨别器（扩散辨别器和频谱图辨别器），我们提出了一种音频合成模型，其在各项评估指标中均优于 FastSpeech2 和 DiffGAN-TTS，并通过结构相似性指数、梅尔倒谱失真、F0 均方根误差、短时客观可懂性、语音质量感知评估和主观平均意见得分等客观和主观度量对该模型进行了评估。

Aug, 2023

分布偏移下测试时间适应的综合调查

本次研究调查了测试时间适应（TTA）在机器学习中的应用与优化方法。针对不同的学习场景，研究紧分测试时间领域适应、测试时间批适应、在线测试时间适应和测试时间先验适应四类，总结了高级算法的分类方法，探讨了 TTA 的应用与未来研究的挑战。

Mar, 2023

无遗忘的高效测试时间模型自适应

本研究提出了一种主动样本选择的准则，以确定可靠和不冗余的样本，从而使模型更新以最小化测试时适应的熵损失。同时，引入了一个 Fisher 正则化器，约束重要的模型参数使其不会发生剧烈变化，从而缓解 “灾难性遗忘” 的问题。

Apr, 2022

图像分类中针对分布偏移的实时适应性评估

通过建立一个基准测试来评估和比较测试时间调整方法在提高模型稳健性和泛化性能方面的有效性，我们提供了一个可靠的评估方式，并探索了不同测试时间调整方法与不同网络骨干的兼容性。

Jul, 2023