该论文研究深度神经网络在非训练时数据分布下表现不佳的问题，提出一种全测试时间适应的解决方案，通过使用替代熵和添加基于批次的熵最大化的多样性正则化器来解决熵最小化的早期收敛和不稳定性问题，并且可以通过在完全测试时间适应性损失中学习无需目标域标签或源域数据的输入变换模块，从而达到在 ImageNet-C 等挑战性基准测试中提高公共预训练图像分类器鲁棒性的效果。

Jun, 2021

提出了一种名为 Robust Entropy Adaptive Loss Minimization (REALM) 的方法，通过改进 F-TTA 中的噪声样本问题，提高了自适应过程的准确性。

Sep, 2023

通过以熵最小化为灵感来源的样本选择方法，我们过滤掉适应模型中的置信度值降低的样本，从而解决测试时自适应方法中由于错误预测导致的噪音问题，显著改善了图像分类和语义分割的长期适应性能。

Aug, 2023

本研究提出了一种主动样本选择的准则，以确定可靠和不冗余的样本，从而使模型更新以最小化测试时适应的熵损失。 同时，引入了一个 Fisher 正则化器，约束重要的模型参数使其不会发生剧烈变化，从而缓解 “灾难性遗忘” 的问题。

Apr, 2022

通过使用在训练和测试统计数据之间进行的基于熵统计的加权目标域统计估计的预测整合方法，我们解决了在只有单个无标签测试图像的情况下，适应医学图像分割模型的任务。

Feb, 2024

本文研究了针对分布漂移进行测试时间自适应（TTA）的方法，在各种函数类中元学习 TTA loss 能够迅速获得与熵函数类似的 loss 函数，并基于最优 loss 函数提供了更好的 TTA 方法。同时，在新型的 supervised training loss 函数中，我们的方法也显示了优异的表现，为改善测试时间自适应提供了广阔的框架。

Jul, 2022

提出了一种称为统一熵优化（UniEnt）的简单而有效的框架，用于同时适应协变量转移内分布数据和检测协变量转移外分布数据，并通过引入 UniEnt+ 来减轻由于硬数据分区而引起的噪声。在 CIFAR 基准和 Tiny-ImageNet-C 上进行的广泛实验显示了我们框架的优越性。

Apr, 2024

文本分类是自然语言处理的基础任务之一，本文提出了一种基于元学习算法的元 - Tsallis 熵最小化方法（MTEM），用于在目标领域上优化实例适应性 Tsallis 熵，以实现领域适应。实验结果表明，MTEM 在基准数据集上提升了 BERT 的适应性性能，平均提升 4%。

Aug, 2023

测试时间适应 (Test-time adaptation，TTA) 在适应给定模型到任何测试样本，以解决训练与测试数据之间的潜在分布差异。然而，现有方法在每个测试样本上执行反向传播，导致对许多应用而言无法承受的优化成本，并且现有的 TTA 在无分布数据上可以显著提高测试性能，但在分布数据上经常遭受严重的性能退化（即遗忘）。为了解决这个问题，我们提出了一种高效的抗遗忘测试时间适应（Efficient Anti-Forgetting Test-Time Adaptation，EATA）方法，该方法通过开发主动样本选择准则来识别可靠且非冗余的测试样本，以实现测试时间熵的最小化。为了减轻遗忘，EATA 引入了一种从测试样本估计的 Fisher 正则化约束重要模型参数以防止剧烈变化的方法。然而，在 EATA 中，采用的熵损失通常将更高的置信度分配给不确定的样本，导致过度自信的预测。为了解决这个问题，我们进一步提出了用校准（Calibration）的 EATA（EATA-C）来分别利用可减小的模型不确定性和固有数据不确定性进行校准的 TTA。具体来说，我们通过完整网络和其子网络之间的预测差异来衡量模型不确定性，为此我们提出了一种差异损失来鼓励一致的预测而不是过度自信的预测。为了进一步重新校准预测置信度，我们利用预测标签之间的差异作为数据不确定性的指标，然后设计了一种最小最大熵正则化器来有选择地增加和减小不同样本的预测置信度。图像分类和语义分割的实验验证了我们方法的有效性。

Mar, 2024

本文提出了两种基于像素预测熵的损失函数的方法来解决语义分割中的无监督域适应问题，分别采用熵损失和对抗性损失。在两个具有挑战性的 “synthetic-2-real” 场景下，我们证明了该方法在语义分割方面具有最先进的性能，并且该方法也可以用于检测。

Nov, 2018