IJCAIAug, 2023

Meta-Tsallis - 熵最小化：一种新的自训练方法用于文本分类领域自适应

PDF
TL;DR文本分类是自然语言处理的基础任务之一，本文提出了一种基于元学习算法的元 - Tsallis 熵最小化方法（MTEM），用于在目标领域上优化实例适应性 Tsallis 熵，以实现领域适应。实验结果表明，MTEM 在基准数据集上提升了 BERT 的适应性性能，平均提升 4%。
发现论文，激发创造
  • 通过极小化最大熵进行半监督域自适应

    提出了一种基于 Minimax Entropy 的半监督域自适应方法，在有限的标记信息下，与其他基线方法相比，提高了无标记目标数据分类的准确性。

    Apr, 2019

  • DaMSTF：领域对抗学习增强的元自训练用于领域适应

    自学习是领域自适应的重要研究线，该论文提出了一种新的自适应框架 DaMSTF，并通过使用元学习、领域对抗学习等方法来减少标签噪声、保留难例，并在跨领域情感分类任务中优化了 BERT 模型性能。

    Aug, 2023

  • 基于极小极大熵的领域自适应方法用于天文警报的真伪分类

    该研究在时域天文学中使用多个大规模数据集实时进行分析，开发了多源流的机器学习模型。研究者通过研究 HiTS、DES、ATLAS 和 ZTF 等四个不同数据集之间的领域转换，通过精细调整和半监督深度领域自适应的 Minimax Entropy (MME) 方法改进了一种纯粹深度学习分类模型的性能。通过对不同源目标场景的模型进行平衡准确性比较，发现即便仅使用目标数据集中每类一个标记样本，精细调整和 MME 模型都能显著提高基础模型的性能，而 MME 模型不会影响源数据集上的性能。

    Aug, 2023

  • 自训练避免在领域偏移下使用错误特征

    该论文提出了许多方法用于处理不同领域之间的转换，例如通过条件熵最小化和伪标记来完成对这些情况的试验，除此以外还针对某些情况下的结果做出更深入的解释，并验证了这种方法在半合成的 Celeb-A 和 MNIST 数据集上是可行的。

    Jun, 2020

  • REALM：强健的熵自适应损失最小化，为改进单样本测试时间自适应提供支持

    提出了一种名为 Robust Entropy Adaptive Loss Minimization (REALM) 的方法，通过改进 F-TTA 中的噪声样本问题，提高了自适应过程的准确性。

    Sep, 2023

  • 多源域自适应的元自学习：基准

    本文的研究着重于文本识别问题，通过提出元自学习方法 (Meta Self-Learning) 和收集包含 5 个不同领域的超过 5 百万张图像的多源领域适应数据集，提供了一个基准测试，实验结果证明了我们的方法的有效性。

    Aug, 2021

  • MT3: 自监督测试时适应的元测试时间训练

    利用 Meta Test-Time Training 的方式结合 Meta-learning 和 Self-supervised Learning，来使深度神经网络在测试时能够应对域漂移的问题，从而提高其在 CIFAR-10-Corrupted 图像分类基准测试中的表现。

    Mar, 2021

  • Few-Shot NMT 自适应元学习

    META-MT 提供了一种新的基于元学习的方法来适应神经机器翻译系统 (NMT)，可以使 NMT 模型很容易地适应多个领域的目标，同时需要极少量的领域数据。通过在模拟的离线元训练领域适应任务的基础上学习如何适应新的未见过的领域，我们将 NMT 系统的适应性视为元学习问题。我们在十个领域上评估了提出的元学习策略并展示了在很少的领域样例可用时，META-MT 可以显著优于经典的领域适应并且可以在只见到 4,000 个已翻译的单词 (300 对平行句子) 后比经典微调的 BLEU 指标高出多达 2.5 个点。

    Apr, 2020

  • 无监督深度域自适应的最小熵相关对齐

    采用深度学习方法实现无监督域自适应，通过研究源域和目标域之间的二阶矩对齐可以最小化熵，提出了一种比欧几里得方法更有原则性的策略，利用源到目标的正则化器以无监督和数据驱动的方式量化，并在标准性的域适应基准测试中证实了该框架的优势。

    Nov, 2017

  • 基于群体智慧的熵最小化方法，实现测试时的开放集适应

    通过以熵最小化为灵感来源的样本选择方法，我们过滤掉适应模型中的置信度值降低的样本，从而解决测试时自适应方法中由于错误预测导致的噪音问题，显著改善了图像分类和语义分割的长期适应性能。

    Aug, 2023