EMNLPDec, 2023

如何确定最强大的预训练语言模型而无需暴力微调？实证调查

PDF
TL;DR通过对现有可迁移性估计方法的全面调查和基于 GLUE 基准的详细实证研究，我们展示了现有方法的优点和缺点，并证明了 H-Score 在有效性和效率方面具有卓越性能。此外，我们还提出了在训练细节的考虑、文本生成的适用性以及与特定指标的一致性等困难，为未来研究方向提供了启示。
transferability estimationcomputational costpre-trained language modelsempirical studyglue benchmark
发现论文，激发创造
  • 如何评估预训练语音模型的模型可迁移性？

    本研究提出了一个基于评分的评估框架，用于估计预训练语音模型（PSMs）对于微调目标任务的可转移性，通过生成排名分数进行候选 PSM 的评分，结果表明该框架计算出的转移得分与微调结果具有很高的相关性和低的 p-value，且占用更少的计算时间和资源，是调整语音基础模型的省资源高效方法。

    Jun, 2023

  • 如何选择转移模型？一项关于转移可行性估计的调查

    现已大规模和大量可用的预训练模型，因此估计模型的迁移能力变得至关重要，本文针对这个问题进行了综述，并将其分为两个领域：无源模型迁移能力估计和有源模型迁移能力估计，提供了相关的分类和指导。

    Feb, 2024

  • 证据 > 直觉：编码器选择的可转移性估计

    本文提出了一种量化方法 - 最大证据对数 (Logarithm of Maximum Evidence), 以预测在目标任务上表现最好的语言模型，通过与人工排名进行比较，本文发现来自定量指标的证据更加稳健，并且可以帮助识别出意想不到的最佳语言模型候选项。

    Oct, 2022

  • 预训练语言模型的可比性

    该文章介绍了近期在自然语言处理中提高模型性能所用的三种方法：更加复杂的语言模型、更大的语料库和并行计算，总结了一些最近两年新增的大型预训练语言模型，并探讨了新架构与资源所带来的影响，以此为起点提供了一些方便可复制的研究结果。

    Jan, 2020

  • 基于 BERT 的排名模型中迁移学习和伪标签的系统评估

    本研究系统评估了基于 BERT 的神经排序模型在五个英语数据集中的迁移能力，发现使用伪标签训练可以产生与迁移学习相媲美或更好的模型，但需要改进少样本训练的稳定性和 / 或有效性。

    Mar, 2021

  • 预测转移性能的基础回归

    基于深度学习的预训练模型，挑选最佳模型在不断增多的选择中成为一项挑战。本论文提出了稳健的基准指南用于评估不同的迁移性评估者，并对多个评估者进行有效的结合，结果显示其预测结果的一致性改善。通过全面评估 13 个评估者在 11 个数据集上的表现，包括广义、精细化和医学图像数据集，我们发现只有少数评估者可以与 ImageNet 上的简单原始指标的预测性能匹配，而所有的预测者在医学数据集上都表现不佳。我们的研究结果凸显了在可靠地预测迁移性方面结合不同信息源的潜力。

    May, 2024

  • 利用语言相似性进行零样本跨语言转移语言选择

    研究使用语言相似性来选择最佳的迁移语言，从而提高在情感分析、命名实体识别和依赖解析等不同自然语言处理任务中的跨语言迁移性能。

    Jan, 2023

  • 重新审视分类器：将视觉语言模型应用于视频识别

    该研究重点研究了通过使用不同于传统方法的先前训练模型知识来改进视频分类的方法，简单而有效的调整模式在各种视频识别场景中达到了最先进的表现。

    Jul, 2022

  • IGLUE：跨模态、跨任务和跨语言的迁移学习基准

    本研究介绍了一个跨越 20 种语言的多模式多语言标准化测试集，用于评估多语言多模式的迁移学习效果，结果表明翻译测试优于零射击传递，只有很少的无标签文本数据可用于预训练，而且源语言和目标语言之间的距离对成绩的影响较小。

    Jan, 2022

  • 任务迁移学习中可迁移性的信息论方法

    本文提出了一个评估跨任务表示学习有效性的 H-score 度量方式，可以对在分类问题中从一个任务传递到另一个任务的表示的性能进行评估。使用实际图像数据进行的实验表明，该评价标准不仅与经验传递度量一致，而且在源模型选择和任务转移课程学习等应用中也非常有用。

    Dec, 2022