Jun, 2023

如何评估预训练语音模型的模型可迁移性？

PDF
TL;DR本研究提出了一个基于评分的评估框架，用于估计预训练语音模型（PSMs）对于微调目标任务的可转移性，通过生成排名分数进行候选 PSM 的评分，结果表明该框架计算出的转移得分与微调结果具有很高的相关性和低的 p-value，且占用更少的计算时间和资源，是调整语音基础模型的省资源高效方法。
score-based assessmentpre-trained speech modelsfine-tuningrepresentation theoriestransferability
发现论文，激发创造
  • 如何确定最强大的预训练语言模型而无需暴力微调？实证调查

    通过对现有可迁移性估计方法的全面调查和基于 GLUE 基准的详细实证研究，我们展示了现有方法的优点和缺点，并证明了 H-Score 在有效性和效率方面具有卓越性能。此外，我们还提出了在训练细节的考虑、文本生成的适用性以及与特定指标的一致性等困难，为未来研究方向提供了启示。

    Dec, 2023

  • 如何选择转移模型？一项关于转移可行性估计的调查

    现已大规模和大量可用的预训练模型，因此估计模型的迁移能力变得至关重要，本文针对这个问题进行了综述，并将其分为两个领域：无源模型迁移能力估计和有源模型迁移能力估计，提供了相关的分类和指导。

    Feb, 2024

  • 令人沮丧的易转移能力估计

    通过提出一种简单、高效、有效的量化传递学习中先前训练模型的可迁移性算法 TransRate，通过对目标任务示例进行一次遍历，度量传递性，作为预先训练模型提取目标示例特征和其标签之间互信息的方法，TransRate 在 32 个预先训练模型和 16 个下游任务的广泛评估中表现极好，从特征表示的角度评估 TransRate 评估先前训练特征的完整性及其对于每一类别的紧凑性能力。

    Jun, 2021

  • 构建一支强大的团队：使用次模传递可计估方法选择源模型集合

    提出了一种用于评估模型集合对下游任务的可转移性的新方法 OSBORN，能够综合考虑图像领域差异、任务差异和模型集合的内聚性，相较于现有指标 MS-LEEP 和 E-LEEP，该方法在图像分类和语义分割任务中表现出更好的性能。

    Sep, 2023

  • 预测转移性能的基础回归

    基于深度学习的预训练模型，挑选最佳模型在不断增多的选择中成为一项挑战。本论文提出了稳健的基准指南用于评估不同的迁移性评估者，并对多个评估者进行有效的结合，结果显示其预测结果的一致性改善。通过全面评估 13 个评估者在 11 个数据集上的表现，包括广义、精细化和医学图像数据集，我们发现只有少数评估者可以与 ImageNet 上的简单原始指标的预测性能匹配，而所有的预测者在医学数据集上都表现不佳。我们的研究结果凸显了在可靠地预测迁移性方面结合不同信息源的潜力。

    May, 2024

  • 基于 BERT 的排名模型中迁移学习和伪标签的系统评估

    本研究系统评估了基于 BERT 的神经排序模型在五个英语数据集中的迁移能力，发现使用伪标签训练可以产生与迁移学习相媲美或更好的模型，但需要改进少样本训练的稳定性和 / 或有效性。

    Mar, 2021

  • 证据 > 直觉：编码器选择的可转移性估计

    本文提出了一种量化方法 - 最大证据对数 (Logarithm of Maximum Evidence), 以预测在目标任务上表现最好的语言模型，通过与人工排名进行比较，本文发现来自定量指标的证据更加稳健，并且可以帮助识别出意想不到的最佳语言模型候选项。

    Oct, 2022

  • SUPERB-SG: 语音处理语义与生成能力的增强通用性能基准

    介绍 SUPERB-SG - 一个新的基准测试， 用于评估预训练模型的语义和生成能力，并使用轻量级方法测试预训练模型所学习表示的鲁棒性，以更全面地了解模型的效果和通用性。

    Mar, 2022

  • 传递性探究：Whisper 语音表示在 “野外” 跨任务下游应用中的适用性

    本文通过探究 Whisper 模型在 ASR 和其他四个语音任务中的泛化性以及在嘈杂环境下的鲁棒性，证明了其表现出色并具有实际应用价值。

    May, 2023

  • 回归任务的简单可迁移性估计

    我们提出了两种简单且计算高效的方法，基于线性回归模型的负正则化均方差误差来估计优化的目标模型的转移性，在准确性和效率两方面显著优于现有的最先进的回归可转移性估计器。

    Dec, 2023