Oct, 2022

如何开始？分析中间模型的潜在价值

PDF
TL;DR通过对一系列英语分类任务的系统分析，本研究表明，可以独立分析考虑目标数据集和作为起点的基准模型的潜在相互训练收益，提出了一种实用且有效的方法来确定如何在实际情况下选择基准模型，同时在此给出了 HuggingFace Hub 每种架构最好的模型的最新排名列表。
finetuned modelsintertraining schemeclassification tasksbase modelhuggingface hub
发现论文，激发创造
  • 融合 Fine-tuned 模型以改善预训练

    通过融合多个经过微调的模型，平均模型参数来达到更好的基础模型的目的，并且发现融合模型效果常常优于预训练模型，同时融合比互训模型更鲁棒且不受目标任务依赖。

    Apr, 2022

  • 选择哪些高效的中间任务进行预训练？

    通过 adapter fine-tuning 方法，有效地和高效地获取并选取 NLP 任务中的中间任务，从而在目标任务上实现更好的效果。

    Apr, 2021

  • 预训练模型的中间任务迁移学习在自然语言理解中的应用：何时和为何有效？

    对预训练模型 RoBERTa 进行 110 种中介 - 目标任务组合的大规模研究，发现需要高级推理和推理能力的中介任务最好。目标任务的表现与核心指代消解等高级能力密切相关，需要进一步研究广覆盖的评估基准。有证据表明，预训练过程中所学知识的遗忘可能限制了我们的分析，需要进一步研究这些情况下的迁移学习方法。

    May, 2020

  • 用人工询问技术来归属语言模型

    本文介绍了解决机器学习模型归因挑战（MLMAC）的解决方案，探讨了相似的词汇和生成的文本以及四种不同的方法来衡量对文本的重合度。

    Nov, 2022

  • 一种用于时间序列的监督对比学习预训练 - 微调方法

    引入一种新的预训练程序，利用有监督对比学习来区分每个预训练数据集中的特征，进而通过将目标数据与预训练数据集的学习动态更加紧密地对齐，以提高目标数据的准确预测。

    Nov, 2023

  • 基于不变性的视觉 Transformer 微调过程研究

    本文旨在研究预训练与微调之间的关系，提出了一系列度量指标，探讨了预训练模型中不变性的传递性、微调过程中对不变性的保留与丢失、以及预训练模型在下游任务中的表现和变化。

    Jul, 2023

  • 快速调整：快速学习如何微调和选择预训练模型

    该论文提出了一种方法，联合搜索最佳预训练模型和微调的超参数，建立了一个大规模元数据集，通过元学习方法基于此进行多保真度性能预测器，快速优化新数据集的超参数，最终得到一个精准的预训练模型和其最优超参数。

    Jun, 2023

  • 研究预训练语言模型在跨领域数据集上，更接近通用人工智能的一步

    本文研究了预训练语言模型在领域任务泛化能力方面的能力，发现预训练模型在计算机视觉、蛋白质折叠预测等任务中表现出色，优于从头开始训练模型，并指出预训练嵌入在输入层非常重要。

    Jun, 2023

  • 关于 BERT 微调的稳定性：误区、解释和强基准线

    通过分析 BERT、RoBERTa 和 ALBERT 在 GLUE 基准测试集上的表现，本文表明，Fine-tuning 不稳定是由于优化困难导致梯度消失，我们提出了一个简单但强大的基线方法，使 BERT-based 模型的 fine-tuning 显著更稳定。

    Jun, 2020

  • 匹配对：将微调模型归属于它们的预训练大型语言模型

    该论文研究了生成式大型语言模型的 fine-tuning 对模型授权和版权保护的影响，并提出了一种基于不同知识水平和归属策略的模型追溯方法。

    Jun, 2023