Aug, 2023

优化游戏：通用模型的协商和适应

PDF
TL;DR在本研究中，作者提出了一个精细调整过程的模型，其中一名通才将技术产品（即机器学习模型）提升到一定的性能水平，然后一名或多名领域专家将其适应于特定领域的使用。我们为一类相对通用的成本和收益函数条件下，表征了精细调整的博弈问题如何得出一种利润共享解决方案。我们观察到，任何潜在的领域专家都可能对技术的采用做出贡献、免费骑车或者放弃，我们提供了产生这些不同策略的条件。我们展示了基于谈判解和子博弈完美均衡的方法如何揭示公司在这类交互中的战略行为，我们发现即使一家公司的成本远高于另一家公司，利润共享仍然可能出现。我们还为一类通用效用函数的 Pareto 最优谈判安排提供了方法。
machine learningartificial intelligencegeneral-purpose modelsfine-tuning processprofit-sharing solution
发现论文，激发创造
  • 低资源领域自适应的逐步微调

    通过多阶段逐步微调的方式，不需要改变模型或学习目标，可以显著提高自然语言处理模型在目标领域的适应能力。

    Mar, 2021

  • 超级模型生态系统：领域自适应视角

    本文旨在通过领域适应性建立新兴超级模型范例的理论基础，其中首先在大量数据上训练一个非常大的模型（即超级模型），然后将其适应于各种特定领域，以此来减少计算和数据成本及碳排放。我们将超模型范例建模为两阶段扩散过程，预训练阶段模型参数从随机初值扩散并收敛到稳定分布，而微调阶段模型参数则被传输到另一个稳定分布。通过 PAC-Bayesian 框架，我们建立了一个 O (1/sqrt (N)) 的一般化界限。理论发现，微调阶段的泛化误差在领域适应中起主导作用。此外，我们的理论表明泛化性能由一种新的度量决定，该度量基于所收敛局部最小值的协方差矩阵和位移，并表征源域和目标域之间的领域差异。

    Aug, 2022

  • 使用预训练模型探索具有泛化性通识推理策略

    本篇论文研究如何通过三种不同的适应方法来影响模型的泛化和准确性，其中 fine-tuning 虽然能够更好地学习任务的内容和结构，但容易出现过拟合和泛化能力有限的问题，相比较而言，使用类似 prefix-tuning 的替代适应方法能够更好地适应未见过的答案，并且更加鲁棒。

    Sep, 2021

  • MAT：对抗性 Fine-tuning 的混合策略博弈

    本文提出一种基于 Mixed-strategy Adversarial Training algorithm（MAT）的新型预训练语言模型微调方法，通过引入 Nash 均衡和熵镜像下降算法，并在大规模预训练模型（如 BERT 和 RoBERTa）上进行了广泛的实验验证，表明 MAT 在 GLUE 和 ANLI 基准测试中具有更好的泛化性和鲁棒性。

    Jun, 2023

  • 在 LLMs 中平衡专业和通用技能：现代调谐和数据策略的影响

    介绍了用于微调和评估大型语言模型（LLMs）用于专门的货币化任务的多方面方法论，目标是在一般语言能力和领域特定技能之间实现平衡。方法论有三个主要组成部分：1）在微调过程中精心混合领域内和通用数据，以实现一般能力和专业能力之间的最佳平衡；2）设计全面的评估框架，包含 45 个问题，旨在评估在功能相关维度（如可靠性、一致性和商业影响）上的表现；3）分析模型大小和持续训练对度量指标的影响，以指导在微调过程中的高效资源分配。本文详细介绍了所提出框架的设计、数据收集、分析技术和验证结果，旨在为企业和研究人员提供行动洞察，以有效地使 LLMs 适应专门的环境。我们还打算公开全面的评估框架，其中包括 45 个量身定制的问题及其相应的评分指南，以促进 LLMs 在专门任务上的透明度与合作。

    Oct, 2023

  • 揭示了细调的大型语言模型的泛化能力

    这篇论文研究了大型语言模型（LLMs）和它们经过微调后的变体之间的差异，尤其关注微调对 LLMs 内在泛化能力的影响。通过在不同任务和数据集上进行广泛的实验，研究发现微调应用于生成任务和分类任务的模型在泛化到不同领域和任务时表现出不同的行为，并且在生成任务的微调中整合上下文学习策略可以增强模型的泛化能力。通过这一系统性研究，旨在为 LLMs 的微调实践做出有价值的贡献。

    Mar, 2024

  • 将生成模型微调作为机器人任务推理方法

    通过快速微调模型来适应生成样本与观察证据匹配是一种适用于各种深度生成模型和机器人环境的简单而通用的方法。该方法可应用于自回归模型和变分自动编码器，并在物体形状推断、逆运动学计算和点云完整性方面展现了其可用性。

    Oct, 2023

  • 人类对适应性机器的适应趋于博弈论均衡

    本文通过运用机器学习算法与博弈论的框架， 利用多个均衡状态来调节和预测智能人和机器之间的协同适应交互， 并发现某些算法可有效地控制人的行为，从而引导人机交互达到机器的最优状态。

    May, 2023

  • 大型语言模型的全面评析和分析：范式和微调策略的导引

    通过综述大型模型微调方法，该研究探讨了最新技术进展和在任务自适应微调、领域自适应微调、少样本学习、知识蒸馏、多任务学习、参数高效微调和动态微调等方面的高级方法的应用。

    Apr, 2024

  • 元学习差异性：为大型语言模型准备高效迁移

    该论文提出了一种通过学习区分微调和适应性 PLMs 的方法，使用动态低秩重参数化和学习结构控制器来实现数据和参数高效的自适应，并在对话完成、摘要生成等任务上展示出明显提升。

    Jul, 2022