ACLApr, 2022

CAMERO: 具有权重共享的扰动语言模型一致性正则化集成

PDF
TL;DRCAMERO 是基于扰动模型的一种一致性正则化集成学习方法，它能在保持低内存成本的同时保留集成优势，并通过引入扰动和预测一致性正则化来促进模型多样性和控制方差，实验表明 CAMERO 能够显著提高 8 个 BERT-base 模型标准集成在 GLUE 基准上的泛化性能。
model ensembleconsistency-regularizedperturbationsmodel diversitygeneralization performance
发现论文，激发创造
  • 加权合奏模型是强大的持续学习者

    在这项研究中，我们研究了增量学习（CL）的问题，其目标是在一系列任务中学习模型，使得先前任务的数据在学习当前任务数据时不可用。我们提出了一种称为 Continual Model Averaging（或 CoMA）的加权集成模型，它在保持稳定性的同时，通过利用可塑性，在当前任务上达到高准确性。我们还提出了一种改进的 CoMA 变体，称为 Continual Fisher-weighted Model Averaging（或 CoFiMA），通过利用模型权重的 Fisher 信息，有选择地对加权集合中的每个参数进行加权。这两种变体概念简单、易于实现，并在多个标准 CL 基准测试中实现了最先进的性能。

    Dec, 2023

  • 通过迭代一致性组合预训练模型集合

    本文提出了一种基于闭环迭代一致优化的框架，将不同的预训练模型组合在一起，以零样本方式解决各种多模态问题，该框架通过生成器和评分器的迭代反馈，使模型之间通过沟通逐渐纠正错误，形成一致性，从而显著提高下游任务的性能。

    Oct, 2022

  • 大语言模型微调的 LoRA 组合

    使用 Low-Rank Adapters (LoRA) 的集成方法能显著改善针对预训练语言模型（LLMs）的不确定性量化问题，提高预测准确性。

    Sep, 2023

  • LoRA-Ensemble: 自注意力网络的高效不确定性建模

    我们引入了一种基于低秩调整（LoRA）的参数高效深度集成方法，即 LoRA-Ensemble，用于自注意力网络，通过在预训练的自注意力网络中共享权重并训练成员特定的低秩矩阵，我们的方法在校准方面表现出优越性，并在各种预测任务和数据集上实现了相似或更好的准确性。

    May, 2024

  • 统一的概率神经架构和权重组合提高模型鲁棒性

    本研究提出了一种统一的概率架构与权重集成神经架构搜索方法，利用概率神经架构搜索和近似贝叶斯推理的进展，从神经网络架构和权重的联合分布生成集成模型，取得了较大的进步。

    Oct, 2022

  • 深度抗正则化集成提供可靠的外部分布不确定性量化

    本文提出了一种使用反正则化和控制过程的方法，来解决深度集成网络中的过度自信估计问题，该方法不需要任何超参数校准，并在回归和分类设置中得到了验证。

    Apr, 2023

  • 通过多样性正则化提高集成模型的鲁棒性和校准性

    本文提出了一种新的多样性正则化方法，使用超出分布的样本并增加集成模型的整体准确性，校准性和对外部分布的检测能力。通过在 CIFAR-10、CIFAR-100 和 SVHN 上的实验证明了，多样性正则化对于校准性和稳健性以及外部分布检测具有显著影响。

    Jan, 2022

  • 通过深度模型集成增强可证明的鲁棒性

    本文提出了一种算法，通过优化加权基本模型，对深度模型群集的认证稳健性进行增强，实验结果证明了该算法可以形成比 naive 平均所有可用模型更为稳健的群集，并且通常具有更好的准确性。

    Oct, 2019

  • 关于一种基于一致性感知元学习的可靠神经机器翻译方法

    本文提出了一种基于一致性感知元学习的神经机器翻译（CoNMT）框架，旨在解决当前 NMT 系统中由源多样性现象导致的翻译错误，实验结果表明，该框架能有效提高翻译质量并可靠地处理输入的多样性。

    Mar, 2023

  • WASH：使用通信高效的权重重排，然后平均训练你的集成模型

    WASH 是一种新的分布式方法，用于训练模型集合以进行权重平均化，实现了最先进的图像分类准确性。

    May, 2024