May, 2024

高效的集成改进训练数据归因

PDF
TL;DR我们提出了两种高效的集成策略，DROPOUT ENSEMBLE 和 LORA ENSEMBLE，可以显著降低训练时间（高达 80％），服务时间（高达 60％）和空间成本（高达 80％），在保持与原有独立集成相似的归因效果的同时，有效地改善了计算效率和归因效果的 Pareto 最前沿。
training data attributionretraining-based methodsgradient-based methodsensemble strategiescomputational efficiency
发现论文，激发创造
  • 训练数据归因的贝叶斯视角

    本文研究了训练数据归因技术，并提出了基于贝叶斯视角的训练数据归因方法；作者观察到单个训练样本的影响往往被模型初始化和 SGD 批量组成等噪音所掩盖，只有在某些特殊情况下才能可靠地使用训练数据归因来解释模型预测结果。

    May, 2023

  • 扩散模型的训练数据归因

    使用编码集合的互补模型来评定如何影响扩散模型的输出，可提高模型可解释性，检验训练数据对于模型输出的影响，并作为生成模型

    Jun, 2023

  • 通过近似展开的差分训练数据归因

    通过引入类似影响函数的公式来计算，我们将基于隐式微分和展开的方法相连接，结合它们的优点，提出了一种名为 Source 的近似展开式 TDA 方法，该方法在计算上比展开式方法更高效，适用于隐式微分方法无法处理的情况，如非收敛模型和多阶段训练管线。在反事实预测方面，Source 在性能上优于现有的 TDA 技术，尤其是在隐式微分方法表现欠佳的情况下。

    May, 2024

  • 低数据迁移学习的深度集成

    本文探讨了从预训练模型中创建集成模型的不同方法，并提出了一种有效的算法来识别下游数据集的预训练模型子集。在 19 项下游任务中（视觉任务适应基准），即使从超过 2000 个预训练模型中进行选择，其实现了具有较低推理预算的最先进性能，并且在 ImageNet 变体上对分布转移具有更好的鲁棒性。

    Oct, 2020

  • 基于拓扑数据分析的语言模型多样性集成

    使用拓扑数据分析 (TDA) 基于距离测量，提出了估计自然语言处理 (NLP) 模型权重的方法，通过对模型的性能和相似性进行综合评估，改进了集成学习方法，提高了文本分类准确性和相关的不确定性估计。

    Feb, 2024

  • 图像数据归因的简单有效基础线

    数据归因是理解机器学习模型的关键方法之一，我们提出了一种基于自监督学习预训练的最小化基线方法，对图像数据进行归因，这种方法计算成本低、内存占用少、易于扩展，且在 CIFAR-10 和 ImageNet 上实现了与现有方法相媲美甚至更好的性能。

    Nov, 2023

  • LoRA-Ensemble: 自注意力网络的高效不确定性建模

    我们引入了一种基于低秩调整（LoRA）的参数高效深度集成方法，即 LoRA-Ensemble，用于自注意力网络，通过在预训练的自注意力网络中共享权重并训练成员特定的低秩矩阵，我们的方法在校准方面表现出优越性，并在各种预测任务和数据集上实现了相似或更好的准确性。

    May, 2024

  • 高效多样性组合的判别式联合跟踪

    这篇研究论文提出了一个在线集成追踪器，通过生成一组有效的人工训练数据来直接生成一个多样化的委员会。人工数据是从目标和背景的样本经验分布中抽样，这个过程由委员会查询控制，以缩小分类器之间的重叠，实验结果表明，该方案在公共基准测试上胜过传统的集成追踪器。

    Nov, 2017

  • 利用非常大的 Dropout 进行微调

    使用高辍学率而不是集成技术，通过精细调整来获得丰富的表示，其实现出超过集成方法和权重平均方法的超越分布性能，从而为庞大预训练模型的微调情景提供了实际意义。

    Mar, 2024

  • 局部独立预测模型集合

    本文通过介绍新的多样性度量方法介绍了一种新的模型集成方法，该方法特别适用于数据限制和协变量转移，可显著提高模型的多样性和泛化性能。

    Nov, 2019