Jan, 2023

通过加权插值实现数据更新的向后兼容性

PDF
TL;DR研究机器学习应用中数据更新导致的负面影响，提出了一种名为 “Backward Compatible Weight Interpolation”（BCWI）的方法，该方法通过插值处理模型权重，实现了新模型精度提升，同时保持了与旧模型的向后兼容性。
backward compatibilitymachine learningclassificationdata updatesinterpolation
发现论文，激发创造
  • 机器学习系统中向后兼容性的实证分析

    本文研究机器学习中的更新问题，探讨了一些挑战和需要解决的问题，包括向后兼容性，数据偏移和噪声数据集等，并提出了解决这些问题的策略。

    Aug, 2020

  • 结构化预测中模型更新回归的测量和降低方法在自然语言处理中的应用

    本文研究了结构预测任务中的模型更新回归问题，通过测量和分析了不同模型更新设置下的模型更新回归情况，探索和基准测试了现有的降低模型更新回归的技术，包括模型集成和知识蒸馏，并提出了一种简单有效的方法，称为 “Backward-Congruent Re-ranking (BCR)”，该方法结合了结构预测的特性，比模型集成和知识蒸馏方法更好地缓解了模型更新回归问题。

    Feb, 2022

  • 自适应向后兼容训练的 MixBCT

    提出了 MixBCT，一种简单而高效的反向兼容训练方法，作为适用于不同质量旧模型的统一框架，通过构建单一损失函数实现了反向兼容训练。

    Aug, 2023

  • 具有贝叶斯数据重新加权的强健概率建模

    本研究提出了一种方法，通过将每个观察的可能性变为一种权重，从数据中推断连续变量和权重，以检测和减轻大量概率模型的不匹配性，并明确不同类型的不匹配性对模型的影响与表现，这有助于提高模型的鲁棒性和预测准确性。

    Jun, 2016

  • 隐含的重要性权重感知更新

    利用广义隐式 Follow-the-Regularized-Leader (FTRL) 框架，通过对比梯度更新，本文首次展示了重要性权重感知（Importance Weight Aware，IWA）更新在在线学习中具有更好的遗憾上界，进一步说明 IWA 更新可被视为近似的隐式 / 近端更新。

    Jul, 2023

  • 学习向后兼容嵌入

    本文研究了嵌入式版本更新及其向后兼容性问题，并提出了基于学习向后兼容嵌入式的解决方案 BC-Aligner，成功解决了更新嵌入式版本但不需要重新训练消费者模型的问题。

    Jun, 2022

  • 使用双层优化重新加权数据的挑战

    利用大训练集训练模型以在不同分布的较小测试集上表现良好的任务中，通过为每个训练数据点学习权重是一种吸引人的解决方案，但传统的双层优化算法可能导致次优解，这表明了数据重新加权的困难，并解释了为何这种方法很少在实践中使用。

    Oct, 2023

  • 解决 A/B 测试中数据训练循环引起的干扰问题：加权训练方法

    我们引入了一种称为加权训练的新方法，通过训练模型预测数据点出现在处理组或对照组的概率，并在模型训练过程中应用加权损失函数，从而解决了现代推荐系统中历史数据训练循环在 A/B 测试中引入的干扰问题，通过模拟研究显示了我们方法的较低偏差和方差。

    Oct, 2023

  • 样本重加权的稳健学习

    本文研究如何在模型错配偏差情况下学习线性预测模型。我们提出了一种样本重新加权方法，该方法可以减少输入变量之间的共线性，从而提高设计矩阵的条件，并与任何标准学习方法相结合，用于参数估计和特征选择，进而提高模型在不同分布数据集下的稳定性。

    Nov, 2019

  • 重新思考分布移动下的深度学习重要性加权

    本文研究分布偏移问题下，重要性加权在复杂数据上无法良好运作的原因，并提出了一种基于动态重要性加权的端到端解决方案。实验表明，该方法能够与现有最先进的方法相媲美。

    Jun, 2020