- 用预测的难样本标签重新训练可证明提高模型准确性
通过理论分析,在给定随机受损标签的线性可分情境中,重新训练可以提高模型的整体准确率,并且通过基于共识的重新训练方法在没有额外的隐私成本的情况下显著提高标签差分隐私训练的准确率。
- 面向稳定的机器学习模型再训练:通过缓变序列实现
通过使用混合整数优化算法,在重新训练机器学习模型时考虑到不同数据批次更新的稳定性,通过使用自定义的距离度量指标来实现保持一致的分析洞察力,并在一个真实的生产案例中展示出比贪婪训练模型更强的稳定性。重要的分析洞察力在重新训练迭代中保持一致。
- McUDI: 模型中心化无监督退化指示器用于故障预测 AIOps 解决方案
本文介绍了一种模型中心的无监督退化指标 (McUDI),能够检测 AIOps 模型由于数据变化而需要重训练的确切时刻,并展示了在 AIOps 解决方案的维护流程中使用 McUDI 可以减少需要注释的样本数量,对于作业故障预测减少了 30k - Graph 神经网络归因的扰动评估中的差异
该研究通过重新训练网络来评估图神经网络归因方法,揭示了归因方法在不同数据集和网络上的可变性,并发现 GNNExplainer 与任意边重要性指定方法表现相似,研究得出重新训练评估不能作为广义基准,而应作为一种工具集来评估特定网络、数据集和稀 - PERP: 重新思考 LLM 时代的修剪再训练范式
通过修剪来高效地压缩神经网络,减少存储和计算需求,同时保持预测性能,我们提出了一种参数高效的修剪后重训练方法,使得修剪和重训练大规模语言模型的任务成为可能。
- 亲戚训练的生成型人工智能模型崩溃
通过大量人工生成的内容进行训练,AI(人工智能)图像合成能够生成与其训练数据在视觉外观上相匹配的语义连贯的图像。我们展示了这些生成型 AI 模型在重新训练时即使只是重新训练少量自己生成的内容,也会产生高度畸变的图像。同时我们还展示了这种畸变 - MixtureGrowth: 通过组合学习参数实现神经网络的增长
深度神经网络使用 MixtureGrowth 方法实现网络扩展和训练,提高了准确率,并减少了计算次数。
- LARA:轻量级和抗过拟合的无监督异常检测再训练方法
该研究提出了一种基于深度变分自编码器(VAEs)的时间序列异常检测方法中的轻量级和防过拟合的重新训练方法(LARA),该方法能够以较快的速率收敛,并避免过拟合问题。实验证明,即使使用新分布的 43 个时间段的数据来重新训练 LARA,其 F - 机器学习模型的经济高效再培训
优化机器学习模型重新训练的成本,通过考虑数据、模型和预测查询等多种因素,提出了一种成本感知的重新训练算法 Cara,该算法能适应不同的数据变化并在总成本更低的情况下实现比漂移检测基线更好的准确性。
- MemDA:基于记忆的漂移自适应城市时间序列预测
我们提出了一种新的城市时间序列预测模型,通过考虑数据中的周期性,并使用元动态网络根据漂移进行即时调整,以解决概念漂移问题。实验结果表明,我们的设计明显优于现有方法,并可以通过减小它们对分布变化的敏感性来很好地推广到现有的预测模型。
- 基于影响函数的二阶通道修剪 - 无需重新训练即可评估修剪的真实损失变化
优化通道修剪方法,通过重新评估损失的变化来选择更可靠和自信的通道修剪,以及开创出一系列不同于现有修剪方法的新范例。
- ICLR神经剪枝中保持可训练性
本文介绍了一种具有可扩展性的训练可塑性剪枝方法(TPP),该方法通过惩罚卷积内核的克罗内克矩阵来使神经网络保持可训练性,从而在剪枝表现和对再培训超参数的鲁棒性方面得到了改善,特别是在具有非线性结构的 ConvNets 上表现明显优于其他对应 - 指导卷积神经网络针对对抗输入进行重新训练
研究寻求最佳指引指标和优化数据集配置来提高卷积神经网络模型对抗性输入的准确性和资源利用率,通过实证研究发现,在使用惊奇充分度量作为指引度量进行重新训练时,通过使用原始权重和排序后的惊奇充分度量训练模型,可以在不使用大量输入的情况下改善模型对 - 联邦学习中的被遗忘权利:一种高效的快速重训练实现
本研究旨在研究联邦学习(FL)系统中的机器非重学习问题,提出了一种快速数据淘汰方法以保护数据隐私,并在四项真实数据集上进行了测试和分析。
- CVPR边缘深度神经网络的更新压缩技术
本文研究了在边缘设备上重新训练深度神经网络的应用,并提出了一种基于矩阵分解的简单方法来压缩模型更新,以最小限度地传输数据,该方法与联邦学习类似,但一般来说,比现有方法需要的更新数据量少一半以上。
- ICLR有意义的网络剪枝:重新训练变体的案例研究
本文分析不同的修剪机制对神经网络修剪重训练的影响
- 重训练或不重训练:用于变点检测的一致性测试鞅
本文介绍了一种基于交换鞅的策略来检测数据分布变化的算法训练方案,并基于符合性预测提出了一种通用的预测算法重新训练方法,初步探讨了其效率。
- DeltaGrad:机器学习模型快速微调
提出了 DeltaGrad 算法,用于快速重新训练基于训练阶段缓存信息的机器学习模型,以解决由于稍微更改数据集引起的代价昂贵的重新训练问题,以实现隐私性、稳健性、偏见减少和不确定性量化等多种应用,并得到了理论和实证支持,与现有技术相比效果优 - AAAI学习未来工作的职业任务共享动态
本文使用动态任务份额的新方法探讨了过去十年人工智能创新对职业任务需求的影响,尤其是在高、中、低工资职业间的影响,并预测了未来职业任务需求的趋势。这对未来的劳动力转型和再培训起到了关键作用。
- 使用自适应步长重新训练的深度神经网络的固定点优化
本文提出了一种对定点优化算法的改进,它可以动态估计量化步长,同时实现了逐步量化方案,经实验发现:该算法适用于前馈神经网络、卷积神经网络和循环神经网络。