data reweighting | BriefGPT

关键词data reweighting

搜索结果 - 6

ScaleBiO: 面向 LLM 数据重新加权的可扩展的双层优化
本研究提出了第一种可扩展实例，称为 ScaleBiO，通过与一种称为 LISA 的新型算法相结合，使软件在八个 A40 GPU 上扩展到 34 亿参数的大型语言模型（LLM），标志着在实际应用场景中首次成功应用双层优化于大型 LLM。从实证
PDF4 days ago
利用神经网络指导的因果公平数据集重采样
通过采用两个神经网络，其中一个反映了因果图的结构，另一个反映了干预图的结构，该研究提出了一种改进数据集的重新加权方法，以实现因果公平性，并在实验中证明了其有效性。
PDF7 months ago
EMNLP自我引导的数据重新加权用于语言模型预训练
我们提出了 PRESENCE 方法，通过利用自我影响（SI）得分作为样本重要性和预训练的指标来共同重新加权样本，从而促进模型预训练的新颖性和稳定性，填补了在预训练语言模型中采用模型驱动的样本重新加权的重要领域的空白。
PDF8 months ago
使用双层优化重新加权数据的挑战
利用大训练集训练模型以在不同分布的较小测试集上表现良好的任务中，通过为每个训练数据点学习权重是一种吸引人的解决方案，但传统的双层优化算法可能导致次优解，这表明了数据重新加权的困难，并解释了为何这种方法很少在实践中使用。
PDF8 months ago
ICMLFORML: 学习为公平性重新加权数据
本篇论文介绍了通过元学习实现的公平优化权重算法（FORML），可以通过动态地重新加权数据来平衡过度和欠表示子群的贡献，并提高模型的公平性和鲁棒性，同时保持原本预测指标的准确性，特别适用于图像分类任务，有助于构建更公平的数据集。
PDF2 years ago
AAAI深度交互学习的重加权方法
本研究提出了一种改进的数据重新加权算法，通过将学生模型的内部状态提供给教师模型并使用元梯度一起训练，以增强学生模型训练的自适应样本权重，并在图像分类和神经机器翻译实验中证明了其显著的改进效果。
PDF4 years ago