data mixing | BriefGPT - AI 论文速递

关键词data mixing

搜索结果 - 7

技术报告：更好混合的竞争解决方案
在大规模模型时代，选择和优化海量复杂数据集以提高大型语言模型的性能，在有限的计算资源约束下成为一项重大挑战。本文详细介绍了我们在 BetterMixture 挑战中的解决方案，着重于对大型语言模型进行微调数据混合。我们的方法在数据去重、低级
PDF3 months ago
语言模型预训练的高效在线数据混合
研究论文通过开发一种高效的在线数据混合算法（ODM），结合了数据选择和数据混合的元素，优化了训练过程中的数据混合比例，提高了大型语言模型的性能。
PDF7 months ago
通过数据混合消除预先训练模型中的虚假相关性
本研究介绍了一种简单有效的方法来消除预先训练的机器学习模型中存在的伪相关性，该方法通过数据混合平衡所有类别中的伪属性，并在多种视觉和 NLP 任务中获得了最先进的表现。
PDFa year ago
CVPR用于自监督学习改进的简单数据混合先验
本文提出了 SDMP 方法来捕捉数据混合的内在相关性，将混合的图像作为额外的正对，从而在自监督表示学习中提高了学习框架的准确度和鲁棒性，是首个成功利用数据混合来提高视觉 Transformer 性能的方法。
PDF2 years ago
ECCVAutoMix: 揭示 Mixup 的强大分类器之力
该论文提出了一种自动混合框架 ——AutoMix，它将混合分类分为两个子任务，并使用相应的子网络在双层优化框架中解决。AutoMix 在 9 个图像基准上的广泛实验表明，在各种分类场景和下游任务中，其优越性超过了现有技术。
PDF3 years ago
AAAISnapMix：用于增广细粒度数据的语义比例混合
本文提出了一种基于类激活图（CAM）的新方案，名为 Semantically Proportional Mixing（SnapMix），以减少在增广精细数据时的标签噪声。与现有的基于混合的方法相比，实验证明我们的方法在多个数据集和不同网络深
PDF4 years ago
对比学习的硬负样本混合
研究表明，在自监督学习中使用 hard negatives, 数据混合等技术可以提高视觉表示的质量，本文提出了一种基于特征水平的硬负例混合策略，并在多个任务上验证其有效性。
PDF4 years ago