- TransMix:面向 Transformer 视觉任务的混合注意力机制
本文提出了一种名为 TransMix 的混合标签方法,基于 ViT 的注意力图混合标签,这种方法不需要引入额外的参数和 FLOP,并且在不同的基于 ImageNet 数据集的分类任务中都能够显著提高 ViT 的性能以及在语义分割,目标检测和 - AAAI图形移植:节点显著性引导的图形混合和局部结构保护
本文提出了一种名为 Graph Transplant 的 Mixup 类图形增广方法,该方法在数据空间中混合不规则图形以解决不规则图形的数据增广难题,并显著提升了图形分类的性能和模型校准。
- AAAIifMixup:插值图对正则化图分类
本文提出 ifMixup,一种基于插值的正则化技术,通过在输入的节点特征向量和边表示之间进行线性插值来改善 GNN 在监督图分类中的泛化能力,该解决方案使用 Mixup 在图像上的高效策略进行设计,并添加虚拟节点来使两个图形拥有相同的输入大 - EMNLP用对抗性混合策略放松 Mixup 中的局部线性约束
使用对抗混合策略来进一步规范深层网络,以更有效地应对低资源条件下 Mixup 约束问题,并在五种文本分类基准和五种骨干模型上的实验证明,该方法显著降低了 Mixup 变体的错误率(高达 31.3%),特别是在低资源条件下(高达 17.5%)
- ACL基于显著性的跨度混合增强文本分类方法:SSMix
通过 SSMix,在输入文本上进行数据增强而不如之前的隐式向量操作,维持两个原始文本的局部性通过跨度混合以及保留更多与预测相关的标记,我们实验证明,相较于以前的隐式向量操作,我们的方法在包括文本蕴涵、情感分类和问句类型分类的广泛文本分类基准 - ICLR深度度量学习的混合学习:两者共舞
本文探究了如何结合数据增广方法和度量学习中的目标标签,提高表示学习质量,并引入了一种新的度量 —— 利用率。通过在深度度量学习数据集中的实验证明,与基于现有 LOSS 函数的方法相比,混合输入、中间表示或嵌入以及目标标签能够显著提高度量学习 - 通过最优传输的 k-Mixup 正则化深度学习
该研究旨在扩展 Mixup 以提高其对数据结构的利用能力,通过使用 Wasserstein 度量和位移插值将 $k$-batches 的训练点方向扰动到其他 $k$-batches,从而实现 $k$-mixup。实验结果表明,使用 $k$- - CVPRAlignMixup:通过插值对齐特征来改进表征
介绍了一种名为 AlignMix 的新型混合方法,通过在特征空间中几何对齐两个图像,从而使混合方法保留一个图像的几何特征和另一个图像的纹理,提高了表示学习效果。
- 公平的混合:插值促进公平
该研究提出了公平混合(fair mixup)的新型数据增强策略,通过对分组间插值样本的正则化训练来实现分类器的公平性约束,并分析实验证明其在表格、视觉和语言测试中确保了更好的准确性和公平度的泛化能力。
- ICLR混合样本如何提高模型鲁棒性和泛化性能?
本文提供了理论分析,证明了使用 Mixup 在训练中如何帮助模型的鲁棒性和泛化性,表明最小化 Mixup 损失相当于大致最小化对抗性损失的上界,而对于泛化性我们证明了 Mixup 数据增强对应于一种特定类型的数据自适应正则化,从而减少了过拟 - ICMLInstaHide:用于私有分布式学习的实例隐藏方案
本文介绍了 InstaHide,一种能够同时保护隐私并运用于分布式深度学习的图像加密方法,通过一个机制使得攻击者难以破解出影像内容,从而实现对个人隐私的保护,并通过实验与理论分析证明了其对隐私的有效保护。同时,该论文还深入分析了 Pixel - COLINGMixup-Transformer:NLP 任务的动态数据增强
本文尝试将最新的数据增强技术 Mixup 应用于自然语言处理领域,特别是在与 NLP 相关的 transformer-based 学习模型中。实验结果表明,Mixup 在预训练的语言模型中是一个独立于领域的数据增强技术,能够显著提高其性能。
- EMNLPSeqMix: 通过序列混合增强主动序列标记
通过数据增强、混合和鉴别器技术,提高了主动式序列标注方法的标注效率和识别准确性
- 关于 Mixup 正则化
本论文研究数据增广技术 Mixup 的理论基础,指出 Mixup 可被解释为标准经验风险最小化估计器,通过数据转换和随机扰动来实现。该方法在测试时能够提高分类器性能,同时还获得了自校准和有效的正则化效果,以防止过度拟合和过度自信的预测。
- CVPR神经网络比人类评分者更具生产力:活跃混合用于从黑盒模型中进行数据效率知识蒸馏
本研究探讨如何使用知识蒸馏从黑盒模型中训练神经网络进行视觉识别,使用混合和主动学习等方法,从而在节省计算和数据集成本的同时保持高性能。
- 点云领域自适应的自监督学习
本篇论文探究了自监督学习在 3D 感知问题的领域自适应中的应用,通过提出基于形变重构的预训练任务以及一种名为 PCM 的新颖训练流程,对分类和分割的领域适应数据集进行了评估,取得了相较于现有和基准方法的巨大改进。
- MetaMixUp: 使用元学习学习 MixUp 的自适应插值策略
本文提出了一种名为 MetaMixUp 的数据增强方法,该方法通过在线元学习动态学习插值策略,可用于模型正则化、半监督学习和领域自适应,实验证明 MetaMixUp 比原始的 MixUp 和其变体在半监督学习配置下效果更好。
- 通过全局增强方法提高短文本分类效果
本文研究了不同的文本扩充方法在分类应用中的影响,通过使用包括社交媒体和新闻文章在内的三个数据集,我们发现基于 Word2vec 的文本扩充是一种可行的选择,并且使用 mixup 可以进一步提高性能,并降低过拟合的影响。同时,通过翻译服务进行 - ICLR数据插值预测: Mixup 的替代解释
提出了 Data Interpolating Prediction(DIP)框架,将样本混合过程与分类器的假设类封装在一起,从而使训练和测试样本受到平等对待,进而帮助降低 Rademacher 复杂度并减少泛化误差。DIP 在实证上表现比 - MixUp 作为定向对抗训练
本文阐述了 MixUp 的工作机制,并介绍了与对抗训练有关的一类新型训练方案:方向对抗训练(DAT)。本文证明了 MixUp 等同于 DAT 的一个特殊子集。此理解有助于解释 MixUp 的有效性,并揭示了一族更为普遍的 MixUp 方案,