SSMBA：基于流形的自监督数据增强方法，提高域外鲁棒性

EMNLPSep, 2020

SSMBA：基于流形的自监督数据增强方法，提高域外鲁棒性

SSMBA: Self-Supervised Manifold Based Data Augmentation for Improving Out-of-Domain Robustness

Nathan Ng, Kyunghyun Cho, Marzyeh Ghassemi

TL;DR使用对数据流形的损坏和重构函数，我们在自然语言领域引入了 SSMBA 数据增强方法，实现了对语料库的数据增强，结果表明在三个任务和九个数据集上，SSMBA 始终优于现有的数据增强方法和基线模型，特别是在机器翻译和情感分析方面，准确率和 BLEU 分数都有很大提升。

Abstract

Models that perform well on a training domain often fail to generalize to out-of-domain (OOD) examples. data augmentation is a common method used to prevent overfitting and improve OOD generalization. However, in natural language, it is difficult to generate new examples that stay on t

data augmentation natural language processing synthetic training examples out-of-domain generalization manifold assumption

发现论文，激发创造

回归学习的一阶流形数据增强

研究数据增强方法在回归问题领域的应用，引入一种新的数据驱动的领域无关数据增强方法（FOMA），通过从训练分布的切平面上采样新的例子来提高神经网络的泛化能力。

Jun, 2024

流形对抗数据增强提升不确定性校准

提出了一种名为 OMADA 的方法，通过在基于自编码器的生成模型的潜在空间内跟随一个 on-manifold 对抗攻击路径，试图产生具有挑战性的示例来改善不确定性估计，从而在多个数据集和网络架构上实现了更准确、更好地校准的分类器，并在某些情况下跑赢了温度缩放等后处理校准方法。

Dec, 2019

ADASSM：来自图像的统计形状模型的对抗性数据增强

基于深度学习模型的图像到统计形状模型 (Image-to-SSM) 的在线数据增强框架通过引入数据相关噪声生成或纹理增强，提供了改进的准确性，使模型能够关注底层几何形状而不仅仅依赖像素值。

Jul, 2023

TextManiA: 文本驱动流形增强的视觉特征丰富化

TextManiA 是一种文本驱动的流形增强方法，通过利用易于理解的视觉模仿词（即属性），在语义上丰富视觉特征空间，无论数据分布如何；通过在文本表示和目标视觉特征空间之间建立桥梁，并提出了一种高效的向量增强方法。实验证明 TextManiA 在稀缺样本和类别不平衡的情况下表现出强大的性能，并且与基于标签混合的方法在均匀分布的稀缺数据中兼容。

Jul, 2023

低资源神经机器翻译中数据增强的再思考：多任务学习方法

本文提出了一种基于多任务学习的数据增强方法，通过将目标句子的顺序进行颠倒等操作，产生不流畅的目标句子，作为辅助任务使用以加强编码器和强制解码器更多地关注源表示。在六个低资源翻译任务上的实验证明，该方法相对于以扩展经验数据分布为目标的传统数据增强方法，可以在提高翻译质量的同时提高翻译系统的鲁棒性和抗干扰性。

Sep, 2021

自导向掩蔽自编码器用于领域无关的自我监督学习

Self-guided Masked Autoencoders (SMA) is a fully domain-agnostic masked modeling method for self-supervised learning, achieving state-of-the-art performance without domain-specific knowledge.

Feb, 2024

虚拟数据增强：一种用于微调预训练模型的稳健通用框架

该论文提出了一种名为 Virtual Data Augmentation（VDA）的数据增强技术，通过基于原始令牌嵌入构建混合多项式来增加语义相关且具有充分多样性的虚拟数据嵌入，其中掩码语言模型保证了语义相关性，高斯噪声提供增强的多样性，并提出了一种规则化训练策略以平衡两个方面，大量实验证明该方法能提高 pre-trained language models 的鲁棒性和减轻对对抗攻击的表现下降。

Sep, 2021

无监督异常检测和定位的自监督遮掩

这篇论文提出了一种名为 “自监督遮盖” 的无监督异常检测和定位方法，通过随机遮盖和恢复来扩展基于重建的异常检测架构，并引入了渐进式遮盖细化方法来进一步提高检测和定位效率和效果。

May, 2022

TabMDA：使用上下文子集的 Transformers 进行任何分类器的表格流形数据增强

TabMDA 是一种用于表格数据的流形数据增强方法，利用预训练的上下文模型将数据映射到流形空间，并通过多次编码数据进行标签无关的转换，从而拓展训练数据集，为下游分类器的性能提供了一种有效的利用预训练上下文模型的方式。

Jun, 2024

利用局部流形平滑性预测跨领域泛化能力

提出了一种基于本地流形平滑度的分类器复杂度度量方法，其定义了分类器对于给定测试点周围流形邻域干扰的输出灵敏度，通过数据增强技术采样点估算平滑度，实验结果表明，该方法与实际的越域泛化之间存在强有力的相关性。

Jul, 2022