神经数据扩增通过样本外推

Feb, 2021

Neural Data Augmentation via Example Extrapolation

Kenton Lee, Kelvin Guu, Luheng He, Tim Dozat, Hyung Won Chung

TL;DR提出了一种基于神经扩展范例（Ex2）的数据增强方法，通过从某个分布中抽样得到的一些范例向该分布中生成新范例，应用于语言理解任务中，取得了在几个少样本学习基准上显著的优化结果。

Abstract

In many applications of machine learning, certain categories of examples may be underrepresented in the training data, causing systems to underperform on such "few-shot" cases at test time. A common remedy is to perform data augmentation, such as by duplicating underrepresented example

machine learning data augmentation neural example extrapolation few-shot learning language understanding

发现论文，激发创造

扩展合成：从有限样本生成大规模数据集

通过 Expansive Synthesis 模型，从有限样本中生成大规模、高保真度的数据集，提供解决数据稀缺问题的鲁棒方案，为机器学习应用中的数据提供了更强可用性的途径。

Jun, 2024

支持外推的表征学习

本文考虑了学习支持外推的表示的挑战，引入了一种新颖的视觉类比基准和一种简单的技术：时间上下文归一化来支持关系强调的表示，接着发现该技术显著提高了外推能力，胜过了许多竞争技术。

Jul, 2020

足够好的样本外推

本文研究了将文本示例的隐藏空间分布从一个类别推广到另一个类别是否是数据增强的有效归纳偏差，并提出了一种称为 GE3 的简单数据增强协议，应用于三个文本分类数据集的各种数据不平衡情况，GE3 优于上采样和其他隐藏空间数据增强方法。

Sep, 2021

探索社交媒体语料库上的数据增强方法

本研究探索了数据增强技术对文字分类的影响，使用多种数据增强技术，包括过采样、易用数据增强、反向翻译、灰度缩放以及一种少样本学习的方法 PTE。结果表明，数据增强技术对模型性能只有轻微且不一致的改进，少数同义词替换可以提高模型性能，灰度缩放需要进一步研究，PTE 的表现优于监督学习，尤其是在类别容易分离的情况下。

Mar, 2023

反例引导的数据增强

提出一种新的基于反例的机器学习数据集增强框架，使用反例数据生成器和错误表等关键组件改进模型的分类性能，在深度神经网络的自动驾驶目标检测案例研究中表现出较高效果。

May, 2018

针对低资源事件抽取的目标增强

应对低资源信息提取的挑战仍然是一个持续存在的问题，由于有限训练示例中固有的信息稀缺性。现有的数据增强方法被认为是潜在的解决方案，但在弱增强（例如同义词增强）和剧烈增强（例如缺乏适当指导的条件生成）之间很难达到平衡。本文提出了一种新的范式，采用目标增强和反向验证，以生成增强的示例，增强了多样性、极性、准确性和连贯性。广泛的实验结果证明了所提范式的有效性。此外，还讨论了已确定的局限性，为未来改进提供了启示。

May, 2024

学习外推：一种横式学习方法

本文研究了利用和超参数微调相关的重新参数化策略，增强深度学习系统在特定条件下的组合泛化能力，从而解决超域外推问题。该方法在各种监督学习和模仿学习任务中均具有实用性。

Apr, 2023

合成样例提高罕见类别泛化能力

研究了少量样本学习的一个解决方案，通过模拟数据来扩充现有训练数据，并应用于动物物种分类。研究结果显示，使用模拟数据可以大幅降低对稀有分类的误分类率，并且随着模拟数据量的增加，目标分类的准确性也随之提高，同时高变化的模拟数据提供了最大的性能提升。

Apr, 2019

通过数据重要性外推在对抗训练中进行大规模数据集剪枝

基于从小数据集外推数据重要性分数的数据修剪策略，在保持鲁棒性的同时有效地减小数据集大小。

Jun, 2024

深度学习大批量训练中的外推

本文提出使用计算有效的外推方法来稳定优化轨迹，同时通过平滑避免锐减的局部最小值，从而解决了大批量训练数据下的模型精度退化问题并且在 ResNet、LSTM 和 Transformer 等模型下得到证明。

Jun, 2020