流形增强：将混合正则化与 UMAP 结合

Dec, 2023

流形增强：将混合正则化与 UMAP 结合

Augment on Manifold: Mixup Regularization with UMAP

Yousef El-Laham, Elizabeth Fons, Dillon Daudert, Svitlana Vyetrenko

TL;DR深度学习模型的数据增强技术在提高性能方面发挥重要作用。本文提出了一种叫做 UMAP Mixup 的混合正则化方案，用于深度学习预测模型的 “在流形上” 自动数据增强。该方法通过利用一种称为统一流形逼近和投影的降维技术，确保 Mixup 操作生成的合成样本位于特征和标签的数据流形上。对多样的回归任务的评估显示，UMAP Mixup 在与其他 Mixup 变种的竞争中表现出色，显示出改进深度学习模型泛化性能的潜力。

Abstract

data augmentation techniques play an important role in enhancing the performance of deep learning models. Despite their proven benefits in computer vision tasks, their application in the other domains remains lim

data augmentation techniques deep learning models umap mixup on-manifold automated data augmentation generalization performance

发现论文，激发创造

MixUp 作为局部线性域外正则化

本文提出混合增强数据方法 MixUp 的一种新的视角 ——“out-of-manifold regularization”，并发现了其存在的 “manifold intrusion” 问题，提出了一种新的自适应正则化方法 AdaMixUp，并通过实验验证了 AdaMixUp 的优越性。

Sep, 2018

UMAP: 统一流形近似投影降维

UMAP 是一种基于黎曼几何和代数拓扑的流形学习技术，可以作为机器学习中通用的降维算法，具有与 t-SNE 相当的可视化质量和更好的整体结构保留能力，并且没有关于嵌入维度的计算限制。

Feb, 2018

关于 Mixup 正则化

本论文研究数据增广技术 Mixup 的理论基础，指出 Mixup 可被解释为标准经验风险最小化估计器，通过数据转换和随机扰动来实现。该方法在测试时能够提高分类器性能，同时还获得了自校准和有效的正则化效果，以防止过度拟合和过度自信的预测。

Jun, 2020

正确绘制流形图：用于小样本学习的 Manifold Mixup

本文研究了 Manifold Mixup 在 few-shot 学习中的作用，并结合自监督学习和正则化技术，提出了一种名为 S2M2 的方法，显著提高了 few-shot 学习的性能，并在 CIFAR-FS、CUB、mini-ImageNet 和 tiered-ImageNet 等标准 Few-shot Learning 数据集上打破了当前最新的准确性记录。

Jul, 2019

混合流形学习：通过插值隐藏状态获得更好的表示

Manifold Mixup 是一种正则化方法，有助于训练神经网络在多个隐藏层级别上具有更平滑的决策边界，并提高其对单步对抗攻击的鲁棒性和测试日志似然率。

Jun, 2018

在生物医学分割中探索基于熵和代表性采样的混合模型中的 UMAP

本研究探讨了在医学分割的主动学习领域中，熵和代表性采样技术的混合模型，特别是研究了 UMAP（均匀流形逼近和投影）作为捕捉代表性的技术的作用。通过在医学分割十项挑战中使用心脏和前列腺数据集进行验证，我们发现新颖的熵 - UMAP 采样技术的混合组合在 Dice 分数上显著优于随机基线（心脏为 3.2％，前列腺为 4.5％），并在我们研究的 10 种不同主动学习方法中获得了最高的 Dice 系数。这提供了初步证据表明，在混合主动学习模型中，熵和 UMAP 方法之间存在着有趣的协同作用，其中前者在后者之前起到了积极的作用。

Dec, 2023

通过互补的内类和间类 Mixup 提高图像分类准确性

提出一种综合的混合方法和综合解决方案，针对图像分类任务中的类内混合、类间可分离性和类内内聚性进行增强，实验结果表明，该方法相比于现有方法以及类似方法在分类准确性上具有显著提升。

Mar, 2024

近似 UMAP 允许高速在线可视化高维数据流

在脑机接口领域，我们引入了一种名为近似 UMAP（aUMAP）的新方法，用于实时推断，其结果显示该方法能够在减少投影速度一个数量级的同时维持与标准 UMAP 相同的训练时间和投影空间。

Apr, 2024

生理时间序列数据中基于混合的数据增强方法的实证研究

本研究系统评估了混合型数据增强方法在生理时间序列分类中的性能，并发现混合型增强方法能够显著改善数据集的性能，而且不需要专业知识或大量参数调整。此外，还总结了混合型增强方法的独特属性，并强调在生理时间序列数据中使用混合型增强方法的潜在益处。

Sep, 2023

基于数据制图的预训练语言模型 MixUp 技术

本文提出 TDMixUp 方法，利用训练动态，基于易于学习或模糊样本测量置信度、可变性、AUM 特征，让更具备信息量的样本相互插值，生成新样本，实验证明该方法不仅在较小的训练数据子集上取得竞争性能，而且在广泛的自然语言处理任务中，使用预训练语言模型 BERT 取得较低的期望校准误差。我们公开发布了我们的代码。

May, 2022