- 自监督学习中不需要数据增强
本研究探讨在大规模数据集下只使用裁剪而不使用调整大小的数据增强可得到强大的图像表示,并达到最先进的结果,同时讨论计算约束对实验深度学习研究结果的影响。
- 预训练神经操作器的策略
针对偏微分方程(PDE)建模的预训练最近展现出在扩展神经算子跨数据集以提高泛化能力和性能方面的潜力。尽管取得了这些进展,我们对预训练如何影响神经算子的理解仍然有限;研究通常提出了定制的架构和数据集,使得比较和检查不同预训练框架变得困难。为了 - 配置数据增强以减少视觉 Transformer 中位置嵌入的方差偏移
我们提供了关于 Vision Transformers 中数据增强的问题以及正确的配置,以消除方差偏移的副作用,并通过实验证明采用我们的准则与当前数据增强配置相比能够提高 Vision Transformers 的性能。
- 我们能否摆脱自我监督学习中的强数据增强?
自我监督学习(SSL)作为应对深度神经网络(DNNs)中有限标记数据挑战的一种有前途的解决方案,具有可扩展性潜力。本研究全面探索了 SSL 在各种数据增强中的行为,揭示了它们在塑造 SSL 模型性能和学习机制方面的关键作用。利用这些见解,我 - EM-TTS:高效训练的低资源蒙古语轻量级文本到语音
基于深度卷积神经网络的轻量级文本转语音系统,通过 CNN-based 序列合成技术,使用数据增强方法减少训练时间,同时保证合成语音的质量和自然度。
- 基因学习用于设计模拟到真实数据增强
使用可解释的度量方法,结合遗传编程技术,预测适用于特定 sim-to-real 场景的数据增强策略,并在无需训练模型的情况下为特定数据集设计数据增强策略。
- 增强方法与算法:自监督学习中的有效途径
我们研究了自监督学习中数据增强、预训练算法和模型架构的相对效果。通过比较多个著名的自监督学习方法,我们发现增强技术对性能的改进更为显著,而许多算法改进只有微小的影响。我们的发现挑战了自监督学习主要由算法改进主导的预设,并指出多样的增强方法以 - 自监督的医学图像数据可视化
通过自监督学习方法和数据增强,例如 SimCLR、BYOL 或 DINO,可以获得语义上有意义的图像数据集表示,并在有监督微调之前被广泛使用。最近的自监督学习方法 $t$-SimCNE 使用对比学习直接训练适用于可视化的 2D 表示。当应用 - INViT:具有不变嵌套视图变换器的通用路由问题求解器
基于深度强化学习的新型架构 INViT,通过在编码器中嵌套设计和不变视角,利用改进的策略梯度算法和数据增强,提高了学习的求解器的泛化能力,并在不同分布和问题规模上展现了显著的泛化性能。
- ConFit: 使用数据增强和对比学习改善简历与工作匹配
一种可靠的简历 - 岗位匹配系统,通过数据增强和对比学习方法处理交互记录稀疏问题,在 nDCG@10 评估指标上超过其他方法,提升了岗位和简历排序效果。
- 有效图像分类的图像边缘增强
通过在训练过程中引入高频特征提取和边缘增强的方法,我们提出了一种增强神经网络的准确性和训练速度的方法。实验证明了我们的方法在两个不同的数据集 CIFAR10 和 CALTECH101 以及三种不同的网络架构 ResNet-18,LeNet- - 提升存储效率训练的伪造令牌
深度神经网络在计算机视觉任务中取得了显著的性能提升,但实现高度可泛化和高性能的视觉模型需要大量的数据集,这对于扩展视觉模型来说是一个关键瓶颈。本文提出了一种基于向量量化的特征向量(即标记)作为视觉分类网络输入,以解决存储挑战,并通过引入 T - 解构自我监督学习中的数据增强和格式转换对图像表征的影响
通过研究频域数据增强和格式转换对视觉自监督学习的影响,本文证明了通过这些方法的结合可以提高图像分类准确性,并且在少样本学习和迁移学习方面取得了改进。
- 自监督解缠:利用数据增强中的结构
自我监督表示学习经常使用数据增强来诱导对数据的 “风格” 属性的某种不变性。然而,由于在训练时通常不知道下游任务,很难事先推断哪些属性实际上是 “风格”,并且可以安全地丢弃。为了解决这个问题,我们引入了一种更有原则性的方法,旨在解开 “风格 - 自我监督表示学习的随机场增强
基于高斯随机场的新型局部变换用于自监督表征学习,并通过改进的数据增强方法,在 ImageNet 和 iNaturalist 数据集上实现了准确性的提升。
- 何时学习什么:模型自适应数据增强课程
模型自适应数据增强(MADAug)是一种通过训练数据增强策略网络来向模型教授何时学习何事的方法,旨在优化泛化性能。MADAug 通过模型自适应策略在训练阶段选择每个输入图像的增强操作,构建逐步优化的数据增强课程。在多个图像分类任务中,MAD - 重新审视用于物体 6D 姿态估计的全卷积几何特征
最近在 6D 物体姿态估计方面的研究主要聚焦于学习图像和物体模型之间的关键点对应关系,并通过基于 RANSAC 的算法或直接通过端到端优化来确定物体姿态。本文主张学习点级别的辨别特征在文献中被忽视,为此,我们重新研究了完全卷积几何特征(FC - 发挥正则化策略在具有噪声标签的学习中的潜力
本研究表明,使用交叉熵损失结合常用的正则化策略,如学习率下降、模型权重平均和数据增强等,可以优于最先进的方法,在处理学习噪声标签的挑战时,采用一种正则化策略组合可能比复杂的算法更有效。
- 自监督语音表示域适应微调的自动数据增强
本篇论文提出一种用于有声学领域差异的监督领域自适应方法,通过数据增强来减小源域和目标域的差异,并在初步微调阶段使用,证明了该方法的有效性。
- 具有辅助增强的自监督学习与引导式投影仪
本文提出了一种条件增强感知的自监督学习方法(CASSLE),使用投影器网络对图像进行辅助引导,以实现对不同数据扩充方法的感知敏感性,并可获得多项下游任务的最新性能表现。