冻结特征增强用于少样本图像分类
本论文研究了少样本数据集中引入新意图的问题, 提出了利用六种特征空间数据增强方法结合 BERT 监督和无监督学习的方法来提高分类性能的方法。在公共的对话数据集上展现了特征空间数据增强提供了一种有效的方式来改善少样本设置下的意图分类性能,尤其是潜在空间的上采样是一种竞争性的基准方法。
Oct, 2019
本文提出了在中间神经网络层引入数据增强以改善卷积神经网络不适用于少量像素旋转或平移的问题,并证明该方法比已有的两种方法获得更好的精度和平均翻转比。
Feb, 2022
本研究探索在硬任务(即少样本自然语言理解)和强基线(即超过 10 亿参数的预训练模型)上进行数据增强。通过生成模型和分类器共同生成标签翻转数据的新方法 FlipDA,该方法能够提高任务的有效性和稳健性。
Aug, 2021
本研究基于转移学习方法探究预训练模型在少样本学习任务下的迁移,比较全微调和线性探测两种常用的更新方法,并研究数据增强和测试时间增强对少样本性能的影响。结果表明,针对不同的数据和任务性质选择不同的迁移和增强方法能提高多样性能。
May, 2022
通过对齐图像和标题数据,我们训练一个视觉编码器将每个图像表示为一系列连续的嵌入,并使用预先训练的冻结语言模型来生成相应的标题,从而将这种少量样本学习能力转移至多模态设置。该系统是一种多模态少样本学习模型,具有学习各种新任务的惊人能力,如用只有少数几个样例进行视觉问答,或者利用外部知识。
Jun, 2021
使用预训练模型进行线性探测,当下游数据稀缺或少样本时,预训练特征可能是非常冗余的;而在少样本任务中,只使用最重要的特征维度的 1% 就能恢复与使用完整特征表示所达到的性能。根据理论分析,高方差和类中心之间距离较小的特征维度可能是影响少样本转移问题分类结果的混淆因素。通过调整特征重要性的软掩码来改善特征冗余问题,可以在各种预训练模型和下游数据集中提高少样本转移性能。
Oct, 2023
通过在 OpenGL 渲染中训练仅剩的层,利用预先在真实图像上训练的通用层来冻结特征提取层,本文展示了一种使用合成图像训练现代对象探测器的简单技巧。
Oct, 2017
在这篇论文中,我们提出了一种称为辅助傅立叶基扩充(AFA)的补充技术,它针对频域扩充,填补了视觉扩充留下的扩充间隙。我们通过傅立叶基加性噪声在直接且高效的对抗设置中展示了扩充的效用。我们的结果表明,AFA 有助于模型对常见破坏、OOD 泛化以及对于逐渐增加的扰动模型性能的一致性的鲁棒性,而对于模型的标准性能则无明显损害。它可以与其他扩充技术无缝集成,进一步提升性能。
Mar, 2024
本文提出了一种新颖的基于转移学习的方法,通过预处理特征向量使其更接近高斯分布,并利用基于最优输运的算法 (在普遍情况下) 加以利用,证明了该方法在各种数据集、主干体系结构和少样本情形下达到最先进的准确性。
Jun, 2020