Jul, 2024

大规模精细度：按需生成领域特定数据集

HTML
PDF
TL;DR通过使用Precision at Scale (PaS)方法自动生成特定领域的数据集，该研究证明自动生成的领域特定数据集比大规模监督数据集（如ImageNet-1k和ImageNet-21k）更适合预训练，能够在多个领域和分类任务中以及食品领域中取得至少12%的性能提升，同时数据集体积仅为ImageNet-21k的1/12。
发现论文，激发创造
  • DIVA: 领域不变变分自编码器

    本文介绍了一种名为Domain Invariant Variational Autoencoder（DIVA）的生成模型，在域通用化问题上表现出色，可以学习三个独立的潜在子空间，分别用于描述域、类别和任何残余变化。此外，该模型能够整合已知或以前未见过的未标记数据，并在旋转的MNIST基准和疟原虫细胞图像数据集上实验验证了该模型的性能表现优于最新工作。

    May, 2019

  • 自监督学习：逐个样本学习泛化能力

    本文探讨了如何在不增加过多数据注释的情况下，利用自监督学习来实现领域泛化和适应性，结果表明该方法在三种不同的情景下有效。

    Oct, 2019

  • 在域内外泛化中平衡特异性和不变性的学习

    本研究提出了一种域特定掩码模型，旨在提高领域内和领域外的泛化性能，在PACS和DomainNet中实现与先前的方法竞争性能。

    Aug, 2020

  • 单源深度无监督视觉域自适应综述

    本文综述了最新的单源深度无监督域适应方法，主要集中在视觉任务中，并讨论了未来研究的新视角。首先介绍了不同领域适应策略的定义和现有基准数据集的描述，然后总结和比较了不同类别的单源无监督域适应方法，包括基于差异性的方法，对抗式鉴别方法，对抗式生成方法和自监督方法，并探讨了未来的研究方向、挑战和可能的解决方案。

    Sep, 2020

  • 跨越极端任务差异的少样本迁移自训练

    本文介绍了一种解决领域差异的简单有效方法：在目标域的未标记数据上进行基于自我训练的源域表示法预训练，从而改善在目标任务上的一次性性能。在 BSCD-FSL 基准测试中，本方法使目标域的一次性性能平均提高了 2.9 点。

    Oct, 2020

  • 数据分布转移时，使用自学习

    本文针对系统域转移下的计算机视觉模型，提出了熵最小化和伪标记等自学习技术的应用，通过大量实验展示了显著的改进效果和实用性。同时，本文还提出了一个新的分类数据集ImageNet-D，对于自适应算法来说具有一定的挑战性。

    Apr, 2021

  • 领域感知和任务感知的自监督学习

    DATA是一种简单而有效的用于自我监督学习预训练的神经结构搜索方法，该方法使用了域感知和任务感知前置训练，并使用可灵活搜索机制寻找不同计算成本的网络，用于各种下游视觉任务和数据域，实验结果表明具有良好的通用性。

    Mar, 2022

  • PracticalDG: 视觉-语言模型的扰动提取与混合域泛化

    该研究论文介绍了一种通过将知识从轻量级视觉模型转移到视觉-语言模型，并引入三个方面的扰动提炼（SCI-PD）来提高鲁棒性的方法，并通过新的混合领域泛化基准和度量进行全面评估，结果表明该方法在多个数据集上优于现有算法，尤其在数据稀缺情况下提高了鲁棒性。

    Apr, 2024

  • 基于领域指导的权重调节用于半监督领域泛化

    本研究针对半监督领域泛化（SSDG）中，深度学习模型在仅有少量标记数据的情况下，如何学习具有领域泛化能力的问题。我们提出了一种新方法，通过在训练过程中保持分类器的领域特性，以生成准确的伪标签，并对分类器权重进行调节。实验结果表明，该方法在多项强大的SSL基线中明显提升了性能，具有重要的实际意义。

    Sep, 2024

  • 提升联邦领域泛化能力：理解先进预训练架构的作用

    本研究解决了联邦领域泛化能力不足的问题，探讨了如视觉变换器（ViT）、ConvNeXt和Swin变换器等先进预训练架构的作用。研究发现自监督预训练技术在捕捉图像的内在结构上优于监督预训练，从而推动了联邦学习系统的适应性和效率，建立了新的性能基准。

    Sep, 2024