G2L: 一种几何方法用于生成伪标签，以提高迁移学习的效果

Jul, 2022

G2L: 一种几何方法用于生成伪标签，以提高迁移学习的效果

G2L: A Geometric Approach for Generating Pseudo-labels that Improve Transfer Learning

John R. Kender, Bishwaranjan Bhattacharjee, Parijat Dube, Brian Belgodere

TL;DR采用几何学算法 Cayley-Menger 行列式的 C2L 方法生成伪标签，以在转移学习中自动创建源模型，与经过广泛人类注释的 ImageNet1K 标签相比，其基本模型具有相似或更好的可转移性，从而使最终错误率降低 0.43％，其中 5 个不同数据集中的 4 个错误率减少。

Abstract

transfer learning is a deep-learning technique that ameliorates the problem of learning when human-annotated labels are expensive and limited. In place of such labels, it uses instead the previously trained weights from a well-chosen →

transfer learning source model pseudo-labels dataset similarity error decrease

发现论文，激发创造

LGV: 从大规模几何邻域增强对抗样本的可传递性

本文提出了一种名为 Large Geometric Vicinity（LGV）的新技术，旨在增加黑盒对抗攻击的可转移性，利用预训练的代理模型，通过多个训练周期和常数高学习率收集多个权重集，并利用两个几何属性来解释可转移性现象，进一步揭示权重空间几何性质对解释对抗性攻击的转移性问题的重要性。实验证明，LGV 单独表现出优于四个测试时变换的表现。

Jul, 2022

用于归纳迁移回归任务的几何对齐迁移编码器

通过使用差分几何，我们提出了一种基于几何对齐的转移编码器（GATE）的新型转移学习方法，该方法能够有效地在回归任务中从源数据向目标数据传递知识，并展现出在潜空间和外推区域的稳定行为，从而在各种分子图数据集上优于传统方法。

Oct, 2023

使用预训练的有条件生成模型进行迁移学习

在深度神经网络中，迁移学习对于新目标任务的训练至关重要。我们提出了一种基于深度生成模型的迁移学习方法，通过伪预训练和伪半监督学习两个阶段来进行，不需要做出现有方法中的假设，能够优于从头开始训练和知识蒸馏的基准方法。

Apr, 2022

进一步推进：利用伪标签在标签稀缺的小农地区进行领域划分

使用稀缺土地勾画伪标签进行精调模型在大范围应用中具有很好的性能，并且在缺乏标注数据的情况下，伪标签的使用可以显著提高模型的性能，尤其是在 Sub-Saharan Africa 等标注数据匮乏的地区。

Dec, 2023

一种基准生成式概率模型用于弱监督学习

本研究提出了基于生成模型的自动标注方法，通过弱监督学习去减轻手动标注的负担，取得了比现有方法更好的性能表现，提高了机器学习项目的生产效率。

Mar, 2023

面向基于图的半监督学习的伪对比学习

该论文提出了一种 Pseudo Contrastive Learning (PCL) 的通用框架，该框架通过生成可靠的对比对来解决生成高质量伪标签的问题，通过对负样本进行 dropout 来实现数据增强。最终，实验证明该方法在五个真实世界的图上均优于其他普遍技术。

Feb, 2023

使用知识图谱进行视觉迁移学习的调查

本文综述了利用知识图谱的视觉迁移学习方法，着重分析知识图谱的建模结构、特征提取和知识图嵌入方法，并介绍了四种知识图谱与深度学习管道的组合方式。同时，提供了评估基准、处理数据集和基于知识图谱的辅助知识类型的概述。未来的研究应着眼于挖掘面临的挑战和开放问题。

Jan, 2022

基于生成的目标结构去偏置的领域自适应

本文提出了一种名为 GeT 的方法，通过学习高质量的伪标签来学习无偏的目标嵌入分布，减轻源数据偏差并增强目标类别可辨识性，进一步通过结构相似性正则化框架缓解目标类别分布偏差并提高目标类别可辨识性，实验证明我们的方法在各种领域适应设置下均有效且有一致的改进。

Aug, 2023

可伸缩的三维物体检测的伪标记技术

研究了使用伪标签在无监督训练中提高 3D 物体检测效率的方法，并证明伪标签训练的学生模型在一些情况下可以胜过使用更多标记样本的监督模型。

Mar, 2021

语言语义图引导的数据高效学习

提出了一种利用标签中的语义信息提高数据利用率的新方法，通过构建一种标志为自然语言描述的语义图来训练辅助图神经网络，以提取高层语义关系并指导主模型的训练，在图像、视频和音频模态下，应用该方法在迁移学习和半监督学习场景中展示了显著提高性能的多样性，并且深入分析还表明该方法加速了训练过程。

Nov, 2023