关键词self-supervised representation learning
搜索结果 - 75
- HuBERTopic: 通过主题模型自我监督提升 HuBERT 的语义表示
我们提出了一种新方法来丰富 HuBERT 的语义表示，通过将主题模型应用于伪标签以为每个话语生成主题标签，并使用主题标签作为教师添加辅助的主题分类任务，以无监督的方式融入额外的全局语义信息。实验证明，我们的方法在大多数任务中实现了与基准方法 - 自监督表示学习的结构对抗目标
在生成对抗网络（GAN）框架中，通过额外的结构建模责任，我们提出了使鉴别器能够进行自监督表示学习的目标。结合在网络上施加的高效光滑正则化器，这些目标指导鉴别器学习提取信息性表示，同时保持能够从领域中进行采样的生成器。具体而言，我们的目标鼓励 - 特征归一化防止非对比学习动力崩溃
对比学习是一种自监督表示学习框架，在数据表示空间中通过吸引力使两个通过数据增强生成的正样本相似，同时通过排斥力使其远离负样本。然而，特征规范化在防止动态崩溃方面起着重要作用。
- 联合嵌入预测架构的图级表示学习
Graph-JEPA 是首个针对图领域提出的 Joint-Embedding Predictive Architectures (JEPAs) 模型，通过掩码建模学习不同子图的嵌入表示，并且采用预测编码子图在二维平面上单位双曲线上坐标的替代 - 减少、重用、循环利用：扰动数据是否比其他语言增强对于低资源自我监督语音模型更好
利用音频增强方法预训练自监督表示学习（SSRL）模型，相比监督模型，在低资源语言中改善了下游音素识别性能。研究比较了不同的增强技术，包括音高变化、噪音添加、目标语言口音和其他语言语音，并发现了综合增强（噪音 / 音高）是最佳的增强策略，超过 - 提升基于骨架的行为识别与高效多模态自监督
自我监督表示学习在人体动作识别方面得到了快速发展。本文首先提出了一种隐式知识交换模块（IKEM），用于减轻低性能模态之间的错误知识传播。然后，我们进一步提出了三种新模态来丰富不同模态之间的互补信息。最后，通过锚点、正样本和负样本之间的约束关 - 自监督学习中正向正向算法的研究
我们首次研究了自监督表征学习中前向 - 前向算法与反向传播的性能，并对所学到的表征空间提供了深入洞察。在四个标准数据集（MNIST，F-MNIST，SVHN 和 CIFAR-10）以及三种常用的自监督表征学习技术（旋转，翻转和拼图）上，我们 - ICCVSimFIR: 自我监督表示学习的鱼眼图像矫正简化框架
基于自监督表示学习，介绍了一种用于鱼眼图像矫正的简单框架 SimFIR。通过将鱼眼图像分成多个图块并提取其表示，结合鱼眼模型关联不同的图块与其特定的畸变模式，并设计了一种创新的统一畸变感知预训练任务来学习精细畸变表示。在下游矫正任务上，转移 - 点云是专门的图像：一种三维理解的知识迁移方法
PCExpert 是一种基于自监督表示学习的新方法，将点云重新解释为 ' 特殊图像 '，通过与预训练图像编码器在多路 Transformer 架构中广泛共享参数的策略，结合用于预训练的新颖预文本任务，即变换估计，使其在各种任务中表现优异并大 - 使用遮罩图像建模学习细胞核表示
本文介绍了一种称为 Masked Image Modeling 的自监督学习范例在医学图像分析中的潜在应用能力，并使用 Bidirectional Encoder Representation from Image Transformers - 自监督离散化语音表示的信息论分析
本文通过信息论的方式将每个语音学类别表示为离散单元的分布，以研究表征和离散化的语音输入与音素这样的抽象语音学类别之间的关系，并应用于两种不同的自监督模型进行研究，揭示了语音学类别的熵反映了底层语音语音变化的可变性，同时确认了这种映射的缺乏直 - HomE: 同态变换等变视频表示学习
本研究提出了一种新方法，使用自我监督的表示学习来学习多视角视频的表示空间，其中通过显式建立具有 Homography Equivariance（HomE）的表示空间，来更好的利用自我监督的信息，并在 UCF101 数据集上取得了 96.4％ - 自监督表示学习中没有免费午餐
本文研究探讨在计算机视觉中基于自监督表示学习依赖于手工图像变换以学习有意义且不变的特征，以及这些变换对于下游任务的影响、监督学习和微观图像等方面的问题。通过实验论证了变换对于下游任务的影响、监督数据集中各类别受到的影响各不相同和变换设计对微 - 自监督表示学习在糖尿病视网膜病变图像的标签有效跨域知识迁移中的应用
本文提出了一种基于标签效率自监督表示学习的方法，用于在跨域设置中对糖尿病视网膜病变图像进行分类。该方法使用来自源域数据集的先前学习，通过对比学习从未标记的源域数据集中学习的图像表示来对目标域数据集中的视网膜病变图像进行分类。实验结果表明，该 - ICCV使用骨骼云彩色化进行自监督的 3D 动作表示学习
本文提出了一种自监督的方法，设计了一种新颖的骨骼云着色技术，并通过骨骼序列数据的无标签学习学习骨骼的空间和时态表示。该方法在不同配置下训练的线性分类器上评估，并在多个数据集上进行了广泛的实验。结果表明，该方法在无监督和半监督 3D 动作识别 - 通过相似性结构理解对比学习机制：理论分析
本文探讨了如何通过核心对比学习框架（KCL）的统计依赖性视角计算已学习的表示的相似性结构并研究了该框架的理论特性，包括分类错误上界的新证明和通向下游分类任务的 KCL 泛化性能保证。
- ICLR重新思考预训练中自监督视觉表示学习在 3D 人体姿势和形状估计中的应用
本文探讨了采用不同类型的预训练数据对于 3D 人体姿态与形状估计的影响，并发现基于 2D 注释的预训练方法在提高精度和优化速度方面优于自监督学习方法。
- CVPR层次判别学习提高生物医学显微镜的视觉表达
本文提出了一种名为 HiDisc 的自我监督对比学习框架，用于学习临床生物医学显微镜图像中肿瘤的高质量视觉表示，结果表明 HiDisc 预训练方法在癌症诊断和基因突变预测方面优于当前最先进的自我监督预训练方法，并且使用自然数据多样性学习高质 - CIPER: 使用对比学习和预测学习结合不变和等变表示
本研究通过 Contrastive Invariant and Predictive Equivariant Representation learning (CIPER) 方法，利用共享编码器和两个不同的输出头，旨在同时通过不变性和等变性 - 自监督教师的蒸馏
提出一种名为 MOMA 的框架，通过三种不同的知识转移机制在自我监督的方式下，将来自 MoCo 和 MAE 的知识合作起来，从而产生紧凑的学生模型，在计算效率方面具有极高的蒙面率和显著降低的训练代数，实验证明 MOMA 在计算机视觉方面的不