- STARS：自助调谐的三维骨架序列动作识别
通过使用自编码器和最近邻对比学习，在不使用手工数据增广的情况下调整编码器权重，STARS 在骨骼序列的 3D 动作识别中取得了最先进的自监督结果，并且在少样本设置中表现出明显优于预训练的模型。
- 多标签引导的软对比学习用于高效地球观测预训练
利用自监督预训练技术在大规模卫星数据上取得了重要进展，同时发现在地表覆盖地表利用产品等自由全球语义信息资源和自然世界的视觉基础模型等重要资源的应用能显著提高地球观测预训练的效率和效果。
- 自我蒸馏提高 DNA 序列推断
我们提出了一种创新的深度神经网络模型，通过 `学生 ' 和` 教师 ' 子网络之间的协同学习，结合了掩蔽学习和对比学习，从而在个体序列的语境信息和序列总体分布数据之间有效融合，该方法显著提升了大多数推理任务的性能。
- OccFeat: 自监束栅格特征预测用于预训练 BEV 分割网络
通过自监督预训练方法 OcFeat，我们引入了一种用于仅相机视角（Bird's-Eye-View）语义分割网络的预训练方法。该方法通过占用预测和特征蒸馏任务对视角网络进行预训练，在低数据情况下有效提高语义分割效果，并证实将特征蒸馏与三维占用 - NeRF-MAE: 自监督三维表示学习的遮罩自动编码器用于神经辐射场
神经场在计算机视觉和机器人技术中表现出色，能够理解三维视觉世界，例如推断语义、几何和动态。我们使用神经场进行自监督预训练，尤其是使用遮盖的自动编码器从 RGB 图像生成有效的三维表示，然后将标准的三维视觉 Transformer 应用于 N - CVPRLAFS：基于地标的人脸自监督学习用于人脸识别
本文主要研究面部表示学习及其在面部识别中的应用，通过自我监督预训练学习未标记面部图像以提高面部识别性能，并采用基于地标的面部自我监督学习（LAFS）方法，通过提取面部地标实现关键表示学习，同时结合地标特定的数据增强以增加地标信息多样性，进而 - MaskLRF：基于局部参考帧的自监督预训练用于旋转不变的三维点云分析的掩码自编码器
这篇文章介绍了一种用于实际三维点集分析的旋转不变的自监督预训练框架，通过在局部参考帧中屏蔽自动编码的三维点来学习旋转不变且高度可推广的潜在特征，以提高对具有不一致方向的三维点集的准确性。
- 使用多级优化的掩码自编码器中的下游任务引导掩码学习
Multi-level Optimized Mask Autoencoder (MLO-MAE) is a novel framework for visual representation learning that leverages - 电致发光太阳电池图像缺陷检测预训练模型的大规模评估
对太阳能电池缺陷检测中预训练方法的大规模评估和基准测试表明，特定预训练方案在低表示类别上实现卓越性能，为该领域中自监督和半监督训练技术的进一步研究提供了大型无标签电致发光图像数据集和标记的语义分割电致发光图像数据集。
- 层次化生成预训练变压器用于时间序列预测
提出了一种名为 GPHT 的新型生成预训练分层变压器架构，通过引入高级网络结构和自监督预训练策略来提高时间序列预测的准确性，并在充足的实验验证中证明其超越了传统预训练模型和监督模型，在传统长期预测任务中取得了良好的效果。
- 重访视觉调优的能量与提示
通过关键参数的优化和初始化，我们提出了一种改进的视觉提示调整方法，用于优化预训练模型在下游任务中的性能表现，并在大量实验证明该方法在自我监督预训练适应性上取得了显著的性能改进。
- 胃肠内窥镜视觉问题的自监督预训练研究
背景：传统的胃肠内镜检查 (GIE) 的视觉任务解决方案通常使用在 ImageNet-1k 上以有监督方式预训练的图像编码器作为骨干网络。目前，现代的自监督预训练算法和最近的 10 万张未标记 GIE 图像数据集 (Hyperkvasir - 连接延后：利用有针对性的数据增强提升微调鲁棒性
使用自监督预训练和有针对性增强技术，Connect Later 方法改进了源领域与目标领域之间的分布转移问题，提高了多个真实世界数据集的性能。
- 决策基础模型的自监督预训练：构建、流程和挑战
决策是一个动态过程，需要感知、记忆和推理来做出选择和找到最佳策略。此研究论文主要介绍了将大规模自监督预训练所获得的知识整合到决策过程中的方法和挑战。
- 自监督预训练用于在恶劣环境中实现稳健个性化语音活动检测
本文提出了使用大规模无标签数据集上的自监督预训练，以改善个性化语音活动检测 (VAD) 模型在恶劣条件下的性能。我们使用自回归预测编码 (APC) 框架对长短期记忆 (LSTM) 编码器进行预训练，并进行个性化 VAD 的微调。我们还提出了 - 医学时间序列和笔记的多模态预训练
在重症监护室内，包括临床测量和临床笔记在内的丰富患者数据可供利用，但其分析也面临许多挑战。本研究提出了一种新颖的方法，利用自我监督预训练来解决深度学习模型在重症监护中的标注数据不足问题，并在数据有限的情况下，在院内死亡预测和表型预测等下游任 - 理解使用辅助损失预训练的表征对实体代理规划
预先训练表示、具身策略学习、自我监督预训练、探索轨迹和模仿学习是本研究的关键词，通过比较这些方法在建立强大规划表示方面的效果，发现模仿学习在此方面表现最佳。
- 异质超图神经网络的自监督预训练
我们提出了一个新颖的自监督预训练框架，用于异构超图的自监督预训练。该方法能够在数据中自主捕捉实体之间的高阶关系，并在超图中使用信息表示来同时学习实体的局部和全局表示。实验结果表明，我们的框架能够提高各种超图模型在不同下游任务上的性能。
- BarcodeBERT：用于生物多样性分析的变压器模型
利用 DNA 条形码参考库，提出了一种名为 BarcodeBERT 的自监督方法，对物种和属级别进行高准确性的 DNA 条形码识别，该方法兼顾数据集细节和覆盖范围对模型选择的影响，并强调了自监督预训练在高准确性 DNA 条形码分析中的作用。
- FaultSeg Swin-UNETR：基于 Transformer 的自监督预训练模型用于故障识别
通过自监督预训练方法来增强地震断层识别，在地球物理学和地质学领域具有重要意义。我们引入了自监督学习的概念，利用大量相对容易获得的无标签地震数据进行预训练，并在微调阶段对核心网络进行了改进，以实现更有效的断层检测。实验结果表明，我们提出的方法