自我监督学习对模型的公平性具有显著影响，通过引入公平性评估框架，该研究系统地比较了数百个自我监督和精调模型在性能和公平性方面的差异，并证明了自我监督学习可以在最小损失性能的情况下显著提高模型的公平性。

Jun, 2024

Vision Transformers (ViTs) 使用自我监督学习 (SSAT) 作为辅助任务与主任务同时进行联合优化，以在有限的数据量下取得更好的性能表现，此方法能帮助 ViTs 充分利用自我监督任务和主任务的独特特点，展现出优于传统的 ViTs 预训练与后续微调的效果，并在 10 个数据集的实验证明了 SSAT 的显著性提升并减少了碳足迹，同时在视频领域的 Deepfake 检测上也验证了其普遍适用性。

Oct, 2023

本文探讨了采用不同类型的预训练数据对于 3D 人体姿态与形状估计的影响，并发现基于 2D 注释的预训练方法在提高精度和优化速度方面优于自监督学习方法。

Mar, 2023

自监督学习对公平性和性能的影响进行了研究，结果表明通过自我监督学习，性能可与有监督方法相媲美，同时可以极大提高公平性，尤其适用于高风险、数据稀缺的应用领域，如医疗保健。

Jan, 2024

该文介绍了一种新的联邦辅助硬参数共享多任务学习框架，名为 FedAuxHMTL，通过在边缘服务器和基站之间进行模型参数交换，使分布区域的基站参与到 FedAuxHMTL 过程中，并提升主任务 - 网络边缘流量分类的学习性能。通过实证实验证明了 FedAuxHMTL 在准确性、总全局损失、通信成本、计算时间和能源消耗方面与其对应方法相比的有效性。

Apr, 2024

本篇研究评估了半监督学习在存在严重类别不平衡和含有新类别图像的真实数据集上的有效性。研究结果表明最近提出的半监督学习方法可以利用不同类别的数据提高性能，但相较于迁移学习仍然表现不足。此外，本文证明在迁移学习中，现有的半监督学习方法在存在不同类别数据时往往是有害的。因此，标准的微调加蒸馏自训练是最健壮的方法。这些研究结论说明，对真实数据集的半监督学习可能需要不同于文献中普遍使用的方法。

Apr, 2021

本文探讨了自监督学习在人类活动识别领域解决标记数据不足的问题，通过学习预测任务，可以得到有用的表示用于分类，并发现不冻结表示可以在预测任务中实现显著性能提升并且效果与标记数据量成反比。

Jul, 2023

我们建立了强大的对比和修复型自监督学习基线，证明中间层的微调对于对比型自监督学习更有效，而第三个季度的微调对于修复型自监督学习更有效。相对于端到端微调的标准，我们的最佳微调策略通过微调网络的前三个季度，相对提高了 5.48% 的性能，并提出了一种简单且有效的方法来利用多个自监督学习模型的互补优势，与独立使用最佳模型相比提高了 3.57% 的性能。因此，我们的微调策略不仅增强了个别自监督学习模型的性能，还可以有效利用多个自监督学习模型的互补优势，在自监督医学影像分析中取得了显著的改进。

Jul, 2023

本文提出一种新的自监督学习框架，可以解决在设计和比较不同任务、模型和数据域时的限制问题，通过这个框架设计一种新的自监督任务，在 PASCAL VOC 2007、ILSVRC12 和 Places 数据集上，取得了显著的最先进表现，并将自监督学习和监督学习之间的对象检测 mAP 误差从 5.9% 缩小到 2.6%。

May, 2018

利用异构自监督学习的互补性，通过在基础模型中引入异构的辅助头部架构，提出了异构自监督学习（HSSL）方法，并发现基础模型的表示质量随着架构差异的增加而提高。该方法与各种自监督方法兼容，在图像分类、语义分割、实例分割和目标检测等各种下游任务中表现优秀。

Oct, 2023