对比对抗和扩散：探索沟回识别的预训练和微调策略

May, 2024

对比对抗和扩散：探索沟回识别的预训练和微调策略

Contrastive-Adversarial and Diffusion: Exploring pre-training and fine-tuning strategies for sulcal identification

Michail Mamalakis, Héloïse de Vareilles, Shun-Chin Jim Wu, Ingrid Agartz, Lynn Egeland Mørch-Johnsen...

TL;DR本研究旨在通过评估计算机视觉中的预训练技术和微调策略优化神经网络的学习过程，探讨其在独立相同分布群体中的优势。我们通过使用包含 596 个对象的 TOP-OSLO 群体，利用不同的三维卷积神经网络体系结构，在多任务分割 - 分类挑战中，实证地展示了我们的研究结果。

Abstract

In the last decade, computer vision has witnessed the establishment of various training and learning approaches. Techniques like adversarial learning, contrastive learning, diffusion denoising learning, and ordinary reconstruction learning have become standard, representing state-of-th

computer vision pre-training techniques fine-tuning strategies neural networks performance evaluation

发现论文，激发创造

通过对比正则化微调释放对比自监督视觉模型的潜能

本文提出了一种叫做对比正则化调整的方法，把对比自监督学习应用在 Fei-tuning 中，用一种新颖的硬配对挖掘策略实现更有效的对比式 Fei-tuning，并平滑决策边界以更好地利用学习的判别式特征空间，证明了这种方法在图像分类和语义分割任务中的有效性。

Feb, 2021

自监督医学图像分析的微调策略再探讨

我们建立了强大的对比和修复型自监督学习基线，证明中间层的微调对于对比型自监督学习更有效，而第三个季度的微调对于修复型自监督学习更有效。相对于端到端微调的标准，我们的最佳微调策略通过微调网络的前三个季度，相对提高了 5.48% 的性能，并提出了一种简单且有效的方法来利用多个自监督学习模型的互补优势，与独立使用最佳模型相比提高了 3.57% 的性能。因此，我们的微调策略不仅增强了个别自监督学习模型的性能，还可以有效利用多个自监督学习模型的互补优势，在自监督医学影像分析中取得了显著的改进。

Jul, 2023

对比学习何时能从预训练到微调保持对抗鲁棒性？

本文通过提高对抗性鲁棒性的角度重新审视和推进了对比学习。作者设计了高频组件的对比视图，以及增加伪监督刺激的对比学习来帮助保护模型的鲁棒性。作者提出了一种新的对抗性对比预训练框架 AdvCL，在多个数据集上展示了其卓越的性能，该框架能够提高跨任务鲁棒性传输，同时不会降低准确性和微调效率。

Nov, 2021

对抗鲁棒性：从自监督预训练到微调

本研究将对抗训练引入自监督学习中，提出了一种通用的具有强健性的预训练模型，可以在提高最终模型的强健性和节省计算成本方面，对后续的微调任务有两种作用。我们进行了大量实验，证明了所提出的框架与传统的对抗训练基线相比，在 CIFAR-10 数据集上可以获得大幅的性能提升。同时，我们发现不同的自监督预训练模型具有不同的对抗性漏洞，并提出了一种集成策略来提高其强健性。

Mar, 2020

预训练语言模型微调的监督对比学习

通过构建 SCL 算法，并将其应用到先前基于 RoBERTa-Large 模型的建议中，提出了一种新的有监督对比学习优化目标，用于自然语言理解任务的微调，在少样本学习设置下，相比于传统 CE 损失函数，该方法在多个数据集上均有显著的改进，可以更好地处理数据噪音并更好地推广至相关任务。

Nov, 2020

对比学习用于标签少的语义分割

本文提出了一种基于对比度学习的语义分割训练策略，使用像素级和标签基础对比损失的方法，能够在减少标记数据的情况下提高性能，并通过 Cityscapes 和 PASCAL VOC 2012 数据集的实验证明了该方法的有效性。

Dec, 2020

一种用于时间序列的监督对比学习预训练 - 微调方法

引入一种新的预训练程序，利用有监督对比学习来区分每个预训练数据集中的特征，进而通过将目标数据与预训练数据集的学习动态更加紧密地对齐，以提高目标数据的准确预测。

Nov, 2023

医学图像分类中的迁移学习的微调策略的比较

针对医学影像和机器学习领域的一个主要挑战是如何有效地将预训练模型适应于专门的医学背景。本研究对应用于 X 光、MRI、组织学、皮肤镜检和内窥镜手术等不同医学影像领域的多种微调方法在预训练模型上的性能进行了全面的分析。结果显示，结合线性探测和全面微调等策略在 50% 以上的情况下能够明显提高性能，动态调整学习率的自动 RGN 方法在特定模态下能够提高 11% 的性能。此外，与传统的全面微调相比，DenseNet 结构对替代的微调方法表现出更为显著的优势。本研究不仅为优化医学影像分析中的预训练模型提供了有价值的洞见，而且建议未来研究可以探索更先进的架构和微调方法。

Jun, 2024

对抗性对比学习实现的强健预训练

本文探索了对比学习框架中注入对抗扰动的方法，以提高其在无监督下的自我训练的鲁棒性表现。实验表明，该方法可以实现在无标签数据集下的有效增强，从而大幅提升半监督学习的表现。

Oct, 2020

无监督深度神经网络对抗性预训练：过去，现在和未来

本文综述了对抗性预训练的自监督深度网络，包括卷积神经网络和视觉变换器。我们发现现有方法主要分为两组：针对单个样例进行的无内存实例攻击和在迭代中跨样例共享的基于内存的对手。特别地，我们回顾了基于对比学习（CL）和掩码图像建模（MIM）的几个典型的对抗性预训练模型，讨论了计算开销、输入 / 特征级对手以及其他对抗性预训练方法等杂项问题，最后，我们讨论了关于对抗性和协作式预训练之间关系、统一对比度和 MIM 预训练的未来趋势以及在对抗性预训练中准确性和鲁棒性之间的权衡。

Oct, 2022