- CVPR无生成伪造真值进行的无监督化妆迁移的内容风格分离
通过频率特征分析，本文提出了一种以纯无监督方式工作的内容 - 风格分离化妆转换方法（CSD-MT），通过频率分解来解耦每个面部图像中的内容和化妆风格信息，进而实现化妆转换，并通过引入两种新设计的损失函数进一步提高转换性能。
- ACL超越边界：探究法律案件摘要中的跨辖区转移
研究了跨司法管辖区的法律案例摘要模型的通用性及影响因素，发现了预训练在提高转移性能方面的关键作用，并且引入目标数据和无监督算法提取的提取性摘要可以进一步改进预训练模型，特别适用于数据集和源与目标司法管辖区之间对齐有限的情景。
- 少即是多：预训练模型在少样本任务中的特征冗余
使用预训练模型进行线性探测，当下游数据稀缺或少样本时，预训练特征可能是非常冗余的；而在少样本任务中，只使用最重要的特征维度的 1% 就能恢复与使用完整特征表示所达到的性能。根据理论分析，高方差和类中心之间距离较小的特征维度可能是影响少样本转 - 自监督学习中正向正向算法的研究
我们首次研究了自监督表征学习中前向 - 前向算法与反向传播的性能，并对所学到的表征空间提供了深入洞察。在四个标准数据集（MNIST，F-MNIST，SVHN 和 CIFAR-10）以及三种常用的自监督表征学习技术（旋转，翻转和拼图）上，我们 - 目标很重要：理解自监督目标对视觉 Transformer 表示的影响
本研究分析了视觉变压器自监督学习的两种主要范式，在结构和可转移性方面的影响差异，揭示了联合嵌入特征在分类线性探针传输方面表现更好的原因。
- 基于扩散的目标采样器用于无监督领域自适应
本文提出了一种基于扩散的目标采样器（DTS），使用分类条件信息生成高保真度与多样性伪目标样本，用于改进现有无监督领域自适应方法的传输性能。大量实验表明，该方法可以显著提高现有的无监督领域自适应方法的性能。
- AAAIPeCo: 基于感知编码本的视觉 Transformer BERT 预训练
本文探讨了 BERT 预训练视觉变换器的更好预测目标，提出了学习感知预测目标的想法，并在 dVAE 训练过程中实现感知相似性的强制，使用自监督变换模型进行深度特征提取，最终得到学习到更好的视觉 token，取得了在多个任务上优于 BEiT - 无监督微调
本文研究了无监督微调的问题，提出了两种简单有效的策略来将源数据和目标数据进行组合以实现更好的传递性能。通过在多个不同的目标数据集上进行广泛的实验，表明了所提出的 “无监督微调” 策略比朴素策略具有更好的传递性能。
- EMNLP推理类型对跨语言转移绩效的影响分析
通过构建带有类别注释的多语言 NLI 数据集，我们研究了多种类型的推理对跨语言迁移效率和小样本选择的影响。我们的统计结果表明，推理类型和语言相似性的汇流对于迁移性能有着越来越重要的影响。
- EMNLP多数据集问答的单数据集专家
本研究通过训练轻量级、特定于数据集的适配器模块，并将其与基础转换模型共享，以建模多数据集问答，提出了 Multi-Adapter Dataset Experts（MADE）方法，其在数据集内的准确性优于基线模型，并且采用基于参数平均的简单方 - CheXtransfer: 使用 ImageNet 模型进行胸部 X 射线解读的性能和参数效率
本文研究了预训练模型在胸透解释方面的应用，通过对 16 种不同的卷积神经网络评估它们的迁移学习效果和参数效率，发现 ImageNet 性能和 CheXpert 性能之间不存在关系，而 ImageNet 预训练可以提高胸透解释的性能，并通过截 - ImageNet 对于迁移学习的优势
本文探讨了 ImageNet 数据集对于学习优秀通用特征的关键属性，发现大多数对预训练数据集的选择的改变不会显著影响迁移学习的表现。在相同的训练类别数量下，分类粗细程度或每个类别样例数目的增加对学习特征的质量影响大于类别数量的增加。