- ExPLoRA：参数高效的扩展预训练用于适应领域偏移的视觉变换器
通过使用 ExPLoRA 技术，在对卫星图像进行迁移学习时，只使用很少的参数数量，在无监督的预训练阶段只解冻 1-2 个预训练的 ViT 块和所有归一化层，然后通过 LoRA 微调所有其他层，最后只通过 LoRA 在新域上对模型进行微调，获 - 大脑大型模型中以 Tremendous 脑电图数据为基础学习通用表达
当前的基于脑电图 (EEG) 的深度学习模型通常针对特定的数据集和脑 - 计算机交互 (BCI) 应用而设计，限制了模型的规模，从而降低了其感知能力和泛化能力。最近，大型语言模型 (LLMs) 在文本处理方面取得了前所未有的成功，激发了我们 - 无监督预训练的语言 - 视觉提示用于低数据实例分割
在当前的研究中，根据最新的 DETR（DEtection TRansformer）范式，基于查询的端到端实例分割（QEIS）方法在大规模数据集上训练时表现出了卓越的性能，尤其是与基于 CNN 的模型相比。然而，当面对有限的训练数据时，这些 - Swin Transformer 的自监督跨模态预训练
通过增强 Swin Transformer，我们的模型 SwinFUSE (Swin 多模态融合的无监督增强) 在医学影像领域从不同的影像模态中学习，提升了下游性能，并展现出了对领域变化的适应性以及显著的泛化能力。
- 解耦无监督预训练中的探索与利用：后继特征
通过非整体探索方法，我们提出了一种基于后继特征（SFs）的新型无监督预训练模型，该模型分解了代理人的开发和探索，旨在改善原始的后继特征预训练的整体探索方法的性能，并在比较实验中超越了具有后继特征的主动预训练（APS）。
- BMRetriever: 优化大型语言模型作为更好的生物医学文本检索器
BMRetriever 是一系列密集的检索器，通过在大型生物医学语料库上进行无监督预训练，然后在标记数据集和合成对上进行指导微调，提升生物医学检索的效果。在 11 个数据集上的 5 个生物医学任务实验证实了 BMRetriever 在各种生 - COLING多阶段多模态预训练自动语音识别
多模态预训练可以提高自动语音识别性能，尤其是结合多任务无监督预训练和基于翻译的有监督中间训练方法可以实现显著的字错误率改善。
- 带有希尔伯特表示的基础政策
通过学习结构化表示并利用方向性移动跨越学习的潜在空间，我们提出了一种新的无监督框架，用于从无标签的离线数据中预训练能够捕捉多样化、最优且长程行为的通用策略，并可以在零样本方式下快速适应任意新任务。在模拟机器人的运动和操作基准测试中的实验证明 - 基于注意力引导的蒙版自动编码器用于学习图像表示
利用注重对象的重建过程来指导复原能力的建议，通过在损失函数中利用场景的注意力图获取的注意力图，提供更多的重建相关对象的强调，从而激励模型学习更加注重对象的表示，同时通过改进的线性探测和 k-NN 分类在几个基准测试中展示出我们预训练模型具有 - MM基于骨架的动作理解的统一多模态无监督表示学习
无监督预训练及早融合策略的统一多模态无监督表示学习框架（UmURL）旨在提取骨架输入的统一表示，通过特征分解和对齐保证多模态特征包含各模态的完整语义，并在各种场景中实现鲁棒动作理解。该框架在三个大规模数据集上取得了新的多种下游任务场景中骨架 - CUPre：跨域无监督预训练用于少样本细胞分割
通过跨域无监督预训练 (CUPre)，利用未标记的细胞图像将目标检测和实例分割的能力从 Common Objects in Contexts (COCO) 数据集转移到细胞图像领域，从而实现对少样本细胞分割的预训练，最终实验结果表明 CUP - 预训练和微调生成流网络
发展了一种无监督预训练的 GFlowNets 方法，通过预训练 OC-GFN 模型，可以在下游任务中直接提取适应新奖励函数的策略，并证明了该方法在发现模式和适应下游任务方面的有效性。
- 分类整张切片图像：什么是重要的？
通过系统地研究 WSIs 分类算法的不同设计选择，我们发现全局上下文信息并非越多越好，而是以局部小区域的细节信息为主要特征，此外，相较于在更大的数据集上进行无监督预训练，我们发现在更小、更专注的数据集上进行预训练可以更好地区分输入补丁的微妙 - 非可分目标函数的 DP-SGD
使用新的 DP-SGD 变体解决相似性损失函数的梯度敏感度随着批量大小增长而增加的问题，并在 CIFAR-10 预训练和 CIFAR-100 微调任务中得到了与非私有模型接近甚至优于直接应用于相似性损失的 DP-SGD 的性能。
- HIQL：将潜在状态作为行动的离线目标条件强化学习
无监督预训练成为了计算机视觉和自然语言处理的基石。强化学习中的目标条件下增强学习可以提供类似的自监督方法，以利用大量无标签（无回报）数据。本文提出了一种基于层次结构的算法，用于从离线数据中进行目标条件下的增强学习，并证明了该方法对估计值函数 - ECGBERT: 使用自监督表示学习了解心电图 (ECG) 的隐藏语言
本文提出了一种基于自我监督表示学习的方法 ECGBERT，通过无监督预训练模型，缓解了医疗数据缺乏标注和筛选的问题，并在心房纤颤心律失常检测、心跳分类、睡眠呼吸暂停检测和用户认证等四个任务上展示了 ECGBERT 在各种基于 ECG 的问题 - 利用野外视频进行预训练的语境化世界模型，用于强化学习
本文研究利用野外数据预训练 world models 来提高 model-based reinforcement learning 在多个领域的样本效率，并引入了一种名为 Contextualized World Models 的模型来解决 - 通过询问进行校准：从人类反馈 Fine-Tune 的语言模型中获取校准置信度得分的策略
本研究旨在评估从经过强化学习加人工反馈的预先训练语言模型中提取置信度得分的可行方法，通过合理的提示策略和温度缩放，成功降低超过 50％的校准误差
- 基于用户行为建模的新闻推荐预训练模型 (PUNR)
本研究提出了一种基于无监督预训练方法的用户行为建模技术用于新闻推荐系统，包括用户行为掩码和用户行为生成两个任务，用于提高用户表示向量，在真实世界新闻基准测试中获得了显著的性能提高。
- 自监督孪生自编码器
本文提出了一种新的自监督方法 SidAE，将 Siamese 结构和去噪自编码器相结合进行无监督预训练，证明其在多个数据集、设定和场景下优于两个自监督对照组，其中关键包括仅有少量标记数据的情况。