- ICLR人类存在即时泛化，而深度神经网络存在泛化滞后 —— 对表示分化的证据？
人类和深度神经网络在图像分类领域进行了许多行为比较的最新研究。我们报告了如何在人类观察者和各种经典和最先进的深度神经网络中获取可迁移表示的详细调查结果。发现表明，就绝对分类性能而言，深度神经网络展示了与人类学习者相媲美甚至超过的数据效率水平 - 弱监督提示学习下的低资源医学图像分类探索
通过弱监督的提示学习方法 MedPrompt，自动生成医学提示并利用预训练的视觉 - 语言模型，在低资源情况下提升医学图像识别的性能和准确率。
- 基于集合的遮蔽粒子建模：面向自监督高能物理基础模型
提出了一种用于学习高能物理科学数据中无序输入的通用、可迁移和可重用表示的自监督方法，即掩蔽粒子建模（MPM）。通过在集合上执行基于掩蔽建模的预训练，该方法提供了一种学习置换不变函数的新方案。此外，该研究还展示了该模型的微调能力以及在新的类别 - 多层感知器优化跨领域少样本分类
使用多层感知器（MLP）解决跨领域少样本分类（CDFSC）的挑战，发现 MLP 可以显著提高判别能力和减轻分布偏移，与其他先进的 CDFSC 算法相比，显示出更好的性能。
- 走向用于知识图谱推理的基础模型
ULTRA 是一种基于条件交互的学习方法，用于构建能够适用于不同知识图谱的关系表示，并在 57 个不同的图谱上展示出类似或优于特定图谱的零样本归纳推理性能，同时细调进一步提升了性能。
- ICLRTRAM：连接信任区域和锐度感知最小化
通过降低参数空间中损失曲面的曲率，锐度感知最小化（SAM）在域转换下实现了广泛的稳健性改进。本研究不关注参数，而是将表示的可转移性作为优化目标，在微调设置中进行跨域泛化的优化。我们考虑基于信任区域的微调方法，以鼓励保持可转移表示，并通过使用 - 模型对比联合域自适应
在联邦学习场景下，我们提出一种基于对比学习和 Vision Transformer（ViT）的模型方法 FDAC，目的是通过操作 ViT 的潜在架构来学习可转移的表示，同时通过域增强和语义匹配来增加目标数据的多样性，实验结果表明，FDAC - 从多模态信息指导中学习可转移的行人表示
本文提出了一种学习可迁移表示以增强各种行人分析任务的新框架 VAL-PAT，并介绍了三个学习目标：自监督对比学习、图像文本对比学习和多属性分类。该框架在无标签人员图像的预训练下实现了良好的性能，并扩展到各种行人分析任务。
- 监督信号信息化程度的研究
通过对比学习和分类等几种常用的监督信号的信息论分析，我们确定了它们如何为表示学习性能做出贡献以及在训练数据集的标签数、类数和维数等培训参数影响下学习动力学如何受影响。我们通过一系列模拟实验进行了实证验证，并进行了成本效益分析，以建立一条权衡 - ECCVLocVTP: 视频文本预训练用于时间定位
本文提出了一种面向本地化任务的视频文本预训练框架 LocVTP，通过精细对比对齐和上下文感知等机制，提高了其学到的特征的时空推理能力和传递性，实现了在四个下游任务上的最优表现。
- 标题：标题值得 1000 张图片？控制学习的研究
通过比较图像和语言数据的传输表现，研究证明，当预训练数据集足够大而又包含了低变异性的描述性标题时，对于分类任务来说，仅使用图像的方法不能与 CLIP 的传输性能相匹配。
- ICCV无监督领域自适应对抗鲁棒性
本文提出一种通过利用 ImageNet 预训练模型中的中间表示，使得源域与目标域学习到的特征分布更加接近，从而提高无监督域适应模型在未标记数据上的对抗鲁棒性，不需要对抗干预或标签要求。
- AAAI非任务相关知识构建的可传递广义零样本学习表示
该文提出了一种新的双对比嵌入网络（DCEN），通过语义对齐和实例区分同时学习特定任务和任务无关知识，其中实例区分监督可帮助捕捉视觉低级知识，减轻表示偏差，从而获得可传输的表示。
- 领域自适应的网络架构搜索
本文介绍了一种名为神经架构搜索的领域自适应基本框架 (NASDA)，它利用可微分的神经架构搜索来获得领域适应任务的最佳网络架构，并具有神经架构搜索和多核最大平均差异配合的两种新的训练策略，通过实验证明 NASDA 在多个领域适应基准测试中表 - 可证明的线性表示元学习
本文提出了一种基于 Meta-learning 的多任务线性回归算法，该算法能够通过低维线性表示快速学习多个相关任务，同时将这些知识传递到新的未见过的任务中，并提供了信息论下限，证明了该算法的高效性。
- EMNLP可视化理解 BERT 的有效性
本文研究了使用 BERT 等语言模型进行预训练，并 fine-tuning 在不同任务上的应用。通过可视化损失函数和优化轨迹，本研究得出：预训练可以在不同任务上发现较好的初始参数点，这有利于 fine-tuning 得到更宽的稳定最优解，更 - 通过模拟超声医师的视觉注意力进行超声图像表示学习
本文研究通过建立基于人类视觉注意的模型来学习图像的可转移表示，以取代直接学习类标签所造成的图像理解的简化。通过在超声视频中预测视觉显著性或注视点回归，利用卷积神经网络从注视数据集中学习视觉注意模型，并评估该模型在超声标准平面检测任务中的可迁 - 深度视觉领域自适应：一份综述
本研究提供了关于计算机视觉领域中，基于深度学习的深度域适应方法的全面概述，分类不同的深度域适应情景，总结了深度域适应方法，重点分析比较了各种情况下的最先进方法，并着重强调了当前方法的潜在缺陷和未来几个方向。
- 多任务强化学习中的共享表示学习
本文探讨了多任务强化学习中一种范例，即在一个固定的环境中进行一系列任务的学习，介绍了一种共享结构模型，在状态 - 动作值空间中联合学习优化价值函数，从而提高数据效率并获得更健壮、更具潜力的可传递表征。