- ACL基于自监督的会话式搜索后训练
本篇论文提出了一种名为 SSPT 的后训练范式，通过三个自监督任务以及有效的实现来初始化会话式搜索模型以增强对话结构与语境语义的理解，并表明该方法能够提高多个现有会话式搜索方法的性能。
- 检索式知识增强视觉语言预训练
该篇论文提出了一种基于知识图谱的视觉语言预训练模型 (REAVL)，能够检索多模态数据中的世界知识，并结合多模态数据和知识来完成预训练，以提高视觉语言理解和多模态实体链接任务的性能。
- CVPR基于运动捕捉的动作识别的时空网格变换器（STMT）
本文提出一种利用 Spatial-Temporal Mesh Transformer（STMT） 直接对网格序列进行建模的方法，通过使用层次 Transformer 结构和自监督任务来实现骨架表示和点云表示无法达到的以空间 - 时间域的非局 - 基于关键话语的对话阅读理解问题 - 发话人范围实现图建模
本文研究对话阅读理解，提出了新的密钥话语提取方法及以 QuISG 为模型的图形方法，以提高答案抽取准确率和降低错误率。
- EMNLP预训练语言模型中的知识激发对自然语言理解的影响
本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架，该框架通过多种连续提示规则将知识子图转化为自然语言提示，并在这些提示的基础上提出了两个新的知识感知无监督任务，实验证明了 KP-PLM 在多个自 - DFM: 用于大规模对话导向任务学习的对话基础模型
本文旨在构建一种统一的会话基础模型，通过收集大规模多样化的对话数据集和引入自监督任务，提高该模型的稳定性。实验结果表明，与其他相同规模的模型相比，该模型在跨领域对话任务方面有着领先的表现。
- ICLR多个自监督任务的使用提高模型的鲁棒性
本文提出了一种新的防御方法，通过同时使用多个自监督任务来动态适应输入，并避免过拟合到特定自监督任务并且恢复了图像的更多内在结构，从而显著提高了深度神经网络在对抗攻击和干净数据上的鲁棒性。
- EMNLP自然语言处理元学习中多样化自监督任务的分布
本项研究探讨了如何通过自监督的方式，自动构建和提供能在自然语言处理中进行大规模元学习的任务分布，考虑了任务的多样性、难度、类型、领域和课程，结果表明，这些因素都会有意义地改变任务分布，从而显著提高元学习模型少样本学习的准确度。
- 基于图神经网络的自适应迁移学习
该研究提出了基于自监督任务的图神经网络（GNN）的迁移学习新范式，其能够有效地将自监督任务作为辅助任务在微调阶段与目标任务结合起来，通过元学习来学习辅助任务的权重，对于多任务学习，预训练和微调均表现出色。
- ACL通过基于检索的预训练弥合语言模型与机器阅读理解之间的鸿沟
使用自我监督的方法在预训练过程中引入两个任务强化证据提取，从而增强证据提取能力，以提高 Pre-trained Language Models 在机器阅读理解方面的表现。
- ICCV基于实例级时序循环混淆的鲁棒物体检测
本文介绍了一个新的自监督任务，即基于实例级别的时间循环混淆，可以在不同运动中探索不变动结构，从而提高物体检测器在测试时的鲁棒性，实现了在训练物体检测器时采用自监督任务的一种可靠方法。
- 使用自监督任务学习有效的上下文 - 回复匹配模型， 用于基于检索的对话
本研究提出了一种基于预训练语言模型的上下文相应匹配模型，引入了四个自我监督任务，并与 auxiliary tasks 一起多任务训练 PLM-based 响应选择模型，旨在提高多轮响应选择的准确性。实验结果表明，在检索式对话中，引入辅助自我 - 通过图引导的表示学习利用结构化文本知识
本研究探讨使用知识图谱为预训练语言模型提供结构化知识的方法，提出并实现了两种利用知识图谱进行自监督训练的任务，并通过掩盖文本中的实体并利用实体关系知识进行训练，通过实验验证了该方法的有效性。
- TAFSSL: 任务自适应特征子空间学习，用于小样本分类
本文提出了一种名为 “任务自适应特征子空间学习” 的简单技术，可以显著提高少样本学习方案的性能，特别是当一些额外的未标记数据附带用于新的少样本任务时，而且它可以将在半监督 FSL 设置中更多地受益于使用未标记数据到超过 10% 的性能提高。
- 无监督视频表示学习的演化损失
本文提出了一种新的方法来从大规模的无标签视频数据中学习视频表示，采用无监督表示学习作为多模式、多任务学习问题，利用进化搜索算法来自动找到捕获许多（自我监督）任务和模态的优化损失函数的组合，并提出了一种基于 Zipf 定律的无监督表示验证度量 - 自我监督下的卷积神经网络剪枝
通过使用标准剪枝方法，本文研究了基于自监督任务的无监督卷积神经网络是否可行，发现通过使用有标签的重新训练后，裁剪掉的子网络与未裁剪掉的子网络性能相近，并且剪枝方法可以在自监督和有监督学习中同样起作用，还发现剪枝可以保留自我监督子网络表示的传 - 自我监督下的无监督领域自适应
本文研究无监督领域自适应，提出了一种将源域和目标域之间的表示进行对齐的方法，从而使目标域数据的分类准确性更高。该方法利用自监督任务对两个域进行训练并成功地泛化到目标域。在实验中，我们获得了四个标准基准测试中的最先进结果，并在分割适应性方面取 - 多任务自监督学习用于消除语注检测
本文针对训练数据短缺的问题，提出了使用自监督方法结合无标注数据构建伪训练数据进行预训练，并利用有标注的训练数据进行微调的方法，达到了使用少量数据在英语 Switchboard 数据集上与之前使用全数据进行训练的系统表现相当的结果。使用全数据 - ICCV多任务自监督视觉学习
研究多种自监督学习任务相结合的方法，用于训练单一的视觉表征，并在 ImageNet 分类、PASCAL VOC 检测和 NYU 深度预测上获得了优秀的结果。
- 损失即奖励：自监督增强学习
本文探讨了如何通过自我监督预训练和联合优化来增加辅助损失，提高强化学习中的数据效率和策略回报。