- 使用软标签的合成样本减轻噪声监督
通过使用混合模型从局部损失分布学习样本权重，我们提出了一种利用合成样本训练模型的框架来减轻噪音标签影响，并通过逐渐修正噪音标签估计软目标，得到了更为准确的近似真实标签和更加独立和清晰界定的聚类，实验证明我们的方法在两个基准数据集 (CIFA - 动态词：运动预测的表征工程
通过自然语言将运动特征量化为可解释的方式，并测量其在隐藏状态中的嵌入程度，从而使我们能够控制基于 Transformer 的运动预测模型的文本输入，为与这些模型进行交互和理解提供独特的界面。
- 通用、快速、准确的 DeepQSPR 与 fastprop Part 1：框架和基准
分子结构和学习表示之间的映射关系研究已经发展成为分子属性预测，本文介绍了一个名为 fastprop 的深度学习框架，使用一组有力的分子级描述符，在更短的时间内在各种数据集上超越了学习表示的性能。
- 通过插值进行推理：对比表示可证明地实现计划和推理
给定时间序列数据，本论文展示了如何利用对比学习获得紧凑的、闭合形式的解来回答 “未来会发生什么？” 和 “我们是如何到达这一点的？” 这些概率推断问题在高维观测时很具有挑战性。我们通过对时间序列数据应用一种变体的对比学习方法来实现这些问题的 - 自监督学习中均一性度量的重新思考
本研究通过分析现有的均匀性度量方法的局限性，提出了一个新的均匀性度量指标，该指标能更准确地衡量学习表示的均匀性，并在各种自监督学习方法中作为辅助损失应用时显著提升它们在下游任务中的性能。
- 朝向健壮的多模式提示：缺失模态
使用具体的提示设计来提高多模态学习的性能和鲁棒性，并减少提示的数量。
- 基于基础模型表示识别稀有星系类别
通过预训练模型中的学习表示，我们识别出罕见且视觉独特的星系群体，并展示了这些表示在安排星系外观方面超出预训练标签所需的模式。我们设计了一种聚类方法来分离特定的局部模式，揭示了具有罕见和科学上有趣形态的星系群。
- 自我监督表示学习的随机场增强
基于高斯随机场的新型局部变换用于自监督表征学习，并通过改进的数据增强方法，在 ImageNet 和 iNaturalist 数据集上实现了准确性的提升。
- EMNLP透明、来源：评估和解释有真实分布访问的语言模型
我们提出了一种使用人工制造的类似语言的数据来训练、评估和解释神经语言模型的设置。使用大规模概率语法（基于状态拆分的 PCFGs）生成数据，该语法源自大型自然语言语料库，但也可完全控制生成过程。通过比较神经语言建模架构和训练目标对可获取困惑度 - 语言模型表示空间和时间
使用 Llama-2 模型，我们通过分析三个空间数据集（全球、美国、纽约地点）和三个时间数据集（历史人物、艺术品、新闻标题）中学到的表示来找到 LLMs 学习的证据，发现 LLMs 在多个尺度上学习了空间和时间的线性表示，表征对提示的变化具 - 自我监督的表示学习方法能否经受分布变化和损坏？
自监督学习在计算机视觉中的鲁棒性研究调查了分布变化和图像损坏对学习表示的影响，发现较高级别的变化和损坏显著降低了学习表示的鲁棒性。研究强调了鲁棒性对自监督学习方法的性能和应用的关键影响，并强调了需要寻找有效策略以减轻其不利影响的重要性。
- 神经网络中表征学习和性能预测的量化方法
本文提出了一种基于伪核的新工具，用于分析和预测网络学习到的表示，通过验证其在简单测试案例上的使用，本文论证了该方法可预测权重初始化和训练计划对表示学习和下游并发多任务执行表现的影响。
- 自注意力动态中群集的出现
本文将 Transformer 视为相互作用的粒子系统，描述了当权重不随时间变化时，学习表示的几何特征，证明了表示中的粒子会在时间趋于无穷时聚集到特定的极限对象，这取决于值矩阵的谱。同时，在一维情况下，证明了自我关注矩阵收敛于低秩布尔矩阵。 - EMNLP通过对抗类别增强学习连续关系抽取的强大表示
通过实证研究，本文指出 Catastrophic Forgetting 问题的其中一个原因是在模型学习新关系时，旧关系的学习表示不够具有健壮性，而提出了一种称为 Adversarial Class Augmentation 的方法，它可以更 - 通过概率类比映射进行零 - shot 视觉推理
本文介绍了 VisiPAM（visual Probabilistic Analogical Mapping）的视觉推理模型，该模型综合了视觉推理和类比推理两种方法，使用从自然视觉输入中直接推导出的学习表示和源自人类推理认知理论的相似性映射操 - 深度学习中的表征复杂度
通过分析学习表示在分离不同类别方面的有效性，使用简单的复杂度指标，研究表明数据复杂度随着网络层数增加和训练的进展而变化，受网络设计和训练样本的影响
- 自监督语音表示学习：综述
本论文综述了自监督语音表示学习的方法及其与其他研究领域的联系，讨论了将学习到的表示推广到语音识别以外的应用的最新研究进展。
- 自编码变分自编码器
本文证明了一种名义上训练过的变分自编码器（VAE）并不一定能够为其能够生成的典型样本便捷地进行推理，介绍了一种自一致性的概念来修正这种行为，并提出了一种基于马尔可夫链的变分近似分布的替代构造方法，具有自监督的后处理环节，可以使其生成的表示更 - 部分观测下的代理建模用于深度强化学习
为了消除现有的管理机构建模中对受控代理的局部信息和选择动作的假设，该研究使用编码器 - 解码器结构从受控代理的局部信息中提取表示，并在训练期间使用管理代理的观察和动作来学习提取关于管理代理的表示，从而增强了管理代理的决策策略。提供了对合作、 - TopoAct: 深度学习激活形状的可视化探索
本文使用拓扑数据分析探究深度神经网络内部层的神经元激活，使用 TopoAct 可视化系统展示获取的激活向量的拓扑信息，为深度神经网络学习表示提供有价值的洞见和可视化工具。