- 深度学习模型在捕捉人类概念方面表现如何？以典型性效应为例
深度学习模型中的表示学习结果与人类的表示学习有很大的一致性，并且综合语言和视觉模型能够更准确地预测人类典型性判断。
- 柏拉图表征假设
AI 模型中的表示正在收敛，通过调查文献中的多个例子和数据模态的比较，我们证明了对于不同的神经网络来说，它们对数据的表示方式变得越来越趋同。我们假设这种趋同性驱动着 AI 模型走向一种共享的统计模型现实，类似于柏拉图所提出的理念，我们将这种 - 探索图的自监督任务的相关性
我们的研究旨在通过任务相关性提供对图自监督学习的新理解，通过评估一个具体任务所训练的表示在其他任务上的性能，定义相关性值来量化任务相关性，并揭示了各种自监督任务之间的任务相关性和其表达能力，进而提出了图任务相关建模（GraphTCM）来增强 - 打造具有非洲裔美国人口音的文本转语音系统：指导原则、技术挑战和令人惊讶的评估
AI 机器人和用户界面的表示普遍是白人，无论是面部和肤色特征上，还是合成的声音；本文探讨了在开发一种以美国非洲裔女性的受教育水平高、专业、不带地方口音的英文文字转语音系统时，所面临的对种族的表示所带来的一些意外挑战，研究开始通过针对非洲裔美 - 利用语境和音素表示从原始音频信号中学习语义信息
我们提出了一种框架，使用两种类型的表示，分别编码上下文和语音信息，从原始音频信号中学习语义。通过引入一种语音到单元处理流程，以不同的时间分辨率捕捉两种类型的表示。对于语言模型，我们采用双通道架构来结合这两种表示。我们还提出了新的训练目标，即 - M2CURL: 机器人操作的自主监督表征学习实现高效的多模态强化学习
提出了一种名为 M2CURL 的多模态对比无监督强化学习方法，该方法可以有效整合不同的观察模态，通过学习高效的表征进而提高强化学习算法的稳健性和样本效率。该方法在触觉模拟环境中得到了验证，相较于标准的强化学习算法，其学习效率显著提高，表现为 - ICLR连接状态与历史表征：理解自预测强化学习
深度强化学习的关键是表示方法，这篇论文揭示了多种表示学习方法和理论框架之间的共同性，特别是基于自预测抽象的思想，并给出了学习自预测表示方法的最简算法和实用指南。
- 时间序列的软对比学习
提出了一种针对时间序列的简单而有效的软对比学习策略 SoftCLT，通过引入实例级和时间级的对比损失，使用从零到一的软分配来改进学习表示的质量，实验证明 SoftCLT 在分类、半监督学习、迁移学习和异常检测等各种下游任务中提高了性能。
- 超越准确性：自监督学习表示评估的统计度量和基准
自我监督度量学习通过引入大规模基准测试 SMLB (Statistical Metric Learning Benchmark) 在超过 14M 张图像、20K 个类别和 16K 个分类节点中严格评估鉴别性和泛化性，同时提供了衡量距离统计信 - 通过逆识别标记神经表示
我们提出了一种逆向识别方法 (INVERT)，通过利用学习表示与人可理解的概念之间的区分能力，实现了将学习表示与其对应解释相连接的可扩展方法。此方法具有较低的计算复杂度并且不依赖于分割掩码的可用性，还提供了一个可解释的度量来评估表示与其相应 - 图之道：基于多个领域对比学习的基础拓扑模型
使用对抗式对比学习提出了一种用于多个图领域的预训练模型，通过在拓扑结构上训练模型，并在评估时包含节点标签，我们展示了该模型在各种下游任务中与基准模型、未经训练的模型和非转移模型相比，性能相等或更好，包括在评估时使用节点标签，性能始终优于单个 - 多视角因果表示学习与部分可观测性
我们提出了一个统一的框架来研究从同时观察到的多个视图（如不同的数据模态）中学习到的表征的可识别性。我们允许部分观察的设置，其中每个视图都由一些潜在变量的子集的非线性混合构成，这些潜在变量可以有因果关系。我们通过对比学习和每个视图的单个编码器 - 语义对齐下的潜在空间翻译
通过简单的转换，我们的研究展示了神经网络模型中学习到的表示可以在不同的预训练网络之间进行转化，从而有效地连接编码器和解码器，并实现在多模态设置下的出色分类性能。
- 不变性是泛化的关键：探究表征在视觉导航的从模拟到实际转移中的作用
数据驱动方法在机器人控制领域迅速发展，然而对未知任务领域的泛化仍然是一个关键挑战。我们认为泛化的关键在于具备足够丰富的表示以捕捉所有任务相关信息，并且对于训练与测试领域之间的无关变异具有不变性。我们实验研究了这样一种富含深度和语义信息的表示 - Transformer 在上下文中如何学习超越简单函数？学习表示的案例研究
大型语言模型在转换器架构的基础上展现了卓越的上下文学习能力，本研究旨在深入了解更复杂的情境中的上下文学习，并通过研究表示学习来探索其机制和性能。
- 肽序列和图形路径的联合建模
通过融合基于序列和图形编码的深度学习方法，本研究提出了一种名为 RepCon 的肽共建模方法，用于提高鉴别性能。实验证明，RepCon 方法在共建模框架下的优越性以及在模型解释方面的有效性。
- 从砖头到桥梁：增强潜在空间通信的不变性乘积
直接将一组不变性直接融入表示中，构建一种不变分量的产品空间，旨在解锁合并、拼接和重用不同神经模块的应用，并观察到分类和重建任务中的一致潜在相似性和下游性能改进。
- 神经预测与对齐的谱理论
使用最新的理论框架，测试了大量预测视觉皮层活动的深度神经网络，并展示了多种几何特性导致通过回归测量的低神经预测误差，从而证明了仔细分解表征度量可以解释模型如何捕捉神经活动，并指导神经活动的改进模型。
- 分类神经网络中的中间隐藏层神经失调
分类神经网络的中间隐藏层中出现一定程度的神经崩溃，而崩溃的程度通常与该层的深度正相关。此外，浅层网络主要减少样本内类别方差，类之间的角度分离随着隐藏层深度的增加而增加。实验结果提供了有关特征在分类神经网络中结构传播的细粒度洞察。
- ICML神经网络表示中的特权和收敛基础
通过研究神经网络所学到的表示是否具有特权和趋同基础，本研究旨在探究个别神经元所表示的特征方向的重要性。结果表明，与线性网络不同，神经表示的任意旋转无法被逆转，证明其不具备完全的旋转不变性。同时，通过比较具有相同参数但具有不同随机初始化的网络