May, 2023

深度网络表示中的凸概念区域

PDF
TL;DR本文探讨了测量人 - 机器对齐中机器学习的潜在空间中概念凸性的方法，并在多个应用领域的深度神经网络中评估了这种_convexity_。研究表明，类标签区域的预训练凸性预测了随后的微调表现。
human-machine alignmentlatent spacesconvexitydeep neural networksfine-tuning
发现论文，激发创造
  • 潜在图像流形的数据表示研究

    本文探究了图像流形的曲率，发现卷积神经网络在分类任务中的整体曲率表现具有特殊的特点，即初始速度的加速，接着进入了一个较长的平稳期和之后的再加速。此外，我们发现最后两层图层的曲率缺口与网络的泛化能力有很强的相关性，并观察到常见的正则化方法，如 mixup，在相比其他方法时，呈现出更平的表示特征。

    May, 2023

  • 概念激活区域：基于概念的解释的通用框架

    本文提出一种新的概念激活区（CAR）的建立方式，通过采用核技巧和支持向量分类器来实现 CAR 的建立，以实现全局的概念解释和局部的概念特征重要性，经实证证明 CAR 可以更准确地描述 DNN 的潜在空间中的概念分布，并且可以用于 DNN 自行学习已知的科学概念，例如前列腺癌分级系统

    Sep, 2022

  • 以概念子空间为基础的实体嵌入用于合理推理

    本研究提出一种基于向量空间嵌入的方法，通过 Wikipedia 学习实体的嵌入并将其限制在某些较低维度子空间中，以解决概念空间表示建模自动化的局限性，实验结果表明这些子空间能够作为近似的概念空间表示，其重要特征可以被建模为方向，而自然属性则往往对应于凸区域。

    Feb, 2016

  • 深度学习函数从图像中学习特征空间中的决策边界和凸包

    通过研究深度神经网络在图像分类和学习方面的成功，我们开发了方法和公式来研究模型中的特征空间，以此去理解决策边界在特征空间和像素空间中的几何构成和所带来的影响，进一步探讨其对对抗性漏洞、图像变形、外推，模糊分类以及数学上的理解等方面的启示。

    Feb, 2022

  • 学习互相关联概念的概念空间表示

    本研究提出了一种基于贝叶斯模型的方法，可以从背景知识中构造信息先验，将领域中的每个对象与高维欧几里得空间中的一个点相关联，并将概念表示为高斯分布，以解决对象不足时的模型建立问题。应用该模型对知识库完成任务进行预测，获得了更好的结果。

    May, 2018

  • 关于微调自然语言处理模型中潜空间的转换

    本研究通过无监督方法分析表示空间中的潜在概念，并考察了预训练模型和微调后模型间的相似性。结论显示：较高层次的潜在空间向任务特定概念演变，而较低层次则保留了预训练模型获得的通用概念；某些概念向输出类别具有极性，并可用于生成对抗性触发器。

    Oct, 2022

  • 使用几何感知循环网络学习空间常识

    这篇论文提出了一种通过结合几何学和深度视觉表示学习的思想，将其嵌入移动视觉场景理解的递归网络架构中，以学习如何将 2D 视觉特征整合到场景的潜在 3D 特征映射中，通过不同 iable 几何操作进行预测和分割，十分成功。

    Dec, 2018

  • 利用 LLMs 对实体在概念空间维度进行排名：关于微调策略的分析

    通过使用可用的特征为训练数据，并分析这些模型的排名能力是否可以转移到感知和主观特征上，我们发现在一定程度上是可以的，但在训练数据中包含感知和主观特征似乎是实现最佳结果的关键，此外，我们还发现点对点的排名策略与常识相悖，并且能与成对的方法竞争。

    Feb, 2024

  • 半内积空间广义不变性的凸表示学习

    该研究提出了一种基于半范数的广义不变性的学习算法，采用新的欧几里得嵌入技术，可以高效、准确地学习不变表示，并得到了实验证实。

    Apr, 2020

  • 通过位移凸性分析两层神经网络

    使用线性组合的神经元对凸紧致区域上的凹函数进行拟合，将所得的经验风险最小化问题收敛到概率分布空间中的 Wasserstein 渐进流（Wasserstein gradient flow），且在 bump 宽度趋近于 0 时，具有特殊的位移凸性（displacement convexity），由于此渐进理论能够描述中等值的行为，因此在对风险最小化和对宽度数量的理解方面仍存在着挑战。

    Jan, 2019