representation spaces | BriefGPT

关键词representation spaces

搜索结果 - 8

使用感知组件解释表示学习
通过使用三个关键的感知组件：颜色、形状和纹理，我们采用选择性的掩模来观察表示的变化，从而获得每个感知组件的独特重要性图，从而增强了表示空间的可解释性，提供与人类视觉感知共鸣的解释。
PDF23 days ago
大型语言模型中分类和层级概念的几何结构
大型语言模型的表示空间中如何编码语义含义是可解释性中的一个根本问题。本文研究了这一领域的两个基本问题：第一，如何表示类别概念，如 “哺乳动物”、“鸟类”、“爬行动物”、“鱼类” 等；第二，如何编码概念之间的层级关系，例如 “狗” 是 “哺乳
PDFa month ago
强韧多模型具有异常特征并编码更多概念
通过研究 12 个具有不同骨干（ResNets 和 ViTs）和预训练集（OpenAI、LAION-400M、LAION-2B、YFCC15M、CC12M 和 DataComp）的鲁棒多模型的表示空间，我们发现这些模型的表示空间呈现出稳健性
PDF8 months ago
ICLR自我监督视觉变换器学习了什么？
对比学习和掩模图像建模的比较研究，发现自监督视觉变换器（ViTs）在表示和下游任务性能方面具有不同的属性，可以互补，最简单的协调方法可以帮助利用这些方法的优点。
PDFa year ago
知识图谱嵌入：从表示空间的角度进行的调查
本文从数学空间的角度系统性地回顾了当前存在的 KGE 技术，并介绍了基本的数学空间定义。通过对不同的类别 KGE 方法的讨论，总结了它们在不同嵌入需求下如何发挥空间优势，并探讨了数学空间在不同场景下的优势和原因。最后，从表示空间的角度提出了
PDF2 years ago
AAAI关于小型自监督对比模型的有效性研究：不使用蒸馏信号
本文提出一种无需蒸馏信号即可训练自我监督小模型的方法，验证了小模型可以完成预文本任务且避免过拟合，但会普遍遭受过聚类问题，并提出了多种缓解过聚类的假设，通过验证技术的组合可在五种小型结构上达到基线性能的改进。
PDF3 years ago
ICLR基于自编码器的声学词嵌入分析
本文研究了六种语言中通过序列编码 - 解码模型学习到的声学词嵌入的基本属性，展示了其表示空间中包含单词的绝对时长和说话者信息，且在这些 AWE 的表示空间内，单词的嵌入距离会随着它们的语音差异而增加，且表现出词语起始偏置，证明了 AWE 作
PDF4 years ago
ICLR评估表示学习中的组合性
描述了一种评估向量空间和离散码等机器学习输入表示中组成结构程度的程序，并使用这种程序探索了这种组成结构与学习动态、人类判断、表示相似性和泛化之间的关系。
PDF5 years ago