深度学习的双重身体符号概念表征
通过神经 - 符号过渡性字典学习(TDL)框架,以一种自监督的方式学习数据的过渡性表示,将高维度的视觉输入信息压缩为一组张量作为神经变量,并发现隐含的谓词结构。通过原型聚类学习谓词,并使用扩散模型实现框架,通过合作博弈学习输入的分解,在 3 个抽象组合视觉对象数据集和 3 个神经 / 符号下游任务上进行了广泛实验,展示了学习到的表示能够对视觉输入进行可解释的分解,并且对于现有方法无法实现的下游任务具有平滑适应性。
Aug, 2023
研究论文提出了使用神经网络来获得离散表示的机器语言的想法,并指出相比连续特征表示,离散语言表示在解释性、泛化能力和鲁棒性方面具有多个优势。
Jan, 2022
该论文比较人类和 ChatGPT(GPT-3.5 和 GPT-4)在各种词汇概念特征或维度上的词汇概念表示,结果表明 LLM 可以在某些抽象维度上表现得与人类相似,但在感官和运动领域,GPT-3.5 表现较弱,而 GPT-4 在这方面有了显著进展,但仍然存在一些不足。此外,研究还发现,GPT-4 的进步主要源于其在视觉领域的训练。研究还发现,某些概念表示的方面似乎与感官能力相互独立,但其他方面似乎需要它们。
May, 2023
通过深度学习方法研究自然语言处理,通过训练紧密连接的编码器 / 解码器,在传统的指示语言环境和对比学习环境中开发了一个专用于视觉数据表示的私有语言,并且通过神经机器翻译和随机森林分类的分类层将符号表示转化为类别标签。通过两个实验,旨在进行物体识别和动作识别,研究了从真实图像中生成的草图以及从 3D 运动捕获系统生成的 2D 轨迹,通过梯度加权类激活映射(Grad-CAM)方法和 t-SNE 方法解释了学习到的符号和嵌入。
Sep, 2023
本研究开发了一种结合符号逻辑和神经网络自动生成生物学知识图谱节点的向量嵌入方法,用于生物知识图谱的边预测,并实现了优于人工特征方法的表现,该方法可应用于任何生物知识图谱中,并开放性的提供了生物领域中基于语义 Web 技术的知识库的机器学习和数据分析。
Dec, 2016
本文介绍了在知识图谱的分类和聚合任务中使用符号方法和表示学习方法的比较分析,重点探讨这些方法隐含地使用的规则的复杂性,并提出了一些可能的指标,以帮助选择特定知识图谱的合适方法。
Jun, 2018
本文提出利用暗示的视觉引导表达学习表示,自动地从图像和文本的数据集中挖掘出的结构关系,用于多模态学习模型中的视觉语言融合任务,证明了该方法在跨模态图片检索、指代表达和组合属性对象识别中的有效性。
Oct, 2020
大型语言模型和机器人之间的映射,从语言和手动定义的意义形式表征到语言和高维向量空间之间的映射,有利于理解语言、限制学习问题规模以及提供解释性和正式安全性保证。将语言和感知数据嵌入高维空间可以避免手动指定的象征性结构,但需要更多的数据和计算进行训练,具备更广泛的适用性。本文讨论了每种方法的好处和权衡,并提供了实现两者最佳效果的未来工作方向。
May, 2024
本研究提出了一种新型深度学习框架,用于生成细粒度情感的嵌入式表示,可用于计算描述情感心理模型。通过与多头探测模型集成的上下文嵌入编码器,可以动态地学习情感表示并优化情感分类任务,评估结果表明可以达到最先进的 32 种情感分类。最后结合情感图生成情感轮并增强丢失的情感状态模型价值。
Apr, 2021