在具身模拟中通过相似性学习基于概念的词汇的内涵和区分
提出通过对比学习策略来改进概念嵌入的语义表示方法,使用全新的 contextualized vectors 代替传统平均表示方法,可优化概念嵌入中的语义属性,使得使用该方法后的概念嵌入能在预测语义属性上显著突出于传统概念嵌入方法,尤其是使用 ConceptNet 的方法的效果最佳。
May, 2023
本文旨在利用图像丰富文本语义模型,以更好地捕捉词汇意义的认知方面,并通过大型启动实验展示在视觉基础词嵌入中添加视觉信息的预测性能更好,其中与人类单词相似性的相关性也更高,并展示了视觉基础嵌入可以捕捉到仅使用纯文本不能提取的信息。
Feb, 2022
该研究探讨了一种计算模型,即词嵌入模型,通过将词表示为多维空间中的向量,从词汇共现模式中学习来自语义记忆中的常见知识,并提出了语义投影的解决方案,以检验词嵌入模型是否能够恢复多种语义特征和对象属性的上下文依赖关系。
Feb, 2018
本研究提出了一种简单且非常有效的预训练词嵌入视觉对齐方法,使得即使对于抽象词,我们也能生成受视觉基础支撑的嵌入,并且在一系列的单词相似性基准测试中证明了视觉基础支撑不仅有益于具体词,还有益于抽象词。
Jun, 2022
本文评估了将平行四边形模型应用于现代单词嵌入的类比关系能够捕捉基于人类关系相似度判断的能力,并发现其在某些语义关系上表现更好,但同时提供了基于向量空间内在几何约束的更深层次局限性证据,对一阶相似性产生的古典结果进行类比。
May, 2017
本文检验了分布式词汇表示法是否能准确编码概念含义的所有必要方面,发现其无法准确编码概念的感知特征,导致词 - 词相似度预测误差。因此,文中提出需要注重基于经验和实体的语言学习方法来弥补这些缺陷。
May, 2017
本文探讨语言与视觉的互动方式对视觉基础单词嵌入的影响,并使用 Günther 等人 (2020) 的行为实验说明了基于视觉图像建模的嵌入模型在人类的行为表现上更佳。同时发现抽象概念从视觉连接的角度受到视觉基础单词的间接影响。
Jun, 2022
通过深度学习方法研究自然语言处理,通过训练紧密连接的编码器 / 解码器,在传统的指示语言环境和对比学习环境中开发了一个专用于视觉数据表示的私有语言,并且通过神经机器翻译和随机森林分类的分类层将符号表示转化为类别标签。通过两个实验,旨在进行物体识别和动作识别,研究了从真实图像中生成的草图以及从 3D 运动捕获系统生成的 2D 轨迹,通过梯度加权类激活映射(Grad-CAM)方法和 t-SNE 方法解释了学习到的符号和嵌入。
Sep, 2023
本文目的在于通过学习一种中间的 representation space 将视觉信息转移到文本表示中,以解决由于一个视觉场景可以有多种描述方式所导致的文字表示和学习中的问题,作者还提出了两个新的目标,来保证相关元素之间的相似性跨领域地保持和提高分类和语义相关性任务的性能。
Feb, 2020