- 分布式表示如何传达上下文词汇语义:论文提案
现代神经网络利用分布式表示来编码词汇意义,并通过多语言数据集和语言分析工具评估歧义性与词汇意义。
- 使用卷积稀疏编码和共振网络对视觉场景进行组合分解
基于稀疏编码和谐振网络的视觉场景分析和识别系统,通过将图像的稀疏潜在特征表示编码为高维向量并进行因子分解来解析场景内容。本文发现在此问题中,谐振网络能够进行快速准确的向量因子分解,并开发了一种基于置信度的指标来辅助跟踪谐振网络的收敛过程。
- RAVEL:对解缠语言模型表示方法的可解释性评估
通过 RAVEL 数据集,我们引入了 Multi-task Distributed Alignment Search (MDAS) 方法,用于解决多个高级概念在单个神经元中的表示问题,并通过标识分布在激活中的特征来实现分布式表示。
- AAAI无监督条件下理解深度神经网络中概念的分布表示
本文提出了一种新的无监督方法,通过选择主要的神经元子集来发现概念的分布式表示,该方法可以用于识别数据中的未标记子类,并检测错误分类的原因,同时还揭示了不同层次的深度学习模型内部机制的深入洞察。
- 基于核化率失真最大化的稳健概念抹除
通过使用基于核化的失真最大化的距离度量学习目标函数,本文提出了一种概念消除的方法,用于从分布式表示中删除属性,同时尽可能保留原始表示空间中的其他信息。
- 超越负采样的高效分布式表示
本文提出了一种学习分布式表示的有效方法,该方法通过最小化类似于 Word2Vec 算法中引入并在后来的工作中采用的目标函数来实现,其优化计算瓶颈是需要进行一定数量的操作来缩放到与样本大小成二次正比的 softmax 标准化常数。然而,本文的 - 词嵌入的范数编码信息获取
本文通过理论证明和实验证明 Skip-gram 负采样法中词向量的平方范数编码了由 KL 散度定义的单词共现分布和语料库单纯分布之间的信息增益,进而通过关键词提取、上位词预测和词性鉴别等实验,确证了 KL 散度和词向量的平方范数可以作为单词 - 非公理术语逻辑:认知符号推理的计算理论
本文提出了非公理术语逻辑 (NATL) 作为人类符号推理在人工智能领域的理论计算框架,并将其定位在逻辑学的发展历程和相关文献中。NATL 结合了阿里斯托德的术语逻辑和现代分布式表示或嵌入的语义系统。该文未进行量化评估,但提供了使用 NATL - 解决渡鸦先知测试的神经矢量符号架构
利用我们提出的神经向量符号架构(NVSA)对 Raven's 渐进矩阵数据集进行端到端训练,N VSA 的平均准确率达到了 87.7%,而 I-RAVEN 数据集则为 88.1%。与神经符号方法内的符号推理相比,NVSA 的概率推理具有两个 - 序列相似性保留超向量表示的递归绑定
本研究提出了一种基于超维计算和向量符号架构的模型,该模型使用分布式表示对大型固定维度的数据进行一系列操作,其中包括将序列转换为分布式表示,同时保留相同序列元素和序列位移的相似性,并采用递归绑定和叠加操作形成序列位置的表示。该模型名为傅里叶全 - AAAI使用神经算法推理解决视觉类比问题
研究一类视觉类比推理问题,并使用神经类比推理方法寻找一系列基本的神经网络转换来处理符号空间中的图像,评估该算法对具有不同形状和位置的图像的推理泛化能力。
- 超高维计算调查:向量符号结构,第一部分:模型与数据转换
这份综述研究了高维计算和向量象征体系结构 (HDC / VSA) 的计算框架,并提供了对已知计算模型和将各种输入数据类型转换为高维分布表示的重要方面的概述。
- SIGIR基于任务导向对话系统用户满意度的模拟评估
通过提出用户满意度注释数据集,构建类人用户模拟器来衡量对话质量
- 知识图谱嵌入的持续学习
本文介绍了一种基于连续学习方法的增量知识图嵌入技术,弥补了现有嵌入技术只能处理先前已知概念的局限性,并提供了一些在知识图嵌入技术和机器人应用之间进行权衡的洞见。
- 生成神经符号机
本文提出了生成神经符号机,它是一种将分散和符号表示的优点相结合的生成模型,支持符号组件的结构化表示和基于密度的图像生成。该模型在结构精度和图像生成质量方面显著优于以前的结构表示模型以及现有的非结构生成模型。
- EMNLP学术专家检索中有效的分布式表示
本研究使用 Microsoft Academic Graph 数据集,通过实验不同配置的文档中心投票模型,研究不同分布式学术文章表示形式 (即嵌入) 对学术专家检索的影响。结果表明使用用于句子相似性任务的转换器模型训练的上下文嵌入产生最有效 - AAAI自然语言编辑表示学习的变分推理
本文提出了一种使用变分推理来学习连续向量表示的新方法,以捕捉有关文档编辑过程的潜在语义信息,同时还介绍了一套下游任务,PEER,旨在衡量自然语言处理环境下编辑表示质量。
- 多语言神经机器翻译综述
本文旨在介绍多语言神经网络机器翻译(MNMT)的概述,重点关注其经验转移的传输学习方法,对相关研究领域、建模原理和挑战进行了细致分类,讨论了不同技术的优劣,并探讨了未来的研究方向。
- ACL医疗信息学分类问题中基于单词和上下文表示的比较
本文研究了分布式文本表示的应用,比较了基于单词向量和基于上下文的句子向量两种表示方式在不同分类问题下的效果,结果显示,基于 ELMo,Universal Sentence Encoder,Neural-Net Language Model - 基于概念的弱监督对抗学习用于跨语言词嵌入
本论文提出了一种基于概念的弱监督对抗训练方法,通过将单词映射到连续向量的分布表示法,实现不需要大量平行数据(如字典或句子对齐语料库)的语言间互译,并针对语言间距离大的情况,在大多数语言上改善了以前无监督的对抗方法的性能。