Jul, 2022

表征异质性

PDF
TL;DR本文介绍了 Representation Heterogeneity 的概念，并阐述了其包括的两种概念：Representation Unity 和 Representation Diversity，同时也强调了这两种概念如何在任何形式的表示中被实现，即语言和知识两个层面。
semantic heterogeneityrepresentation heterogeneityrepresentation unityrepresentation diversitylanguage and knowledge
发现论文，激发创造
  • 当表示对齐时：在表示学习动态中的普适性

    在复杂的大规模架构中，深度神经网络的表征学习动态可以用编解码映射为任意平滑函数的有效理论来描述，该理论能够概括多种不同激活函数和架构的深度网络的表征学习动态，并展现类似于 “丰富” 和 “懒惰” 区域的现象。

    Feb, 2024

  • 为迁移学习学习更通用的表示

    本文提出两种方法，并基于多元化训练问题提出了一种统一框架来改善普适性，同时提出了新的评估普适性的指标，并运用转移学习方案，在 10 个问题上验证了其效果与价值。

    Dec, 2017

  • 去除歧义的语义表示

    通过深度语义网络来解决语义表达技术中单一代表多个意思的缺陷，提出了一种高覆盖率、能够准确表示不常见词义的技术，并在六个数据集上取得了最先进的结果。

    Aug, 2016

  • 组合式分布式语义的多语言模型

    通过基于多语种数据和联合嵌入的分布式假设扩展学习语义表示的新技术，学习出在跨语言上语义等价的句子之间高度对齐而在不相似的句子之间保持足够距离的表示。此方法不仅适用于单词层面，还可以对文档进行语义层面的表示学习。在两个跨语言文档分类任务上，我们的模型都能胜过之前的最佳成果，并通过定性分析和枢轴效应研究证明了我们学习到的语义表示合理且能够捕捉跨语言语义关系。

    Apr, 2014

  • 语言表征在视觉语音信号模型中的应用

    基于视觉基础的言语知觉模型，使用多层循环高速公路网络对时间性建模，能够从输入信号中提取形式和基于含义的语言学知识，并分析了训练模型不同组件使用的表示方式。在表示层次结构的上升过程中，语义方面的编码越来越丰富，而语言输入中形式相关方面的编码在初始增加后呈现平稳或下降的趋势。

    Feb, 2017

  • 无需单词对齐的多语言分布式表示

    提出了一种在多语种情况下学习分布式表征的方法，该方法将分配相似的嵌入对齐句子，并分配不对齐的句子不相似的嵌入，模型学习到的表征具有语义信息，能够应用于跨语种文档分类任务，且未使用并行数据学习到能够跨语种捕捉语义关系的表征。

    Dec, 2013

  • 从词到义项嵌入：对意义向量表示的调查

    此研究综述了分布式语义表示的理论背景，介绍了从单词级别向更精细的词义级别转化的方法，并提供了对两种主要分支进行的广泛技术概述；最终，对其重要方面进行了分析与评估。

    May, 2018

  • 语言表征实际代表着什么？

    本文研究表明神经语言模型在多语言语料库上的训练可以用来学习语言的分布式表示，尤其是在语料库被翻译成英文的情况下。我们研究了语言表示与各种相似性之间的相关性和因果关系，发现结构相似是最能影响语言表示相似性的，而遗传关系则是一个混淆因素。这项研究可以促进自然语言处理和语言学的相互发展。

    Jan, 2019

  • 学习主题敏感词表示

    该论文提出使用分层狄利克雷过程学习每个单词的多个主题敏感表示的两种方法，通过模拟主题并集成每个文档的主题分布，可以得到能够区分给定单词不同含义的表示。该模型在词汇替换任务中表现出统计学显著的改进，表明常用的单词表示即使与上下文信息结合使用，也不足以完成该任务。

    May, 2017

  • 分布式表示如何传达上下文词汇语义：论文提案

    现代神经网络利用分布式表示来编码词汇意义，并通过多语言数据集和语言分析工具评估歧义性与词汇意义。

    Jun, 2024