ACLApr, 2020

贝叶斯分层词表示学习

PDF
TL;DR本文提出了 BHWR 算法，该算法通过引入层级先验实现变分贝叶斯单词表示学习和语义分类建模以及从相关单词之间传播相关信息，以提高其表示质量，同时在多个语言数据集上进行评估，表明 BHWR 相对于基于或不基于语义先验的适当替代方法具有优势，并且 BHWR 可以为罕见词提供更好的表示。
发现论文，激发创造
  • 采用分层稀疏编码学习单词表现

    提出了一种使用启发自单词意义语言学研究的稀疏编码中的分层正则化来学习单词表示的新方法，并展示了一种基于随机近端方法的高效学习算法，用于处理数十亿单词令牌的层次稀疏编码，实验表明该方法在各种基准任务上的表现优于或与最先进的方法相媲美。

    Jun, 2014

  • 从对齐文本数据中提取的双语分布式词向量表示

    提出一种新的基于非平行文档对齐数据的学习双语词表示的模型，通过比较与多语言概率主题建模和分布式本地环境计数模型的方法，表明该模型可以从仅基于文档对齐可比数据学习。该模型可以用于双语词汇的词典项提取和多义词的单词翻译。

    Sep, 2015

  • 利用语义桥梁学习罕见词汇的表示

    本文提出一种方法学习语言的词汇，并使用图嵌入技术和跨语言向量空间映射方法结合本体源和语料库来提高现有词向量的覆盖范围以及加强其词汇知识。所提出的方法在 Rare Word Similarity dataset 上表现出 10% 的性能提升。

    Jul, 2017

  • 用于阿拉伯手写字识别的动态分层贝叶斯网络

    本文提出了一种新的概率图模型，用于对突尼斯城市名称的文字进行建模和识别。采用基于动态分层贝叶斯网络的方法，采用分割和特征提取技术来减少识别过程中的复杂性和误差，实验结果非常有前途。

    May, 2014

  • 学习主题敏感词表示

    该论文提出使用分层狄利克雷过程学习每个单词的多个主题敏感表示的两种方法，通过模拟主题并集成每个文档的主题分布，可以得到能够区分给定单词不同含义的表示。该模型在词汇替换任务中表现出统计学显著的改进，表明常用的单词表示即使与上下文信息结合使用，也不足以完成该任务。

    May, 2017

  • 异构图上层次表示学习的跨语言引文建议

    本研究提出了一种新颖的方案，通过异构图上的分层表示学习来进行跨语言引用推荐，可以优化出在图上定位重要的跨语言邻域的概率，实验结果显示该方法不仅可以超越现有的基线模型，而且可以提高跨语言引用推荐任务的表现。

    Dec, 2018

  • 通过对齐异构词汇语义空间实现未见词表示

    本文提出了一种利用词典等词汇资源，采用图嵌入和跨语言向量空间转换技术，为未见过的单词诱导嵌入的方法，对多个基准测试进行了优化，表现出一致的性能提升。

    Nov, 2018

  • 层次化神经语言模型：流文档及其内容的联合表示

    采用嵌套的神经语言模型构建的分层框架可以同时学习文档和单词的分布式向量表示，该模型在数据流中取得了有效的结果，并可以通过添加用户层来学习个性化的偏好向量

    Jun, 2016

  • 语言模型预训练用于层次文档表示

    从无标注数据中预训练了一种能够包括来自整个文档的上下文信息的分层文档表示，包括定长的句子 / 段落表示，并应用于文档分割、文档级问答和抽取式文档摘要等方面取得了有效结果。

    Jan, 2019

  • 层次密度排序嵌入

    本论文提出了一种基于概率密度的单词嵌入模型 —— 密度顺序嵌入模型。该模型通过实现简单而有效的损失函数和距离度量以及基于图的方案选择负样本，学习到分层的概率密度表示。实验结果表明，此方法在 WordNet 层级关系预测任务和 HyperLex 语义蕴涵数据集上表现出了最先进的性能，并保留了丰富而可解释的密度表示。

    Apr, 2018