Jun, 2016

层次化神经语言模型：流文档及其内容的联合表示

PDF
TL;DR采用嵌套的神经语言模型构建的分层框架可以同时学习文档和单词的分布式向量表示，该模型在数据流中取得了有效的结果，并可以通过添加用户层来学习个性化的偏好向量
发现论文，激发创造
  • 语言模型预训练用于层次文档表示

    从无标注数据中预训练了一种能够包括来自整个文档的上下文信息的分层文档表示，包括定长的句子 / 段落表示，并应用于文档分割、文档级问答和抽取式文档摘要等方面取得了有效结果。

    Jan, 2019

  • 命名实体识别的分层上下文表示

    本文提出了一种基于分层上下文表示的模型，通过句子级和文档级表示来提高实体识别模型中全局信息的利用，其中包括标签嵌入和注意机制以及键值内存网络，实验证明该模型在三个基准数据集上表现出优越的效果。

    Nov, 2019

  • 组合式分布式语义的多语言模型

    通过基于多语种数据和联合嵌入的分布式假设扩展学习语义表示的新技术，学习出在跨语言上语义等价的句子之间高度对齐而在不相似的句子之间保持足够距离的表示。此方法不仅适用于单词层面，还可以对文档进行语义层面的表示学习。在两个跨语言文档分类任务上，我们的模型都能胜过之前的最佳成果，并通过定性分析和枢轴效应研究证明了我们学习到的语义表示合理且能够捕捉跨语言语义关系。

    Apr, 2014

  • 深度学习中文本数据的向量表示

    本文研究了稠密分布式文本数据表示的两种新型神经模型：一种用于学习文档级表示，另一种用于学习词级表示。我们提出的模型分别在信息检索和语义关系识别等任务中优于现有方法，并且直接从原始文本数据中学习嵌入。其中，词级表示模型不同于以往的模型，可以用梯度下降算法进行训练。

    Jan, 2019

  • 使用时间语言模型学习动态作者表示

    该研究提出一种基于循环语言建模的神经模型，通过考虑作者和时间向量状态来捕捉作者社区的语言扩散趋势，从而超越了多个基于时间和非时间的语言基线，并学习了随时间变化的有意义的作者表示。

    Sep, 2019

  • 分布式模型与深度学习嵌入：将两者最优结合

    本文研究了单词在分布式表示中的两种主要方法：低维度深度学习嵌入和高维度分布模型，并将这两种方法相结合，通过学习基于分布式模型向量的嵌入来提高单词相关性判断的性能。

    Dec, 2013

  • NewsEmbed: 预训练文档表示模型对新闻进行建模

    本文提出了一个新颖的方法，使用少量人为监督来挖掘具有语义相关性的新鲜文档及其主题标签，并设计了一个多任务模型 - NewsEmbed，交替使用对比学习和多标签分类来推导通用文档编码器，在多个自然语言理解任务中实现了出色的性能表现。

    Jun, 2021

  • 文本的线性动力学系统模型

    该研究通过概率隐变量序列模型，使用前向算法实现连续状态 Kalman 滤波器来学习单词的表示。通过 EM 算法准确地优化参数，使用所学习到的单词嵌入作为标记任务的特征，在标记任务中实现显著的准确度改进，并通过线性递归神经网络通过我们的模型的参数来初始化非线性递归神经网络语言模型，降低了其训练时间和困惑度。

    Feb, 2015

  • 无需单词对齐的多语言分布式表示

    提出了一种在多语种情况下学习分布式表征的方法，该方法将分配相似的嵌入对齐句子，并分配不对齐的句子不相似的嵌入，模型学习到的表征具有语义信息，能够应用于跨语种文档分类任务，且未使用并行数据学习到能够跨语种捕捉语义关系的表征。

    Dec, 2013

  • 学习主题敏感词表示

    该论文提出使用分层狄利克雷过程学习每个单词的多个主题敏感表示的两种方法，通过模拟主题并集成每个文档的主题分布，可以得到能够区分给定单词不同含义的表示。该模型在词汇替换任务中表现出统计学显著的改进，表明常用的单词表示即使与上下文信息结合使用，也不足以完成该任务。

    May, 2017