ACLMay, 2018

无监督学习风格敏感词向量

PDF
TL;DR本文初次提出一种以非监督方式捕捉词汇风格相似性的研究方法，通过扩展 CBOW 模型，使用更宽的上下文窗口来学习风格敏感的词向量，并引入预测词汇风格相似性的新任务和基准数据集，实验证明了这种方法的有效性.
unsupervisedstylistic similaritycbow modelstyle-sensitiveword vectors
发现论文，激发创造
  • 使用子词袋来泛化字嵌入

    本文提出了一种基于子词级别的词向量生成模型来解决传统词向量模型无法应对未登录词、破音字等问题，并在英文词汇相似性任务和 23 种语言的词性标注和变形属性的联合预测任务中实现了最优表现。

    Sep, 2018

  • 使用子词信息丰富单词向量

    本文提出一种基于 skip-gram 模型的新方法，其中每个单词被表示为一组字符 n-grams 的加和。该方法快速、可在大型语料库上快速训练模型，同时可以计算未出现在训练数据中的单词的表示。我们在九种不同的语言上评估了我们的单词表示，通过与最近提出的形态单词表示进行比较，我们发现我们的向量在这些任务上达到了最先进的性能。

    Jul, 2016

  • 利用上下文嵌入模型获得更好的静态词嵌入

    本研究提出使用基于 CBOW 的训练方法进行文本嵌入的知识蒸馏，可以有效地提高自然语言处理应用程序的计算效率，同时优于从头开始训练的静态嵌入和以前提出的方法提炼的嵌入。此外，该方法还可以通过标准词汇评估任务公平比较上下文和静态嵌入。

    Jun, 2021

  • 探索上下文词级风格相关性用于无监督风格转移

    本文提出一种基于注意力机制的序列到序列模型，采用无监督方式实现风格迁移，通过预测每个输出词语与目标风格的相关性实现精细的控制，进而使用神经风格组件进行风格迁移，该模型在风格迁移的准确性和内容保留方面达到了最先进的水平。

    May, 2020

  • 向量空间中单词表示的高效估计

    提出了两种新的单词向量表示模型，通过神经网络计算大型数据集中单词的连续向量表示，相较于其他神经网络技术在词语相似度任务上提高了准确性且计算效率更高，此外还展示了这些向量在测量语法和语义相似度的测试集上有最先进的性能表现。

    Jan, 2013

  • 利用单语嵌入中的结构相似性进行非监督式词汇对应

    本文提出了一种无监督的方法来学习一对语言的双语词典，并利用单语向量空间中的局部和全局结构将它们对齐，从而使相似的单词映射到一起，实验表明，使用提出的无监督方法学习的双语对应词性能与使用监督学习的双语对应词从种子词典中学习的相当。

    Dec, 2017

  • 不要满足于平均水平，争取最大化：模糊集和最大池化词向量

    本文提出了一种基于模糊词袋 (FBoW) 表示的文本相似度计算方法，通过使用词向量相似度进行加权处理，动态提取和最大池化好的特征，它是一种完全无监督和非参数化的相似度计算方法，不但比当前基线方法优秀，而且在标准 STS 基准测试中，与直接优化余弦相似度的监督式词向量训练相竞争。

    Apr, 2019

  • 最近邻语言模型用于风格可控生成

    本文构建并评估了一种基于外部记忆的语言建模方法，利用政治正确、正式性和毒性等属性进行样式控制，结果显示基于样式专用数据存储器的生成性能得到了提高，但仍需在未来的工作中探索预训练数据和特定样式的效果。

    Oct, 2022

  • 基于上下文词向量的方法发现语义差异，无需训练或单词对齐

    本文提出基于语境化词向量范数的语义差异发现方法，他们不需要先前方法中对单词和语料库进行比较的假设，对于语料库大小的偏斜鲁棒，能够检测不频繁出现的单词的语义差异，有效地找出在两个语料库之一缺失含义的单词实例。

    May, 2023

  • 学习潜在 "外貌": 从时尚图像中无监督发现风格一致的嵌入

    提出了一种基于概率多语言主题模型的无监督方法来发现一组潜在的风格因子，进而通过混合这些因子来对时尚图片进行风格总结，并无需任何风格标签，从而可以根据风格来组织衣服图库。

    Jul, 2017