ACLMay, 2018

基线模型的重要性：简单的基于词嵌入的模型及其相关池化机制

PDF
TL;DR本文对比了基于简单词向量嵌入的模型（SWEMs）、基于词向量的 RNN/CNN 模型以及两种额外的词嵌入池化策略在 17 个数据集上的性能，研究发现在多数情况下，SWEMs 具有相当甚至更好的表现，且提出的两种池化策略在长文本分类任务上表现优异。
发现论文，激发创造
  • 使用词嵌入的卷积神经网络用于中文分词

    本文提出了基于卷积神经网络的、能够自动获取丰富 n-gram 特征的中文分词模型，并结合词嵌入有效地解决了单个字不足以表示完整词汇信息的问题，经过在 PKU 和 MSR 两个基准数据集的实验，该模型在两个数据集上均表现出有竞争力的性能。

    Nov, 2017

  • 针对深度组合模型的语法感知多义词嵌入

    本研究详细介绍了一个基于丰富的单词嵌入的组成分布式框架，旨在促进句子中单词之间的交互，并使用环境中的句法信息来增强向量。研究结果表明，该框架在 MSRPar 任务上取得了具有代表性的结果。

    Aug, 2015

  • 自适应语言建模的基于实例的组合输出

    本研究提出了基于结构化词典的完全组成的输出嵌入层，用于改善语言模型在新域和任务中的适应能力问题，为我们所知，这是第一个单词级别的语言模型，其大小不取决于训练词汇表，并通过低频词的样本效率来提高精度。

    Sep, 2020

  • 为序列标注学习单词的更好内部结构

    本研究对比了不同状态下的卷积神经网络模型，并提出了一个用于学习内部结构的单词表示的广域漏斗型卷积神经网络 (IntNet)，在六种序列标记数据集上的实验结果显示，IntNet 模型显著优于其他字符嵌入模型，并在不依赖任何外部知识或资源的情况下取得了新的最佳表现。

    Oct, 2018

  • 上下文词嵌入的解析：架构和表示

    本文通过详细的实证研究探讨了神经网络模型架构（如：LSTM、CNN 或自我注意力）对端到端 NLP 任务准确性和语言表示质量影响的权衡，研究结果表明预训练的双向语言模型可以学习到关于语言结构比以往认为的更多，无论采用何种架构，都是学习到高质量的上下文表示。

    Aug, 2018

  • 基于语义概念嵌入的文本相似度估计

    通过结合传统词嵌入和语义概念嵌入，基于多网语义网络形式化提出的语义概念嵌入（CE）能够提高预测目标群体的准确性。

    Jan, 2024

  • 一种集成方法生成高质量的词向量嵌入（2016）

    本文提出了一种集成方法，通过将 GloVe 和 word2vec 的嵌入方式与语义网络 ConceptNet 和 PPDB 的结构化知识相结合，将它们的信息融合成一个具有大型多语言词汇的共同表示，并达到了许多词语相似性评估的最先进性能

    Apr, 2016

  • 词嵌入再探讨：LLMs 是否提供新的东西？

    通过比较经典词嵌入技术与大型语言模型的词嵌入之间的潜在向量语义，系统地调查了大型语言模型是否在表现上与经典编码模型存在显著差异。结果显示，大型语言模型往往比经典模型更紧密地聚集语义相关的词，并在 Bigger Analogy Test Set (BATS) 上取得更高的平均准确率。此外，一些大型语言模型的词嵌入与相对较轻的句子级 BERT (SBERT) 模型相似。

    Feb, 2024

  • 基于依存关系的卷积神经网络用于句子嵌入

    该研究提出了一种基于树的卷积神经网络模型，结合深度学习和语言结构，利用单词之间的各种长距离关系来提高情感分类和问题分类任务的准确性，并在 TREC 数据集上取得了最高的准确性。

    Jul, 2015

  • 深度上下文词表示

    本文介绍了一种新型的深层上下文词表示方法，既能够建模单词用法的复杂特征 (如句法和语义)，又能够建模这些用法在语言上下文中的变化 (即建模多义性)，这些表示可以轻松地添加到现有模型中，并且可以显著提高 NLP 问题的性能。

    Feb, 2018