Jan, 2024

GWPT：基于绿色词嵌入的词性标注器

PDF
TL;DR本论文提出了一种基于词嵌入的轻量级词性标注器 GWPT，通过遵循绿色学习方法，将其分为表示学习、特征学习和决策学习模块，其主要创新点在于表示学习，使用非上下文或上下文词嵌入，并将嵌入维度指标划分为低、中、高频集合，并使用不同的 N-gram 表示它们。实验证明，与基于深度学习的方法相比，GWPT 在模型参数更少、在训练和推断过程中计算复杂性明显更低的情况下，提供了最先进的准确性。
natural language processingpart-of-speech taggerword embeddingsgreen learninggwpt
发现论文，激发创造
  • SGPT: 用于语义搜索的 GPT 句子嵌入

    提出使用 SGPT 进行句子嵌入和语义搜索的方法，通过提示或微调，SGPT 在 BEIR 搜索基准上的表现优于先前最佳的句子嵌入方法，并且在 1750 亿个参数的并发方法上也取得了更好的效果。

    Feb, 2022

  • Polyglot: 多语言 NLP 的分布式词表示

    使用多种语言 Wikipedia 来为 100 多种语言训练单词嵌入表示，并将其应用在词性标注中取得了与英语、丹麦语和瑞典语接近最新成果的表现。此外，通过单词分组的距离等方式，进一步研究了这些嵌入所捕获的语义特征，并将这些嵌入公开以帮助多语言应用的开发和增强.

    Jul, 2013

  • 面向本体论的预置语短语附加的词汇嵌入

    该研究使用基于语义概念的上下文敏感的词嵌入，相比于传统的固定参数词嵌入，可以提高介词短语附着模型的准确度。

    May, 2017

  • 在 54 种语言中评估上下文嵌入在词性标注、词形还原和依存分析中的效果

    本文对三种最近提出的上下文嵌入方法进行了广泛评估，并在通用依赖关系 2.3 的 89 个语料库中的 54 种语言中，以词性标注，词形还原和依赖关系分析三个任务中使用 BERT，Flair 和 ELMo 作为预先训练的嵌入输入。

    Aug, 2019

  • 双向长短时记忆循环神经网络进行词性标注

    使用词嵌入的双向 LSTM 循环神经网络模型（BLSTM-RNN）在词性标注任务中表现出色，可以达到 97.40％的准确率，而且不需要使用形态学特征，同时具备与斯坦福词性标注器相当的性能。

    Oct, 2015

  • 基于图的多语言标签传播在低资源词性标注中的应用

    本文提出了一种将标签从多种高 - 低资源语言进行传递的图形标签传递方法，可与增强的情境化嵌入相结合，实现了无监督标注低资源语言中词性标注的最新技术水平。

    Oct, 2022

  • 一个基于语境的无监督通用低资源语言词性标注器

    本文描述了一种针对低资源语言的无监督词性标注方法，利用了 Brown 等人在 1992 年提出的经典聚类方法和一种解密方法实现了标注结果的有效构建，并将其应用于 Sinhalese 和 Kinyarwanda 两种极度缺乏标记训练数据的语言中，实现了较高的标注性能。此外，该方法还将集成到真正的零资源模型中，取得了可靠的效果。

    Apr, 2019

  • G2T：基于预训练语言模型和社区检测的主题建模简单通用框架

    本文提出了一种名为图向话题（G2T）的框架，该框架能够使用预训练语言模型获取文档表示，并通过语义图和社区检测等方法进行主题建模。自动评估结果表明，G2T 在英文和中文文档上均取得了最优表现，并且比基线模型产生了更好的可解释性和覆盖范围。

    Apr, 2023

  • 引导特征转换（GFT）：面向具身代理的神经语言基础模块

    本文提出了一种简单但有效的神经语言基础模块，可以使用深度强化学习训练具有身体实体的代理，以执行语言引导的任务，在许多具有挑战性的部分可观察性和简单推理要求的语言引导导航任务中，我们的模块显著优于现有技术；我们还发布了一个易于定制的 3D 环境 XWorld3D，可以潜在地修改以评估各种具体化代理。

    May, 2018

  • 一种集成方法生成高质量的词向量嵌入（2016）

    本文提出了一种集成方法，通过将 GloVe 和 word2vec 的嵌入方式与语义网络 ConceptNet 和 PPDB 的结构化知识相结合，将它们的信息融合成一个具有大型多语言词汇的共同表示，并达到了许多词语相似性评估的最先进性能

    Apr, 2016