COLINGMay, 2021

利用词性导向的 Softmax 和采样技术实现神经文本生成的多样性

PDF
TL;DR本研究提出了一种基于语言标注（part-of-speech）的神经文本生成模型，使用 POS Guided Softmax 和 Sampling 方法显著提高了文本多样性。
neural text generationdiversity problempart-of-speechpos guided softmaxpos guided sampling
发现论文，激发创造
  • F^2-Softmax: 通过频率因式分解 Softmax 实现神经文本生成的多样性

    提出了两种新方法 F^2-Softmax 和 MefMax 以解决文本生成中标记分布不平衡的问题，实验表明这两种方法在提高生成文本的多样性和质量方面具有优越性。

    Sep, 2020

  • 利用大语言模型和人工干预进行文本数据生成以增加多样性并维持准确性

    本文研究人工智能与人类合作生成高质量的大语言模型数据，使用两种方法促进文本生成的多样性和准确性，探究人类干预的效果并发现标签替换有助于提高模型的准确性，但移除超出用户领域兴趣或没有适当标签的实例不能提高模型准确性，需要更多人机协作探索。

    Jun, 2023

  • SMPOST: 用于代码混合的印度社交媒体文本的词性标注器

    研究社交媒体上社会语言的使用及其对自然语言处理的影响，参考三种不同语言对的社交媒体数据，通过条件随机场分类器开发出一个基于富有语言特征的词性标注系统。

    Feb, 2017

  • 通过在辅助空间中使用 Gumbel-Softmax 抽样进行多样化的人体动作预测

    该文章提出了一种基于 Gumbel-Softmax 采样和 hinge 损失函数，通过在辅助空间内进行随机采样来实现从深度生成模型中多样化采样的新策略，并通过大量实验证明其在人体运动预测方面的效果显著优于现有策略

    Jul, 2022

  • 多语言少样本转移数据选择的关键是模型中的多样化和不确定性

    本文探索了各种数据选择策略，依靠多个度量，利用了渐变嵌入和损失嵌入方法，以提高针对多语言预训练模型的 POS 标记、NER 和 NLI 任务的 Few-shot 迁移的性能。实验证明，所提出的方法始终优于随机数据选择基线，即使仅使用更少的标记数据进行零 - shot 迁移，也能显著提高性能。

    Jun, 2022

  • 基于图的多语言标签传播在低资源词性标注中的应用

    本文提出了一种将标签从多种高 - 低资源语言进行传递的图形标签传递方法，可与增强的情境化嵌入相结合，实现了无监督标注低资源语言中词性标注的最新技术水平。

    Oct, 2022

  • 最大化互信息用于简单和准确的词性归纳

    本文提出了一个新的对于词性识别的方法，将词标签和上下文之间的互信息最大化来进行词性归纳。作者聚焦于两个适用于随机梯度下降的训练目标：一种对于经典的 Brown 聚类目标的新的泛化方法和一种最近提出的变分下限。尽管这两个方法都会受到梯度更新噪声的影响，但是作者通过分析及实验表明，变分下限方法更加鲁棒，而广义 Brown 目标则更加容易受到影响。作者提出了一个简单的框架来编码词汇和上下文，并在多个数据集和语言中实现了竞争性的性能。

    Apr, 2018

  • 使用监督学习发现潜在结构的句法类型学细粒度预测

    本研究展示了如何通过部分语音序列对一个新语言的基本语序事实进行预测，并且通过大量的合成语言训练数据，将这个通常被认为是无监督学习的问题转化成了有监督学习，从而成功地识别了一个语言的 POS 序列的表面特征（手工特征或神经特征）与其更深层次的结构（潜在树）相关性。该系统在该任务上表现出色，比语法归纳基线高出一个很大的优势。

    Oct, 2017

  • 部分词性归纳中的复杂度控制

    该研究针对无标注文本完全无监督学习语法 (词性) 类别的问题，通过参数和非参数约束对标准的最大似然隐马尔可夫模型进行优化和修改和达到了在多种语言上显著提高的效果。

    Jan, 2014

  • 噪声用户生成文本的词性标注领域自适应

    使用神经网络实现 POS 标注器，通过领域自适应和正则化技术，在德语推文数据集中实现高于 90% 的标注准确度。

    May, 2019