AAAISep, 2020

通过混合目标函数重新审视 LSTM 网络，用于半监督文本分类

PDF
TL;DR本文研究双向 LSTM 网络在文本分类任务中的监督和半监督学习方法，利用交叉熵损失以及熵最小化、对抗和虚拟对抗损失相结合的训练策略，在多个基准数据集上取得了最新的文本分类结果。
bidirectional lstmtext classificationsemi-supervised learningentropy minimizationadversarial loss
发现论文，激发创造
  • 双向语言模型的半监督序列标注

    本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

    Apr, 2017

  • 基于半监督多任务学习的序列标注

    本文提出了一种序列标注框架，采用辅助训练目标，并通过学习预测数据集中每个词周围的单词进行语言建模，以此学习通用的语义和语法组合模式，并在不需要额外标注或未标注数据的情况下，实现在多个序列标注任务上取得一致的性能提升。

    Apr, 2017

  • 利用大量弱监督数据进行多语言情感分类

    本文提出了一种新的多语言情感分类方法，使用了大量的弱监督数据训练多层卷积网络，通过在多种语言数据集上进行充分的评估，证明该方法的优异性能，达到了同类研究的最高水平。

    Mar, 2017

  • 使用双向 LSTM 进行词义消歧

    本文提出了一个使用双向长期短期记忆网络的干净而有效的词义消歧模型，该模型能够共享统计强度并且随着词汇量的增长实现很好的可扩展性。我们对其进行了两个标准数据集的评估，并取得了与最佳现有系统相同的效果，同时没有使用任何外部资源或手工编写规则。

    Jun, 2016

  • 双向长短时记忆模型与辅助损失实现的多语言词性标注

    本研究采用词、字符和 Unicode 字节嵌入比较 bi-LSTM 和传统的 POS 标注器，在 22 种语言中取得了最优性能，并表明 bi-LSTM 对于训练数据大小和标签污染的敏感度被过高估计。

    Apr, 2016

  • 在数据短缺情况下比较正则化方法对文本分类的有效性：简单和复杂模型的比较

    本论文研究了只有少量标记数据可用时，正则化方法对各种分类模型的影响。研究比较了基于词嵌入的简单模型与复杂模型（CNN 和 BiLSTM），在有监督学习中，对抗训练可以进一步正则化模型。在有无标记的数据集时，可以使用半监督学习方法和虚拟对抗训练等方法来正则化模型。通过在四个文本分类数据集上评估正则化效果（AG 新闻、DBpedia、Yahoo! Answers、Yelp 极性），只使用原始标记训练文档的 0.1% 到 0.5% 进行实验。简单模型在完全监督学习中表现相对较好，但在对抗训练和半监督学习的帮助下，无论是简单模型还是复杂模型都能够得到正则化，复杂模型表现更好。虽然简单模型对过拟合有较强的鲁棒性，但一个具有良好先验信念的复杂模型也能够对过拟合有较强的鲁棒性。

    Feb, 2024

  • 使用 LSTM 进行区域嵌入的监督和半监督文本分类

    本研究使用一种基于 LSTM 的区域嵌入方法，结合卷积层提高了基于文本分类任务的效果，并发现在这种任务中，区域嵌入是比单独词嵌入更有效的。

    Feb, 2016

  • BB_twtr 在 SemEval-2017 任务 4 中：使用 CNN 和 LSTM 进行 Twitter 情感分析

    使用卷积神经网络与长短时记忆网络，我们成功实现了最先进的 Twitter 情感分类器，通过海量无标注数据来预训练词向量，然后使用少量无标注数据通过远程监督来微调嵌入向量，最终在 SemEval-2017 Twitter 数据集上对 CNN 和 LSTM 进行了再次微调，使用了集成学习方法，我们在所有五个英文子任务中均排名第一。

    Apr, 2017

  • 优化非监督学习和监督学习：精确自然语言任务建模的混合方法

    本文提出了一种新颖的混合方法，通过协同无监督和有监督学习，来提高自然语言处理任务建模的准确性。通过集成无监督模块和有监督模块，该方法在文本分类和命名实体识别方面取得了最新技术结果，为更高效和强大的自然语言处理系统铺平了道路。

    Jun, 2024

  • 交叉视图训练的半监督序列建模

    本文提出一种半监督学习算法 Cross-View Training, 结合无标签文本与有标签数据，通过学习辅助预测模型来提升双向长短时记忆网络（Bi-LSTM）的表示学习能力，取得了在五项序列标记任务，机器翻译和依存句法分析等领域的最优结果。

    Sep, 2018