COLINGAug, 2022

CLOWER：基于词和字符表示的对比学习的预训练语言模型

PDF
TL;DR本文提出一种名为 CLOWER 的基于对比学习的 pre-trained Language Model，能有效地融合中文词汇的语义信息，提高下游自然语言理解任务的性能。
pre-trained language modelschinese plmssemantic informationclowercontrastive learning
发现论文，激发创造
  • CharBERT：基于字符的预训练语言模型

    本文提出的 CharBERT 模型是一个字符感知的预训练语言模型，通过新颖的异构交互模块将字符表示和子词表示进行融合，并提供了一种名为 NLM 的无监督字符表示学习的新的预训练任务，实验结果表明该模型能够同时提高 PLM 的性能和鲁棒性。

    Nov, 2020

  • 汉语预训练语言模型中的分词粒度：字符、词语还是两者兼备？

    本文提出了一种混合粒度的中文 BERT 模型（MigBERT），通过同时考虑字符和词来学习其特征表示，并在各种中文 NLP 任务上进行了广泛的实验以评估现有的 PLMs 以及所提出的 MigBERT，实验结果表明，MigBERT 在所有这些任务中都实现了新的最佳表现，MigBERT 还能与日语一起使用。

    Mar, 2023

  • 令牌知道它们的字符以及如何知道它们？

    该研究探讨了在使用基于子词分割的预训练语言模型（PLMs）中，字符级信息被编码的机制以及这些模型如何获得英语语言字符信息，结论表明这些模型可以很好地编码字符级信息并通过一系列实验证明这些结果是普遍适用的，并归纳了多种现象对于知识获取的作用，其中自然变化是其中之一

    Jun, 2022

  • 语言模型概述：最新发展与展望

    本文从语言单位、结构、训练方法、评估方法和应用等五个方面，介绍了传统语言模型和预训练语言模型，讨论了二者的关系和语言模型在预训练时代的未来发展方向。

    Mar, 2023

  • Character-Word LSTM 语言模型

    使用长期短期记忆（LSTM）、字符信息和单词嵌入等技术，设计了一种基于字符的语言模型，有效提高了对单词的建模能力，优于传统基于单词的模型。

    Apr, 2017

  • CPM：一个大规模生成式中文预训练语言模型

    本文介绍了使用大规模的中文训练数据进行生成式预训练的中国预训练语言模型 (CPM)。CPM 是目前拥有最大的 26 亿参数和 100GB 中文训练数据的中文预训练语言模型，可用于解决多个中文 NLP 任务，并在少样本甚至零样本学习的设置下取得了较强的性能。

    Dec, 2020

  • 基于字符识别的神经语言模型

    本研究描述了一种仅依赖字符级输入的简单神经语言模型，该模型利用卷积神经网络和字符级公路网络作为输入，并将结果给予一种长短时记忆递归神经网络语言模型作为输出，该模型可以用较少的参数占据现有最先进的地位。此外，该模型表现出色的证明了许多语言所需的字符输入已经足够进行语言建模，且可以从字符组成的部分编码的单词表示中得到语义和字形信息。

    Aug, 2015

  • CLEAR: 句子表示的对比学习

    本研究提出了 CLEAR 方法，利用多种句子级别数据增强策略来学习一种噪声不变的句子表示。通过多个实验发现数据增强的不同方法会在下游任务中带来不同的性能提升，并且本方法在 SentEval 和 GLUE 基准测试中的表现优于多种现有方法。

    Dec, 2020

  • 层次循环神经网络的字符级语言模型

    我们通过提出分层 RNN 体系结构，提高了基于字符级语言模型的溢出词建模的性能。在 One Billion Word Benchmark 上，我们的 CLM 模型比 Kneser-Ney 5 元语言模型表现更好，同时参数却只有 2%。我们在 WSJ 语料库上展示了对话识别示例，并将传统的 RNN CLMs 替换为所提出的模型，即使参数数量减少了 30％，精度也有所提高。

    Sep, 2016

  • Breaking Character: MRLs 是否真的只需要使用子词？

    对于语言中包含丰富词形的复杂语言，使用预训练字符序列的 BERT-style 掩码语言模型进行训练和推理而不是基于子单元的方式可能会得到更好的表现。但是，对于语义任务，基于子单元的 PLM 表现更好，这证实了基于子单元的分词作为许多语言的合理建模假设的潜力。

    Apr, 2022