neural lms | BriefGPT - AI 论文速递

关键词neural lms

搜索结果 - 6

ACL易于语言模型的是哪些语言？从学习概率正则语言的角度看
大规模语言模型的学习能力主要集中在概率语言的学习上，其中正则语言模型的等级和样本字符串的预期长度是学习能力的重要预测因子。
PDFa month ago
通过下一个词预测学习语义能力的可行性研究 —— 以蕴涵为例
理论上，LMs 通过其训练数据中的共现模式推导文本的语义信息；本研究调查其理论是否可用于从神经 LMs 中解码蕴含关系，结果显示与他们类似的测试可以在多个数据集和 LMs 上解码语义蕴含关系，这表明 LMs 隐含地建模了语义方面以预测句子共
PDF4 months ago
神经语言模型解剖
通过简洁明了的数学框架和清晰的图示，详细解释了神经语言模型的主要类型，包括 BERT 和 GPT2，同时讨论了在计算机视觉和时间序列应用中的转化及与自然语言处理的对比。
PDF6 months ago
EMNLP上下文限制使神经语言模型更接近人类
本文研究了语言模型在认知建模和工程研究中的应用，提出了现代神经 LM 的局限性，其中与人类阅读过程相比，存在上下文访问能力的差异。限制 LM 上下文访问可以提高其模拟人类阅读行为的能力，同时将句法偏好纳入 LM 的上下文访问中也可以增强其认
PDF2 years ago
ACL基于上位词类别预测的更好语言模型
通过将具有相同 WordNet 超类的单词映射到同一类中，并逐渐从预测类逐步训练为预测单词，我们在两个数据集上证明了该课程学习策略能够显著提高困惑度而不影响罕见词性能。
PDF2 years ago
EMNLP基于计数和神经模型的泛化和混合语言模型
本研究通过定义词汇表上的一组概率分布，动态地计算这些分布上的混合权重，演示如何将基于计数的 n-gram 模型与神经 LM 结合在单个模型框架中，从而创建新颖的混合模型，并证明这些方法的优势。
PDF8 years ago