关键词causal language modeling
搜索结果 - 4
- 理解输出嵌入中的令牌概率编码
通过研究语言模型输出嵌入中的输出标记概率信息，我们提供了一种近似的常见对数线性编码，在输出空间大且输出 logit 集中时，该编码准确且稀疏。基于这些发现，我们修改了输出嵌入中的编码以准确修改输出概率分布。此外，我们发现输出概率编码中的稀疏 - 探索文本生成的屏蔽语言建模和因果语言建模
这篇论文比较了掩码语言模型和因果语言模型在文本生成任务上的表现，发现掩码语言模型在生成文本时具有更好的质量和连贯性，并且对下游任务的性能没有明显影响，从而显示了掩码语言模型在文本生成方面具有巨大的潜力并指导了未来研究的方向。
- 基于 Transformer 的对话情绪识别的神经网络
ISDS-NLP 团队在 SemEval 2024 任务 10 中提出了 EDiReF 方法，采用了掩码语言模型和因果语言模型两种不同的方法，研究了多语种设置下对情感进行预测的效果，并发现掩码语言模型在句子级情感分类方面的性能优于 Mist - ACL多语言表示的跨语言相似性再探讨
该论文使用 Average Neuron-Wise Correlation (ANC) 作为跨语言上下文中跨语言表示相似度的替代指标，并提供了实证研究证明了先对齐再预测的跨语言学习问提存在于多语言模型中。