BriefGPT.xyz
Ask
alpha
关键词
mlms
搜索结果 - 4
评估社交媒体数据和屏蔽语言模型中短期时间波动的社交偏见
分析表明，尽管社会偏见存在于所有 MLMs 中，但大多数类型的社会偏见在时间上相对稳定（有几个例外）。进一步分析影响 MLMs 社会偏见的机制，我们发现在训练语料库中，某些人口群体（如男性）一直相对于其他人口群体（如女性）更受偏好。
PDF
17 days ago
具有遮蔽语言模型的概率声学束搜索
利用掩码语言模型进行束搜索（beam search）困难的部分在于序列的联合概率分布不能轻易获取，这限制了其在蛋白质工程和古代文本修复等许多领域的应用。本研究提出了一种概率上具有合理性的束搜索方法，通过理论和实证研究表明，在特定条件下的文本
→
PDF
4 months ago
模块化多语言语言模型的隐晦限制
我们揭示了模块化多语种语言模型 (MLMs) 在未知语言的多语种推理场景中的局限性。现有模块化 MLMs 的评估排除了语言识别 (LID) 模块的参与，这使模块化 MLMs 在实际多语种场景下的性能变得模糊。在这项工作中，我们展示了添加 L
→
PDF
8 months ago
ACL
从掩码语言模型中衍生语言模型
研究在 Masked language models 中提取出显式的联合分布的方法，并发现基于标识最接近 MLM 的条件的联合分布的方法效果最好，甚至可以有时胜过原来的 MLM 条件的出现。
PDF
a year ago
Prev
Next