static word embeddings | BriefGPT

关键词static word embeddings

搜索结果 - 9

词向量的统计不确定性: GloVe-V
在计算社会科学的各种应用中，静态词嵌入广泛存在并为实际决策做出了贡献，然而，从词嵌入统计中得出的下游结论的统计不确定性评估一直是具有挑战性的。本文提出了一种方法，通过使用多元正态模型的解析近似来获得 GloVe（Pennington 等，2
PDF16 days ago
ACL利用对比学习提高基于令牌的上下文表示的效果：注入维基词典
我们调查了如何通过英语 Wiktionary 作为替代监督源来注入词汇，并测试了降维对生成的上下文词嵌入的影响。通过在无监督设置下（不使用训练集），我们在 Word-In-Context（WiC）任务中取得了新的 SoTA 结果，并提出了两
PDF5 months ago
MoSECroT: 跨语言零样本迁移的静态词向量模型拼接
使用静态词向量和相对表示构建共同空间进行跨语种零 - shot 传输，虽然提出的模型在处理 MoSECroT 方面与弱基准模型相竞争，但无法与强基准模型相同的结果竞争。
PDF6 months ago
EMNLP利用上下文语义轴揭示人物表征中的差异
本研究使用静态词向量嵌入，构建了上下文化的语义轴，以解决反义词有相邻表示的困境，并在两个人类数据集上验证了这些轴的效果：维基百科职业和过去 14 年中极端主义男性社区中的多平台讨论，结果显示上下文化的语义轴可以有效区分同一单词类型的不同实例
PDF2 years ago
具有拉普拉斯图先验的概率嵌入
引入了使用 Laplacian 先验概率的概率嵌入模型，该模型可以将图形辅助信息纳入到静态单词嵌入中，并可以灵活地在不同情况下进行估计。
PDF2 years ago
ACL利用单词嵌入正则化进行语言模型的任务自适应预训练
该论文提出了一种名为 TAPTER 的新型 fine-tuning 方法，该方法可以通过调整 PTLM 的静态词嵌入来实现领域自适应，无需额外的语料库，并且能提高标准 fine-tuning 和任务自适应预训练在生物医学和维基百科领域的性能
PDF3 years ago
ACL结合静态词向量和上下文表示的双语词汇表归纳
本研究提出了一种将静态词向量和上下文表示相结合的机制来改进双语词典归纳（BLI）的表现，结果表明在监督及无监督的基准测试环境下，我们的机制均可提高 3.2 和 3.1 个百分点左右的性能表现。
PDF3 years ago
检测新兴交叉偏见：上下文化词嵌入包含类人偏见的分布
通过引入 Contextualized Embedding Association Test (CEAT) 来度量神经语言模型中的整体偏见及其方差，并开发了自动识别交叉偏见和新现出的交叉偏见的方法 (IBD 和 EIBD），结果表明交叉偏见
PDF4 years ago
ACL仍是个烦人的问题：评估文本表示在词组合成中的表现
本研究通过测试多种文本表示模型的性能，发现与静态词嵌入相比，上下文有关的单词表示模型对于检测含义转移等方面的应对能力更强，但在获取暗含信息方面，其表现仍远远不及人类水平。研究者设计的包含 5 个涉及词汇组合效应的任务的评估套件可用于提高此类
PDF5 years ago