- ACL词切分对上下文化词表示的语义内容的影响
从语言模型中获取上下文化的单词表示时，需要决定如何获得那些被分割成子单词的未登录词（OOV）的表示。本文通过在涉及 OOV 词的语义相似性任务中对不同模型的嵌入进行内部评估，揭示了包括有趣发现在内的结论，即被分割的词的表示质量通常较差，但并 - ACL非监督式将动名词的论元映射到相应的动词标签上
提出了一种更加语法化的方法来处理名化结构中的构成成分，并利用基于上下文的词表示来构建依存句法分析，实现了高准确率的动名对应。
- 抽象性、情感、话语连贯性和语境化词汇表征对隐喻语言使用的负面影响
本文研究如何预测在特定语境下，何时人们使用比喻语言而不是使用字面意思。作者建立了五个简单的模型，通过比较这些模型的成果与人们的判断，发现现有的认知和语言属性不足以系统地解释比喻与字面语言的选择。
- ACL基于上下文化单词表示的动词意义聚类用于语义框架归纳
本文研究了不同上下文环境下，有些动词引起的语义框架不同，以及如何利用 Contextualized word representations 识别这些不同的语义框架，同时探索哪些类型的表示适合用于语义框架的归纳。通过比较七种不同的 Cont - 上下文化词表示的低维线性几何
本文研究了 ELMO 和 BERT 中的单词表示的线性几何，发现低维子空间编码了各种语言特征，包括结构化依赖关系，子空间之间存在着层次关系，可以用于对 BERT 的输出分布进行细粒度的操作。
- 使用上下文化的单词表示聚类进行主题建模
通过聚类基于 token 的上下文化词表示，可以更自然地捕捉多义性，并用作组织文档的方法，此方法与 LDA 主题模型效果相近且表现出更高的主题质量，尤其是对于 BERT 和 GPT-2 输出层训练的 token 聚类。
- EMNLP从上下文化单词表示中无监督地提取句法信息
本文讲述了如何通过自动生成语义不同但结果相似的句子组集来学习一种转换，以去除词法语义但保留结构信息，并证明这种方法在结构聚类方面的效果优于词汇语义聚类方法，最终在少样本解析任务中优于原始上下文化语言表示。
- ACL神经关系抽取中句子级表示的语言特征探究
提出 14 个探测任务，以研究 40 多种编码器架构和语言特征组合所学习的表示，发现神经关系抽取的性能受编码器架构和语言特征的影响，上下文化单词表示可以提高性能，而实体掩蔽则会降低与实体类型相关的探测任务的性能。
- 遮蔽式神经语言模型为什么仍然需要常识知识？
本文提出了对预训练 MNLM 的实证分析，观察到 MNLMs 在部分理解各种类型的常识知识的同时又不准确地理解了关系的语义含义，同时通过结合外部常识库的知识证明可以提高预训练 MNLM-based 模型的效能。
- 基于增强语法自注意力的语义角色标注
本文研究了如何有效地将句法知识融入语义角色标注（SRL）任务中，使用不同质量和表示的依赖树的不同编码方法，提出了一种句法增强的自注意模型，并与其他两种强基准方法进行了比较，并使用新发布的深度上下文化词表示进行了实验。实验结果表明，通过正确地 - EMNLP利用预训练的上下文化词表示改进词义消歧
本文探讨了不同的策略，将预训练的上下文化单词表示与非上下文化单词嵌入使用最佳策略相结合，其在多个基准 WSD 数据集上实现了显著比之前发表的最佳准确率更高的结果，并提供了源代码。
- EMNLPBERT、ELMo 和 GPT-2 嵌入的几何比较：上下文化词表示有多上下文？
用上下文化单词表示替代静态单词嵌入在许多自然语言处理任务中都有很大的提升。本文研究了从 ELmo 和 BERT 等模型生成的上下文化表示到底有多少有多少上下文性，是否针对每个单词有无限多个上下文相关的表示，还是本质上分配了一个有限数量的单词 - 上下文至关重要：基于上下文词表示的语法错误检测
这篇论文系统比较了 ELMo、BERT 和 Flair 嵌入（Peters 等人，2017；Devlin 等人，2018；Akbik 等人，2018）在一系列公共 GED 数据集上的性能，并提出了一种有效地将这些表示集成到当前方法中的方法， - ACL仍是个烦人的问题：评估文本表示在词组合成中的表现
本研究通过测试多种文本表示模型的性能，发现与静态词嵌入相比，上下文有关的单词表示模型对于检测含义转移等方面的应对能力更强，但在获取暗含信息方面，其表现仍远远不及人类水平。研究者设计的包含 5 个涉及词汇组合效应的任务的评估套件可用于提高此类