- IJCAIPEACH: 预训练嵌入在上下文和层次结构中解释
我们提出了一种新颖的基于树结构的解释技术 PEACH，它可以使用任何预训练的上下文嵌入以人可解释的方式解释文本文档的分类。使用 PEACH，我们对九个不同的 NLP 文本分类基准进行了全面分析，并通过人可解释的词云树来可视化特征选择和文本分 - 情境化的词义感知：从注意力到组合性
使用语义组合性建模的透明、可解释和语言学动机策略，模拟词的上下文意义编码，并且与复杂神经结构下的黑盒模型相比，显示其与语言学动机模型在给定语义任务中的竞争力。
- 子句编码器：命题语义表征的对比学习
引入一种次句编码器，一种对文本进行细粒度语义表示的对比学习上下文嵌入模型。与对整个文本序列进行编码为固定长度向量的标准实践不同，次句编码器学习产生与文本序列中不同的原子命题（即表达在一个文本序列中的含义的原子单位）相对应的不同的上下文嵌入。 - 预测抑郁症症状严重程度的第一人称代词的深层表示
通过分析第一人称代词的使用情况，尤其是抑郁症症状的严重程度，先前的研究表明可以揭示个人的心理状况。本研究利用上下文嵌入模型获得的第一人称代词嵌入，分析了这些代词的使用方式以研究心理状况，并发现上下文化的第一人称代词嵌入在预测抑郁症症状严重程 - 基于代替的语义变化检测使用上下文嵌入
使用上下文嵌入测量语义变化的简化方法，仅依赖于最可能替代被遮盖术语的方法，不仅这种方法可直接解释，而且在存储效率、性能及变化细致调查方面均表现优越。
- ACL叙事文本中角色和地点的基准确认
通过对文本中字符和位置的跟踪，我们提出了一种新的空间关系分类任务，并使用规范化的注释和上下文嵌入作为特征来预测它们，结果发现，主角移动的比较多，女性角色更多地占据内部空间。
- ACL成语、探针和危险之物：面向向量空间中成语性结构探查的研究
本文利用结构探查方法研究成语信息在嵌入式系统中如何被结构化编码。静态嵌入法 (GloVe) 和上下文嵌入法 (BERT) 都能编码某些惯用信息，但在向量范数是否编码成语性的问题上存在矛盾现象，同时也指出了数据集的一些局限性和未来工作的方向。
- 使用概念辅助的去偏置化上下文嵌入
使用 conceptors 方法去除 BERT 和 GPT 中上下文词嵌入的偏见子空间，提出用后处理和新的架构 CI-BERT 两种实现方法，实验证明 CI-BERT 虽然可以优于后处理版本在消除偏见方面的性能，但它降低了语言模型的准确性。
- 人工语言不流畅检测，哦不，语言不流畅产生技术为大众服务
本文提出了一种名为 LARD 的方法，该方法可以从流畅的文本中自动生成人工语言障碍，并将上下文嵌入到混淆生成中以产生逼真的上下文感知人工语言障碍，从而绕过标注数据的要求。我们的实验证明 LARD 可以在没有或只有少量数据时有效地使用，并增加 - 大型预训练语言模型中英语动词类别和交替理解的探究
本研究通过选择性构建的诊断分类器，对 Bert、Roberta、Electra 和 DeBERTa 等大型预训练语言模型的嵌入进行了研究。研究发现，PLM 的上下文嵌入不仅在单词和句子级别上优于非上下文嵌入，而且在大多数替换类别的任务中实现 - 利用图遍历和实体描述进行实体类型预测
提出了一种利用 RDF2vec 不同图形遍历策略和实体的文本描述来进行实体打标的新方法（GRAND）。实验表明，引入上下文信息的方式和生成图行走序列的策略对于实体打标在 KG 中有重要影响。该方法在 DBpedia 和 FIGER 基准数据 - ACL对于高频词嵌入相似度度量中余弦相似度的问题
使用余弦相似度可对于 NLP 的任务（如问答，信息检索，机器翻译）进行上下文嵌入建模，但是我们发现使用 BERT 解析的余弦相似度在估算词语相似度方面存在高低频词的差异，在控制多义性和其他因素后，高频词与同一词语的其他实例或其他上下文中的其 - EMNLP使用正交结构探测器检查跨语言上下文嵌入
该研究通过使用新型正交结构探针，针对比较语言特征研究并评估了 9 种不同语言中 mBERT 的语境表示所编码的句法和词汇结构信息，并发现对于与英语密切相关的语言，在跨语言嵌入空间中无需进行转换，而对于其他语言，则需要学习分别进行的正交转换。
- ACL关于利用上下文预测学术论文句子的引用价值
探究在科学论文中预测引用价值的句子时，上下文作用的重要性，利用双向 LSTM 模型解决了该问题，并提出了一个新的基准数据集以及文档级别的训练 / 测试分配，通过误差分析揭示了上下文在预测引用价值方面的重要作用。
- COLING多义词语境向量跨语言对齐
本文提出了一种新颖的方法，在从双语词典中获取跨语言信号的基础上，通过利用上下文语境嵌入实现词义级别上的对齐，进而在多种语言之间预训练跨语言模型，以在诸如命名实体识别、情感分类等任务中获得表现上的突破。
- 使用印度化简和 Transformer 进行希望言论检测
本文介绍了使用上下文嵌入和预训练 transformer 模型的方法来检测 HopeEDI 数据集中的 Hope speech。实验表明，使用预训练 transformer 模型的方法在英语、泰米尔语和马拉雅拉姆语上均优于使用逻辑回归、随机 - COLING细节藏恶魔：评估基于 Transformer 的方法在细粒度任务中的局限性
该文探讨了基于 transformer 的神经语言模型生成的上下文嵌入在文本相似度问题上的表现，针对不同粒度上的文本匹配任务，发现相较于简单的基准算法 TF-IDF，该模型在细颗粒度上的匹配任务表现欠佳，提出了一种简单而有效的方法，即将 T - 给阿姆哈拉语引入各种语义模型：多项任务和数据集上的实验和评估
本文介绍了针对阿姆哈拉语的不同语义模型训练方法，并将其用于自然语言处理任务。经实验，我们发现基于 RoBERTA 的语境嵌入法的新模型表现优于旧的预训练的多语言模型和基于 word2Vec 模型的词嵌入法的新模型。
- EMNLP更多嵌入，更好的序列标注者？
本文通过在 18 个数据集和 8 种语言下进行了三个任务的广泛实验，研究了使用各种嵌入级联的序列标记的准确性，并得出了三个结论。
- CrisisBERT：用于危机分类和语境嵌入的强大 Transformer
本文提出了基于 Transformer 的 CrisisBERT 模型和基于 Attention 的 Crisis2Vec 架构，分别用于危机检测、危机识别和危机嵌入，相较于传统方法，该架构表现出更好的性能和稳健性，在危机事件领域中，具有更