- 一种基于监督信息增强的多粒度对比学习框架在基于脑电的情感识别中的应用
通过引入一种新的基于 EEG 的情绪识别方法，本研究提出了一种名为 SICLEER 的监督信息增强对比学习框架。通过多粒度对比学习，SICLEER 创建了稳健的 EEG 上下文表示，提高了情绪识别的准确性。与现有方法不同，本研究提出了一种联 - 一种用于小样本命名实体识别的统一标签感知对比学习框架
我们提出了统一的标签感知令牌级对比学习框架，通过利用标签语义作为后缀提示来丰富上下文，同时优化上下文 - 上下文和上下文 - 标签对比学习目标，从而提高推广辨别性的上下文表示。广泛的实验表明我们的方法在各种传统测试领域和大规模少样本 NER - AAAI基于传播结构的零样本谣言检测：通过提示学习
本文提出了一种基于远程学习的零样本学习框架，用于检测不同语言环境下不同领域的谣言信息，这种模型通过上下文表征、结构特征以及虚拟响应增强方法提高了对谣言信息的早期检测能力，并在三个实际数据集上得到了比现有模型更好的表现。
- 通过语法错误检测探索针对性的句法知识
本研究旨在利用语法错误检测作为一种诊断探针来评估预训练语言模型的令牌级上下文表示对主谓一致的了解程度，并评估了来自五个预训练语言模型的上下文表示。研究者发现，掩码语言模型线性编码了与 SVA 错误检测相关的信息，而自回归模型的表现与我们的基 - ACL预训练语言模型中的隐喻：跨数据集和语言的探测和普适性研究
该研究使用多语言数据集探索预训练语言模型中所编码的隐喻性信息，结果显示这些模型的中间层主要包含了隐喻性知识，并且该知识在多语言和多数据集中具有泛化性。
- 改进词汇嵌入以提高稳健问答
提出一种基于语义和上下文限制的表示增强方法，来改善问题回答模型的强壮性和泛化能力，通过对语义进行扰动和训练增强上下文表示来更好地区分正确答案的上下文线索，实验证明我们的方法在四个对抗性测试集上获得了显著的鲁棒性改善。
- ACL探究作为归纳偏好的定量化
该研究旨在通过贝叶斯框架度量文本中的归纳偏差量，并通过对 Contextual embeddings 的探究，比较了 fastText 和 BERT 在不同任务上的性能表现差异。
- EMNLP文本分类的人口统计信息对抗清理
本文通过 Adversarial Scrubber 模型构建一个去偏置的框架，旨在在维持目标任务性能的同时，去除受到性别、种族等社会统计属性的不良影响，通过最小描述长度探测等实验展示了该模型的性能优异性。
- ACL通用上下文表示预训练注入问答技术
本研究提出一种基于问答预训练目标的预处理方法，利用编码器 - 解码器的结构来在上下文中编码问题答案，成功应用于零样本学习等多个自然语言处理任务，相比现有最佳方法提升明显。
- ACL结合静态词向量和上下文表示的双语词汇表归纳
本研究提出了一种将静态词向量和上下文表示相结合的机制来改进双语词典归纳（BLI）的表现，结果表明在监督及无监督的基准测试环境下，我们的机制均可提高 3.2 和 3.1 个百分点左右的性能表现。
- ACL非线性结构探针
在研究了线性探测器的限制条件后，我们针对六种语言提出了一种具有同样参数数量的非线性变体，并使用径向基函数（RBF）核函数进行了测试，发现在所有语言中，RBF 核函数与正则化相结合能够显著提高基线（Baseline）的性能。
- AAAI生成增强预训练用于语义解析的上下文表示学习
通过 Generation-Augmented Pre-training 来解决现有通用语言模型在文本与 SQL 语义解析器中存在的问题，并在 SPIDER 和 CRITERIA-TO-SQL 基准测试中获得了新的最先进的结果。
- EMNLPNeuSpell: 一个神经拼写纠正工具包
介绍 NeuSpell, 一个用于英语拼写纠正的开源工具包，其中包含十个不同的模型，并对来自多个来源的自然发生的拼写错误进行基准测试。通过训练使用上下文中的拼写错误，以及使用上下文表示，我们的工具包可以提高纠正率 9％(绝对值)，在许多潜在 - 提高语义解析中组合泛化能力
本文探究在语义解析中复合泛化的问题，研究了多种模型并提出多种扩展，其中包括使用上下文表示、指导解码器、训练解码器等等，结果发现这些因素有助于促进复合泛化。
- ICLRELECTRA：将文本编码器视为判别器而非生成器的预训练
提出了一种更节省样本的预训练任务，叫做替换标记检测。该方法是通过一个小的生成网络从语料库中替换一些标记，然后通过训练一个判别模型，以预测输入标记是否被替换，而不是预测被替换的标记的原始身份来破坏输入，从而定义所有输入标记的任务，比普通的 M - 用辅助说话人识别的多任务学习进行对话情感识别
本文探讨了会话情感识别 (CER) 的问题，考虑到说话人的信息对于识别情感的影响，提出利用说话人鉴别任务 (SI) 辅助提升对话中话语的表示。实验结果表明，该方法能够有效提高 CER 的性能，达到了两个基准数据集的最优结果。
- exBERT：一种可视化分析工具，用于探索 Transformers 模型中学习到的表示
通过互动工具 exBERT，可以通过将人类指定的输入与大型已注释的数据集中的类似上下文进行匹配，来揭示上下文表示的意义，从而更直观地解释每个注意力头都学习了什么。
- EMNLP上下文词嵌入的解析：架构和表示
本文通过详细的实证研究探讨了神经网络模型架构（如：LSTM、CNN 或自我注意力）对端到端 NLP 任务准确性和语言表示质量影响的权衡，研究结果表明预训练的双向语言模型可以学习到关于语言结构比以往认为的更多，无论采用何种架构，都是学习到高质