- EMNLPPLM 中的上下文化发生在哪里？
在本研究中，我们通过定性和定量措施，研究了用于词义启动的 BERT uncased 12 层架构的基本表示，以确定预训练语言模型中词义转换的确切位置。
- 多尺度视频预训练用于长期活动预测
基于多尺度视频预训练的自监督学习方法 (MVP) 在长期活动预测任务中表现出色，通过学习多个时间尺度上未来视频片段的上下文化表示来提高鲁棒性，相比现有方法，MVP 在视频摘要预测方面相对性能提升超过 20%。
- ACL面向细粒度情感分类的标签感知双曲嵌入
本论文提出了 HypEmo，一种能够融合双曲嵌入以提高情感分类任务性能的新型框架。我们使用超平面空间中的标签嵌入来更好地捕捉其层次结构，然后将上下文表示投射到该空间中来计算样本和标签之间的距离，并发现相对于现有技术，使用此距离加权交叉熵损失 - ACL事件共指解析中的多事件常识：前后发生的事情
本文提出了一种扩展事件提及的模型，利用时间的常识推理生成一个复杂句子中与某一事件有关的先后发生的合理事件，将这种推理纳入事件共指模型中，可以提高其性能。
- 语言模型了解单词义项吗？使用语言模型和领域库进行零样本词义消歧
本文探讨了语言模型在推理时区分词义的能力，并将词义消歧视为文本蕴含问题，通过领域分类的方式在常用语言模型上进行了实验，结果表明这种方法的效果接近于有监督学习系统。
- 重建探测
本文提出了一种新的分析方法 —— 重构探测，基于掩蔽语言模型（MLM）中的重构概率来分析上下文表示。我们应用此分析方法到三个 MLMs，并发现上下文有助于靠近正在重构的标记的标记的可重构性；并且，这些增强主要归于输入层的静态和位置嵌入。
- 实体锚定 ICD 编码
本文介绍了一种将自然语言处理应用于医学编码的方法，该方法限制了模型输入的范围并构建基于本地上下文的 ICD 代码和实体的上下文表示，并在此基础上进行文献级预测，这种方法在处理所有类型的 ICD 代码方面表现出优异的效果，包括在处理罕见和未见 - 多语言变形金刚编码器：基于词级别的任务无关评估
本文提出一种单词级别的任务无关方法来评估多语言 Transformers 模型构建的上下文表示的对齐情况，并表明一些多语言 Transformer 模型的内部层表现优于其他明确对齐表示，甚至更符合更严格的多语言对齐定义。
- ACL使用上下文表示改进话语依存分析
本研究提出了一种基于 transformers 的新方法，通过对不同级别单元的上下文化表示进行编码，动态捕捉对话依赖分析所需的信息，并将对话关系识别视为序列标记任务
- ACL简单尴尬：基于推断的自然语言推理性能预测
本文提出了一种快速预测基于上下文表示的自然语言推理模型性能的方法，通过比较句子嵌入的余弦相似性，避免了费时的微调，减少了模型选择过程中的时间消耗。
- 评估临床试验中上下文表征在检测结果短语中的作用
使用机器学习自动识别临床试验结果具有加快医疗决策所需证据获取的潜力，但先前研究认为缺乏训练语料库是结果检测任务面临的挑战。本文介绍了一个专家注释的临床结果数据集 EBM-COMET，可以在无关于任意结果分类的前提下，使用最近发布的分类法将结 - SIGIR基于文本到文本多视角学习的段落重新排序
本论文提出了一种基于文本生成视角的文本 - 文本多视角学习框架，相比单视角计算，该方案提高了排名表现；同时，文章还进行了相关消融实验。
- ACLCOIL: 重新审视基于上下文反向列表的信息检索中的精确词汇匹配
本文介绍了 COIL，一种基于上下文的精确匹配检索架构，利用上下文表示来评分，以实现语义的词汇匹配。 COIL 在实验结果中表现优于经典的词汇检索器和最先进的深度 LM 检索器，具有相似或更小的延迟。
- AAAI使用 XLNet 模型和主题分布的假新闻检测系统: CONSTRAINT@AAAI2021 共享任务
本文介绍了一种新颖的方法，该方法是由我们团队提出的，用于将来自 Latent Dirichlet Allocation（LDA）的主题分布与来自 XLNet 的情境表示相结合，用于 COVID19 假新闻检测的共享任务，并与基准线进行了比较 - EMNLP更好的高亮：创建子句摘要亮点
本文旨在通过生成可叠加在原始文档上的概要亮点的方式来减轻读者处理大量文本的负担。我们提出了一种新方法，通过联合确定点过程和深层语境表示来产生自包含亮点，以避免混淆并保持原意的完整性，以展示我们的方法的灵活性和建模能力。该方法在概括数据集上进 - COLING中文 BERT 是否编码单词结构？
本文探究了中文 BERT 在注意力权重分布统计和探测任务方面的表现，发现其捕捉了单词信息，其中单词级别特征主要集中在中间表示层，在文本理解等下游任务中，词特征以不同的方式被应用。
- EMNLPLUKE: 深度上下文化实体表示与实体感知自注意力
本文提出了一种基于双向 transformer 的新预训练上下文表示方法来处理实体，通过在维基百科中的大型实体注释语料库上预测随机屏蔽的单词和实体，训练了一个新的与实体相关的自注意机制，实现了在实体相关任务中的良好表现。
- ACL用神经晶格语言模型学习口语表述
本文旨在将语言模型预训练方法推广到语音识别产生的 'lattice' 上。通过提出具有两阶段预训练的神经网络 lattice 语言模型，此研究在意图检测和对话行为识别数据集上证明了其在处理口语输入任务中的优势。
- AAAI评估预训练语言模型中的常识
本研究考察了 GPT、BERT、XLNet 和 RoBERTa 等四个基于预训练语言模型的通感知能力，通过在七个具有挑战性的基准测试中测试他们，在促进模型通感知能力方面，语言建模及其变体是有效的目标，而双向上下文和更大的训练集是额外的加分项 - EMNLP利用无监督多语言上下文化表示进行低资源序列标注
本文提出了多语言语言模型与深度语义对准（MLMA），用于产生跨语言标注的语言无关表示，方法不需要平行数据或一个词一个词匹配，只需要单语语料库，并利用深度上下文表示。实验结果表明，本方法在欧洲语言以及英语和汉语等远距离语言对上实现了新的最新