- 词典级对比性视觉引导改进语言建模
基于视觉监督的语言学习过程，通过提供词汇信息的早期层表示，兼容多模态的人类语言习得方式，实现了在语言模型中融入视觉基础的潜力。
- 用于生成意大利语复杂概念描述的领域嵌入
提出了一种分布语义资源，该资源包含从电子词典提取的语言和词汇信息，通过领域特定的共现矩阵来桥接分布向量和一般语义理论之间的差距，并通过两个实验验证了该资源的有效性，实现了动物名词的自动分类和特征提取。
- 在基于 Transformer 的句子嵌入中解析连续与离散的语言信号
我们研究了如何将基于 transformer 的句子嵌入压缩成一种表示，以分离不同的语言信号，特别是与主谓一致和谓词交替相关的信息。通过在变分自编码器类似系统的潜在层中压缩共享目标现象的输入序列，我们发现目标语言信息变得更加明确。具有离散和 - 你们的 Token 是什么？作为词汇分布的密集检索
本文研究了双编码器在稠密检索中的表征方式，并通过词汇分布提供了对其性能解释的见解。最后，我们提出了一种简单的方法，在推理时使用词汇信息来丰富查询和段落的表征，并表明这显著地提高了在跨领域设置下的性能。
- ACL使用语义兼容性进行惯用语表达式识别
本研究提出了一种多阶段深度神经网络架构，利用注意力机制和上下文信息对句子中的习语表达进行定位，通过评估表明该模型能够在各类习语表达的数据集上实现新的最优结果，并具有对未见过的习语表达的识别能力。
- ACLTransformer 语言模型可以使用哪些上下文特征？
通过在 Transformer 语言模型上进行一系列实验，我们发现对于当前 Transformer 语言模型的低困惑度，长上下文至关重要，但上下文的详细句法和命题内容并不重要，且在中长程上下文中，包括重新排列句子中的单词和删除除名词以外的所 - EMNLP神经机器翻译模型的稀疏性
本研究探讨神经机器翻译模型的超参数化问题，并通过实验证明删除的参数可以被再利用来提高基准模型的性能，其提高的翻译结果可以达到 0.8 个 BLEU 值，再利用的参数被用于增强底层的语义建模能力。
- 社交机器人对话中的言语情感和客户满意度估计
该研究提出了一种新的方法，通过对 Alexa Prize Socialbot 数据中的声学和词汇信息进行操作，自动估计客户满意度，其结果表明情感得分与客户满意度相关，并且展示了在估计客户满意度方面的时态建模方法的性能与静态基线以及人类性能的 - AAAIERNIE 2.0：面向语言理解的持续预训练框架
提出一种名为 ERNIE 2.0 的持续预训练框架，通过不断的多任务学习构建和学习预训练任务，以从训练语料库中提取词汇、句法和语义信息。实验结果表明，在包括 GLUE 基准测试中的 16 个任务（包括英文任务和中文中的几个常见任务）中，ER - ACL情感识别的多模态和多视角模型
采用多种视图学习方法来结合语音和词汇信息，训练出不需要词汇输入的部署式语音模型，该模型采用对比损失函数进行训练，实验结果表明这种方法和传统的基于语音信息的方法相比，有更好的准确性和鲁棒性。
- ACLArc-swift: 一种依存句法分析的新型过渡系统
本文介绍了一种基于转移的依存句法分析方法 ——arc-swift。该方法可以在单次转换中实现更远的词语之间的直接连接，从而更直接地利用词汇信息进行转换决策，因此在公布的两个数据集上达到了较高的性能表现并减少 3.7-7.6% 的错误率。
- 跨语言语义角色标注投影
在 FrameNet 范例下，本文提出了一种基于注释投射的通用框架，它可以相对廉价地自动引发新语言中的角色语义标注。该框架利用了词汇和句法信息来设计投影模型，实验结果表明可以在英汉平行语料库中自动诱导具有高准确度的语义角色标注。