- 利用语言加速学习工具操作
本文研究了在不同工具的属性和可利用性方面进行强大而广泛的工具操作所需的信息。通过获取各种工具的自然语言描述并使用预先训练的语言模型生成它们的要素表示，我们进行了语言条件的元学习，从而学习可以根据相应文本描述高效适应新工具的策略。我们的结果表 - 比较不同基于语言学的词嵌入在网络欺凌检测中的性能
为了探究如何在词汇元素和结构之间获取更深的关系并过滤多余信息，我们提出了保留词素、句法和其他类型语言信息并结合原始 tokens 或 lemmas 的方法，从而训练出更精确的词向量，并将其应用于预训练的语言模型以提高其性能，为解决复杂的语言 - 使用多语言 BERT 进行零样本跨语言迁移中的特征聚合
本文探讨了利用 mBERT 最后一个 transformer 层以外的信息，采用基于 attention 机制的特征聚合模块，对不同层次的信息进行融合。实验结果表明，在 XNLI、PAWS-X、NER、POS 等关键领域任务中，该方法在零 - ACL语音翻译和识别的统一语音文本预训练
本文描述了一种使用编码器 - 解码器建模框架来联合预训练语音和文本用于语音翻译和识别的方法，其中包括四个自监督和有监督的子任务以进行跨模态学习，其贡献在于将文本语料库中的语言信息整合到语音预训练中。
- ACL编码语言信息与任务表现之间关系的可视化
使用 Pareto Optimality 观点研究编码的语言信息和任务性能之间的动态关系，提出了一种多目标优化的方法，通过对两个流行的 NLP 任务进行实验发现，一些句法信息有助于 NLP 任务，而编码更多的句法信息不一定能够提高性能。
- 解释阿拉伯语 Transformer 模型
本研究探究了基于不同阿拉伯语言方言预训练模型的内部表示，并使用三种内在任务对这些模型进行了层和神经元分析，包括两种基于 MSA 的形态标注任务和一种方言识别任务。研究发现，单词形态是在较低和中间层中学习的；方言识别需要更多的知识，因此即使在 - AAAI探究预训练语言模型中的语言信息以进行逻辑推理
本文提出了一种方法来探测在预训练语言模型中进行逻辑推理需要的语言现象，发现预训练语言模型对于一些推理所需要的语言信息进行了编码，同时也发现了有一些信息的编码比较弱，但是预训练语言模型通过微调能够有效地学习到缺失的语言信息。这些结果为语言模型 - ACL探究作为归纳偏好的定量化
该研究旨在通过贝叶斯框架度量文本中的归纳偏差量，并通过对 Contextual embeddings 的探究，比较了 fastText 和 BERT 在不同任务上的性能表现差异。
- ICLR分析语言模型中个别神经元的陷阱
本文讨论了使用外部探针的方法评估神经元与语言相关性的方法，指出其存在的问题并提出新的评估方法。
- EMNLP不同模型在语言知识定位方面并非都一样：对 BERToid 表示的逐层探索
本研究探究了不同的预训练模型（BERT、ELECTRA 和 XLNet）对语言信息编码的差异性，并表明基于深度的评估策略往往存在误导性，我们使用了一种信息论探究方法以获取更为可靠和有用的结论。
- EMNLPSpeechformer：减少直接语音翻译中的信息损失
提出了 Speechformer 的架构，该架构通过减少注意层中的内存使用，避免了初始的失真压缩，并根据更具信息的语言标准仅在较高级别上聚合信息，该架构在三种语言对 (en->de/es/nl) 上的实验表明了其有效性。
- ICCV从二到一：一种具有视觉语言建模网络的新型场景文本识别器
本文提出一种名为 VisionLAN 的可提升文字识别速度与精度的模型，结合视觉和语言信息的 Visual Language Modeling，以直接赋予形象模型带有语言能力，从而在训练阶段引导视觉模型利用视觉文本特征以及上下文信息的语言能 - COLING基于 Transformer 网络的社交媒体投诉识别
本研究旨在探索使用最新预训练的神经语言模型与语言信息的组合来自动识别社交媒体投诉。我们评估了一系列以 transformer 网络为基础的神经网络模型，结果表明我们的模型在公开数据集上表现出色，F1 宏平均值高达 87。
- 探针与解析器的故事
本研究对比了一个新型结构探针和传统解析器，发现两种方法在不同语言上效果并存，提出了关于使用哪种技术的问题。
- 基于多任务学习的情感语音转换与语音合成
本文提出一种使用多任务学习的语音转换器，该转换器使用基于 seq2seq 的文本到语音作为嵌入空间，旨在提高保留语言信息的能力。在韩国男性情感文本 - 语音数据集上进行的实验表明，多任务学习有助于在语音转换中保留语言内容。
- EMNLP社交媒体用户的动态表示学习在 NLP 中的应用
本文提出了一种基于图注意力网络的模型，该模型动态地探索一个用户的社交图，计算用户表征并结合语言信息进行预测，在三项任务上进行评估并与其他模型进行对比，表明该模型明显优于当今其他方法。
- 使用 X-Probe 探查多语言句子表示
本文在多语言领域扩展了探究句子表示的任务，提供了五种语言的维基百科数据集，评估了六种语言的句子编码器在保留语言信息方面的表现。发现跨语言映射的句子表示通常比基于自然语言推理的英文编码器训练的表示更好地保留某些语言信息。
- ACLBERT 重新探索经典的自然语言处理流程
本研究主要针对 BERT 模型进行分析，发现模型能够直观地表现出自然语言处理的步骤，并且通过语义角色的方式捕获文本中的语言信息。
- AAAI通过引导注意力来提高指针网络的生成质量
本文指出指针生成网络在生成摘要方面存在的提取性和事实准确性不足，并通过附加传统语言信息来纠正这些缺陷，以提高生成效果。
- 神经机器翻译中重要神经元的鉴定和控制
通过发展无监督的方法来发现神经机器翻译模型中重要的神经元，我们发现了很多这样的神经元捕捉到了普遍的语言现象，并且发现翻译质量取决于这些发现的神经元。最后，我们说明如何通过修改神经元的激活来可预测地控制神经机器翻译的翻译结果。