- 面向可解释和语言无关的 LLMs：大规模语言符号逆向工程
本文讨论了大规模语言模型的局限性和其基于深度神经网络的内在架构所造成的影响，提出了使用符号表示和基于底层反向工程重构语言的方法来弥补这些局限性。
- 针对 Transformer 的预训练和推理的并行注意力和前馈网络设计
本文介绍了并行注意力和前馈网络设计（PAF），以提高 Transformer 模型的效率，并评估了它在语言理解任务中的性能与速度表现，与 Series Attention 和 Feed-Forward Net Design 相比，PAF 设 - 知识图谱引导的语言模型语义评估用于用户信任
本研究通过建立图格式的知识图谱，对自注意力转换器编码的语义进行了评估，发现语言模型不会赋予学习到的随机模式以物体和概念级别的含义和语义，同时构建了一个 GLUE 基准的增强语言理解基准，以使语言模型的概念理解得到健壮的评估。
- 大语言模型中涌现能力的潜空间理论
本文研究表明，通过使用大数据和大模型训练的 LLMs 可以准确评估语言的边际分布，并利用这一分布进行贝叶斯推理来分析语言间的稀疏结构，从而提高语言理解、上下文学习、思维链引导和有效指导的能力。
- 基于对话游戏的语言理解测试：动机、分类和策略
论文提出了一种使用 “对话游戏” 来测试人工语言理解能力的方法，并借由建立一种对话游戏类型的分类来探讨测试的结构效度，以达到更全面的评估。
- ChatGPT 的一致性分析
我们调查了 ChatGPT 的可靠性和逻辑一致性。发现虽然 ChatGPT 在语言理解能力方面有所提高，但它仍经常无法生成逻辑上正确的预测；因此，我们得出结论：在没有充分人工检查的情况下，在真实世界的风险敏感领域中使用 ChatGPT 需要 - VLN-Trans: 视觉语言导航代理翻译器
通过设计一个翻译模块，将原有语句转化为易于理解的子语句，该模块针对航行代理的视觉能力和环境观察结果，聚焦于可识别和有区分性的地标，通过训练翻译器和导航代理的特定任务，达到了在多个基准测试中取得最新颖成果的目标。
- Paparazzi：深入探究语言和视觉模型在观点描述中的能力
本论文研究了 CLIP 模型在 3D 环境下对物体视角描述和识别中的表现以及对少量可用训练数据条件下的硬负采样和随机对比进行微调。
- 语言认知与语言计算 —— 人类和机器的语言理解
语言理解是认知科学和计算机科学领域的关键科学问题。本文比较了认知科学和计算机科学在语言理解方面的不同研究问题和方法，并探讨如何将两个领域的洞见结合起来，为构建智能语言模型和研究语言认知机制提供新的启示和展望。
- GanLM: 带有辅助鉴别器的编码器 - 解码器预训练
本文提出了一种名为 GanLM 的基于生成对抗网络（GANs）的编码器 - 解码器预训练模型，利用辨别器和训练目标：替换标记检测和替换标记去噪，有选择地使用去噪数据以提高语言理解和生成能力，在语言生成基准测试中取得了最先进的性能。
- DuNST: 双重噪声自训练用于半监督可控文本生成
提出自我训练算法 DuNST，它通过一个变分自编码器共同建模文本生成和分类，利用两种柔性噪声打破生成的伪文本的限制，从而实现利用标签和非标记文本渐进式提高模型性能，应用于三个可控生成任务，显著提高控制准确性，并保持可比较的生成流畅性和多样性 - EMNLPDREAM-FLUTE：借助梦幻长笛理解比喻语言
提出了一种名为 DREAM-FLUTE 的比喻语言理解系统，它通过构建 “mental model” 来实现理解，将场景描绘成意义明确的语言，以此来实现事件推理，并取得了非常好的结果。
- 评估无监督语音表示中的上下文不变性
本文介绍了语音或文本的不变性对于理解语言至关重要，提出了一种新的 ZeroSpeech ABX 基准测试方法来测试表示的上下文独立性，并建议将重点放在改善自监督和无监督表示的上下文独立性上。
- 面向语言驱动的科学人工智能
基于 AI 在自然语言理解和生成方面的革命性进展，我们设计了能够解决复杂科学任务的 AI 系统，并将自然语言作为 AI 与人类科学家之间的核心表示、推理和交换格式。本文旨在探讨实现这一愿景所面临的主要研究挑战。
- EMNLP从基础开始建立表示？语言模型中局部组合的实证研究
本文探讨了现代语言模型是否能够学会表示复合短语中的复合性和非复合性，通过预测长语的内部表示来证明了现代语言模型可以预测一个父短语的表示。同时，通过多种分析，揭示了不同类型的语言模型何时产生了复合表示，并探讨了未来建模工作的可能性。
- COLING利用预先训练的双编码器对常识属性进行建模
我们研究了使用分离的概念和属性编码器来细调语言模型，以显式地模拟概念及其属性，以此来预测常识属性的可行性，结果显示与直接细调语言模型相比，使用所提出的编码器能够更高准确率地预测常识属性。
- 如何将预训练的视觉语言模型改编为仅文本输入模式？
为了找到最好的方法来将视觉和语言 (VL) 多模态预训练模型适应于仅文本输入，我们研究并比较了适应 VL 模型到文本输入的七种可能的方法。我们的评估结果表明，对于零样本文本 - only 任务，VL 模型需要小心适应，而对于非零样本任务，模 - 基于心理学的思路链引导大型语言模型理解隐喻
本文使用思维导向提示将概率模型结构引入了大型语言模型的上下文学习中，以推断潜在变量并选择合适的隐喻释义，从而改进了模型的模仿能力。
- COLING通过强化学习实现面向任务的自适应自然语言生成的对话
本研究提出了 ANTOR，一种基于强化学习的自适应任务对话自然语言生成方法，将自然语言理解模块纳入强化学习的目标函数中，以生成适应于环境和不同用户的自然语言表达。
- 机器阅读理解中推理捷径的测量与缓解调查
本综述论文探讨了自然语言处理中普遍存在的快捷学习问题，侧重于机器阅读理解领域，总结了已有的快捷学习测量和减轻方法，并提出了缺乏公共挑战集合和其他领域突出的快捷学习方法对 MRC 的两个主要关注点。