该论文提出了一种新的基于晦涩数据生成分层概念结构的符号方法，不需要训练即能生成丰富易读的概念表示，并具有高组合性、正式推理和泛化和分布式学习的内在能力。

Jul, 2023

本文回顾了近年来自然语言处理领域的语言模型的发展，并探讨在研究语言模型中基于句法的研究中存在的问题以及解决方案，旨在为未来语言模型的研究提供一种较为多样化和立体化的研究视角。

Oct, 2021

本文提出了一种基于探测任务的神经网络模型的韧性度量方法，在通过语言模型中提取出的语言结构上评估了四种大型语言模型的一致性和鲁棒性，并发现神经网络的新兴句法表示具有脆弱性。

Oct, 2022

研究了自我监督和视觉基础的多个口语模型对句法的编码方式，证明句法结构被最明显地捕获在中间层，并在参数较多的模型中表现得更加明显。

May, 2023

本文探讨了语言图表示在理论上能否 complement 并提高神经语言建模的能力。通过集成一个预训练的 Transformer 和七种不同形式主义的 ground-truth 图，研究发现，总体而言，语义组成结构对于语言建模的性能最有用，超越了句法组成结构以及句法和语义依存关系结构。此外，这种效应在不同的词性类别中差异很大。总之，我们的研究结果为神经符号语言建模带来了有前途的倾向，并邀请未来研究 quantifying 不同形式主义所做的设计选择。

Dec, 2021

通过对 GPT-2 的激活进行统计的方法，将语言模型的高维度激活分解成四个组合类别：词汇、组合、句法和语义表示，并发现组合表示比词汇表示更广泛地招募了大脑皮层网络，并且句法和语义共享一个分布式神经基础。该研究提出了一个多功能的框架来分离神经活动中的语言建构分布式表示。

Mar, 2021

基于堆叠门控循环神经网络的视觉语言学习模型，可以通过音素序列描述的图像描述，学习预测图像的视觉特征，并以层级结构表示语言信息。

Oct, 2016

通过实验，我们展示了一个仿生学上可行的模拟语言器官，由风格化但逼真的神经元、突触、大脑区域、可塑性和感知模型组成，通过希伯规可塑性完成了语言习得的重要早期阶段：只从有限的句子输入中学习名词、动词及其含义。

Jun, 2023

提出了一种基于编码器 - 解码器的 U-Net 框架的识别导向语音增强（ROSE）框架，以消除空中交通管制 (ATC) 领域的无线电语音回声，并提高语音可懂性和自动语音识别 (ASR) 准确性。ROSE 在 ATC 场景中作为即插即用工具，无需对 ASR 模型进行额外的重新训练。

Dec, 2023

本文提出了一种新的循环神经网络体系结构，称为 ON-LSTM，通过对神经元进行排序来添加合理的生物学归纳偏差，从而增强了语言建模、无监督解析、有针对性的句法评估和逻辑推理等四项任务的性能表现。

Oct, 2018