AudioPaLM 结合了 PaLM-2 和 AudioLM 两种语言模型，实现了对文本和语音的处理和生成，在语音识别和语音翻译等应用中具有优异性能，并且具有零 - shot 语音到文字翻译的能力。

Jun, 2023

本研究使用 Transformer-based pre-trained language models 并提出一种全新的无监督分析方法，通过引入一个高排名头部的集合，用于从语法角度分析 PLMs 的学习知识，从而提取出 PLMs 的句法知识，并用这些知识来训练神经 PCFG，最终与人类注释的语法树库得到比较。

Oct, 2020

本文介绍了一种基于 label 和 span 独立评分的最小神经模型，并证明了该模型不仅与经典的动态规划技术兼容，而且还支持一种基于递归分割的新颖贪心自顶向下推理算法。经实验证明，两种预测方案竞争力强，并且与得分模型的基本扩展相结合，能够实现 Penn Treebank 的单模型最优性能（91.79 F1），并在法语 Treebank 上获得强大的性能（82.23 F1）。

May, 2017

PaLM 2 是个新的最先进的语言模型，比其前身 PaLM 在多语言和推理能力方面更具优势，同时也更加计算效率高。通过在英语、多语言和推理任务上的全面评估，我们证明了 PaLM 2 在不同模型大小的下游任务上的质量显著提高，同时推理速度更快、更高效，这提高了交互的自然节奏。因此，PaLM 2 达到了各种任务和能力的最先进水平。

May, 2023

运用大型语言模型探索生成线性化树解决成分句法分析任务，并通过实验证明模型的性能、泛化能力和挑战。

Oct, 2023

本研究提出了标签关注层，一种新的自注意形式，其中关注头表示标签。运行实验并在 Penn Treebank（PTB）和中文 Treebank 上展示出其在词法句法分析方面的最新成果，标签关注层在该实验中表现出了更好的性能，相比现有工作需要较少的自我注意层数。最后，我们发现标签注意头学习了语法类别之间的关系，并显示了分析错误的路径。

Nov, 2019

通过将 LSTM 编码器替换为自注意力机制，能够提高最先进的判别型成分解析器的性能，特别是当用预训练的字词表示时，而且这种方法在 SPMRL 数据集的大部分语言上的性能优于以前的最佳结果。

May, 2018

本文主要通过对比分析神经概率语言模型和 Transformer 模型的特点，提出使用 NPLM 的本地连接层替换 Transformer 的第一自注意层，从而在三个单词级语言建模数据集上获得小而一致的困惑度降低。

Apr, 2021

本研究提出了一种基于大型语言模型的 Text-to-SQL 模型 SQL-PaLM，该模型在几种不同的任务测试中都取得了最优结果，并展示了其应用于现实场景的鲁棒性和智能能力。

May, 2023

该论文介绍了一种基于注意力池化策略和对比学习目标的方法，可以从预训练的语言模型中提取语言学特征和层次信号，用于下游任务，并在语义文本相似度和语义搜索任务中取得了显著提升。

Sep, 2022