通过使用 GPT-3，本文提出了一种名为 LAD 的数据范式，用于创建多样化和准确的合成数据，以训练下游神经对话模型，实现零 - shot 泛化，并在意图预测、槽填充和下一步行动预测方面实现了显著的性能提升。同时通过交互式人类评估表明，与人类对话训练相比，使用 LAD 训练的效果是有竞争力的。

Jul, 2022

通过现有的自然语言处理技术和文本生成能力，我们提出了一种新的数据增强方法，即基于语言模型的数据增强 (LAMBADA)，它可以在有限标注数据的情况下用强大的预训练神经网络模型合成新的有标注数据，进而提高文本分类任务性能。

Nov, 2019

这篇论文提出了一种新的 LaDA 模型，在跨语言自适应的语音理解系统中使用潜在对话动作层来优化解码策略，以提高对复杂多语言意图和槽值的处理能力，并在零样本和少样本适应方面取得了最先进的结果。

Aug, 2023

本研究提出了一种新的针对文化多样性的基准数据集 DLAMA-v1，并表明英语提示对多语言模型的性能有较大的影响。

Jun, 2023

该论文提出了一个简单、通用和有效的对话系统模型 - 交替角色对话模型（ARDM），利用大规模预训练语言模型，可在无需人类注释监督的情况下实现有效会话，并且在 CamRest676 和 MultiWOZ 等任务导向型对话数据集上的表现优于或与最先进的方法相当。该模型还可推广到更具挑战性的非协作任务，例如说服任务，能够生成类似于人的回复，以说服人们捐赠慈善事业。

Oct, 2019

本文提出了一种新的解决方案 - 对话式解决代理（DERA），用于提高较大语言模型（LLMs）在医疗保健等安全关键领域输出的准确性和完整性，通过与 GPT-4 的交互来迭代地提高输出，并在医疗交流摘要、护理计划生成和 MedQA 等临床焦点任务中表现出显著的性能改进。

Mar, 2023

对于最近有人声称基于 Transformer 模型体系结构的预训练语言模型 LaMDA 具有感性的争论中，我们认为这种语言模型不能具有感性或意识，LaMDA 没有表现出其他类似模型的进展，我们通过集成信息理论分析变压器结构来证明这一点，我们认为意识的主张是 NLP 报道中使用人类描述语言的趋势的一部分，无论这些主张的真实性如何，都需要考虑语言建模的进展和相关的伦理问题。

Nov, 2022

提出了一种方法，基于手写语法直接估计 n-gram 数量和使用约束优化来适应新应用意图，同时不降低过去应用的性能，使用该方法在私人助手系统中对新应用意图进行了评估，发现即使对于没有此类应用程序的适应数据，适应可以将单词错误率提高 15％。

Dec, 2018

本文中，我们探索了使用预训练的语言模型进行下游任务的无监督领域适应（UDA）。我们提出了 UDALM，一种微调过程，使用混合分类和蒙面语言模型损失，可以以强健和样本高效的方式适应目标域分布。我们的实验表明，使用混合损失训练的模型的性能与可用目标数据的数量成比例，并且可以有效地用作 UDA 训练中的停止准则。此外，我们还讨论了 A 距离和目标误差之间的关系，并探索了域对抗训练方法的一些局限性。我们的方法在 Amazon 评论情感数据集的 12 个领域对上进行评估，得到了 91.74％的准确率，比最先进技术提高了 1.11％的绝对值。

Apr, 2021

利用儿童发展心理学经典实验评估大型语言模型（LLMs）的能力，提出一种评估 LLMs 能力的 LRS 度量，将 Google 的 LaMDA 模型应用于实验，发现 LaMDA 在社交认知任务中回答的适当反应与儿童相似，但在早期物体行为认知、心理理论以及因果推理方面的回答则与儿童有很大不同，表明这些领域需要更多的现实世界自发探索，不能简单地通过语言输入模式学习。

May, 2023