本文展示了通过将结构化常识推推理任务框架化为代码生成任务，使用代码生成语言模型（CODEX）可以在自然语言任务上优于 T5 和 GPT-3 等先进语言模型，即使任务并不涉及源代码。

Oct, 2022

本研究旨在通过分析在线指南手册的数据集以构建模型，研究当下 NLP 模型在指令文本中推断动作条件依赖性的效果， 提出了弱监督方法用于自动构建大规模训练实例，在考虑整体指导上进行了改进，在采用了全局信息后， F1-score 的提高达到了 20％以上。

May, 2022

最近的研究提供了间接证据，表明在代码上预训练语言模型可以提高模型在自然语言中跟踪语篇实体状态变化的能力。本研究通过比较基模型和在其基础上用额外代码数据进行训练的模型在实体跟踪性能上的差异，系统地测试了这一论点。此外，我们还扩展了分析，考察了数学训练和对齐调优这两种高度结构化的数据类型对模型可用性的影响。我们发现，额外训练大量代码的模型明显优于基模型，而在不同的模型类型中，额外的数学训练和对齐调优并没有一致的好处。

May, 2024

提出了一种层次化模型，能够从大规模文本库中推广教学知识并将其转化为视觉领域，从而实现对机器人从未见过的活动的零样本预测，并介绍了 Tasty Videos 数据集。

Dec, 2018

本研究提出了一种基于图形的代码表示技术，并通过有效的预训练策略生成通用代码表示。通过在真实数据集上的测试，表明该方法在方法名称预测和代码图链接预测方面具有最先进的结果。

Mar, 2021

CodeRL 使用预训练的语言模型和深度强化学习框架解决了程序合成中标准的有监督微调的一些局限，同时在 APPs 和 MBPP 基准测试中创造了新的 SOTA 结果。

Jul, 2022

本文研究大型语言模型在互动环境中是否可以利用所学的世界知识来执行高层任务，并提出了一种条件方法，将语言模型生成的中级计划语义上翻译为合适的操作以提高执行性能。在 VirtualHome 环境中的实证评估结果表明，该方法在可执行性方面显著优于大型语言模型基线。

Jan, 2022

本论文介绍了一种名为 FuzzPretrain 的方法，利用程序的测试用例中的动态信息，将其嵌入代码的特征表示中，以改善代码搜索的效果，并提供了学习具有区分性的代码表示的实验证据。

Sep, 2023

本文介绍了 PeKo 的标注方式、两种预测任务，并在评估任务中表明，即使在当今的大型语言模型中，条件关系的建模也具有挑战性。同时，本文还表明在 PeKo 上微调语言模型可以获得更好的条件联系结果。

Oct, 2020

本文提出了一种新的叙述引导的预训练策略，以学习从对话输入中叙述关键信息的能力，针对当前方法缺失的对话 - 叙述并行语料库，本文利用自动对齐的电影字幕和简介构建了一个这样的语料库，在此基础上，用一个 BART 模型进行预训练，并在四个需要理解的基于对话的任务上评估其性能。实验结果表明，本文所提出的方法不仅在零 - shot 性能上表现出了优越性，而且展示了更强的细粒度的对话理解能力。

Mar, 2022