本论文研究了 LLMs 在信息提取等任务中生成复杂输出结构的问题，提出了一种基于形式语法约束的解码方法，通过合理的限制保证生成的符号序列能够具有语法正确性，同时在大型符号集信息提取和实体消歧方面取得了良好的效果，结果表明在缺乏训练数据、后调较为昂贵的场景下，采用基于形式语法约束的解码策略能够有效提升模型生成结构化输出的能力。

May, 2023

通过利用协程方式的内容生成约束和预先协商的上下文无关文法（CFG），我们提出了一种引导大型语言模型（LLMs）生成符合特定约定的结构化内容的方法，从而增强生成目标数据结构、类型或指令的稳定性和一致性，降低应用开发复杂性。与基准测试相比，我们的方法提高了准确性 1.09 到 11.6 倍，LLMs 仅需约 16.5% 的样本即可有效生成 JSON。这提高了 LLM 生成内容在计算机程序中的可用性。

Apr, 2024

通过引入 Writing Path 框架，本研究提出了一种利用明确的大纲来指导大型语言模型生成目标导向、高质量写作的方法。在使用 GPT-3.5-turbo、GPT-4 和 HyperCLOVA X 进行评估时，该方法显著提高了文本质量，进而提升了大型语言模型满足用户多样化写作需求的能力。

Apr, 2024

最近大型语言模型的进展激发了研究人员和行业专业人员的兴趣，特别是在与移动用户界面相关的任务中的应用。本研究探讨了使用大型语言模型进行用户界面布局生成的方法，并引入了 UI 语法的概念，以更有效地指导生成能力，并提高过程的可解释性和可控性。通过与 GPT-4 进行的初步实验表明，大型语言模型通过上下文学习具有产生高质量用户界面的有希望的能力。此外，我们的初步比较研究显示了基于语法的方法在改善特定方面的生成结果质量方面的潜力。

Oct, 2023

本研究提出了一种基于强化学习算法的语言模型微调方法，通过与动态黑盒引导语言模型（GPT-3）相互作用，比传统监督学习和 PPO 策略优化算法表现更好，尤其在语义和词汇多样性等方面的指标上有改善。

Jun, 2023

我们提出了一种基于句法树的语法引导生成模式，通过解码过程的两个部分:（1）对给定源句子中词汇化的句法上下文中的每个成分预测填充文本；（2）映射和扩展每个成分以构建下一级语法上下文以生成自然语言文本，并在重述生成和机器翻译上进行了实验。与自回归基线相比，该方法在有效性和可解释性方面更加出色。

Jun, 2023

通过在大型语言模型中引入详细的约束条件，本研究调查了约束文本生成的问题，并对多个语言模型进行了分类和评估，旨在为未来的约束文本生成提供启示。

Oct, 2023

通过对多项任务的优化，本文展示了分类器自由引导（CFG）可以作为一种单纯的语言模型推理技术，以优于当前最佳模型的表现在 LAMBADA 任务上取得了 SOTA 成果，并可改善语言助手任务的准确性和连贯性。

Jun, 2023

近期，大型语言模型的出现为过程性内容生成带来了新的机遇。这篇论文探讨了通过大型语言模型生成游戏的可能性，提出了一种基于视频游戏描述语言的大型语言模型框架，可以同时生成游戏规则和关卡。实验结果展示了这个框架如何根据不同的上下文进行生成，为过程性内容生成领域中的新游戏生成提供了新的见解。

Apr, 2024

探讨利用大型语言模型（LLMs）控制文本难度的问题，在不完全精通的终端用户环境中（如语言学习者），通过使用新颖框架评估了几种关键方法的效果，包括少样本提示、监督微调和强化学习（RL），使用 GPT-4 和 LLama2-7B、Mistral-7B 等开源替代品。我们的发现揭示了在使用基于提示的策略时，GPT-4 和开源模型之间存在很大的性能差距。然而，我们展示了如何通过精调和 RL 对齐的谨慎组合来弥合这一差距。我们最佳的模型，CALM（CEFR 对齐语言模型），在仅成本的一小部分下超越了 GPT-4 和其他策略的性能。我们通过小规模的人工研究进一步验证了我们结果的质量。

Jun, 2024