本论文研究了LLMs在信息提取等任务中生成复杂输出结构的问题，提出了一种基于形式语法约束的解码方法，通过合理的限制保证生成的符号序列能够具有语法正确性，同时在大型符号集信息提取和实体消歧方面取得了良好的效果，结果表明在缺乏训练数据、后调较为昂贵的场景下，采用基于形式语法约束的解码策略能够有效提升模型生成结构化输出的能力。

May, 2023

该研究评估基于大型语言模型的语义解析器处理上下文话语的能力，并考察了四种在对话式语义解析中适应上下文话语的范式的比较，研究表明Rewrite-then-Parse范式在综合考虑解析准确性、标注成本和错误类型时具有最大潜力。

Sep, 2023

通过对18个字段密集型任务进行全面实验，我们发现，针对这些任务，大规模语言模型在使用上下文学习的方法上存在三个主要问题：无法准确理解上下文、与人类任务模式理解不匹配、对长文本理解能力不足。然而，通过微调，大规模语言模型能够在这些任务上取得不错的表现，表明上下文学习的失败并非大规模语言模型本身的固有缺陷，而是现有对齐方法的局限性导致大规模语言模型无法通过上下文学习来处理这些复杂任务。我们希望本文的分析结果能促进对齐方法的发展，使大规模语言模型能够满足更加复杂的人类需求。

Nov, 2023

通过使用通用编程语言和结构化领域描述来改善语义解析的效果，能够显著提高准确性，并缩小了易于解析的数据集和复杂数据集之间的性能差距。

Nov, 2023

利用大型语言模型为语义解析任务开发k最近邻在上下文学习（kNN-ICL）以改进有效提示设计

Dec, 2023

大型语言模型通过上下文学习与优化可以在广泛的任务上取得显著效果，然而，该研究调查了当提供任务特定指令时，优化上下文示例的必要性，并发现对于某些任务，对上下文示例进行优化产生递减收益，为此引入了用于测量任务可学习性的度量方法，从而提供了一种启发式方法，帮助决定针对任何新任务是优化指令还是优化上下文示例。

Feb, 2024

使用者对齐是将通用语言模型（LMs）调整为下游任务所必不可少的，但人工注释往往无法涵盖所有类型的指令，尤其是具有定制约束的指令。本研究提出了一种统一框架ACT（Aligning to ConsTraints），通过约束验证器自动产生用户对齐的监督信号，从而有效评估不同类别约束的满足率，并通过基于排序的学习过程来适应目标任务，实验证明ACT能够提高LMs对各种约束的遵循能力，从而改善任务性能，并且该约束遵循能力是可迁移的。

Mar, 2024

使用硬约束和软约束作为代码在五种不同表示形式下来评估大型语言模型的可控性，研究发现无论是在预训练数据中的占比如何，大型语言模型都难以理解所有表示形式中的约束，尤其对XML和资源丰富的Python这两种表示形式的约束理解较差。

Jul, 2024

本文解决了当前评价大型语言模型（LLMs）在遵循自然语言指令方面的局限性，主要集中于碎片化的约束和狭窄场景。我们提出了CFBench，一个大规模的综合约束遵循基准，通过1000个样本覆盖200多个真实场景和50多个NLP任务，创新性地构建了约束类型的系统框架。评估结果显示，当前领先的LLMs在约束遵循方面还有显著提升空间，为模型的改进提供了方向。

Aug, 2024

本研究针对大型语言模型（LLM）在自然语言处理中的可靠性和伦理对齐问题，提出了一种新的上下文基础框架。通过明确捕捉与表示相关的情境、文化和伦理上下文，改善模型的表现、公平性和与人类期望的对齐，有望在医疗、法律和社会服务等敏感领域产生重要影响。

Aug, 2024