本论文提出 CGMH，一种使用 Metropolis-Hastings 采样的新方法，可用于受约束的句子生成，包括多个关键字等复杂约束条件以及无监督的句子改写和纠错。CGMH 在各种任务中表现出与以前的句子生成监督方法相比很高的性能。

Nov, 2018

本文通过指导树遍历过程中使用鉴别器推导所需的限制条件，探讨了如何在解码过程中进一步控制基于 Transformers 的大型语言模型（LM）生成的长文本，从而避免对 LM 进行微调。此方法相对于微调又更易于并且训练代价更小，同时允许更细致、更动态地应用限制条件。在评估了多种搜索和重新排序方案后，表明基于鉴别器引导的 Monte Carlo Tree Search 解码方法可以在两种限制条件和语言（法语和英语）中以最先进的效果，得到多样性鼓励下基于重新排序的其他解码方法相当好的效果。

Sep, 2021

提出了一种多约束分子生成大型语言模型（TSMMG），通过提取多个 “教师” 模型和工具的分子知识构建大量的文本 - 分子对，实现了生成符合各种文本提示描述的新型分子。TSMMG 在生成满足复杂的自然语言描述的化学属性要求的分子方面表现出色，平均分子有效性超过 99％，成功比率分别为 88.08％，65.27％和 61.44％。该模型还具有零 - shot 测试的适应性，可以生成满足尚未遇到的属性组合的分子，并且可以处理具有不同语言风格的文本输入。TSMMG 的知识蒸馏功能对小模型的持续增强起到了积极的作用，并且创新的数据集构建方法有效解决了数据稀缺和质量问题，使其成为药物发现和材料科学领域的有 promising 工具。

Mar, 2024

通过考虑搜索进展和价值网络的引导，本研究介绍了一种新颖的有引导的树搜索算法，用于在可接受的计算成本内提高性能。实验结果显示，该方法不仅具有竞争力的性能，而且相对于基准方法而言计算成本显著降低。

Jun, 2024

本研究提出了一种名为 TGLS 的无监督文本生成方法，采用模拟退火算法和条件生成模型相结合，取得了在同类方法中最佳的生成效果。

Jul, 2020

通过蒙特卡洛树搜索方法与科学推理，提出了一种新的驱动组合搜索的方法，可以增强科学家的推理和发现过程。

Oct, 2023

通过使用蒙特卡洛树搜索和轻能量函数，我们对经过微调的大型语言模型进行了改进，提高了数学推理的正确性和步骤，从而在不需要进一步微调或 RLHF 对齐的情况下，将经过微调的模型的一次通过率显著提高。

Sep, 2023

提出了一种基于序列蒙特卡洛（SMC）引导的推理时方法，能够在后验推理问题的框架下对大型语言模型输出的句法和语义进行控制，包括缺失填充，句法约束下的生成和提示交集等任务，并提供了一个名为 LLaMPPL 的概率编程库以便于对 LLaMA Transformers 进行处理。

Jun, 2023

通过在大型语言模型中引入详细的约束条件，本研究调查了约束文本生成的问题，并对多个语言模型进行了分类和评估，旨在为未来的约束文本生成提供启示。

Oct, 2023

本文提出一种基于序列生成的序列到树框架（Seq2Tree）用于建模层次标签结构的方法，在约束解码策略的基础上，使用动态词汇来保证结果的标签一致性，相较于以往的方法，在三个基准数据集上实现了显著且一致的改进。

Apr, 2022