提出了一种知识蒸馏方法以学习从比自身大几个数量级的大型语言模型中生成一致合理的解释的小型自洽 Chain-of-Thought（CoT）模型，它使用教师模型生成的合理解释来学习学生模型，并使用对抗性约束来保证学生模型保持一致性和反事实推理，实验结果表明，这种方法可以更好地生成有利于提高性能的 CoT 解释。

May, 2023

文中介绍了一种名为 CoAT 的优化方法，利用模拟训练数据来帮助语言模型更好的利用其背景知识。使用 CoAT 训练的 In-context learners 性能表现良好，达到了在多任务训练中更大规模模型的性能水平。

May, 2023

本论文提出了一种名为 CoCo 的基于连贯性图和对比学习的模型，用于检测低资源情况下的机器生成文本；该方法采用预训练模型和图神经网络将文本表示为连贯性图，并使用改进的对比损失函数应对数据限制挑战，实验结果表明 CoCo 方法优于现有的最先进的方法。

Dec, 2022

通过精心设计的训练数据、详细分析数学推理中的错误类型并构建了一个自检修正数据集，本研究旨在增强大型语言模型的自检能力，从而提高自我修正的准确性。在与其他检查 - 修正数据相关的情境中，使用 “Step CoT Check” 提示进行微调的模型表现更好，提供更精确的反馈，从而达到更高的正确率。

Feb, 2024

本研究探讨了利用大型语言模型的方法来减少演绎编码所需的时间，同时保留传统内容分析的灵活性。研究发现，在某些情况下，使用 GPT-3.5 可以达到与人类编码者同等程度的一致性水平。

Jun, 2023

提出了一种利用事实一致性模型进行弱监督微调的方法，通过在生成的文本中添加引用并使用经过过滤的引文数据进行监督微调，以提高生成的内容的可验证性，并在 ALCE few-shot 引文基准上展示了超过上下文学习、纯监督微调和最先进方法的平均提高，同时在领域转移设置中表明所得到的引文生成能力在未见过的数据集上具有稳健性，并且在基线对比中具有最低的事实错误率。

Jun, 2024

通过演绎法进行归纳的新框架（ItD）提高了大型语言模型（LLMs）在归纳任务上的性能，该框架由演绎数据生成模块和朴素贝叶斯归纳模块组成，并在两个归纳基准测试上取得了相对于先前最先进方法分别为 36% 和 10% 的性能提升。

Mar, 2024

COAT utilizes large language models to extract potential causal factors from unstructured data and assists in uncovering underlying causal systems.

Feb, 2024

本研究探讨了语言模型（LM）如何从训练数据中记忆大量的事实知识，同时提出了事实追溯的问题。为了解决该问题，比较了基于梯度和嵌入的两种不同的训练数据指向（TDA）方法，并发现仍有很大的改进空间。

May, 2022

DKGen 将文本生成过程划分为迭代过程，通过动态选择相关性高的参考段落，消除与先前生成的文本和查询无关的引用，从而增强了它正确使用外部知识的能力。实验结果表明，DKGen 优于所有基准模型。

Aug, 2023