本文提出了一种利用视觉场景中的场景描述图（SDG）从图像中提取语言描述的方法，该方法通过自动构建的知识库应用视觉和推理的方式构建 SDG，并使用自然语言处理的图像注释进行的 “常识” 知识库和来自资源（如 WordNet）的词汇本体知识。通过针对 Flickr8k、Flickr30k 和 MS-COCO 数据集的基于 Amazon Mechanical Turk（AMT）的评估，我们的方法获得的自动构建句子的 SDGs 通常比基于最新的最先进的图像标题方法更相关和全面的描述了图像。我们的图像 - 句子对齐评估结果也与最新的最先进方法相当。

Nov, 2015

通过使用 Abstraction and Reasoning Corpus（ARC）作为基准，我们介绍了一种与人类生成的自然程序相一致的以对象为中心的模型，这些模型不仅可以进行预测，还可以为输入 / 输出对提供联合描述，并且通过最小描述长度（MDL）原则在大型模型空间中高效搜索。我们解决了多样化的任务，并且学得的模型与自然程序相似。同时，我们还展示了我们的方法的广泛适用性。

Nov, 2023

通过多个大型语言模型之间的多智能体交互，结构化蒸馏途径（MAGDi）通过将多智能体交互表示为图形、通过图形编码器增强基础学生模型，并使用三个目标函数进行知识蒸馏，即下一个标记预测、正确和错误推理之间的对比损失以及基于图形的目标函数。对七个广泛使用的常识和数学推理基准进行的实验证明，MAGDi 提高了较小模型的推理能力，表现优于从单个教师和多个教师进行蒸馏的几种方法。此外，MAGDi 还比其教师高出数量级的效率。我们进行了广泛的分析，显示 MAGDi（1）增强了对域外任务的泛化能力，（2）与基础学生模型的大小和强度正相关，（3）在应用自一致性的多教师训练方面取得了更大的改进，后者是一种依赖于模型多样性的推理技术。

Feb, 2024

AI agents rely on reasoning, but large language models (LLMs) have limitations in their reasoning capabilities, particularly in length generalization. This paper presents a theoretical study of the length generalization problem in reasoning tasks formulated as Markov dynamic processes (MDPs) and/or directed acyclic graphs (DAGs), identifying conditions for solving the problem and conducting experiments to validate the theoretical findings.

Nov, 2023

提出了知识增强推理提炼（KARD）这一新颖的方法，以从外部知识库检索的增强知识 fine-tune 小型 LM，来生成 rationale，并且进一步提出了神经重新排序器以获取与理性产生相关的文档。该方法在知识密集型推理数据集上显著提高了小型 T5 和 Flan-T5 模型的性能。

May, 2023

SELF-DISCOVER 是一个通用的框架，使 LLMs 能够自我发现任务内在的推理结构来解决复杂的推理问题，并在 BigBench-Hard、基于代理的推理和数学等具有挑战性的推理基准上，相较于 Chain of Thought (CoT) 的性能提升高达 32%。此外，SELF-DISCOVER 在需要 10-40 倍少得多的推理计算的情况下，超过了 CoT-Self-Consistency 等推理密集型方法 20% 以上。最后，我们证明了自我发现的推理结构在模型族之间是普适的：从 PaLM 2-L 到 GPT-4，从 GPT-4 到 Llama2，并与人类推理模式共享共同点。

Feb, 2024

通过在知识图谱（KG）上选择推理路径并结合思维链（CoT）和 PageRank 的子图检索方法，本文整合和优化了一个基于大型语言模型（LLM）的管道，可以减少对 LLM 的依赖。最终，RoK 证明了使用较少的 LLM 调用可以达到相同的结果。

Apr, 2024

该研究提出了一种基于 stepwise decoding 方法的 Guiding Multi-step ReAsoning with a CorrectnEss Discriminator (GRACE) ，它使用判别模型来调整 LM 的解码策略，从而提高多步推理的准确性。与传统解码策略相比，GRACE 在四个流行的数学推理基准测试中均表现出显著的改进。

May, 2023

利用大型语言模型 (LLMs) 和知识图谱 (KG) 的协作训练方法，本研究在知识图谱的指导下，通过迭代探索和选择性地检索任务相关的知识子图来支持推理，使得 LLMs 能更可靠地进行基于知识的推理，并同时明确阐述推理过程，实验结果表明本方法在多个数据集上显著改进，尤其在 QALD10 数据集上相对于最佳基线和最先进的方法提高了超过 10%，为今后的知识图谱和大型语言模型融合研究提供了有价值的参考，提升 LLMs 在解决复杂问题上的能力。

Feb, 2024

通过 Multi-CoT 一致知识蒸馏 (MCC-KD) 方法，我们提出了一种提升大型语言模型的推理能力、实现多样性和一致性的方法，并验证其在数学推理和常识推理的基准测试中的优秀性能和鲁棒泛化能力。

Oct, 2023