本文通过在大规模行业数据集上进行广泛实验，发现大多数 LLMs 的中间层是多余的，并提出了一种名为 SLMRec 的基于小型语言模型的推荐模型，仅使用 LLM-based 推荐模型中 13% 的参数，同时在训练和推断时间成本上实现了高达 6.6 倍和 8.0 倍的加速。

May, 2024

我们引入了一种新颖的框架，LM-Guided CoT，它利用轻量级（即 <1B）语言模型（LM）指导黑盒大型（即> 10B）LM 在推理任务中的工作。具体而言，轻量级 LM 首先为每个输入实例生成理论依据，接着使用冻结的大型 LM 根据轻量级 LM 生成的理论依据预测任务输出。我们的方法在资源利用上高效，只需要训练轻量级 LM。我们通过知识蒸馏和强化学习来优化模型，其中蒸馏和任务导向的奖励信号用于强化学习。我们通过多跳摘要问答基准 HotpotQA 和 2WikiMultiHopQA 来评估我们的方法。实验结果表明，我们的方法在回答预测准确性方面优于所有基准方法。我们还发现，强化学习有助于模型生成更高质量的理论依据，并提高问答的性能。

Apr, 2024

大型语言模型可以通过为其预测生成理由来解决复杂的推理任务。通过将这些功能融入到较小、紧凑的模型中，可以促进为特定任务量身定制的专门、经济高效的模型的创建。然而，较小的模型在复杂的推理任务中常常面临挑战，并且通常会偏离正确的推理路径。我们发现，只有在恰当的时机介入，大型语言模型才能指导较小的模型并将它们带回正确的推理路径。我们发现，较小的模型在推理方面主要因为难以启动过程而失败，引导它们朝正确的方向发展可以使性能提高 100% 以上。我们探索不同的模型大小并评估提供指导以改善较小模型推理能力的益处。

Nov, 2023

利用大型语言模型的独特能力，本文提出一种名为 Logic-Scaffolding 的框架，通过中间推理步骤结合方面解释和思维链提示的思想生成解释，以解决现有模型在零 - shot 解释上的困难。

Dec, 2023

该研究发现预训练的大型语言模型可以成为良好的零样本推理器，提出了一种零样本的 CoT 方法，将其用于多种复杂的推理任务并取得了显著的性能提升。

May, 2022

此研究旨在探究大型语言模型在推荐系统中的排名能力，通过采用提示模板设计和引入特定策略，研究发现大型语言模型在候选物品的零 - shot 排名上有着很好的表现，但是若考虑历史互动的顺序、位移等因素，不同的提示和启发方法能够对大型语言模型的表现产生影响。

May, 2023

利用大型语言模型（LLMs）处理明确反馈可以提高推荐系统在少样本场景中的性能。LLMs 具备生成和逻辑推理能力，能够有效处理明确反馈，成为增强推荐系统性能的组成部分。

Dec, 2023

我们提出的有效策略 LANE 通过语义嵌入、零样本提示的用户多偏好提取、语义对齐以及基于思维链提示的可解释推荐生成等关键组件，将语言模型与推荐系统整合，实现了低成本、高可解释性的推荐逻辑。实验证明我们的方法不仅能确保推荐性能，而且能提供易于理解和合理的推荐逻辑。

Jul, 2024

通过构建 COmmand-STeps（COST）数据集，我们比较了 GPT3.5 和 GPT4 与 finetuned GPT2 在桌面和厨房环境中的任务规划表现，结果表明 GPT2-medium 在特定领域的任务规划上与 GPT3.5 相当。

Apr, 2024

本文通过介绍一种新的合成问答数据集 PrOntoQA，旨在通过对 LLMs 的系统探索，该数据集是通过使用一阶逻辑表示的合成世界模型生成的。作者对 InstructGPT 和 GPT-3 进行了分析，表明 LLMs 能够进行正确的逻辑推理，但在方案规划方面存在困​​难。

Oct, 2022