Mar, 2024

LLMSense：利用 LLM 进行高级别时空传感器轨迹推理

PDF
TL;DR通过设计一个高效的提示框架，本研究利用大型语言模型（LLMs）的推理能力和世界知识，从长期的时空传感数据中识别复杂事件，并提供了一些关于在传感数据上利用 LLMs 进行高级推理的见解和指导，以及未来工作的几个方向。
machine learningsensing systemslong-term sensor traceslarge language modelshigh-level reasoning
发现论文，激发创造
  • 大型语言模型能够学习时间推理

    我们提出了一种新的基于文本的时间推理模型 TempGraph-LLM，通过将上下文翻译成时间图，教导大型语言模型 (LLMs) 学习时间概念。我们证明了在其他任务上的预训练对 LLMs 的效益，并通过思路链的引导和特殊数据增强引导 LLMs 进行符号推理，观察到符号推理带来更一致可靠的结果。

    Jan, 2024

  • 大型语言模型逻辑推理的教学学习

    通过对大型语言模型的研究，我们发现它们在逻辑推理方面存在缺陷，导致其在任务解决中产生反事实的答案。为了解决这个问题，我们提出了多种策略，赋予大型语言模型逻辑推理能力，从而使其能够在不同场景中生成更符合逻辑的答案。我们还通过构建一个综合数据集 (LMM-LR) 对该方法进行了评估和预训练。在不同任务上进行了广泛的定量和定性分析，验证了通过逻辑训练大型语言模型的有效性和必要性，并为将来的工作提供了启示。

    Oct, 2023

  • 基于大型语言模型的自动驾驶的混合推理

    研究表明，大型语言模型（LLMs）在自动驾驶场景中能够适应和应用算术和常识推理的组合，通过分析检测到的物体和传感器数据、理解驾驶法规和物理规律，并提供额外的上下文信息，从而改善自动驾驶车辆的制动和油门控制，以做出更准确的决策。

    Feb, 2024

  • 回到未来：面向大型语言模型的可解释性时间推理

    本文提出了解释性时间推理的首个任务，即通过对多个事件进行多步骤的时间推理和对未来时间戳的预测，预测事件在未来时间戳上的发生，并提供清晰的解释。我们基于多源指导调整数据集和知识图谱生成策略，提出了第一个支持解释性时间推理的开源 LLM 系列 TimeLlaMA，该方法在时间预测和解释方面取得了最先进的性能。

    Oct, 2023

  • 基于大型语言模型的学习者表现建模

    本文探讨了预训练大型语言模型（LLMs）的能力，以及它们在知识跟踪、智能辅导系统领域的应用，研究了两种使用 LLMs 进行知识跟踪的方法，并对其在实际数据集上的性能进行了评估，结果表明 LLMs 能够模拟复杂的学习轨迹，为将 LLMs 应用于教育环境开辟了新的途径。

    Feb, 2024

  • LogicLLM: 探索基于自监督逻辑增强训练的大型语言模型

    本篇论文主要介绍了如何通过自监督后训练和上下文学习来增加逻辑知识，从而提高语言模型的逻辑推理能力，取得了比现有基线更好的效果。

    May, 2023

  • 大型语言模型用于空间轨迹模式挖掘

    通过对领先的大语言模型如 GPT-4 和 Claude-2 在检测移动数据中的异常行为的能力进行实证研究，我们的研究发现大语言模型可以在没有特定线索的情况下达到合理的异常检测性能，并且在提供上下文线索的情况下可以进一步提高预测效果，同时能够提供合理的判断解释，从而增加透明度，为人类空间轨迹分析的研究提供了洞察。

    Oct, 2023

  • 民主化推理能力：从大型语言模型的个性化学习

    通过多轮互动学习范式和自我反思学习，我们提出了一种定制化学习方法，从而将推理能力传授给较小的语言模型，以促进推理能力的开放和普及。

    Oct, 2023

  • LLMs 是否能够推理计算？

    利用分布式网络的 “归纳学习” 方法可以提高小型语言模型的推理能力，从而弥补其依赖统计模式容易产生错误答案的局限性，并可能使其逼近高参数模型在逻辑应用上所取得的水平，从而弥合人类和大型语言模型在各个领域之间的逻辑差距。

    Feb, 2024

  • 面向关系推理的 LLMs：我们离目标有多远？

    通过对归纳逻辑编程基准测试的深入评估，本研究表明与模型规模较小的神经程序归纳系统相比，最新的大型语言模型在推理能力方面表现较差，无论是使用自然语言提示还是真值矩阵提示，它们在性能和泛化方面都表现较低。

    Jan, 2024