Feb, 2024

基于大型语言模型的学习者表现建模

PDF
TL;DR本文探讨了预训练大型语言模型（LLMs）的能力，以及它们在知识跟踪、智能辅导系统领域的应用，研究了两种使用 LLMs 进行知识跟踪的方法，并对其在实际数据集上的性能进行了评估，结果表明 LLMs 能够模拟复杂的学习轨迹，为将 LLMs 应用于教育环境开辟了新的途径。
pre-trained large language modelsknowledge tracingintelligent tutoring systemsllm-based approacheslearning trajectories
发现论文，激发创造
  • 大型语言模型作为通用模式机

    使用预训练语言模型实现模式补全、序列建模、机器人控制等任务。

    Jul, 2023

  • 语言模型作为零样本轨迹生成器

    大型语言模型（LLMs）已经显示出在机器人方面作为高级规划器的潜力，但通常假设 LLMs 在低级轨迹规划方面不具备足够的知识。本文深入探讨了这个假设，研究了当 LLM（GPT-4）只有对象检测和分割视觉模型的访问权限时，是否可以直接预测操作技能的密集序列的末端执行器姿态。我们研究了一个单一的任务无关提示在 26 个真实世界的基于语言的任务上的表现，比如 “打开瓶盖” 和 “用海绵擦拭盘子”，并调查了这个提示中哪些设计选择是最有效的。我们的结论打破了 LLMs 在机器人领域的假设限制，首次揭示了 LLMs 确实具备在常见任务中理解低级机器人控制的能力，并且它们还可以检测到失败并相应地重新规划轨迹。

    Oct, 2023

  • 大型语言模型在语言学习中的口语智能

    评估大语言模型在教育中的功效，特别是在口语学习领域，引入新的多选题数据集评估模型在理解和应用口语知识方面的表现，研究不同提示技术对模型性能的影响，发现模型在音韵学、语音学和第二语言习得方面具有良好的概念理解，但在解决现实世界问题的推理方面存在限制，并初步探讨了对话交流的发现。

    Aug, 2023

  • 您是否被追踪？了解 LLMs 的零射线轨迹追踪能力！

    本研究介绍了 LLMTrack 模型，展示了如何利用大型语言模型（LLMs）通过采用一种独特的单提示技术，结合角色扮演和逐步思考方法，处理未经处理的惯性测量单元（IMU）数据，实现零通道轨迹识别。通过对真实世界数据集进行评估，我们发现在室内和室外场景中，LLMTrack 不仅达到了传统机器学习方法以及当代深度学习模型所设定的性能基准，甚至超过了这些基准，而且无需在特定数据集上进行训练。我们的研究结果表明，在经过精心设计的提示的指导下，LLMs 可以利用其丰富的知识库，以极高的效率分析原始传感器数据。

    Mar, 2024

  • 利用大规模语言模型增强时间序列分析：综述

    对利用大型语言模型（LLMs）进行时间序列分析的现有方法进行了系统概述，总结了基于 LLM 的时间序列分析的一般流程，并探讨了未来的研究机会。

    Feb, 2024

  • LLMs 的时间序列预测：理解和增强模型能力

    大型语言模型在时间序列预测方面具有明显的优势和限制，尤其在具备明确模式和趋势的数据上，LLMs 表现出色，但在缺乏周期性的数据集上面临挑战。研究发现，引入外部知识和采用自然语言改写有利于提升 LLMs 在时间序列预测中的预测性能。

    Feb, 2024

  • 大型语言模型在电信领域的语言智能

    在自然语言处理领域中，本研究通过对四个知名的大型语言模型（Llama-2，Falcon，Mistral 和 Zephyr）进行全面的零样本评估，与最先进的微调模型进行性能比较，评估了大型语言模型在电信领域内的知识和理解能力，并发现零样本的大型语言模型能够在这一领域内达到与当前最先进微调模型相当的性能水平，突显了大型语言模型作为理解这一领域不足的各个方面的有价值资源的潜力。

    Feb, 2024

  • 评估 LLMs 用于知识图谱补全的适用性

    大型语言模型 (LLMs) 能够解决与知识图谱相关的任务，如知识图谱补全，尤其在零次或少次训练的范式下。然而，它们被称为会产生错误的答案，或以不确定的方式输出结果，从而导致错误推理的回答，即使它们满足用户的需求。为了强调知识图谱相关任务中的机遇和挑战，我们在静态知识图谱的知识图谱补全任务中，使用 TELeR 分类法构建的提示，在零次和一次迭代的上下文中，通过两个显著的 LLMs 进行实验，即 Mixtral-8x7B-Instruct-v0.1 和 gpt-3.5-turbo-0125，在以任务为导向的对话系统使用案例中。当使用严格和灵活的度量标准进行评估时，我们的结果表明，如果提示包含足够的信息和相关示例，LLMs 可能适用于这样的任务。

    May, 2024

  • 探索大型语言模型在初级编程课程中生成追踪代码问题的潜力

    我们探讨了在初级编程课程中应用大型语言模型（LLM）生成代码追踪问题的方法，通过设计指导 GPT4 生成基于代码片段和描述的代码追踪问题的有针对性提示，并建立了一套人工评价指标，用于评估模型生成的问题与人工专家创建的问题的质量。我们的分析揭示了 LLMs 在生成多样化代码追踪问题方面的能力和潜力，并提供了一个独特的人工和 LLM 生成的追踪问题数据集，为教育和自然语言处理研究社区提供了宝贵资源。这项工作为关于 LLMs 在教育环境中潜在用途的持续对话做出了贡献。

    Oct, 2023

  • LLMs 学习动力系统的控制原则，揭示上下文中的神经缩放定律

    预训练的大型语言模型（LLMs）在进行零 - shot 任务（包括时间序列预测）时表现出惊人的效果，本文研究了 LLMs 在从事受物理规律控制的动力系统情景下外推行为的能力，结果显示 LLaMA2 在无需微调或提示工程的情况下能准确预测动力系统时间序列，此外，学习到的物理规律的准确性随输入环境窗口长度的增加而增加，揭示了一种上下文版本的神经缩放定律，并提出了一种灵活高效的算法，可直接从 LLMs 中提取多位数的概率密度函数。

    Feb, 2024