基于预测的自然语言人类移动挖掘

Mar, 2024

基于预测的自然语言人类移动挖掘

Prompt Mining for Language-based Human Mobility Forecasting

Hao Xue, Tianye Tang, Ali Payani, Flora D. Salim

TL;DR使用大型语言模型进行基于语言的移动性预测已成为一种创新的方法。本文提出了一种基于信息熵的提示生成和链式思维等机制的提示细化的框架，旨在探索多样的提示设计策略，实验结果表明了我们提出的提示挖掘管道的优越性，为进一步推进基于语言的移动性预测提供了有希望的方向。

Abstract

With the advancement of large language models, language-based forecasting has recently emerged as an innovative approach for predicting human mobility patterns. The core idea is to use prompts to transform the ra

language-based forecasting prompt mining mobility forecasting language models prompt refinement

发现论文，激发创造

通过自然语言生成技术实现人类移动性预测

本文提出一种基于语言生成的人类移动趋势预测方法 SHIFT，通过将输入移动趋势描述句子转化为未来的移动状态描述，提高了移动预测模型的有效性和准确性。

Dec, 2021

利用语言基础模型进行人类移动预测

本文提出了一种新的基于语言基础模型的时间序列模式挖掘流程，以用于人类移动预测任务，该模型通过引入特定提示将数值时间序列转换为句子，以便直接应用于现有语言模型，设计了一个 AuxMobLCast 流程用于预测每个 POI 的访客数量，结合了辅助 POI 分类和编码器 - 解码器架构，实证证明了该流程在移动性预测任务中发现序列模式的有效性，并在三个真实数据集上进行了评估，表现良好。

Sep, 2022

非自然语言处理：语言模型如何处理机器生成的提示？

语言模型提示优化研究表明，通过无明显意义或语法结构的自动生成的令牌序列，包括模型嵌入空间中的向量序列，通常胜过语义和语法良好的手工制作的提示。我们使用机器生成的提示来探究模型对非自然语言表达组成的输入的响应，并在多个语义任务中研究不同尺寸模型的行为，以及它们对连续和离散机器生成的提示和人工生成的自然语言提示的响应行为进行比较。即使产生相似的输出，机器生成的和人工提示通过网络处理途径触发不同的响应模式，包括不同的困惑度、不同的注意力和输出熵分布，以及不同的单元激活特征。我们提供了对不同提示类型激活的单元性质的初步洞察，表明只有自然语言提示才会引起真正的语言电路的激活。

Oct, 2023

基于提示的无监督关键词提取的初步实证研究

通过实验证明，设计复杂的提示可能并不一定比设计简单的提示更有效，设计的提示中的关键词的改变会影响整体性能，在面对长文档时，设计复杂的提示可以获得更好的性能。

May, 2024

大型语言模型的高效提示方法综述

在这篇论文中，我们对高效提示的各种方法进行了全面的概述，包括使用高效计算和高效设计进行提示的方法，重点关注未来的研究方向。

Apr, 2024

大型语言模型的自动提示选择

自动选择给定输入的最佳提示，克服手动设计有效提示的挑战，通过聚类训练数据、生成候选提示、生成输入 - 提示 - 输出数据集以训练评估器，并使用评估器在测试时选择最佳提示来实现兼顾通用性和特异性的方法。在零 - shot 问答数据集上显示出竞争性性能。

Apr, 2024

通过模拟优化选择语言模型提示

基于模拟优化，提出了一个两阶段框架以实现生成语言模型的提示选择，该框架能够在评估和选择阶段中构建代表提示的中等维度向量的得分模型，并证明了该框架中的顺序评估过程的一致性。数值实验证明了此框架的有效性，为实施提供了实际指导。

Apr, 2024

PromptCast: 一种新的基于提示的时间序列预测学习范式

本文探讨了基于提示的自然语言建模的范式下的时间序列表示学习问题，提出了基于提示的时间序列预测 (PromptCast) 模型，并介绍了一个大规模数据集 (PISA)，结果表明这种基于语言生成模型的提示方法是一种有前途的研究方向。

Sep, 2022

AutoPrompt: 使用自动生成的提示从语言模型中引导知识

利用自动化方法生成的 AutoPrompt，我们展示了预训练语言模型在自然语言推理、情感分析和关系提取方面的潜在能力，以及自动生成的提示方法是现有探究方法的一个可行的无参数替代方法。

Oct, 2020

面向目标导向的大型语言模型提示：综述

大型语言模型在各种下游任务中表现出显著性能，而引导工程在优化大型语言模型性能中起着关键作用。本文通过回顾 35 项代表性研究，突出设计提示的局限性，同时保持一个期待大型语言模型像人类思考的人类化假设。通过引导大型语言模型按照建立的人类逻辑思维，我们展示目标导向的提示形式显著提高了大型语言模型的性能。此外，我们引入了一个新的分类法，将目标导向的提示方法分为五个相互关联的阶段，并通过总结十个可适用任务来展示我们框架的广泛适用性。我们提出了四个未来方向，希望进一步强调和推动目标导向的提示工程。

Jan, 2024