利用大型语言模型生成事件序列,填补知识图中的知识空白,并通过模式挖掘和概率事件模型发现有用的和更复杂的结构化知识。
Jan, 2024
本文介绍了潜在树语言模型(LTLM),该模型将给定句子的语法和语义编码为单词角色树。将 LTLM 与 4 元修改 Kneser-Ney 语言模型相结合,通过线性插值,在英语和捷克语语料库中的实验表明,与独立的 4 元修改 Kneser-Ney 语言模型相比,明显降低了困惑度(英语最高降低 46%,捷克语最高降低 49%)
Jul, 2016
通过使用归约化贝叶斯推理方法从难以通过条件概率分布采样的后验分布中提取样本,我们展示了这种分布匹配模型在 LLM 微调中作为最大似然训练和奖励最大化策略优化的有效替代方法,进而实现了对多步骤推理和工具使用任务的数据高效适应。
Oct, 2023
提出了一种自动化方法,使用时间点过程建模来发现规则并解释事件的发生,通过采用期望最大算法进行规则和参数更新,最终优化规则集合,展示了在合成和真实医疗数据集中准确性能表现。
Feb, 2024
提出了逻辑模式记忆预训练模型 (LMPM),结合外部存储结构和实体抽象方法构建数据集,通过逻辑蕴含模式生成更连贯和合理的结论,有效提高了蕴含树生成的质量。
Mar, 2024
本文提出了解释性时间推理的首个任务,即通过对多个事件进行多步骤的时间推理和对未来时间戳的预测,预测事件在未来时间戳上的发生,并提供清晰的解释。我们基于多源指导调整数据集和知识图谱生成策略,提出了第一个支持解释性时间推理的开源 LLM 系列 TimeLlaMA,该方法在时间预测和解释方面取得了最先进的性能。
本文研究了利用大型语言模型在可解释金融时间序列预测中的应用,使用股票价格数据、公司元数据和历史新闻等多模态信号,在 NASDAQ-100 股票上进行实验,结果显示与一些基准模型相比,使用 GPT-4 和 Open LLaMA 这类新型模型进行零样本 / 少样本推断并通过基于指令的微调生成可解释预测,优于经典的 ARMA-GARCH 模型和梯度提升树模型。
Jun, 2023
本文提出一种方法,利用近期动量优化方法的技术,极大提高了层次主题检测的效率,并且找到了更好的主题和主题层次结构。
Aug, 2015
本文提出了一种名为 VideoLLM 的新框架,它利用了自然语言处理(NLP)预训练 LLMs 的序列推理能力来进行视频序列理解。通过精心设计的模态编码器和语义转换器,将不同来源的输入转换为统一的标记序列,然后将其馈入仅解码的 LLM 中。在实验中,作者评估了 VideoLLM 在多个任务上的表现,证明了 LLMs 的理解和推理能力可以有效地转移到视频理解任务中。
May, 2023
通过使用蒙特卡洛树搜索和轻能量函数,我们对经过微调的大型语言模型进行了改进,提高了数学推理的正确性和步骤,从而在不需要进一步微调或 RLHF 对齐的情况下,将经过微调的模型的一次通过率显著提高。
Sep, 2023