Jun, 2023

TimelineQA：基于时间线的问题回答基准

PDF
TL;DR本文介绍了一个对 Lifelogs 进行问题回答的基准测试 TimelineQA1，并通过多个实验比较了几种 QA 模型的性能。实验结果表明，对于原子查询，抽取式 QA 系统明显优于一种最先进的检索增强 QA 系统。对于涉及聚合的多跳查询，我们展示了使用最先进的表格 QA 技术的最佳结果，前提是可用于推导答案的真实事件集合可用。
lifelogsquestion answeringbenchmarkqa modelstable qa technique
发现论文，激发创造
  • 从视觉生活记录到叙事：综述

    本文综述了近期自我中心数据分析的进展以及未来电子日志的可视化叙事方面的新研究方向。

    Jul, 2015

  • TimeMachine：知识库实体的时间轴生成

    本文提出了一种名为 TIMEMACHINE 的方法，用于生成知识库中实体的事件和关系时间轴，并发展了三个正交的时间轴质量标准来满足理想的时间轴时必须满足的条件，我们提出了一种基于子模不优化和 Web 协同出现统计的算法来为特定时间段和屏幕大小生成这样的时间轴。

    Feb, 2015

  • PerLTQA: 一个个人长期记忆数据集，用于问题回答中的记忆分类、检索和合成

    该研究通过引入 PerLTQA 数据集，结合语义和经验记忆，包括世界知识、个人资料、社交关系、事件和对话，旨在调查个性化记忆在 QA 任务中的应用，强调了记忆整合在 QA 任务中的重要性。

    Feb, 2024

  • 用于回答时间关键问题的数据集

    本文提出了构建一种基于时间敏感的问答数据集，用于评估长文档 QA 系统的时间推理能力，针对现有的 QA 数据集缺乏时序问题的问题，展示出当前现有的 SoTA QA 系统（如 BigBird 和 FiD）对于时间推理的能力仍不完备，在此基础上提出将该数据集作为开发更加敏感于时间推理的 NLP 模型的基准测试。

    Aug, 2021

  • StreamingQA：面向问答模型随时间适应新知识的基准测试

    本文创建了一个大规模的数据集 StreamingQA，以研究半参数问答模型在面对不断更新的知识时如何适应，并发现在适应过程中，参数化模型可以通过更新而不是完全重新训练来避免灾难性遗忘，但是过时的参数化 LMs 会使半参数模型性能下降。

    May, 2022

  • 纵向用户帖子时间表的创建与评估

    该研究提出了一种基于用户在线发布活动的方法，将长期的用户发布内容细分为时间轴，从而找到可能包含用户行为变化有趣时刻的时间轴；并提出了一种新的框架来评估时间轴，并在两个不同的社交媒体数据集的背景下展示了应用的可行性，并讨论高评价时间轴的语言内容。

    Mar, 2023

  • 深度日记：生活记录图像流的自动生成字幕

    提出使用深度学习技术和自动图像字幕生成算法来生成 Lifelogging 摄像机捕捉到的图片的文本表示，通过应用时间一致性约束来创建更加简洁和不含噪声的摘要，研究结果表明，自动字幕生成算法可以帮助用户管理 Lifelogging 照片集合。

    Aug, 2016

  • 抓住时机：关于终身语言模型中世界知识评估的研究

    为了解决语言模型在知识不断演进的情况下需要获取新知识并更新旧知识的问题，我们引入了一个新颖的基准测试，EvolvingQA，它用于训练和评估语言模型在一个不断演进的维基百科数据库上的能力，通过引入问题回答作为下游任务模拟了真实世界应用。通过研究发现，现有的持续学习基准在更新和遗忘过时知识方面存在困难，主要是由于小的权重梯度导致模型无法学习到更新的知识。此外，我们发现模型在提供数值或时间答案以及问及更新知识的问题上遇到了较大困难。我们的工作旨在对真实世界信息的动态性进行建模，并为语言模型的演进适应能力提供了一个强有力的度量。

    Nov, 2023

  • EconLogicQA：一个用于评估经济时序推理的大语言模型的问答基准测试

    EconLogicQA 是一个旨在评估大型语言模型（LLMs）在经济学、商业和供应链管理领域中的顺序推理能力的严格基准。通过衍生自经济文章的多事件场景，EconLogicQA 要求模型区分和排序多个相互关联的事件，捕捉经济逻辑的复杂性。通过全面评估，我们展示了 EconLogicQA 在经济环境中导航顺序复杂性方面的有效性，并提供了对各种领先的 LLMs 在经济环境中顺序推理潜力的全面观点。我们的基准数据集可在此 URL 获取。

    May, 2024

  • 问题回答作为编程解决时效性问题

    本文旨在将大语言模型（LLMs）应用于问题作为编程（QAaP）中，以解决具有时间约束的事实问题，我们试图利用 LLMs 将各种表达形式的文本表示为良好结构的代码，以此来获取所需的知识和底层符号约束条件。

    May, 2023