Dec, 2022

针对龙与地下城的特定领域大数据集的合成和评估

PDF
TL;DR该论文介绍了 Forgotten Realms Wiki（FRW）数据集及其相关分析，包括采用 FRW 进行领域特定自然语言生成，并利用该数据集进行 Dungeons＆Dragons 领域特定的自然语言生成以及命名实体分类的评估。
forgotten realmsdata setnatural language generationdungeons & dragonsnamed entity classification
发现论文，激发创造
  • 龙与地下城：人工智能对话挑战

    本篇论文将 Dungeons and Dragons 视为一个对话系统的挑战问题，通过创建一个包含近 900 场游戏的游戏数据集以及使用大型语言模型生成对话来测试模型的性能，并通过人工评估和自动评估来判断其质量。

    Oct, 2022

  • FIREBALL：一份包含结构化游戏状态信息的龙与地下城实际游戏数据集

    本研究介绍了 FIREBALL 数据集，将真实 Dungeons & Dragons 游戏信息与自然语言生成相结合，并展示了该数据集可以提高自然语言生成的质量和可执行的命令。

    May, 2023

  • 一名 AI 地牢大师的指南：学习在龙与地下城（Dungeons and Dragons）中使用意图和心智理论进行对话和指导

    该研究提出了一个基于角色扮演游戏 Dungeons and Dragons 的新任务 G4C（Goal-driven Guidance Generation in Grounded Communication），通过满足学习者的目标来培养具有人类思维想象力的 DM（Dungeon Master），实现在基于语境的自然语言交互中 DM 对学生进行有效指导的训练方法。

    Dec, 2022

  • Wiki-En-ASR-Adapt：大规模英语自动语音识别定制的合成数据集

    提出一个首个大规模的公开合成数据集，用于上下文拼写检查自定义自动语音识别（ASR）中的多样罕见和词汇外（OOV）短语，如专有名词或术语。通过注入两种类型的 “困难负面” 短语到模拟的偏见列表中，我们的方法可以创建数百万个真实的损坏 ASR 假设示例，并模拟定制任务的非平凡偏见列表，同时描述了自动挖掘它们的过程。通过在提出的数据集上训练开源定制模型进行实验，我们显示出注入困难负面偏见短语可以降低 WER 和误报数目。

    Sep, 2023

  • MultiWOZ -- 用于任务导向对话建模的大规模多领域人机对话数据集

    本文介绍了一个基于人人写作而成的多领域伪随机项目 (MultiWOZ)，是目前已有数据集中体积最大的任务导向型对话集，其意义在于为未来研究设定了基线，并揭示了其与对话信念状态、对话行为等方面的相关性

    Sep, 2018

  • 开放域对话中的多句知识选择

    提出对话知识选择的新框架和数据集，用于评估现有方法的不足之处，并通过神经重排序模型改进评估结果，出色地完成了对话回复

    Mar, 2022

  • 谁做了什么：一个大规模的人以为中心的填空数据集

    本文介绍了一份新的 “谁做了什么” 数据集，其中包含了超过 200,000 个填空阅读理解问题，使用 LDC 英语千万字级新闻语料库构建。数据集具有多种新特性，例如使用两个独立的文章来形成问题，其中每个选项都是命名实体，问题已被筛选，以剔除人类可以轻松解决的问题。同时，对标准系统进行了性能基准测试，并将该数据集作为社区挑战任务提出。

    Aug, 2016

  • 一个面向开放领域对话生成的知识即插即用测试平台

    构建基于知识的开放领域对话生成技术旨在利用挖掘的知识与人类进行闲聊。本文提出了一个高质量的多源对话知识选择和生成评估基准，名为 multi-source Wizard of Wikipedia（Ms.WoW），用于评估多源对话知识选择和生成。与现有数据集不同的是，它包含了清晰的支持知识，以话语为单位分成多个知识来源。我们进一步提出了一个新挑战，即对话知识即插即用，旨在以零 - shot 的方式测试已经训练好的对话模型在使用未见过的新知识来源时的能力。

    Mar, 2024

  • 域和相关性分离建模用于可适应的密集检索

    提出一种名为 Disentangled Dense Retrieval（DDR）的新型 Dense Retrieval 框架来支持 DR 模型的有效和灵活的领域自适应，该框架包括一个 Relevance Estimation Module（REM）和几个 Domain Adaption Modules（DAMs），通过使 REM 和 DAMs 分离，DDR 实现了一种灵活的训练范式，在不同的领域和语言中都表现出比强大的 DR 基线更好的排名性能。

    Aug, 2022

  • 探索跨领域文本到 SQL 泛化的未被充分利用的限制

    在研究神经网络将文本描述翻译成 SQL 查询方面，在零射跨域设置下取得了显著进展，但是现有的文本到 SQL 模型在面对训练数据中很少出现的领域知识时不具有普适性。本文介绍了一种人工筛选的数据集 Spider-DK，用于研究文本到 SQL 模型在需要应用很少出现的领域知识时的预测表现。在 Spider-DK 中，我们通过添加反映现实世界问题的领域知识来修改一些 Spider 的样本，并证明当样本需要这种领域知识时，预测准确率显著下降，即使该领域知识出现在训练集中，模型对相关训练样本的预测仍然正确。

    Sep, 2021