Oct, 2018

WikiConv：一个大型在线协作社区完整对话历史的语料库

PDF
TL;DR本文提出了一个包括 Wikipedia 贡献者间全部对话记录的语料库，通过记录评论和回复等中间状态，支持对大规模在线协作过程及挑战的新型研究，其中两个案例研究揭示了人的谈话行为如何与讨论场所相关，以及社区管理对有害行为的调控高于先前估计水平，并且语言无关性强，能够提取高质量的中英文对话数据。
wikipediaonline collaborationcorpuscommunity moderationconversational behavior
发现论文，激发创造
  • 推进跨学科的对话科学：从大型多模态人类语音语料库中获得的洞见

    本文介绍了一种跨学科的对话科学，基于一个大型的多模式语料库，通过语音，视频和转录记录了 1656 次对话，利用此实验数据，研究人员提出了新的算法并应用机器学习技术，以分析对话成功或失败的因素，并探讨对话与幸福感之间的关系。

    Mar, 2022

  • 为促进语言科技的多样性，构建和维护对话语料库

    提供了分析流程和最佳实践准则来构建和策划日常会话语料库，并开发了质量控制方法。通过两个案例研究展示了会话数据的广泛实用性，并讨论了语言多样性会话语料库对语言科学和语言技术的强有力的经验基础。

    Mar, 2022

  • KGConv, 一个基于 Wikidata 的对话语料库

    KGConv 是一个大型的对话数据集，包含 71,000 个基于 Wikidata 事实的对话，平均每个对话包含 8.6 个问题和对应问题的多个变体。该数据集可用于知识驱动对话问题生成以及其他生成和分析任务。

    Aug, 2023

  • WikiAtomicEdits: 用于语言和话语建模的维基百科编辑多语言语料库

    通过 Wikipedia 的编辑历史，我们发布了 4300 万次跨 8 种语言的原子编辑数据集，研究表明模型训练于编辑数据集与原始语料库将编码不同的语义和话语方面。

    Aug, 2018

  • 面向文档相关对话的数据集

    本研究介绍了一个文档驱动的文本对话数据集，包含关于热门电影的维基百科文章，利用两种神经网络模型对话，结果表明这种方法引入了更多信息，提高了生成回答的流畅度和吸引力。

    Sep, 2018

  • 商务对话语料库设计

    本文旨在通过引入一个新构建的日英商务会话平行语料库，提高会话文本的机器翻译质量，并分析了该语料库，列举了自动翻译的具有挑战性的实例。同时，本文还试图将语料库添加到机器翻译训练中，并展示了基于该语料库训练的系统的优势。

    Aug, 2020

  • 自然故事语料库

    为了比较人类语言处理模型，许多研究使用富自然语言材料的语料库来预测参与者反应，但这些研究所使用的许多语料库是基于自然文本的，因此缺少许多频率低的句法结构，而这些句法结构是区分处理理论所必需的。本文提出一种新的语料库，包含许多低频句法结构且易于被母语人士理解，该语料库已标注手动修正的语法树，并包括了自定速度阅读时间的数据。

    Aug, 2017

  • 记录大型 Webtext 语料库：以 Colossal Clean Crawled Corpus 为案例研究

    本文介绍了 Colossal Clean Crawled Corpus ，并探讨数据来源、数据包含信息、筛选数据的影响，发现了机器翻译的生成文本和少数族裔个体的数据被过滤，最后提出了从互联网抓取信息构建大规模数据集的建议。

    Apr, 2021

  • 自言自语：自对话作为对话代理的数据

    本文提出了一种新方法 —— 通过众包自对话方式高效地收集主题上的非结构化对话数据，并提供包含 23 个主题的 360 万词汇量的语料库，通过与其他语料库的比较证明了其实用性。

    Sep, 2018

  • Common Voice: 一個大規模多語言語音語料庫

    Common Voice 是一个为语音技术研究和开发设计的大型多语言转录音频资源，采用众包方式进行数据收集和验证，目前包括 29 种语言，收集了超过 2500 小时的音频数据，实现了多语言端到端的自动语音识别。

    Dec, 2019