ACLJun, 2021

CONDA：一份用于游戏内毒性理解和检测的语境双注释数据集

PDF
TL;DR本文介绍 CONDA 数据集，它是一个包含了来自 1.9K 完成的 Dota 2 比赛聊天记录的 12K 个对话和 45K 个话语的数据集，用于进行游戏中毒性语言的检测和自然语言理解。同时提出了一种鲁棒的双语义级毒性框架，能够处理话语和单词级别的模式和上下文历史。评估了针对 CONDA 的强 NLU 模型，提供了不同意图类别和插槽类别的细粒度结果，并通过与其他毒性数据集的比较检查了本数据集中毒性的覆盖范围。
toxicity detectionconda datasetnlusemantic-level toxicity frameworkdota 2 matches
发现论文，激发创造
  • 基于上下文的可控数据增强技术在文本转 SQL 中的应用

    本文介绍了一种名为 ConDA 的数据扩充方法，通过交互式问题和相应的 SQL 结果生成数据，利用 SQL 对话状态增强数据多样性，同时利用基础模型确保数据质量。实验结果表明，ConDA 使基础模型的性能平均提升了 3.3％，且生成的数据质量较高。

    Apr, 2023

  • ConvAbuse: 会话式人工智能中微妙辱骂检测的数据、分析和基准

    本研究首次对三种对话人工智能系统 (包括一个开放域社交机器人、一个基于规则的聊天机器人和一个任务型系统) 搜集到的辱骂语言进行了英语语料库研究，发现这些系统面临着更多性侵犯色彩的攻击，并进一步测试了现有模型表现，发现 F1 得分不到 90%。

    Sep, 2021

  • CONA：一种基于大型语言模型的上下文感知通信指令范例

    CONA 是一个灵活的框架，旨在利用大型语言模型的能力以及结合 DIKW 层次结构自动指导和优化演示内容，提供适应受众群体的上下文感知答案，是知识传播和交流领域中的一项创新工作，可以为日常知识共享场景提供有效支持。

    May, 2023

  • CONDAQA: 一个针对否定逻辑推理的对比阅读理解数据集

    该研究介绍了 CONDAQA，这是第一个要求关于段落中否定语句涵义的英语阅读理解数据集，它挑战现有的自然语言理解系统，具有多样化的否定提示符，重点精心设计了具有谐音、范围变化和否定转变的三种编辑方式，细致构建了一系列难以回答的问题 - 答案对来测试模型的性能。最终的 CONDAQA 包含 14182 个问题 - 答案对及 200 多个唯一的否定提示符，最好的模型 (UnifiedQA-v2-3b) 仅在一致性测度上达到 42% 的表现，远低于人类表现 (81%)，因此研究团队希望将他们的数据集、每个问题答案的完整编辑和全面微调发布出来，以促进未来针对否定语言的 NLP 方法的发展。

    Nov, 2022

  • 利用问答数据集来改进生成型数据增强

    本论文提出 CONDA 方法以生成虚拟数据，并通过将结构放在 QA 对上并使用 QA 数据集来训练上下文生成器来进一步提高生成语言模型的能力，通过将下游任务转化为相同的问答格式并调整上下文生成器适应目标任务域，使用精调的生成语言模型生成相关上下文，这些上下文作为相应任务的虚拟训练数据，在多个分类数据集上进行实验，显示出在几乎零样本和少样本设置中的性能显着改进，分析表明要求高级推理能力的 QA 数据集（例如，抽象和常识 QA 数据集）在几乎零样本和少样本设置中都能显着改进性能。

    May, 2022

  • CONAN - COunter NArratives through Nichesourcing: 一个多语言的回应数据集，以打击网络仇恨言论

    该研究描述了多个 NGO 的百余名熟练操作员联合创建的第一个大尺度的恶意言论及对抗文本对的多语种数据集，并提供了关于数据扩增、恶意类型和回应类型等额外的注释。

    Oct, 2019

  • CoDA21：使用上下文 - 定义对齐评估 NLP 模型的语言理解能力

    介绍了 CoDA21 基准测试评估预训练语言模型（PLMs）的自然语言理解（NLU）能力，排除了现有基准测试的不足之处，并发现人类与 PLMs 的 NLU 表现差异较大。

    Mar, 2022

  • 游戏中毒性语言检测：共享任务和注意残差

    本文提出了一个针对游戏内毒性语言检测的模型 / 框架，解决了由于游戏内聊天过短导致毒性检测困难的问题，并介绍了该模型的建立过程及数据源。

    Nov, 2022

  • NLU++: 一个多标签、插槽丰富、具有普适性的任务导向对话自然语言理解数据集

    介绍了 NLU++ 数据集的设计，该数据集为自然语言理解的任务导向对话系统提供更具挑战性的评估环境，并通过实证验证了意图模块化（intent modularization）的有效性。

    Apr, 2022

  • 滥用言论具有语境性，那么 NLP（自然语言处理）呢？语境在滥用言论注释和检测中的作用

    本研究通过给出上下文，重新注释部分英文侮辱语言检测数据集，比较了基于上下文和不基于上下文两种数据集上三种分类算法的性能，发现基于上下文的分类更具挑战性，但也更类似于实际应用场景。

    Mar, 2021