ACLMay, 2024

对话中精细分析心理操纵的数据集

PDF
TL;DR心理操纵是人际对话中一种具有挑战性的滥用形式，检测操纵性语言对保护潜在受害者至关重要；然而，自然语言处理领域目前在这一主题上面临资源和研究的匮乏。本研究通过引入名为 MentalManip 的新数据集，包含 4,000 个已标注的电影对话，填补了这一空白。该数据集可以对心理操纵进行全面分析，确定操纵所使用的技巧以及针对受害者的弱点。我们的研究进一步通过一系列实验，探索先进模型在识别操纵性对话及其组成部分方面的效果。结果表明，这些模型不能充分识别和分类操纵性内容。尝试通过对心理健康和有害性现有数据集进行微调以提高性能并未克服这些限制。我们预计 MentalManip 将推动进一步的研究，促进对对话中心理操纵的理解和减轻其影响的进展。
发现论文，激发创造
  • ManiTweet：社交媒体新闻操纵识别的新基准

    该论文提出了一个在社交媒体上识别新闻信息操纵的新任务，介绍了他们的数据收集方案和数据集 “ManiTweet”，并发现这是一项具有挑战性的任务，基于大型语言模型的表现仍然不尽完美。他们提出的简单且有效的基本模型在 ManiTweet 数据集上表现优异。此外，在一些人类编写的推文的探索性分析中揭示了有关信息操纵与新闻文章领域和事实性之间的有趣联系，并发现操纵的句子更有可能包含主要故事或后果。

    May, 2023

  • BanMANI：用于识别孟加拉社交媒体新闻操纵的数据集

    本研究采用 BanMANI 数据集，旨在解决社交媒体新闻中虚假操纵相关新闻文章的具体声明在孟加拉语中尚未得到解决的问题。通过分析，我们发现这个任务无论是在零样本还是在微调设置下，都对当前 LLMs 构成了挑战。

    Nov, 2023

  • 辅导对话的大规模分析：将自然语言处理应用于心理健康

    本篇论文介绍了一项大规模、定量化的研究，针对基于短信的咨询会话的话语进行了计算语言分析，发现了一些有助于改善会话效果的可操作的会话策略。

    May, 2016

  • 超越面部的视频处理：一份进行人机分析的数据集

    为了区分 “真实” 和 “篡改” 内容，在现代内容编辑工具成熟和基于人工智能的算法合成媒体不断发展的背景下，我们提出了 VideoSham 数据集，它包含 826 个视频（413 个真实和 413 个篡改）。该数据集具有更多元化、富于语境和以人为中心的高分辨率视频，使用 6 种不同的空间和时间攻击进行操作，我们分析发现，现有的最先进的检测算法只适用于少数几种攻击，并且不适用于 VideoSham。我们在 Amazon Mechanical Turk 上进行了用户研究，并深入分析了人类和 SOTA 算法的性能优劣，以确定需要更好的人工智能算法来填补差距。

    Jul, 2022

  • 自然语言处理在社交媒体上作为因果分析和认知挖掘工具来推测精神健康

    聊天软件等社交媒体的人际互动对个人心理状况具有暗示作用，而计算智能技术、自然语言处理等方面的持续发展为探讨导致用户在线上状况的原因与心理效应提供了一种全新的视角和工具。本文旨在进一步探讨其中两大关键方向：寻找因果关系与推理发生在用户意识中影响的各种心理角度，在自然语言处理的范畴内通过最新的话语分析技术拓展思路空间，以发掘心理计算学问题的更多潜在解决方案。

    Jan, 2023

  • 一个用于在线仇恨言论干预学习的基准数据集

    本文提出了一项生成式仇恨言论干预的新任务，并介绍了从 Gab 和 Reddit 收集的两个全标记的大规模仇恨言论干预数据集，该数据集提供了对话段、仇恨言论标签以及 MTurk Workers 编写的干预响应，此外，本文还分析了这些数据集以了解常见的干预策略，并探索常见的自动响应生成方法在这些新数据集上的性能以提供未来研究的基准。

    Sep, 2019

  • 朝着真实文本操纵检测的目标：新数据集和新解决方案

    为了解决合成篡改无法充分复制真实世界篡改属性的问题，我们提出了一个 RTM 数据集，包含 14250 个文本图像，其中包括 5986 个手动和 5258 个自动篡改的图像，使用各种技术创建，同时还包括 3006 个未更改的文本图像，用于评估解决方案的稳定性。我们的评估表明现有的方法在 RTM 数据集上的文本伪造检测方面存在问题。我们提出了一个强大的基线解决方案，它采用一个一致性感知的聚合中心和一个门控交叉邻域注意融合模块用于高效的多模态信息融合，并在训练过程中采用一个被篡改 - 真实对比学习模块，丰富特征表示的差异。这个框架可以扩展到其他双流体系结构，对手动和总体篡改的定位性能分别提高了 7.33% 和 6.38%。我们的贡献旨在推动现实世界文本篡改检测的进展。代码和数据集将在此 https 网址上提供。

    Dec, 2023

  • MANtIS: 一个新型的多领域信息寻求对话数据集

    本文提出了一个概念模型，旨在推动对于对话式搜索的研究。在文献基础上，作者们分析了当前信息检索、自然语言处理和对话系统等领域的任务和测试集如何与该模型相适应，并最终提出一套理想的对话式搜索数据集标准。最后，作者们介绍了一个新的多领域多轮对话数据集 MANtIS，并同时提供了其用于会话回复排序和用户意图预测任务的基准结果。

    Dec, 2019

  • CASE：为构建生成性和辨别性辅助心理学专家模型进行课程数据预训练

    该研究利用自然语言处理（NLP）流程来分析用于咨询的在线心理健康论坛的文本数据，以便快速识别需要紧急心理保健的人群。 通过分析论坛帖子，这些流程可以标记可能需要即时专业关注的用户。 本研究提出了两个模型：一个基于 BERT 的判别模型称为 CASE-BERT，根据论坛文本标记潜在的心理健康障碍；一个生成模型称为 CASE-Gemma，提取初步诊断的关键特征。 CASE-BERT 相较于现有方法表现出更好的性能，对抑郁症和焦虑症两种常见心理健康障碍的 f1 分数分别达到 0.91 和 0.88。CASE-Gemma 可以根据论坛文本生成诊断以达到 BERT 分数为 0.849。对 CASE-Gemma 的有效性进行了人工评估和定性方法评估，并得到了临床心理学家的合作。我们的代码可以在此 https URL 处获得。

    Jun, 2024

  • 探索篡改检测中的显著性偏见

    通过分析流行的图像操纵数据集中的视觉和语义显著趋势及其对检测的影响，我们提出了一个框架，以促进语义感知的法庭取证方法的进一步发展，从而了解视觉误导现象。

    Feb, 2024