Jun, 2024

COT：通过对比最优输运生成反对仇恨言论的方法

PDF
TL;DR基于对比最优传输的新型框架有效地解决了生成对抗性叙述的目标互动和多样化方面的挑战，通过引入 Optimal Transport Kernel (OTK) 模块将仇恨目标信息融合到标记表示中，使用自对比学习模块生成各向异性分布的标记表示，通过以令牌相似性和目标相关性为考虑因素的改进解码策略来明确促进领域相关性和多样化，从而显著优于现有方法的量化和定性实验。
counter-narrativeshate speechcontrastive optimal transportoptimal transport kernel (otk)target-oriented search method
发现论文，激发创造
  • TOT: 多模式仇恨检测的拓扑感知最优输运

    本论文提出了一种 topology-aware optimal transport (TOT) 框架，它利用最优传输计划的解决方案来解决跨模态对齐问题，从而揭示了恶意互联网违规内容的隐含危害。TOT 在两个公开数据集上取得了最新的最优性能，证明其在捕捉隐含的跨模态对齐方面具有优越性。

    Feb, 2023

  • 分析和改进基于 OT 的对抗网络

    以单一框架统一 Optimal Transport（OT）为基础的对抗方法，通过对统一框架的全面分析来阐明每个组成部分在训练动力学中的作用。我们提出了一个简单而新颖的方法，逐步改进生成分布，并逐渐与数据分布对齐。该方法在 CIFAR-10 上实现了 2.51 的 FID 得分，胜过了统一的基于 OT 的对抗方法。

    Oct, 2023

  • 邻域感知最优传输学习在低资源仇恨言论检测中的应用

    提出了一种新的训练策略，利用基于邻域的框架和 Optimal Transport，以改善对低资源仇恨言论语料库的系统性能，实现相对距离建模的灵活性。

    Oct, 2022

  • 使用学生强制最优传输改善文本生成

    利用最大似然估计进行神经语言模型训练时，存在曝光偏差问题。提出使用最优传输匹配训练和测试时的序列，以及基于文本序列的结构和上下文信息进一步改进最优传输学习，有效改善了机器翻译、文本摘要和文本生成任务的表现。

    Oct, 2020

  • 面向知识驱动的仇恨言论反叙事生成

    该研究提出一种基于外部知识库的完整反叙事生成管道，以对抗网上仇恨。实验证明，该模型可以在领域内和跨领域环境下生成适合和信息丰富的反叙事。

    Jun, 2021

  • COT-GAN：通过因果最优传输生成序列数据

    使用因果最优传输（COT）思想定义的 COT-GAN 算法应用于产生顺序数据，使用改进的 Sinkhorn 差异度量学习鉴别器的代价函数，并包括增加的时间因果约束和熵惩罚项。实验表明，该算法在产生低维和高维时间序列数据时具有很好的效率和稳定性。

    Jun, 2020

  • COT Flow：通过对比对学习最优转运图像采样和编辑

    Diffusion models suffer from computationally expensive iterative generation, limited editing flexibility, and Gaussian noise constraints; Contrastive Optimal Transport Flow (COT Flow) overcomes these limitations, enabling fast, high-quality generation and improved zero-shot editing with unpaired image-to-image translation and doubled editable space.

    Jun, 2024

  • HateCOT: 通过大型语言模型增强解释性的通用冒犯性言论检测数据集

    社交媒体的普及性使得需要可靠高效地检测有害内容以限制其负面影响。本文介绍 HateCOT 数据集，该数据集包含 52000 个样本，来自多个不同来源，并使用 GPT-3.5-Turbo 和人工筛选生成解释。我们展示在 HateCOT 上对于检测有害内容的预训练模型，在三个基准数据集上，在零样本和少样本情况下，显著提升了开源语言模型的性能，尽管存在领域和任务的差异。我们进一步发现 HateCOT 使得在低资源情况下进行有效的 K-shot 微调成为可能。

    Mar, 2024

  • 自我权衡：通过注意力规范化改进仇恨言论对抗生成

    介绍了使用注意力正则化技术改进预训练变换器语言模型（PLMs）生成对抗叙事的能力，实验表明，正则化的模型在大多数情况下能够产生比现有方法更好的对抗叙事，尤其是在训练数据中不存在仇恨目标的情况下。

    Sep, 2023

  • 生成针对在线仇恨言论的反叙事：数据与策略

    本研究旨在有效收集应对仇恨言论的响应，利用大规模的无监督语言模型生成银标注数据，并采用最佳注释策略 / 神经网络架构来进行专家验证 / 后期编辑。

    Apr, 2020