本文提出了一种新颖的双对比学习框架，用于捕获 hate speech 中的短语级情感语义，并通过将聚焦损失集成到框架中来解决数据不平衡问题，并在两个英语数据集上取得了 state-of-the-art 的表现，从而成功地检测出 hate speech。

Jul, 2023

采用大语言模型（LLMs）进行很少标记的训练，结合零样本学习和少样本学习等方法，成功应用于 Hinglish 中的仇恨言论检测和粗细粒度的厌女症分类，研究表明使用 Bidirectional Auto-Regressive Transformers（BART）大模型的零样本分类和使用 Generative Pre-trained Transformer- 3（ChatGPT-3）的少样本提示获得了最佳结果。

Mar, 2024

提出了一种新的监督对比学习目标 SCHaNe，在细调阶段引入了硬负样本采样，实验结果表明，在各种基准测试中，SCHaNe 在 Top-1 准确率上优于强基准 BEiT-3，少样本学习设置中取得了 3.32% 的显著增益和完整数据集细调中的 3.41% 的显著增益，这一目标在 ImageNet-1k 上取得了 86.14% 的准确率，并且改进的嵌入效果更好，可以解释实验中观察到的改进效果。

Aug, 2023

我们提出使用检索引导的对比训练构建一种恶意感知的嵌入空间，以解决现有基于 CLIP 的系统的嵌入空间对于正确恶意分类所需的微小差异缺乏敏感性的问题，并展示了一种基于检索的恶意违规表情包检测系统，该系统能够根据未在训练中见过的数据进行恶意分类，无需重新训练，适用于互联网恶意违规表情包不断演变的实际服务的持续更新。

Nov, 2023

通过开发一种新的无监督采样方法来选择难以区分的硬负样本，该方法改进了跨多种模态的下游性能，仅需要少量额外的代码进行实现，并且不会引入计算负担。

Oct, 2020

运用预训练语言模型生成大量的合成仇恨言论序列来缓解数据瓶颈并提高通用性，并发现使用相关标记的仇恨言论序列优于使用域外，有时也优于域内的人工标注示例。

Sep, 2021

本文介绍了一种基于 UnReMix 的 hard negative sampling 策略，该策略考虑了锚点相似度、模型不确定性和代表性，实验结果表明，与现有的对比学习方法相比，UnReMix 可以改进负样本的选择，从而提高下游任务的性能。

Jun, 2022

研究表明，在自监督学习中使用 hard negatives, 数据混合等技术可以提高视觉表示的质量，本文提出了一种基于特征水平的硬负例混合策略，并在多个任务上验证其有效性。

Oct, 2020

使用深度神经模型自动检测仇恨言论受到标记数据稀缺性的影响，从而导致泛化能力差。为了缓解这个问题，利用生成式人工智能从现有标记示例中生成大量合成仇恨言论序列，并将生成的数据应用于微调大型预训练语言模型，如 BERT、RoBERTa 和 ALBERT。我们研究了相关方法、实验设置和这种方法的评估。此外，我们使用已经适应仇恨检测的预训练语言模型（包括 RoBERTa-Toxicity、HateBERT、HateXplain、ToxDect 和 ToxiGen）在训练集上对生成的数据进行扩充，然后应用和评估其影响。经验证实，这种方法改进了对仇恨言论的泛化能力，提高了不同数据分布下的召回性能。此外，我们还使用 GPT-3.5 模型探索和比较微调后的预训练语言模型在零样本仇恨检测方面的性能。结果表明，尽管 GPT-3.5 模型的泛化效果更好，但对大多数数据集而言，其召回率中等且精确度低。目前尚不清楚是否可以使用类似的文本生成技术来改善 GPT-3.5 及后续模型的敏感性。

Nov, 2023

通过软标签监督，提出了一种软动量对比学习方法（SoftMCL），用于细粒度的情感感知预训练，在单词和句子级别上增强模型学习情感信息的能力，并通过克服硬件平台的限制，扩展了对比样本的数量。实验结果表明所提出的 SoftMCL 方法的有效性。

May, 2024