ACLJun, 2024

无声信号，巨大影响：用 LLMs 进行编码式狗哨词的词义消歧

PDF
TL;DR使用大型语言模型进行词义消歧，从标准说话中提取狗哨并创建出 16550 个高可信度狗哨使用示例的数据集，用于仇恨言论检测、新词研究和政治科学。
dog whistlecoded communicationword-sense disambiguationdatasethate speech detection
发现论文，激发创造
  • 从口哨到喇叭：通过语言模型揭示编码修辞

    本研究对狗哨进行了大规模的计算研究，开发了一种类型学并分析了其在历史美国政治家演讲中的使用。研究发现，带有狗哨的有害内容可以逃避毒性检测，从而突显了这种编码语言带来的在线风险。

    May, 2023

  • 吹哨人：一个包含常识和世界知识的汉语数据集用于方言理解

    本文提出大规模、多样化的中文数据集，用于从计算的语言学角度创建和理解非正式语言。同时，我们确立了一个任务以及提供了相应数据、数量和质量分析。实验表明，这一任务需要深度语言理解、常识和世界知识，并可以成为预训练语言模型的良好测试基准，从而帮助模型在其他任务上表现更好。

    Apr, 2021

  • 大型语言模型应用于实际世界仇恨言论检测的调查

    使用大型语言模型和四种不同的提示策略，发现大型语言模型能够有效地检测恶意言论并超过当前基准机器学习模型的性能，提示策略在高效利用大型语言模型的知识库方面起到关键作用。

    Jan, 2024

  • HateTinyLLM：使用微型大型语言模型进行仇恨言论检测

    本研究介绍了一种名为 HateTinyLLM 的基于精调的解码器型微型大型语言模型（tinyLLM）的新框架，用于高效检测仇恨言论。实验证明，精调的 HateTinyLLM 在检测效果上明显优于预训练的 mixtral-7b 模型。我们尝试了多个微型 LLM，包括 PY007/TinyLlama-1.1B-step-50K-105b、Microsoft/phi-2 和 facebook/opt-1.3b，并通过 LoRA 和适配器方法进行了精调。观察结果表明，所有基于 LoRA 的精调模型的准确率都超过 80%。

    Apr, 2024

  • 大型语言模型能否在社交媒体上检测谣言？

    利用大型语言模型（LLMs）进行社交媒体谣言检测的研究，提出了一种 LLM - 驱动的谣言检测方法（LeRuD），通过设计提示教给 LLMs 在新闻和评论中进行推理，并将整个传播信息分割为传播链以减轻 LLMs 的负担，通过在 Twitter 和微博数据集上的实验，LeRuD 在谣言检测方面表现出色，超过了几种最先进的模型，并且通过应用 LLMs，LeRuD 无需训练数据，在少量或零样本情景中显示出更有前景的谣言检测能力。

    Feb, 2024

  • 利用人工智能打击网络仇恨：探索大型语言模型在仇恨言论检测中的挑战和机遇

    我们的研究通过综述和实证分析，揭示大型语言模型在检测恶意言论中的能力和限制，强调它们作为分类器的角色以及发现优秀的模型和他们的特点和训练方法，为理解大型语言模型在关键的恶意言论检测领域的能力做出贡献。

    Mar, 2024

  • DistilWhisper: 通过语言专家高效蒸馏多任务语音模型

    DistilWhisper 是一个轻量级模块化的 ASR 框架，通过语言专家和知识蒸馏的方式提高了 Whisper 的性能，同时保留了多任务和多语言预训练模型的鲁棒性，在目标语言中提高了 ASR 性能而仅引入了可忽略的参数开销。

    Nov, 2023

  • Distil-Whisper: 大规模伪标记下的鲁棒知识蒸馏

    通过伪标注法，将较大的语音识别模型提炼为 Distil-Whisper 变体，使其在低延迟或资源有限的环境中更快速地执行，同时保持与原模型接近的性能。

    Nov, 2023

  • 使用开源代码训练大型语言模型的（滥）用

    本研究探讨使用未经授权的代码构建 LLMs 所带来的安全、隐私和版权问题，并提出了四条可行的建议。

    Feb, 2023

  • Whistle: 数据高效的多语言和跨语音识别模型：通过弱语音监督方法实现

    本文研究了预训练与弱语音监督的方法，提出了一种名为 Whistle 的数据有效 MCL-ASR 方法，通过国际音标转写，构建了一个基于 CommonVoice 数据集的实验平台，实验证明基于音素的模型在多语言语音识别中具有更好的性能和高数据效率。

    Jun, 2024