Apr, 2024

通过自我增强和对比学习提高社交媒体文本中的疾病检测

PDF
TL;DR该研究提出了一种新的方法，将对比学习与语言模型相结合，通过自我增强方法改进模型的表示，并在与各种疾病相关的社交媒体数据集上取得了显著的改进。
disease detectionlanguage modelscontrastive learningself-augmentationnlp datasets
发现论文，激发创造
  • 提升社交媒体内容中健康提及检测的语言模型能力的独特训练策略

    通过随机加权干扰和对比学习策略培训语言模型，并提出元预测器以区分社交媒体文本中的非健康和健康相关类别，实验证明该策略提高了语言模型的性能，元预测器在三个基准数据集上优于现有的健康提及分类预测器。

    Oct, 2023

  • 双重对比学习：基于标签感知数据增强的文本分类

    本研究利用 DualCL 框架将分类器参数作为增广样本，与输入样本结合运用对比学习方法，在五个基准文本分类数据集上表现出较高的分类准确性，并证实了 DualCL 框架在学习具有判别性的表示方面的能力。

    Jan, 2022

  • 一种面向临床的多层次对比学习方法用于低质量医学图像疾病诊断

    提出了一种临床导向的多级对比学习框架，旨在增强模型提取病变特征和区分病变与低质量因素的能力，从而能够更准确地诊断低质量医学图像的疾病。

    Apr, 2024

  • 使用公共社交媒体数据评估大型语言模型在健康相关文本分类任务中的性能

    我们评估了多种模型，包括传统机器学习模型、预训练语言模型和大型语言模型，比较它们在社交媒体健康相关自然语言处理任务中的性能。实验结果表明，使用大型语言模型进行数据增强可以获得比仅使用人工标注数据训练的模型更好的结果，并且传统的有监督学习模型在零样本设置中也表现出优于大型语言模型的性能。

    Mar, 2024

  • Auto-MLM: 自监督多语言知识检索的改进对比学习

    本文提出一种结合对比学习和自动编码器掩码语言模型的联合训练方法，用于自我监督多语言知识检索，通过生成新的标记表示来预测掩码标记，实验结果表明，在 8 种语言上，我们的提出的方法在 AliExpress 和 LAZADA 服务语料库和公开可用的语料库上都 consistently 超过了所有先前的 SOTA 方法。

    Mar, 2022

  • 使用 R-drop 进行的文本增强以便进行自报 Covid-19 推文分类

    该研究报告介绍了为 2023 年社交媒体挖掘健康共享任务创建的模型。我们的团队解决了第一个任务，即对自我报告 Covid-19 诊断的推文进行分类。我们的方法使用多样的文本增强和利用 R-drop 来增强数据并减少过拟合，提高模型效果。我们的领先模型通过使用 R-drop 和增强技术（如同义词替换、保留词和回译）超过了任务的平均分数和中位数。我们的系统在测试集上取得了令人印象深刻的 F1 分数为 0.877。

    Nov, 2023

  • 利用文本 - 图像对比模型的能力自动检测在线谣言

    本研究旨在探究对抗学习在虚假信息识别中的应用。通过开发自学模型并在 COSMOS 数据集上进行全面实验，我们发现采用对抗学习能够大幅减少训练数据，同时在数据量不足时显示出优于传统分类器的非匹配图像 - 文本对检测性能提高约 10% 的稳定性和可比性。

    Apr, 2023

  • 通过临床问卷学习实现简单灵活的精神障碍检测模型

    研究了使用社交媒体的语言特征来检测心理健康问题，并提出了一种能够有效利用领域知识、可被应用于其他心理障碍以及能够提供可解释检测结果的模型。

    Jun, 2023

  • 借用人类感官：面向社交媒体多模态分类的评论感知自我训练

    本研究提出了一种利用用户评论建模和自监督学习的方法，用于在社交媒体上进行图像文字关系分类、讽刺检测、情感分类和仇恨言论检测等多模态分类任务，结果表明该方法进一步提高了先前最先进模型的性能。

    Mar, 2023

  • 用于推特健康提及分类的多种语言模型训练的新方法

    本文提出了一种新的方法，使用对抗训练和对几个级别的 transformer 模型中的推文示例的表示进行高斯噪声扰动生成对抗性示例来训练语言模型，以进行卫生提及分类。添加噪声到较早的层有助于提高模型性能，而添加中间层的噪声会降低模型性能。最后，在最终层添加噪声比在中间层添加噪声表现更好。

    Apr, 2022