Oct, 2023

发挥 Transformer 潜力的策略：eRisk 2023 上的 UNSL

PDF
TL;DR通过使用 Transformers，在风险检测与早期发现的任务中，提出了多种基于相似性嵌入向量和提示技术的解决方案，并在抑郁症、病态赌博等领域取得了良好的性能。
risk detectiondepressionpathological gamblingearly detectiontransformers
发现论文，激发创造
  • 西班牙语中早期发现抑郁症与饮食失调：UNSL 参加 MentalRiskES 2023

    MentalRiskES 是一个新颖的挑战，提出解决与西班牙语相关的早期风险检测问题，在不同任务中尽早检测出显示出心理障碍迹象的 Telegram 用户。

    Oct, 2023

  • 社交媒体上识别抑郁的框架： MentalRiskES@IberLEF 2023

    本文介绍了我们参加 IberLEF 2023 中的 MentalRiskES 任务，使用传统机器学习和深度学习技术预测了个体社交媒体活动导致抑郁的可能性，其中使用 BRET-based 模型微调和使用线性回归器作为输入的句子嵌入的两种建模方法，结果表明后者获得了更好的结果。

    Jun, 2023

  • MASON-NLP 参加 eRisk 2023：基于深度学习的社交媒体文本抑郁症状检测

    通过社交媒体和深度学习方法研究抑郁症症状语句的鉴别和相关性评估。

    Oct, 2023

  • 端到端信息安全任务的 Transformer：可行性研究

    本研究评估 transformer 模型在端到端 InfoSec 设置中的可行性，并探索了在两种不同的 InfoSec 数据格式（即 URL 和 PE 文件）上实施 transformer 模型的方法，以及多种不同的架构设计、训练和实验设置以确定实现性能检测模型所需的条件，通过实验证明与传统的 transformers 相比，URL 转换器模型需要不同的训练方法才能达到高性能水平。

    Dec, 2022

  • 基于 Transformer 的医学咨询用户查询分类

    本研究通过使用 RuBERT 模型提出了一种创新策略，将医学咨询领域中的用户查询按专业分类。通过在多样化的数据集上对预训练的 RuBERT 模型进行微调，实现了查询与特定医学专业之间的精确对应。通过全面的数据集，我们展示了我们方法卓越的性能，F1 得分超过 92%，通过交叉验证和传统的测试和训练数据集的划分进行计算。我们的方法在心脏病学、神经学和皮肤病学等医学领域表现出优秀的泛化能力。该策略将用户引导至合适的专家以获得及时和有针对性的医疗建议，有助于提高医疗系统效率、减轻从业者负担，并提升患者护理质量。总之，我们提出的策略有助于在数字医疗领域中获取特定的医学知识，提供及时准确的建议。

    Sep, 2023

  • 基于变压器模型的社交媒体压力和抑郁识别校准

    使用 BERT 和 MentalBERT 模型，将额外的语言信息注入到社交媒体上进行的压力和抑郁症检测中，通过 Multimodal Adaptation Gate 此方法在三个公开数据集上的表现有所提高。标签平滑化可以提高模型性能和调整模型。在压力和抑郁症文章中观察到了语言差异。

    May, 2023

  • 基于嵌入式大规模检索的预训练任务

    本文研究基于嵌入的检索模型，并探究对段落级别的预训练任务在训练强大的嵌入式 Transformer 模型上的关键作用。

    Feb, 2020

  • 用于用户级别抑郁症和赌博障碍分类的端到端集合 Transformer

    本文提出了一种基于 Transformer 结构的端到端可训练用户级别的赌博成瘾和抑郁症分类方法，采用社交媒体全文集合的方式消除噪声并利用特征归纳技术提高模型的可解释性，并取得在 eRisk 2022 实验室关于病态赌博和抑郁症的早期识别方面的最佳成绩。

    Jul, 2022

  • 传统机器学习模型和双向编码器表示转换器（BERT）基础的自动分类饮食失调的推文：算法开发与验证研究

    通过对与饮食失调相关的推文进行分类，本研究使用传统机器学习和深度学习模型，发现基于 Transformer 的双向编码器表现最佳，能高效地识别与饮食失调相关的推文，并获得最高 71.1%-86.4% 的 F1 分数。

    Feb, 2024

  • 使用上下文句子分析模型识别 ESG 概念

    Trading Central Labs 和 La Rochelle 大学的 L3i 实验室在 ESG 领域上的合作中，基于预训练的 BERT 和 RoBERTa 模型，提出了对 Fortia ESG 分类体系的新条目和 ESG 相关句子的分类方法。该方法在两个子任务中均取得了显著的性能提升，并跻身最佳系统之一。

    Jul, 2022