May, 2018

基于注意力机制的 LSTM，利用远程监督从口语语言中检测心理压力

PDF
TL;DR本研究提出了基于 LSTM 和注意力机制，通过对自我主观评估访谈记录进行分析来评估心理压力。我们利用自动生成标签的方式来远程监督训练集以扩大我们的语料库。 结果表明，双向 LSTM 模型是最佳模型，精度为 74.1％，F 分数为 74.3％。距离监督微调提高了 1.6％的精度和 2.1％的 F 分数。注意力机制帮助模型选择信息化的单词。
long short-term memoryattention mechanismpsychological stressdistant supervisionfine-tuning
发现论文，激发创造
  • 基于注意力长短期记忆 (LSTM) 的语音可懂度自动分类系统

    该研究致力于开发一种自动非侵入式系统，用于预测语音可懂度水平，研究结果显示采用长期短期记忆（LSTM）网络以及对数 - 梅尔频谱图作为输入特征的 LSTM 架构通过引入简单的注意力机制，能够确定任务中更为相关的帧，从而优于基于支持向量机（SVM）和手工特征、基于均值池化的 LSTM 系统。

    Feb, 2024

  • 使用双向 LSTM 检测 Twitter 用户的抑郁和焦虑

    研究使用 BiLSTM 模型从用户在 Twitter 上的文本数据中识别患有抑郁症和焦虑症的潜在用户，并获得了成功的测试结果，最高精度为 94.12%。

    Jan, 2023

  • NTUA-SLP 在 SemEval-2018 任务 1 中使用深度注意力循环神经网络和迁移学习来预测推文中的情感内容

    本文介绍了在 SemEval-2018 挑战赛中参赛的深度学习模型及其应用。采用 Bi-LSTM 网络结构和多层自注意力机制，利用大量 Twitter 数据的 word2vec 词向量嵌入和情感特征，通过预先训练 Semeval 2017 年的数据集进行迁移学习，最终在多个子任务中取得了显著的结果。

    Apr, 2018

  • 利用文档知识进行方面级情感分类

    本文探索了两种从文档级数据转移知识的方法，以提高方面级情感分类的性能。我们在 SemEval 2014、2015 和 2016 年的 4 个公共数据集上证明了我们方法的有效性，并显示注意力机制的 LSTM 从文档级知识中受益。

    Jun, 2018

  • Twitter 话题立场检测：基于注意力机制的双阶段 LSTM 模型

    使用长短期记忆（LSTM）深度神经网络和注意力机制，提出了 T-PAN 框架来解决主题态度检测问题，分为两个阶段处理，第一阶段判断主观性，第二阶段判断态度，实验结果显示该框架取得了更优秀的效果。

    Jan, 2018

  • 基于双向 LSTM 和时间分布的 CNN 的语调和语义特征预测抑郁症严重程度

    提出了一种基于多模态语音和文本表达的关注机制用于预测抑郁症，使用 DAIC-WOZ 数据集训练所提出的模型，分别在音频、文本和多模态情况下进行了实验，并取得了较好的预测效果。

    Feb, 2022

  • 融合远程和直接监督的神经关系抽取

    本研究提出了一种改进的神经网络关系抽取模型，该模型采用直接监督数据来提高注意力机制的性能，同时使用远程监督数据帮助识别噪声标注，实验结果在 FB-NYT 数据集上取得了最新的最优性能。

    Oct, 2018

  • 使用带有注意机制的 LSTM 进行人类轨迹预测

    我们提出了一种人类轨迹预测模型，该模型将长短期记忆（LSTM）网络与注意力机制相结合。通过使用注意力分数确定模型在进行预测时应专注于输入数据的哪些部分，我们可以提取出注意力分数并将其整合到轨迹预测模块中，以预测人类未来轨迹。我们的模型在拥挤空间中的行人未来轨迹预测中表现出比社交 LSTM 算法更好的性能。

    Sep, 2023

  • BB_twtr 在 SemEval-2017 任务 4 中：使用 CNN 和 LSTM 进行 Twitter 情感分析

    使用卷积神经网络与长短时记忆网络，我们成功实现了最先进的 Twitter 情感分类器，通过海量无标注数据来预训练词向量，然后使用少量无标注数据通过远程监督来微调嵌入向量，最终在 SemEval-2017 Twitter 数据集上对 CNN 和 LSTM 进行了再次微调，使用了集成学习方法，我们在所有五个英文子任务中均排名第一。

    Apr, 2017

  • 基于变压器模型的社交媒体压力和抑郁识别校准

    使用 BERT 和 MentalBERT 模型，将额外的语言信息注入到社交媒体上进行的压力和抑郁症检测中，通过 Multimodal Adaptation Gate 此方法在三个公开数据集上的表现有所提高。标签平滑化可以提高模型性能和调整模型。在压力和抑郁症文章中观察到了语言差异。

    May, 2023