Jul, 2023

API 方面分析的对比学习

PDF
TL;DR我们提出了一种新颖的方法 - CLAA - 用于 API 审查中的 API 方面检测，该方法利用了经过监督对比损失目标函数训练的 Transformer 模型。我们使用性能和影响分析来评估 CLAA。性能分析方面，我们利用了从 Stack Overflow 收集的开发者讨论的基准数据集，并将结果与最先进的 Transformer 模型进行比较。我们的实验表明，对比学习可以显著提高 Transformer 模型在检测性能、安全性、可用性和文档等方面的性能。在影响分析方面，我们进行了经验和开发者研究。在随机选择和手动标记的 200 个在线评论上，CLAA 的准确率达到 92%，而 SOTA 基线的准确率为 81.5%。根据我们涉及 10 位参与者的开发者研究，使用 “Stack Overflow + CLAA” 在 API 选择过程中提高了准确性和信心。
api aspect detectiontransformer modelscontrastive learningperformance analysisimpact analysis
发现论文，激发创造
  • Transformer 模型能否有效地在 StackOverflow 讨论中检测出软件方面？

    本文通过对 Benchmark API 数据集的实验探究，发现 Transformer 模型（包括 BERT、RoBERTa、DistilBERT 和 XLNet）在检测文本开发者讨论中的软件方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面较基准 SVM 模型有所改进，尤其在性能、安全性、可用性、文档、错误、法律、唯一情感和其他方面。但是，这些模型在掌握某些方面（例如 “社区” 和 “可移植性”）方面会出现错误，并且它们的性能因方面而异。此外，与 DistilBERT 等较小的模型相比，较大的 XLNet 模型在解释软件方面方面方面方面方面方面方面方面方面方面方面较为无效。

    Sep, 2022

  • 一个简单实用的自监督对比学习框架用于方面检测

    该研究提出了一种自我监督对比学习框架和基于注意力机制、新颖平滑自注意力（SSA）模块的 UAD 任务模型，用于学习更好的方面和评论片段表示，同时引入了高分辨率选择映射 (HRSMap) 和知识蒸馏技术，通过准确地映射模型发现的方面来提高方面检测的性能。实验结果表明，该方法在公开数据集上表现优于多个最近的无监督和弱监督方法。

    Sep, 2020

  • 跨语言方面情感分析的对比学习 (Cross-lingual Aspect-based Sentiment Analysis 的对比学习)

    介绍了一种用于多语言情感分析的新型框架 CL-XABSA，它基于对比学习，包括 token level 对比学习和 sentiment level 对比学习，可以通过多语言数据训练，并使用知识蒸馏技术进一步提高模型性能。该方法在跨语言情感分析、知识蒸馏和多语言情感分析三个任务中均有一定的改进。

    Apr, 2022

  • CLAP：从自然语言监督中学习音频概念

    提出一种基于自然语言监督学习的音频概念学习方法 CLAP，通过两个编码器和对比学习将音频和文本描述连接到多模态空间中，从而实现了零样本性能，其具有无需使用类别标签进行训练、预测灵活度高、具有多个下游任务通用性等优点。

    Jun, 2022

  • 标签锚定对比学习用于语言理解

    本文提出一种基于标签锚定的对比学习方法（LaCon），用于自然语言理解分类任务中，不需要专门的网络架构或任何额外的数据增强，可轻松插入现有的强大预训练语言模型，相比于现有最先进技术，LaCon 在 GLUE 和 CLUE 基准测试数据集上有高达 4.1% 的提升，同时在少量样本和数据失衡的情况下也展现出显著的优势，获取了 FewGLUE 和 FewCLUE 基准测试任务高达 9.4% 的提升。

    Apr, 2022

  • 基于有监督对比预训练学习因果隐含情感的方面情感分析

    采用超级对比预训练的方法，利用语言资源中的大规模情感注释语料库，对于产品评论中蕴含的明示和隐含情感表达进行预测，大幅提高对于细节方面表达情感的识别率，这种方法不仅在论文中实验证明了其有效性，还在 SemEval2014 基准测试集上取得了最好的表现。

    Nov, 2021

  • 通过人工智能反馈提高对比学习句子嵌入

    CLAIF 方法：利用大型预训练语言模型的人工智能反馈来构建有细粒度样本相似度得分的样本对以改善对比学习，并结合人工反馈和 AI 反馈提供更好的训练信号，实验结果显示在语义文本相似性和迁移学习任务上，与其他半监督和监督对比学习方法比较，CLAIF 实现了最先进的性能。

    May, 2023

  • SemEval-2016 任务 5 中的 INSIGHT-1：多语言基于方面的情感分析中的深度学习

    本论文介绍了我们在 SemEval 2016 任务 5 中使用深度学习的多语言基于方面的情感分析的方法。我们使用卷积神经网络（CNN）对方面抽取和基于方面的情感分析进行处理。我们将方面提取视为一个多标签分类问题，输出一个阈值参数化的方面概率。为了确定对方面的情感态度，我们使用局限系统（英语不受限制）对语句进行分析，其在所有语言和领域中均取得了竞争性的结果，对于方面类别检测（插槽 1）和情感极性（插槽 3）分别在 11 种语言域对中的 5 个和 7 个中排名第一或第二，从而证明深度学习为基于方面和多语言的情感分析方法的可行性。

    Sep, 2016

  • 增强因素的对抗网络在领域自适应中的应用

    使用神经方法进行迁移学习，将几个关键词编码为表示句子相关性的方式来区分源和目标分类任务或方面，并通过共享分类器在编码文档和标签上训练来实现转移。

    Jan, 2017

  • CONTRASTE：基于方面提示的监督对比预训练用于方面情感三元组提取

    使用 CONTRASTE 作为一种基于对比学习的新型预训练策略，通过在解码器生成的面向方面的情感表示上应用对比学习来提高 Aspect Sentiment Triplet Extraction（ASTE）的性能，同时也展示了该技术在其他 ABSA 任务上的优势，并通过在基于编码器 - 解码器模型的基础上结合两个互补模块的新型多任务方法，即基于标记的观点术语检测器和基于回归的三元组计数估算器，进行细调以获得模型的权重，并通过详细的实验证明了我们所提出的每个组件的重要性，实现了 ASTA 的最新最佳结果。

    Oct, 2023