- 科学文章句级嵌入的分类与聚类:对比学习生成
使用对比学习来微调句子 Transformer 模型,生成科学文章中的句子级嵌入,并将其用于科学文章中的句子分类任务,取得了显著的改进。
- SECNN:用于句子分类的挤压和激活卷积神经网络
我们的研究工作提出了一种用于句子分类的 Squeeze-and-Excitation 卷积神经网络(SECNN),该网络利用多个 CNN 的特征图作为句子表示的不同通道,并结合通道注意机制(SE attention mechanism)学习 - 日本语句子分类和命名实体识别任务中的相互增强效应
信息抽取是自然语言处理中一个关键领域,本研究提出了一个多任务学习方法,通过整合句子分类和命名实体识别,揭示了这两个信息抽取子任务之间的相互增强效应。结果显示,整合增强了句子分类和命名实体识别的性能,并且实验证明了该方法的有效性。
- 用于日语句子分类和命名实体识别的句子标签生成框架
本研究提出了一种结合了句子分类和命名实体识别的多任务方法,并开发了一种用于该方法的基于维基百科的数据集。使用生成模型和约束机制,该方法在提高了任务的独立准确性的同时提高了任务的集成性。
- 重新发现使用哈希随机投影以高效量化上下文化句子嵌入
本研究提出了一种利用随机超平面投影和量化技术,减小预处理数据的存储和带宽需求,从而使得边缘设备可以高效地进行推理和训练,并且在多语言句子分类任务中保持了良好的性能。
- 适配预训练语言模型用于量子自然语言处理
本研究探讨使用量子计算与预训练模型结合的经典 - 量子转移学习方法在自然语言处理上的效果,提出了一种基于复数 BERT 的句子状态预训练方法,并应用于经典 - 量子转移学习中进行句子分类,取得末端量子模型性能 50% 到 60% 的提升。
- EMNLP最大限度地利用相似性识别
探究表达特征在比喻识别任务中的表现,设计了一种名为 HGSR 的模型,通过构建异构图和蒸馏的方式将输入特征和解码特征结合使用,证明其在比喻识别任务中的显著优势。
- EMNLP使用语法归纳寻找数据集快捷方式
本文提出使用概率语法学习发掘 NLP 数据集中的 shortcut,同时也展示这些 features 能够帮助分类器提高最坏组的准确性。
- EMNLP多语言任务训练和推断中的翻译工件协同
本研究探讨在多语言任务中同时使用源语言和目标语言翻译数据的效果,并得出使用翻译工具造成的风格化翻译差异是提高性能的主要因素。此外,我们提出了一种名为 MUSC 的跨语言微调算法,该方法结合了 SupCon 和 MixUp,可以进一步提高多语 - 隐喻释义生成:用字面文本来训练隐喻语言模型
通过使用隐喻语言模型掩盖字面意思从而生成比喻性的解释,且该方法不仅关注动词,还包括名词和形容词。 这种方法在元数据的分类中实现了比人工方法更高的水平。
- 利用本体表示法提取图表描述文本
通过本体语义学的概念识别方法,从科学文章的正文中提取与图形相关的描述性文字,以生成人类和机器可读的知识表示形式,实现对实验研究出版物的图形分析和分类。
- 使用释义改进上下文化词嵌入
本文章探讨了,如何通过给上下文动态变化的词嵌入模型增加同义词的语境来提高模型的稳定性,提出了一种基于改造的方法并在各种句子分类和语言推理任务中进行了实验,结果表明该方法可以有效提高模型性能。
- EMNLP用于连续句子分类的预训练语言模型
本文提出一种基于预训练语言模型 (BERT) 的方法,能够直接利用所有句子中的所有单词的上下文信息进行文档级理解的任务,且在四个数据集中取得了最先进的结果。
- 使用 Mixup 增强数据进行句子分类:一项实证研究
本文提出了 Mixup 数据增强方法在句子分类中的应用策略,并在多个基准数据集上进行了实验验证,结果表明该技术是一种有效的、领域无关的数据增强方法,可使 CNN 和 LSTM 模型的预测准确性显著提高。
- AAAI基于低秩矩阵分解的文本分类在线嵌入压缩
本研究提出一种深度学习模型的压缩方法,利用低秩矩阵因式分解来压缩自然语言处理中的字词嵌入层,经过实验证明可以在 90% 的压缩比下保持精度不受影响,并且在句子分类任务上表现优于其他方法,同时还引入了一种新的学习率调度算法 CALR,其在句子 - EMNLP基于上下文信息的深度神经网络语句级分类方法
提出了一种新的句子分类方法 Context-LSTM-CNN,利用了与被分类句子相邻的句子形成的上下文和 LSTM 处理被分类句子的远距离依赖关系以及使用了基于 CNN 的短跨度特征。该方法在两个不同的数据集上始终优于以前的方法。
- 通过词性标注学习在树形结构上进行组合
本文提出了一种 Tag-Guided HyperRecNN/TreeLSTM 模型来解决 Recursive Neural Network 模型在语义组合复杂性上存在的限制问题,并通过实验表明该模型在句子分类任务上表现优异。
- IJCAI使用翻译作为句子分类的额外上下文
本文提出了使用翻译句子作为上下文信息,以解决在句子分类任务中常常面临上下文信息与任务领域不匹配的问题。作者提出的多重上下文固定模块在多个句向量的基础上修复了向量中的噪音,实现了与之前模型相比更好的分类性能。此外,本文还在该领域首次使用翻译作 - 量子启发式复杂单词嵌入
本研究提出两个量子力学启发式模型,通过基于希尔伯特空间的相对相位来探究单词组合的含义,从而在二进制句子分类任务上达到了比非量子模型更好的性能。
- 应用于句子分类的密集连接双向 LSTM
本文提出了一种新的多层 RNN 模型 —— 密集连接的双向长短期记忆网络 (DC-Bi-LSTM),并在五个句子分类基准数据集上进行了评估。结果显示,相比同等或更少的参数的传统双向 LSTM,深度为 20 的 DC-Bi-LSTM 模型可以