- 最佳综合嵌入
本文介绍一种基于词嵌入组合方法,该方法旨在通过满足新向量与其组成部分的向量表示之间的距离一致且最小化来实现给定一组词的公平嵌入表示。该嵌入组合方法可适用于静态和上下文相关的词表示,适用于创建句子的表示,并学习不一定按序组织的词组的表示。我们 - 人类和大型语言模型中潜在成分表示的主动运用
人脑与大型语言模型在句子内部表征方面具有相似的层级结构,通过删除单词来推断句子的潜在分层结构,并证明了这种结构在人脑和语言模型中都能出现。
- 细调 vs 触发,语言模型是否能理解人类价值观?
未来我们将探索 fine-tuning 和 prompt tuning 在处理句子中潜在支持值的任务中的潜力,同时对大型语言模型与强化学习对齐在此任务中的能力进行初步尝试。
- EMNLP无监督方面类别检测的自我增强多任务框架
我们的工作致力于使用一小组种子词进行无监督的方面类别检测。我们提出了一个简单的框架,通过自动增强种子词的质量和选择高质量的句子进行训练,来缓解初始种子词质量和噪声对模型性能的影响。同时,我们对方面类别检测、方面术语提取和方面术语极性联合进行 - 基于方面的会议记录摘要:一种基于弱监督句子分类的两阶段方法
提出了一个将会议记录按照方面进行总结的双阶段方法,它首先通过模拟标注的方式在 AMI 语料库上训练了一个句子分类器来选择特定方面的相关内容,然后将选定的句子合并作为输入,使用总结器生成基于方面的总结,实验结果表明该方法在 AMI 语料库上优 - ACLDiffuSum: 借助扩散增强的抽取式摘要生成
这篇论文提出了一个新的提取性摘要范式,名为 DiffuSum,通过扩散模型直接生成所需的摘要句子表示,并根据句子表示匹配来提取句子,并通过多类对比损失对表示多样性进行优化,实验结果表明 DiffuSum 在 CNN / DailyMail - 重新审视用于基于 NLI 的摘要事实评分的文本分解方法
本文系统地比较了将事实性分值应用于分解的不同粒度,并表明不是所有数据集都适用于将上下文信息集成到模型中的方法。
- KDD模型无关 NLP 可解释性中解释的粒度
通过对复杂的基于 BERT 的分类器使用基于段落的方法,本文改进了当前基于单词采样的黑盒 NLP 可解释性方法的局限性,大大提高了基准分类任务的解释保真度。
- 将隐含的话语关系识别扩展到 PDTB-3
PDTB-3 增加了更多句子内隐含篇章关系的注释,同时有些隐含关系与显式篇章关系共存,这复杂化了隐含篇章关系的定位问题,但简化了其意义辨析问题,本研究提出了一种基于数据的方法来解决这个问题,这可作为未来隐含篇章关系识别的一种非常规的基准。
- ACL从释义学习概率句子表示
本文定义了能够为句子产生分布的概率模型,最佳表现的模型将每个单词视为线性转换算子应用于多变量高斯分布,并通过从定义的模型中进行训练,演示了实现句子特定性的自然方式。虽然我们的模型是整体最佳表现的,但通过句子向量的范数表示来表示句子的特异性的 - 文本结构的数学
本研究提出了一种数学基础 DisCoCirc,用于描述句子在文本中相互作用以产生文本含义的过程,通过组合结构及字符串图表示信息流,进而产生整篇文本的含义。
- NIPS具有属性控制的内容保留文本生成
通过该研究,我们提出了一种能够修改文本内容以满足先决条件要求的模型,其通过建立重建和生成关系实现条件兼容和多属性控制。经过定量、定性和人类评估的验证,证明该模型与以往的方法相比,其生成了更加符合先决条件的流畅的句子。
- ICML通过自动摘要探索句向量空间
利用神经网络对单词进行矢量表示后,本文探讨了在自动文摘的语境下,矢量表示的句子向量的特性,包括其与文档向量之间的余弦相似度与句子重要性的强关联、向量语义可用于识别和纠正选择的句子和文档之间的差距以及有效摘要所需的特定维度的相关性等。同时,本 - EMNLP点积 HSIC:一种稀疏语言表达的线性时间核共现规范化方法
本文提出了一种基于 Hilbert-Schmidt 独立准则(HSIC)的新内核共现测量方式,称为 pointwise HSIC(PHSIC),可用于稀疏语言表达(例如句子),并且学习时间非常短,是点间互信息(PMI)的替代方法,并且在对话 - 迭代精化编码器中的自然语言推理句子嵌入
本研究提出了一种双向长短时记忆网络(BiLSTM)和最大池化层的分层策略,为各种自然语言处理任务提供高效的分层表征,并在多项评估任务中超越 InferSent 和 SkipThought,特别是在评估句子表征中语言特性捕捉的能力方面,优于 - EMNLP从自然语言推理数据中监督学习通用句子表示
本研究探讨了利用 Stanford 自然语言推断数据集的监督学习训练通用句子向量表示,相比于 SkipThought 等无监督方法,该方式在多种迁移学习任务中表现更优,因此表明自然语言推断适用于迁移学习。
- 将句子表示为低秩子空间
研究发现句子的词向量表示一般都集中在一个低秩子空间内,通过基于该子空间的无监督表示法在 19 个数据集上测试,平均优于 skip-thought vectors 等神经网络模型 15%。
- 高效文本分类的诀窍
本文介绍了一种用于文本分类的简单高效的基线方法 fastText,在准确性方面通常与深度学习分类器相媲美,但在训练和评估方面快了数个数量级。我们用标准的多核 CPU 可以在不到十分钟的时间内对十亿多个单词进行训练,并在不到一分钟的时间内对