- ICLR扩散模型中稳定的目标场用于减少方差评分估计
通过引入参考样本,将加权条件分数作为更稳定的训练目标,以降低训练目标的协方差,改进扩散模型算法,并在多个数据集上实现了 SOTA FID 的效果。
- Rényi 离散度深度相互学习
本文重新审视了一种非常简单却非常有效的计算范例 —— 深度相互学习,并且从一个新颖的角度阐释了 DML 的性能改进。本文提出了一种新的方法 RDML(Rényi Divergence Deep Mutual Learning),证明了 RD - 粤语神经语音合成中升调建模研究
本文提出了使用基于 BERT 的陈述 / 疑问分类器来弥补普通神经文本到语音系统无法合成升调的缺点,对不同训练策略进行比较并在 CanTTS 语料库上进行实验,结果表明分别训练方法在泛化性能和可行性上表现最佳。
- ACL多域对话状态跟踪的动态模式图融合网络
该研究提出了一种名为动态架构图融合网络(DSGFNet)的方法,它能够明确融合事先的槽 - 域成员关系和对话感知动态槽关系,且能够利用这些架构图来实现跨领域知识传递,此方法在 Dialogue State Tracking 领域内的实证结果 - AAAI随机平滑的输入特定鲁棒性认证
提出了一种输入特定采样(ISS)加速方法,该方法可以通过降低采样大小,适应性地减少采样大小,从而实现强化认证的成本效益,同时普遍控制 ISS 采样大小对认证半径的下降。实证结果表明,ISS 可以在有限的 0.05 认证半径成本下将认证加速三 - EMNLP学习文档级别关系抽取的逻辑规则
本文提出了 LogiRE,一种通过学习逻辑规则进行文档级关系提取的新型概率模型。该模型将逻辑规则作为潜在变量,并由规则生成器和关系提取器两个模块组成,可以显式捕捉长程依赖并具有更好的解释能力,实验结果表明在关系性能(1.8 F1 分数)和逻 - 像素级分类不是语义分割所需的全部
提出了基于掩膜分类模型的方法 MaskFormer,通过预测一组二进制掩膜,使语义分割和全景分割任务的解决变得统一,并在各项指标上实现了优秀的实验结果。
- ICML非对称损失函数用于噪声标签学习
通过研究损失函数的对称性,提出了一种新的损失函数 —— 非对称损失函数,用于稳健的神经网络训练,得出了其理论性质和实验结果。
- ICML学习多样化结构网络以提高对抗鲁棒性
该研究提出了一种名为 DS-Net 的多样性结构网络,用于在对抗训练中进行神经网络体系结构搜索,以达到更好的性能,其中,DS-Net 仅考虑预定义的原子块,即残差块等,以显著减少搜索空间,且实验证明其优势。
- EMNLP域对抗微调作为有效的正则化器
介绍了一种新的正则化技术,使用对抗性目标来进行领域敌对微调,可以有效提高预训练语言模型在各种自然语言理解任务中的表现。
- MM利用 Moreau-Yosida 正则化稳定双层超参数优化
本研究提出了使用 Moreau-Yosida 包络来稳定双层超参数优化求解器的收敛行为,并引入了名为 Moreau-Yosida 正则化超参数优化(MY-HPO)算法的新算法。该文还对 MY-HPO 解的正确性和初始收敛性分析进行了理论分析 - EMNLP通过回答 (几乎) 自然问题进行事件提取
将事件抽取视为问答任务,实现端到端的事件参数提取,相比现有方法有显著提升。同时,也能够在零样本学习情况下提取训练期间未见过的事件参数角色。
- ACLTuringAdvice:语言使用的生成和动态评估
提出了一个名为 TuringAdvice 的任务和对应数据集,对自然语言生成(NLG)的语言理解模型进行了测试,实证结果表明目前的 NLG 模型在此任务上表现不佳,仅有 14%的情况下能够输出至少与人类撰写的建议同等有用,这反映出在生成性环 - 可能性失误:变分自编码器的异常检测分数
本研究提出了一种基于 Variational Auto-encoders 的有效的异常检测方法 Likelihood Regret,并在现有的检测方法基础上进行了实验,结果表明我们的方法在 VAEs 上具有最佳的异常检测性能。
- ACL精华、适应、精华:为神经机器翻译训练小型、域内模型
本研究探讨了领域自适应设置下,使用序列级别知识蒸馏训练小型、内存高效的机器翻译模型的最佳实践。该研究的大规模实证结果在机器翻译领域中(使用三个语种对三个领域进行测试)表明,最佳性能需要两次平衡知识蒸馏,一次使用通用数据,另一次使用具体领域的 - AAAI使用双向图卷积网络在社交媒体上进行谣言检测
本文提出一种新的双向图卷积网络模型(Bi-GCN),结合传播和扩散两个重要特征进行谣言检测,该模型利用顶部向下传播和底部向上传播的方式进行训练,并结合源帖信息来提升谣言的影响力。实验结果表明该方法在多个基准测试中优于先前的类似方法。
- AAAI通过对抗遗忘实现不变表示
本论文提供了一种新方法,通过对抗遗忘机制来实现深度神经网络的不变性,使其可以在多种数据集和任务中实现状态 - of-the-art 的性能。
- 跨领域机器学习公平性转移
本文通过领域自适应问题提出了新的理论和建模方法,为在新数据少的目标领域中改善公平性提供了解决方案,实证结果证明该方法能够较少数据的情况下改善公平指标
- 阈值型赌博机带有最优聚合遗憾
本文提出了 LSA 算法,用于解决阈值赌博机问题,证明了该算法在实例方面渐近最优,通过多种不同情况下的实证结果证明其优于现有算法的表现。
- EMNLP学习识别不连续实体
该研究聚焦于识别不连续实体,通过使用新的超图表示方法来编码不连续且重叠的实体,形成一个独特的模型。研究结果表明,该模型在处理大量不连续实体的数据时显示出较强的优势。