《论文阅读》R-Drop:Regularized Dropout for Neural Network

《论文阅读》R-Drop:Regularized Dropout for Neural Network

时间:2021/10/29

收录:35th Conference on Neural Information Processing Systems(NeurIPS 2021)

类型:简单方法提高模型的泛化能力


摘要

Dropout 是一种强大且广泛使用的技术,用于规范深度神经网络的训练。虽然有效且表现良好,但 dropout 引入的随机性会导致训练和推理之间存在不可忽略的不一致。在本文中,我们引入了一种简单的一致性训练策略来正则化 dropout,即 R-Drop,它迫使 dropout 生成的不同子模型的输出分布相互一致。具体来说,对于每个训练样本,R-Drop 最小化了通过 dropout 采样的两个子模型的输出分布之间的双向 KL 散度。理论分析表明,R-Drop 减少了上述不一致性。对 5 个广泛使用的深度学习任务(共 18 个数据集)的实验,包括神经机器翻译、抽象摘要、语言理解、语言建模和图像分类,表明 R-Drop 是普遍有效的。特别是,当应用于微调大型预训练模型(例如 ViT、RoBERTa-large 和 BART)时,它产生了显着改进,并通过 vanilla Transformer 模型实现了最先进的 (SOTA) 性能在 WMT14 英语→德语翻译 (30.91 BLEU) 和 WMT14 英语→法语翻译 (43.95 BLEU) 上,甚至超过了使用超大规模数据训练的模型和专家设计的 Transformer 模型的高级变体。我们的代码在 GitHub2 上可用。

效果

你可能感兴趣的