文章

Transformer-XL: Unleashing the Potential of Attention Models

简介现实远程依赖问题,比如要正确理解文章内容,有时需要阅读多处段落,这对人来说轻松自如。但是,对神经网络来说,远程依赖问题依然是一个挑战。虽然基于门控的RNN(LSTM,GRU等)和梯度裁剪等技术提高了对远程依赖建模的能力,但仍不足以解决问题。其中一个解决方法就是使用Tran

已加载文章中没有匹配内容,试试其他关键词或清空搜索。