Transformer算法完全解读

2017年6月谷歌发布论文《Attention is All You Need》,提出Transformer这一引燃机器学习领域的算法。数年过去,Transformer算法在计算机视觉、自然语言处理等众多应用领域展现了极为惊艳的表现。   大家都是神经网络,为何你的腰椎间盘却如此突出?   可以说,Transformer是完全基于自注意力机制的一个深度学习模型,且适用于并行化计算,导致它在精度和性能上都要高于之前流行的RNN循环神经网络。   在接下来的篇幅中,我们来详细梳理Transformer算法各个细枝末节原理,并结合B站视频教程:【Transformer为什么比CNN好!】中的代码实现,展示Transformer的整个建模流程。

你可能感兴趣的