ViT:Vision Transformer——论文简述

一、摘要

相关工作:transformer中的向量是512维的,而做图像分类中输入的图片是224×224,用像素点当输入效率太低;用resnet输出的特征图,序列长度14×14;轴向注意力,在H和W上分别做自注意力等等。

将nlp中的transformer模型搬到cv中。
将一张图片(224×224)分成16×16大小的patch(当作nlp中的单词),patch数量是14×14=196。
cnn有 translation equivariance 和 locality 两个归纳偏置,ViT在中等规模的数据集上比不上,但在JFT-300M上预训练后,ViT能获得更好的结果(图像分类)。

二、模型

ViT:Vision Transformer——论文简述_第1张图片
在这里插入图片描述
X:224×224×3
patch:16×16×3 = 768 = D(向量长度)
patch-num:14×14 = 196
Linear Projection(E):768×768
X×E = [196×768]×[768×768] = 196×768
拼接额外的[class] embedding = 1×768,从而197×768
(图像特征,最后输出的token接mlp做分类)
再加上position embedding = 1×768,总共197×768的tensor进编码器,出来也是197×768
(1D,可学习,更高维的效果不明显,较少数量的patch之间的相对位置信息,容易学到)

具体公式如下:
ViT:Vision Transformer——论文简述_第2张图片
编码器中MLP放大 4 倍,再缩小到原维度大小。
自注意力和mlp都加了残差。

三、实验

训练更便宜。
ViT:Vision Transformer——论文简述_第3张图片
如果想用 ViT,至少需要 ImageNet-21K 14M 大小的数据集,因为可扩展性 更好。 ;否则cnn更合适,更好的利用 inductive bias,ViT没有特别多 inductive bias,需要更多数据训练。

四、可视化

解释了1D的位置编码的效果同样不错等等。
网络越深,越能学习到很远距离的 pixel 信息。
与contrastive pre-training相结合:MOCOv3

你可能感兴趣的