Attention Is All You Need(图像上使用)
文章目录
参考文章:Attention Is All You Need 用于NLP的讲解
注意力机制(Attention)
目的:是用于捕捉图像的感受野。
Transformer
Transformer的本质是一个Encoder-Decoder的结构。在encoder中,数据首先会经过一个叫做‘self-attention’的模块得到一个加权之后的特征向量 \(Z\) ,这个 \(Z\) 便是论文公式1中的\(Attention(Q,K,V)\):
$$ Attention(Q,K,V)=softmax((QK^T)/√(d_k ))V (1) $$
得到 \(Z\) 之后,它会被送到encoder的下一个模块,即Feed Forward Neural Network。这个全连接有两层,第一层的激活函数是ReLU,第二层是一个线性激活函数,可以表示为
$$ FFN(Z)=max(0,ZW_1+b_1)W_2+b_2 (2) $$
目前在学习图像分割,transformer中的注意力机制还是挺重要的,持续更新。。。。。。
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论