理解卷积神经网络中的自注意力机制
极市平台
共 2363字,需浏览 5分钟
· 2020-10-01
极市导读
本文以语义分割和编码器-解码器架构为例,说明了卷积神经网络(CNN)标准算法的局限性。同时,作者还解释了自注意力机制能缓解上述问题的原因。>>加入极市CV技术交流群,走在计算机视觉的最前沿
标准编解码结构的局限性
理解方差和协方差
CNN中的自注意力机制
深度学习的一个可解释性方法
参考资料
Non-local Neural Networks, Wang et al., CVPR 2018
Self-Attention Generative Adversarial Networks, Zhang et al. ICML 2019
Dual Attention Network for Scene Segmentation, Fu et al., CVPR 2019
Wikipedia, https://en.wikipedia.org/wiki/Covariance_matrix
Zhihu, https://zhuanlan.zhihu.com/p/37609917
推荐阅读
评论