先粗略读了2遍orz.可能不够严谨，先写一些high-level的理解。 对于序列或者图片数据，如果想获得一个long-range的依赖，通常的做法是循环神经网络（对于序列）或者深层的卷积神经网络（对于图片数据） 但是循环操作（当前的处理依赖于前面有限的若干个）和卷积操作都是一种局部操作。 但是这种局部操作是有一些局限的，比如不好优化，计算代价比较大等。 这篇paper提出了non-local 这个操作。 non-local操作是计算机视觉中广泛使用的一种降噪算法，即non-local mean的一般化。 non-local operation被认为是一个可以被广泛使用的操作，几乎可以和当前神经网络的其他部件结合。 含 …