Positional-Encoding

上一篇走到了一个结论：去掉 recurrence 之后，Self-Attention 必须重新获得 positional information。position 可以加进 token 的 representation，两者相加不要求后续计算无损还原，只要下游能利用其中的信息就行。

在Self-Attention 那篇里，去掉 recurrence 让不同位置可以并行计算。但顺序原本就编码在这条递推关系里；换成纯 self-attention 后，它由谁来表示？