Sinusoidal on 111qqz's bloghttps://111qqz.com/en/tags/sinusoidal/Recent content in Sinusoidal on 111qqz's blogHugo -- gohugo.ioenhust.111qqz@gmail.com (111qqz)hust.111qqz@gmail.com (111qqz)© 2011-2026 111qqzSat, 19 Sep 2026 14:00:00 +0800从标量整数到相对几何：Sinusoidal Positional Encoding 到底在设计什么？https://111qqz.com/en/post/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/2026-09-19-sinusoidal-positional-encoding/Sat, 19 Sep 2026 14:00:00 +0800hust.111qqz@gmail.com (111qqz)https://111qqz.com/en/post/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/2026-09-19-sinusoidal-positional-encoding/<p><a href="https://111qqz.com/en/post/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/2026-09-13-where-sequence-order-went/" >上一篇</a>走到了一个结论：去掉 recurrence 之后，Self-Attention 必须重新获得 positional information。position 可以加进 token 的 representation，两者相加不要求后续计算无损还原，只要下游能利用其中的信息就行。</p>