背景

怎么算微分。。通常有三种方法。

• Symbolic Differentiation
• Numerical Differentiation
• Automatic Differentiation (auto diff)

c8589036cb6d845eb07a05441e2d32f8.md.png (图片已丢失: c8589036cb6d845eb07a05441e2d32f8.md.png)

7f409550ef544562ea67816c7a884fcb.md.png (图片已丢失: 7f409550ef544562ea67816c7a884fcb.md.png)

auto diff中两种主流的方式分别是forward-mode …