tmp

 

 

反向传播学习笔记

先说下自己目前很笼统的理解:

反向传播是用来快速计算梯度的一种方法;

过程大概是把计算过程用计算图表示,这样每一个中间步骤都有一个节点,每一个local gradient都会比较容易计算;

思想涉及 chain rule + 计算图 + 记忆化

因为计算不同自变量的偏导数会存在很多共同路径,[……]

Read more