111qqz的小窝
🌐
中文 English

  • 几种梯度下降(GD)法的比较（转载）

    2017-07-10 · 3 min read · 梯度下降

    参考资料

    机器学习中梯度下降（Gradient Descent， GD）算法只需要计算损失函数的一阶导数，计算代价小，非常适合训练数据非常大的应用。

    梯度下降法的物理意义很好理解，就是沿着当前点的梯度方向进行线搜索，找到下一个迭代点。但是，为什么有会派生出 batch、mini-batch、online这些GD算法呢？


    阅读更多

111qqz

深度学习框架工程师@Tencent, ex-ICPCer@HUST
阅读更多

最新文章

  • caffe 源码阅读笔记
  • [施工中] cupy与torch的导入顺序不同对计算结果的影响
  • Build Onnxruntime With Bazel
  • 【施工中】gitlab ci docker executor指定用户执行
  • [施工中]caffe 源码学习笔记(11) softmax
  • 浅谈 Cpp Value Categories
  • redis学习笔记
  • [施工中] levelDB 代码阅读笔记 06 iterator
  • levelDB 代码阅读笔记 05 arena
  • levelDB 代码阅读笔记 04 filter

分类

ACM 913 其他 90 DEEP-LEARNING 68 面试 63 工程 59 随笔杂谈 59 计算机视觉 21 MOOC 15 优化 10 C++ 4

专栏

CAFFE源码阅读笔记 13 LEVELDB代码阅读笔记 9 CSAPP 7 CPP FAQ 1 MODERN CPP 1

标签

DP 71 MATH 49 线段树 43 BRUTE FORCE 39 LEETCODE 38 GREEDY 36 DFS 34 NUMBER THEORY 27 CPP 26 模拟 24 博弈论 22 构造 22 BINARY SEARCH 21 母函数 21
所有标签
01背包9 2-SAT1 6.8284 AC自动机4 ANACONDA1 ANCHOR BOX1 ANTI-SG2 ARCHLINUX2 ASYNC1 ATOM1 AVX1 AWK1 BAZEL1 BFS20 BINARY SEARCH21 BINARY SEARCH TREE1 BITSET优化4 BLOG1 BOOST1 BOOSTING1 BRUTE FORCE39 BSGS4 C++7 C++111 CACHE1 CAFFE14 CAFFE21 CALL STACK1 CALL_ONCE1 CDQ分治3 CHECKPOINT1 CHROMEBOOK1 CI1 CMAKE1 CODEFORCES1 CONDITION_VARIABLE1 CONVOLUTIONAL NEURAL NETWORK1 CPP26 CS231N1 CS3411 CSAPP7 CSE599W1 CUDA6 CUMULATIVE MATCH CHARACTERISTI1 CUPY1 D1 DFS34 DFS序1 DIJKSTRA2 DISCOURSE1 DL-SYS1 DOCKER6 DP71 EIGEN1 END-TO-END1 FACTORIAL NUMBER SYSTEM1 FASTER-RCNN3 FEATURE-PYRAMID-NETWORKS1 FEDORA1 FISH1 FLOYD10 FLOYD 判圈2 FPN1 FUTURE2 G++1 GALLIUMOS1 GCC1 GCD2 GDB1 GEDIT1 GEEKOS4 GITHUB1 GITLAB1 GOLANG1 GREEDY36 GRPC2 GRUB1 GRUNDY1 HALIDE2 HAPROXY1 HASH13 HASH MAP1 HASKELL1 HIGH PERFORMANCE COMPUTING1 HUGO2 IMAGE DENOISING1 INCEPTION1 JAVA5 JAVASCRIPT1 JDK1 JETSON NANO2 JSON1 K-MEANS2 K-SUM3 K8S2 KAFKA1 KD-TREE6 KM14 KMP19 KM算法1 LATENT FACTOR MODEL1 LATEX1 LAZY标记9 LCA10 LEETCODE38 LEVELDB10 LINEAR CLASSIFICATION1 LINUX9 LINUX MINT1 LIS5 LOG2 LRU2 LSTM1 LUA1 LUCAS定理3 MANACHER4 MANJARO3 MAP6 MATH49 MEAN AVERAGE PRECISION1 METRIC LEARNING1 MILLER-RABIN素数测试1 MODEL DISTILLATION1 MODEL-CONVERTOR1 MODERN CPP10 MPI1 MST6 MURMURHASH1 MUTUAL LEARNING1 MYSQL3 NERDTREE1 NETWORK1 NIM游戏4 NLP1 NMS1 NON-LOCAL MEANS1 NON-LOCAL NEURAL NETWORKS1 NUMBER THEORY27 NUMPY1 OBJECT DETECTION2 ONCE_FLAG1 ONNXRUNTIME1 PACKAGED_TASK1 PCA2 PERFECT FORWARDING1 PIPLINE1 POSE-DRIVEN1 PRIM1 PROMISE2 PROPERTY_TREE1 PROTOBUF1 PYTHON11 PYTORCH2 QT5 REACT3 REDIS1 REDUX1 REID3 RESNET2 RETINANET1 RMQ17 RNN1 SET8 SG函数12 SHADOWSOCKS2 SIMD1 SIMHASH1 SIMILARITY LEARNING1 SINGLE STATE DETECTOR1 SJ定理2 SLIDING WINDOWS1 SLIM1 SORT1 SORTINGS3 SPFA10 SPRING2 SSD1 STD::ANY1 STD::SHARED_PTR1 STEAM2 STL16 STREAM1 SUPERCOMPUTING1 SUPERVISOR1 TARJAN2 TENSORFLOW12 TENSORRT2 THREADING BUILDING BLOCKS1 THRUST1 TREE7 TRIE7 TRIPLET LOSS1 TSP2 TWO POINTER5 TYPESCRIPT1 UNICODE1 VALUE CATRGORY1 VARIADIC FUNCTION1 VARIETY1 VECTOR2 VIM6 VUNDLE1 WHITENING1 WORDPRESS1 YOUCOMPLETEME1 YUV IMAGE FORMAT1 巴什博奕5 百度1 贝尔数2 编译器1 编译原理1 并查集9 并行计算2 博弈论22 差分序列1 拆点6 尺取2 尺取法10 抽屉原理6 传递闭包5 次小生成树2 错排公式2 打表2 单调队列3 单调性优化1 单调栈10 递推2 第二类斯特林数1 动态连通性1 动态线段树1 对拍1 二次剩余4 二分2 二分图5 二分图匹配4 二分图最佳匹配14 二进制1 二维线段树1 二项式定理1 反素数5 反向传播1 斐波那契7 费马点1 费马小定理3 分布式消息系统1 分块12 分类讨论1 分治2 峰度1 符号表1 符号可见性1 概率13 高精度2 高斯消元1 哥德巴赫猜想1 勾股数1 构造22 观察者模式1 光流法1 后缀和1 后缀数组10 后缀自动机13 回文串2 回文自动机7 基础图论1 激活函数1 计数排序2 计数问题10 计算机视觉2 计算几何20 计组1 记忆化搜索2 剪枝1 交叉染色法6 交互题1 结论题1 京东1 局部敏感HASH2 矩形面积交1 矩形周长并1 矩阵20 矩阵快速幂5 康托展开2 康托展开/逆展开1 可持久化数据结构5 快速乘1 快速幂20 快速筛2 扩展BSGS2 扩展欧几里得算法8 括号匹配2 离散化11 连通性2 链式前向星1 路径DP1 路径记录2 乱搞6 曼哈顿距离4 枚举子集4 面试1 面试经历3 模拟24 模拟退火5 模型转换1 莫队算法10 母函数21 内存屏障1 逆序对5 逆元5 欧拉函数4 欧拉路1 爬虫2 爬山法1 排列组合8 裴蜀定理5 偏度1 前端6 前缀和17 区间DP13 区间第K大2 区间合并1 区间计数1 染色问题1 容斥原理5 三分2 扫描线4 筛法1 设计模式2 射线法1 剩余系3 输入挂2 树的直径9 树套树1 树形DP6 树状数组20 数据结构2 数据压缩1 数论2 数位DP17 数值计算方法2 数字图像处理2 水5 水题7 思维1 思维题7 四叉树1 拓扑排序7 泰勒展开3 贪心1 梯度下降1 同构1 凸包1 图论16 图论基础1 图像处理2 推荐系统3 完全背包2 位运算4 文明1 无向图的环3 系统调用1 细节题1 线段树43 协同过滤1 斜率优化3 辛普森积分2 匈牙利算法15 虚点1 蓄水池抽样1 循环节8 循环展开1 一致性哈希1 依赖注入1 优先队列4 游戏1 预处理1 栈1 正则表达式1 指数循环节7 置换群1 中国剩余定理4 重心1 主席树5 状态压缩1 状压DP1 字符串14 字符串DP1 字符串循环同构4 组成原理1 组合模式1 组合数学10 最大独立集1 最大连续和1 最大连续区间和3 最短路5 最小表示法7 最小顶点覆盖2 最小覆盖子串3 最小覆盖子矩形1 最小路径覆盖2 最小生成树2 最长公共字串4 最长路2 最长下降子序列1
[A~Z][0~9]
111qqz的小窝

Copyright  111QQZ的小窝. All Rights Reserved