https://111qqz.com/en/tags/%E6%BF%80%E6%B4%BB%E5%87%BD%E6%95%B0/Recent content in 激活函数 on 111qqz's blogHugo -- gohugo.ioen© 2015-2026 111qqzSat, 22 Jul 2017 08:56:08 +0000https://111qqz.com/en/post/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A7%86%E8%A7%89/2017-07-22-common-activation-functions/Sat, 22 Jul 2017 08:56:08 +0000https://111qqz.com/en/post/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A7%86%E8%A7%89/2017-07-22-common-activation-functions/<h4 class="relative group">其实我觉得这部分可以直接黑箱。。。直接无脑上Leaky ReLU或者Maxou？不过对这些激活函数的特点有个high-level的了解应该总是没坏处的，只要别太纠结细节就好了把。。 <div id="其实我觉得这部分可以直接黑箱直接无脑上leaky-relu或者maxou不过对这些激活函数的特点有个high-level的了解应该总是没坏处的只要别太纠结细节就好了把" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e5%85%b6%e5%ae%9e%e6%88%91%e8%a7%89%e5%be%97%e8%bf%99%e9%83%a8%e5%88%86%e5%8f%af%e4%bb%a5%e7%9b%b4%e6%8e%a5%e9%bb%91%e7%ae%b1%e7%9b%b4%e6%8e%a5%e6%97%a0%e8%84%91%e4%b8%8aleaky-relu%e6%88%96%e8%80%85maxou%e4%b8%8d%e8%bf%87%e5%af%b9%e8%bf%99%e4%ba%9b%e6%bf%80%e6%b4%bb%e5%87%bd%e6%95%b0%e7%9a%84%e7%89%b9%e7%82%b9%e6%9c%89%e4%b8%aahigh-level%e7%9a%84%e4%ba%86%e8%a7%a3%e5%ba%94%e8%af%a5%e6%80%bb%e6%98%af%e6%b2%a1%e5%9d%8f%e5%a4%84%e7%9a%84%e5%8f%aa%e8%a6%81%e5%88%ab%e5%a4%aa%e7%ba%a0%e7%bb%93%e7%bb%86%e8%8a%82%e5%b0%b1%e5%a5%bd%e4%ba%86%e6%8a%8a" aria-label="Anchor">#</a> </span> </h4> <blockquote><p>每个激活函数（或非线性函数）的输入都是一个数字，然后对其进行某种固定的数学操作。下面是在实践中可能遇到的几种激活函数：</p>