Long Short-Term Memory (LSTM) 网络 学习笔记

参考资料:

维基百科_长短期记忆(LSTM)

Understanding LSTM Networks

[译] 理解 LSTM 网络

LSTM笔记

 

翻译的比较一般,建议看原文….比如cell还是不要翻译成【细胞】比较好吧…让人以为和生物学的【细胞】有什么关系呢orz

 

说下我自己的理解:

LSTM是一种特殊的RNN,所谓RNN,也就是循环神经网络,对之前的信息存在“记忆”,可以解决带有时序性的问题。

所谓时序性的问题,简单理解就是,当前的结果依赖于之前的信息。

比如“我来自内蒙古,我能讲一口流利的____” 横线处大概率填写“蒙语”,这是因为前面的信息“内蒙古”

LSTM的全称是long short term memory, LSTM默认就可以记住长期信息,从而实现信息的持久化。

LSTM的本质是一种构造法,通过特定的设计完成信息的持久化。

LSTM有如下结构:

1、cell单元

最基本的单元,从上一个时间节点到当前时间节点是线性控制的。LSTM能够通过门结构增加或者减少信息。
cell
门结构上有sigmoid层(输出0~1)作用,信息通过乘上一个0~1的来决定能够通过多少信息。
sigmoid门

2、forget门

forget门决定有多少历史信息能够通过,这一层通过ht1ht−1xtxt决定,ft=sigmoid(w(f)xt+u(i)ht1)[0,1]ft=sigmoid(w(f)xt+u(i)ht−1)∈[0,1]作用到Ct1Ct−1上。
forget门

3、input门和新的cell

input门是一个sigmoid层决定需要更新多少信息,新的cell是一个tanh层决定要添加多少信息进入记忆单元cell。分别为it=sigmoid(wixt+u(i)ht1)it=sigmoid(wixt+u(i)ht−1),与ct~=tanh(w(c)xt+ucht1)ct~=tanh(w(c)xt+ucht−1)

4、更新记忆单元

forget门作用在ct1ct−1上,input门和新的cell结合加入组合成新的记忆单元ct=ft.ct1+it.ct~ct=ft.∗ct−1+it.∗ct~
c_t

5、output门

添加sigmoid 的output门决定cell单元的信息有多少输出,而cell上套一个tanh使输出在-1到1之间,ot=sigmoid(w(o)xt+u(o)ht1)ot=sigmoid(w(o)xt+u(o)ht−1)ht=ot.tanh(ct)ht=ot.∗tanh(ct)

hdu 3078 Network (LCA)

题目链接

题意:

一棵树,给出点权,问一条树链上第k大的点权,点权可以动态修改。

思路:

暴力即可orz(数据是真的水啊。

求路径上的点的时候需要用到LCA

 

 

codeforces #425 D. Misha, Grisha and Underground (dfs+rmq在线求LCA,讨论了一年)

题目链接

题意:

给出一棵树,以及三个点(可能重合),问两两组成的3条路径中,哪2条路径重合部分最长。

思路:

LCA还是一下就能想到的,rmq+dfs在线求。

然后我开始分情况讨论,讨论了一年也没讨论完,哭哭

结论是:求出三个lca,并取深度最大的那个,就是我们要的三岔路口K,然后分别求出K到a,b,c三点的路径长度,取最大值+1就是答案。

所以我的问题在于,没有试图往一般性的方向考虑,以为讨论一下就可以了…

这大概就是所谓的猜结论?

感性的理解的话,LCA越深,意味着另一个点到LCA的距离越远,也就是相交的路径越长

但是我的话,估计还是很难在短短不到一个小时内得出这样一般性的结论orz…

这大概就是数学方面的天赋差距把…T T

 

 

codeforces #425 B. Petya and Exam (暴力)

题目链接

题意:

给出由小写字母,’?’和’*’组成的字符串s,仅由小写字母组成的字符串t,问按照规则s能否变成t.

规则如下:首先给出定义的[好字母]的字符串,[好字母]之外的都是[坏字母],对于s中每个‘?’,规定其必须替换为一个[好字母]

对于s中的每个‘*’,规定其必须替换为0个或者多个坏字母。

思路:

显然带*的会比较难搞。所以只说带*的情况

我WA了好多次,原因是一开始读错题(或者题意不太清楚?),认为*只能最多替换一个[坏字母]

后来在这个思路上改,越改越复杂orz

仔细想一下,关键点有两个,一个是当前位置有三种情况{没有经过*,经过*且仍在*的作用域内,经过*且已经出了*的作用域}

如何知道*的作用域呢?由于*的替换是连续的,因此只要对比s和t的长度差就可以了。

对于不同的作用域,普通字母的判断位置是不同的,在经过*的作用域之后,普通字母(包括‘?’)记得加一个offset

所以第二个关键点就是,对于*的替换,一次判断完多个。

除此之外,注意下*可能为空的特殊情况,特判一下比较保险。

 

 

 

 

hdu 2815 Mod Tree (扩展BSGS算法)

题意:k^D=n(%p),求最小的D  (1<=K, P, N<=10^9)

思路:出题人英文水平捉鸡。。。。

扩展BSGS算法即可,注意p>=n的时候显然是无解的,判掉。

 

manjaro(archlinux) 安装 YouCompleteMe

来来回回折腾了好多次,aur直接安装或者手动编译,安装后都无法补全

ycm的log文件是在/tmp目录下的。

发现问题是缺少libtinfo.so.5

解决办法:

参考a资料

比较诡异的是,我把vim配置删掉,就可以补全,以至于之前一直以为是ycm和配置文件中的某个内容冲突。

BZOJ 2480: Spoj3105 Mod (扩展BSGS算法,模板)

Description

已知数a,p,b,求满足a^x≡b(mod p)的最小自然数x。

Input

    每个测试文件中最多包含100组测试数据。
    每组数据中,每行包含3个正整数a,p,b。
    当a=p=b=0时,表示测试数据读入完全。

Output

    对于每组数据,输出一行。
    如果无解,输出“No Solution”(不含引号),否则输出最小自然数解。

Sample Input

5 58 33
2 4 3
0 0 0

Sample Output

9
No Solution

HINT

  100%的数据,a,p,b≤1e9。
2016.3.29新加数据一组 by  1430586275

 

思路:BSGS算法,需要注意这里没有保证(a,p)=1,因此不能直接使用BSGS算法。

我们称之为扩展BSGS算法…

但是其实并不是什么新东西,不过是几次gcd,将条件转化成满足BSGS算法的情况

 

python numpy 用法 简明手册

原文链接

感谢stanford,感谢原作者的翻译,我调整了一下代码格式,可以当做手册来用了,毕竟之前没怎么写过py 23333

 

 

译者注:本文智能单元首发,翻译自斯坦福CS231n课程笔记Python Numpy Tutorial,由课程教师Andrej Karpathy授权进行翻译。本篇教程由杜客翻译完成,Flood SungSunisDown巩子嘉和一位不愿透露ID的知友对本翻译亦有贡献。

原文如下

这篇教程由Justin Johnson创作。

我们将使用Python编程语言来完成本课程的所有作业。Python是一门伟大的通用编程语言,在一些常用库(numpy, scipy, matplotlib)的帮助下,它又会变成一个强大的科学计算环境。

我们期望你们中大多数人对于Python语言和Numpy库比较熟悉,而对于没有Python经验的同学,这篇教程可以帮助你们快速了解Python编程环境和如何使用Python作为科学计算工具。

一部分同学对于Matlab有一定经验。对于这部分同学,我们推荐阅读 numpy for Matlab users页面。

你们还可以查看本教程的IPython notebook版。该教程是由Volodymyr KuleshovIsaac Caswell为课程CS 228创建的。

内容列表:

  • Python
    • 基本数据类型
    • 容器
      • 列表
      • 字典
      • 集合
      • 元组
    • 函数
  • Numpy
    • 数组
    • 访问数组
    • 数据类型
    • 数组计算
    • 广播
  • SciPy
    • 图像操作
    • MATLAB文件
    • 点之间的距离
  • Matplotlib
    • 绘制图形
    • 绘制多个图形
    • 图像

Python

Python是一种高级的,动态类型的多范型编程语言。很多时候,大家会说Python看起来简直和伪代码一样,这是因为你能够通过很少行数的代码表达出很有力的思想。举个例子,下面是用Python实现的经典的quicksort算法例子:

 

Python版本

Python有两个支持的版本,分别是2.7和3.4。这有点让人迷惑,3.0向语言中引入了很多不向后兼容的变化,2.7下的代码有时候在3.4下是行不通的。在这个课程中,我们使用的是2.7版本。

如何查看版本呢?使用python –version命令。

基本数据类型

和大多数编程语言一样,Python拥有一系列的基本数据类型,比如整型、浮点型、布尔型和字符串等。这些类型的使用方式和在其他语言中的使用方式是类似的。

数字:整型和浮点型的使用与其他语言类似。

 

需要注意的是,Python中没有 x++ 和 x– 的操作符。

Python也有内置的长整型和复杂数字类型,具体细节可以查看文档

布尔型:Python实现了所有的布尔逻辑,但用的是英语,而不是我们习惯的操作符(比如&&和||等)。

 

字符串:Python对字符串的支持非常棒。

 

字符串对象有一系列有用的方法,比如:

 

如果想详细查看字符串方法,请看文档

容器Containers

译者注:有知友建议container翻译为复合数据类型,供读者参考。

Python有以下几种容器类型:列表(lists)、字典(dictionaries)、集合(sets)和元组(tuples)。

列表Lists

列表就是Python中的数组,但是列表长度可变,且能包含不同类型元素。

 

列表的细节,同样可以查阅文档

切片Slicing:为了一次性地获取列表中的元素,Python提供了一种简洁的语法,这就是切片。

 

在Numpy数组的内容中,我们会再次看到切片语法。

循环Loops:我们可以这样遍历列表中的每一个元素:

 

如果想要在循环体内访问每个元素的指针,可以使用内置的enumerate函数

 

列表推导List comprehensions:在编程的时候,我们常常想要将一种数据类型转换为另一种。下面是一个简单例子,将列表中的每个元素变成它的平方。

 

使用列表推导,你就可以让代码简化很多:

 

列表推导还可以包含条件:

[/crayon]

字典Dictionaries

字典用来储存(键, 值)对,这和Java中的Map差不多。你可以这样使用它:

 

想要知道字典的其他特性,请查阅文档

循环Loops:在字典中,用键来迭代更加容易。

 

如果你想要访问键和对应的值,那就使用iteritems方法:

 

字典推导Dictionary comprehensions:和列表推导类似,但是允许你方便地构建字典。

 

集合Sets

集合是独立不同个体的无序集合。示例如下:

 

和前面一样,要知道更详细的,查看文档

循环Loops:在集合中循环的语法和在列表中一样,但是集合是无序的,所以你在访问集合的元素的时候,不能做关于顺序的假设。

 

集合推导Set comprehensions:和字典推导一样,可以很方便地构建集合:

 

元组Tuples

元组是一个值的有序列表(不可改变)。从很多方面来说,元组和列表都很相似。和列表最重要的不同在于,元组可以在字典中用作键,还可以作为集合的元素,而列表不行。例子如下:

 

文档有更多元组的信息。

函数Functions

Python函数使用def来定义函数:

 

我们常常使用可选参数来定义函数:

 

函数还有很多内容,可以查看文档

类Classes

Python对于类的定义是简单直接的:

 

更多类的信息请查阅文档

Numpy

Numpy是Python中用于科学计算的核心库。它提供了高性能的多维数组对象,以及相关工具。

数组Arrays

一个numpy数组是一个由不同数值组成的网格。网格中的数据都是同一种数据类型,可以通过非负整型数的元组来访问。维度的数量被称为数组的阶,数组的大小是一个由整型数构成的元组,可以描述数组不同维度上的大小。

我们可以从列表创建数组,然后利用方括号访问其中的元素:

 

Numpy还提供了很多其他创建数组的方法:

 

其他数组相关方法,请查看文档

访问数组

Numpy提供了多种访问数组的方法。

切片:和Python列表类似,numpy数组可以使用切片语法。因为数组可以是多维的,所以你必须为每个维度指定好切片。

 

你可以同时使用整型和切片语法来访问数组。但是,这样做会产生一个比原数组低阶的新数组。需要注意的是,这里和MATLAB中的情况是不同的:

 

整型数组访问:当我们使用切片语法访问数组时,得到的总是原数组的一个子集。整型数组访问允许我们利用其它数组的数据构建一个新的数组:

 

整型数组访问语法还有个有用的技巧,可以用来选择或者更改矩阵中每行中的一个元素:

 

布尔型数组访问:布尔型数组访问可以让你选择数组中任意元素。通常,这种访问方式用于选取数组中满足某些条件的元素,举例如下:

 

为了教程的简介,有很多数组访问的细节我们没有详细说明,可以查看文档

数据类型

每个Numpy数组都是数据类型相同的元素组成的网格。Numpy提供了很多的数据类型用于创建数组。当你创建数组的时候,Numpy会尝试猜测数组的数据类型,你也可以通过参数直接指定数据类型,例子如下:

 

更多细节查看文档

数组计算

基本数学计算函数会对数组中元素逐个进行计算,既可以利用操作符重载,也可以使用函数方式:

 

和MATLAB不同,*是元素逐个相乘,而不是矩阵乘法。在Numpy中使用dot来进行矩阵乘法:

[/crayon]

Numpy提供了很多计算数组的函数,其中最常用的一个是sum

 

想要了解更多函数,可以查看文档

除了计算,我们还常常改变数组或者操作其中的元素。其中将矩阵转置是常用的一个,在Numpy中,使用T来转置矩阵:

 

Numpy还提供了更多操作数组的方法,请查看文档

广播Broadcasting

广播是一种强有力的机制,它让Numpy可以让不同大小的矩阵在一起进行数学计算。我们常常会有一个小的矩阵和一个大的矩阵,然后我们会需要用小的矩阵对大的矩阵做一些计算。

举个例子,如果我们想要把一个向量加到矩阵的每一行,我们可以这样做:

 

这样是行得通的,但是当x矩阵非常大,利用循环来计算就会变得很慢很慢。我们可以换一种思路:

 

Numpy广播机制可以让我们不用创建vv,就能直接运算,看看下面例子:

 

对两个数组使用广播机制要遵守下列规则:

  1. 如果数组的秩不同,使用1来将秩较小的数组进行扩展,直到两个数组的尺寸的长度都一样。
  2. 如果两个数组在某个维度上的长度是一样的,或者其中一个数组在该维度上长度为1,那么我们就说这两个数组在该维度上是相容的。
  3. 如果两个数组在所有维度上都是相容的,他们就能使用广播。
  4. 如果两个输入数组的尺寸不同,那么注意其中较大的那个尺寸。因为广播之后,两个数组的尺寸将和那个较大的尺寸一样。
  5. 在任何一个维度上,如果一个数组的长度为1,另一个数组长度大于1,那么在该维度上,就好像是对第一个数组进行了复制。

如果上述解释看不明白,可以读一读文档和这个解释译者注:强烈推荐阅读文档中的例子。

支持广播机制的函数是全局函数。哪些是全局函数可以在文档中查找。

下面是一些广播机制的使用:

 

广播机制能够让你的代码更简洁更迅速,能够用的时候请尽量使用!

Numpy文档

这篇教程涉及了你需要了解的numpy中的一些重要内容,但是numpy远不止如此。可以查阅numpy文献来学习更多。

SciPy

Numpy提供了高性能的多维数组,以及计算和操作数组的基本工具。SciPy基于Numpy,提供了大量的计算和操作数组的函数,这些函数对于不同类型的科学和工程计算非常有用。

熟悉SciPy的最好方法就是阅读文档。我们会强调对于本课程有用的部分。

图像操作

SciPy提供了一些操作图像的基本函数。比如,它提供了将图像从硬盘读入到数组的函数,也提供了将数组中数据写入的硬盘成为图像的函数。下面是一个简单的例子:

 

译者注:如果运行这段代码出现类似ImportError: cannot import name imread的报错,那么请利用pip进行Pillow的下载,可以解决问题。命令:pip install Pillow。

—————————————————————————————————————————

左边是原始图片,右边是变色和变形的图片。

—————————————————————————————————————————

MATLAB文件

函数scipy.io.loadmatscipy.io.savemat能够让你读和写MATLAB文件。具体请查看文档

点之间的距离

SciPy定义了一些有用的函数,可以计算集合中点之间的距离。

函数scipy.spatial.distance.pdist能够计算集合中所有两点之间的距离:

 

具体细节请阅读文档

函数scipy.spatial.distance.cdist可以计算不同集合中点的距离,具体请查看文档

Matplotlib

Matplotlib是一个作图库。这里简要介绍matplotlib.pyplot模块,功能和MATLAB的作图功能类似。

绘图

matplotlib库中最重要的函数是Plot。该函数允许你做出2D图形,如下:

 

运行上面代码会产生下面的作图:

—————————————————————————————————————————

—————————————————————————————————————————

只需要少量工作,就可以一次画不同的线,加上标签,坐标轴标志等。

 

—————————————————————————————————————————

—————————————————————————————————————————

可以在文档中阅读更多关于plot的内容。

绘制多个图像

可以使用subplot函数来在一幅图中画不同的东西:

 

—————————————————————————————————————————

—————————————————————————————————————————

关于subplot的更多细节,可以阅读文档

图像

你可以使用imshow函数来显示图像,如下所示:

 

—————————————————————————————————————————

—————————————————————————————————————————

BSGS(Baby steps giant steps)算法学习笔记

离散对数(Discrete Logarithm)问题是这样一个问题,它是对于模方程

a^x=b(mod prime),求满足条件的X,或者得出不存在这样的X

最暴力的思路,那么就是枚举x? 根据费马小定理,只需要枚举[0,p-1)

但是还是很大…我们不禁想到把x写成x=A*m+B的形式,m=ceil(sqrt(p))

因此有 a^{A\lceil \sqrt{p} \rceil + B} \equiv b \pmod p ,变形得到 a^{A\lceil \sqrt{p} \rceil} \equiv b\cdot a^{-B} \pmod p

然后预处理一边存到map中,从小到大枚举另一边看是否存在…

 

我们可以设 x=A \lceil \sqrt{p} \rceil - B,其中 0 \leq B < \lceil \sqrt{p} \rceil,  0 < A \leq \lceil \sqrt{p} \rceil + 1,这样的话化简后的方程就是

 a^{A\lceil \sqrt{p} \rceil} \equiv b\cdot a^B \pmod p

就可以不用求出逆元,要注意只是不用求出逆元,而不是没有用到逆元的存在

就可以不用求出逆元,要注意只是不用求出逆元,而不是没有用到逆元的存在

就可以不用求出逆元,要注意只是不用求出逆元,而不是没有用到逆元的存在

 

其实在m=sqrt(p)的时候你可能就有预感了…

BSGS算法的本质,就是个分块啊,而分块的本质就是暴力乱搞…所以BSGS看起来很高大上的算法不过是暴力乱搞2333

而BSGS的名字也很贴切…A的变化是giant step?B的变化是baby step? (纯属yy…但是我感觉这样想很好理解啊?

需要注意的是,这里介绍的是常规的BSGS算法,

前提条件是a和P互质

前提条件是a和P互质

前提条件是a和P互质

放一个板子好了,poj 2417

 

参考资料:

一个很多BSGS算法初学者的误区

扩展大步小步法解决离散对数问题

大步小步算法与扩展大步小步算法

BSGS算法学习小记(大步小步算法)

 

 

 

poj 2417 Discrete Logging (BSGS算法)

题目链接

题意:

Given a prime P, 2 <= P < 231, an integer B, 2 <= B < P, and an integer N, 1 <= N < P, compute the discrete logarithm of N, base B, modulo P. That is, find an integer L such that
BL == N (mod P)

思路:bsgs算法

详情见BSGS算法笔记

然后被map的count坑了一下? 我想判断map中某个key是否存在,用count会TLE,find也会TLE,[]可以通过….不太懂,复杂度不都是log吗,差常数?还是有人会退化?

不过似乎[]比较安全就对了。

 

stanford cs 231n:常用激活函数

其实我觉得这部分可以直接黑箱。。。直接无脑上Leaky ReLU或者Maxou?不过对这些激活函数的特点有个high-level的了解应该总是没坏处的,只要别太纠结细节就好了把。。

 

 

每个激活函数(或非线性函数)的输入都是一个数字,然后对其进行某种固定的数学操作。下面是在实践中可能遇到的几种激活函数:

————————————————————————————————————————

左边是Sigmoid非线性函数,将实数压缩到[0,1]之间。右边是tanh函数,将实数压缩到[-1,1]。

————————————————————————————————————————

Sigmoid。sigmoid非线性函数的数学公式是\displaystyle\sigma(x)=1/(1+e^{-x}),函数图像如上图的左边所示。在前一节中已经提到过,它输入实数值并将其“挤压”到0到1范围内。更具体地说,很大的负数变成0,很大的正数变成1。在历史上,sigmoid函数非常常用,这是因为它对于神经元的激活频率有良好的解释:从完全不激活(0)到在求和后的最大频率处的完全饱和(saturated)的激活(1)。然而现在sigmoid函数已经不太受欢迎,实际很少使用了,这是因为它有两个主要缺点:

  • Sigmoid函数饱和使梯度消失。sigmoid神经元有一个不好的特性,就是当神经元的激活在接近0或1处时会饱和:在这些区域,梯度几乎为0。回忆一下,在反向传播的时候,这个(局部)梯度将会与整个损失函数关于该门单元输出的梯度相乘。因此,如果局部梯度非常小,那么相乘的结果也会接近零,这会有效地“杀死”梯度,几乎就有没有信号通过神经元传到权重再到数据了。还有,为了防止饱和,必须对于权重矩阵初始化特别留意。比如,如果初始化权重过大,那么大多数神经元将会饱和,导致网络就几乎不学习了。
  • Sigmoid函数的输出不是零中心的。这个性质并不是我们想要的,因为在神经网络后面层中的神经元得到的数据将不是零中心的。这一情况将影响梯度下降的运作,因为如果输入神经元的数据总是正数(比如在f=w^Tx+b中每个元素都x>0),那么关于w的梯度在反向传播的过程中,将会要么全部是正数,要么全部是负数(具体依整个表达式f而定)。这将会导致梯度下降权重更新时出现z字型的下降。然而,可以看到整个批量的数据的梯度被加起来后,对于权重的最终更新将会有不同的正负,这样就从一定程度上减轻了这个问题。因此,该问题相对于上面的神经元饱和问题来说只是个小麻烦,没有那么严重。

Tanh。tanh非线性函数图像如上图右边所示。它将实数值压缩到[-1,1]之间。和sigmoid神经元一样,它也存在饱和问题,但是和sigmoid神经元不同的是,它的输出是零中心的。因此,在实际操作中,tanh非线性函数比sigmoid非线性函数更受欢迎。注意tanh神经元是一个简单放大的sigmoid神经元,具体说来就是:tanh(x)=2\sigma(2x)-1

————————————————————————————————————————

左边是ReLU(校正线性单元:Rectified Linear Unit)激活函数,当x=0时函数值为0。当x>0函数的斜率为1。右边是从 Krizhevsky等的论文中截取的图表,指明使用ReLU比使用tanh的收敛快6倍。

————————————————————————————————————————

ReLU。在近些年ReLU变得非常流行。它的函数公式是f(x)=max(0,x)。换句话说,这个激活函数就是一个关于0的阈值(如上图左侧)。使用ReLU有以下一些优缺点:

  • 优点:相较于sigmoid和tanh函数,ReLU对于随机梯度下降的收敛有巨大的加速作用( Krizhevsky 等的论文指出有6倍之多)。据称这是由它的线性,非饱和的公式导致的。
  • 优点:sigmoid和tanh神经元含有指数运算等耗费计算资源的操作,而ReLU可以简单地通过对一个矩阵进行阈值计算得到。
  • 缺点:在训练的时候,ReLU单元比较脆弱并且可能“死掉”。举例来说,当一个很大的梯度流过ReLU的神经元的时候,可能会导致梯度更新到一种特别的状态,在这种状态下神经元将无法被其他任何数据点再次激活。如果这种情况发生,那么从此所以流过这个神经元的梯度将都变成0。也就是说,这个ReLU单元在训练中将不可逆转的死亡,因为这导致了数据多样化的丢失。例如,如果学习率设置得太高,可能会发现网络中40%的神经元都会死掉(在整个训练集中这些神经元都不会被激活)。通过合理设置学习率,这种情况的发生概率会降低。

Leaky ReLU。Leaky ReLU是为解决“ReLU死亡”问题的尝试。ReLU中当x<0时,函数值为0。而Leaky ReLU则是给出一个很小的负数梯度值,比如0.01。所以其函数公式为f(x)=1(x<0)(\alpha x)+1(x>=0)(x)其中\alpha是一个小的常量。有些研究者的论文指出这个激活函数表现很不错,但是其效果并不是很稳定。Kaiming He等人在2015年发布的论文Delving Deep into Rectifiers中介绍了一种新方法PReLU,把负区间上的斜率当做每个神经元中的一个参数。然而该激活函数在在不同任务中均有益处的一致性并没有特别清晰。

Maxout。一些其他类型的单元被提了出来,它们对于权重和数据的内积结果不再使用f(w^Tx+b)函数形式。一个相关的流行选择是Maxout(最近由Goodfellow等发布)神经元。Maxout是对ReLU和leaky ReLU的一般化归纳,它的函数是:max(w^T_1x+b_1,w^T_2x+b_2)。ReLU和Leaky ReLU都是这个公式的特殊情况(比如ReLU就是当w_1,b_1=0的时候)。这样Maxout神经元就拥有ReLU单元的所有优点(线性操作和不饱和),而没有它的缺点(死亡的ReLU单元)。然而和ReLU对比,它每个神经元的参数数量增加了一倍,这就导致整体参数的数量激增。

以上就是一些常用的神经元及其激活函数。最后需要注意一点:在同一个网络中混合使用不同类型的神经元是非常少见的,虽然没有什么根本性问题来禁止这样做。

一句话:“那么该用那种呢?”用ReLU非线性函数。注意设置好学习率,或许可以监控你的网络中死亡的神经元占的比例。如果单元死亡问题困扰你,就试试Leaky ReLU或者Maxout,不要再用sigmoid了。也可以试试tanh,但是其效果应该不如ReLU或者Maxout。

SLURM 集群环境使用指南

虽然现在感觉这些命令记起来都很容易,但是一段时间不用的话还真怕有些不记得。

sinfo: 查看集群节点的信息,其中state为idle的是空闲的。

squeue: 查看目前的任务队列。

swatch  [ID]  nv  : 动态查看某一个任务的GPU情况。 其中[ID]通过squeue 查看

scancel [ID] : 取消特定ID的任务(注意不要用Kill)

 

传文件到DATAshare目录下时,一定记得要先 chmod -R 777 

tensorboard报错缺少某.so文件的解决办法:

export LD_LIBRARY_PATH=/mnt/lustre/share/cuda-9.0/lib64

how to copy & modify nets model on tensorflow slim

想要修改tensorflow-slim 中 nets中的某个model,例如明明为kk_v2.py

观察到train_image_classifier.py中调用模型的部分

调用了nets_factory.get_network_fn,get_network如下:

 

我们看到model name 是通过 networks_map映射到func的

因此需要添加对于我们新的model,kk_v2的映射

由于train_image_classifier.py中有如下参数,