使用python计算误差代码

需要提供两个文件,并且两个文件的数据格式相同。

pytorch 函数笔记

记录一些常用的…总去查文档也是有点麻烦

  • tensor.view 的作用是reshape 比如 a = torch.range(1, 16) 得到一个tensor  that has 16 elements from 1 to 16. 在a=a.view(4,4)就得到了一个4*4的tensor。 需要注意reshape之后元素的个数不能改变(16==4*4)  参数-1的作用是,我懒得算这一维度应该是多少,(由于元素个数不能改变)所以希望自动被计算。需要注意的是,只有一个维度可以写-1。 不过view和reshape有些区别:reshape always copies memory. view never copies memory

  • torch.squeeze  将输入张量形状中的 1 去除并返回。 如果输入是形如(A×1×B×1×C×1×D),那么输出形状就为: (A×B×C×D)当给定 dim时,那么挤压操作只在给定维度上。例如,输入形状为: (A×1×B)squeeze(input, 0) 将会保持张量不变,只有用  squeeze(input, 1),形状会变成 (A×B)。注意: 返回张量与输入张量共享内存,所以改变其中一个的内容会改变另一个。

  • torch.unsqueeze  返回一个新的张量,对输入的制定位置插入维度 1 注意: 返回张量与输入张量共享内存,所以改变其中一个的内容会改变另一个。如果 dim为负,则将会被转化dim+input.dim()+1

     

  • tensor.expand(*size)   扩展tensor.可以保持维度数目不变,每一维度的size增加(比如A*B变到C*D,其中C>=A,D>=B).-1参数表示某一个维度的size不发生改变  . 有可以扩展tensor到更多的维度,新增加的维度会默认放在最前面,并且不能以-1作为参数。

  • tensor.contiguous  将一个tensor变成连续的。(一些ops如expand/expand_as会让tensor 不连续)

正则匹配中文及常用正则表达式 (转载)

先放一个同事安利给我的网站:regex101

查询匹配的中文字符unicode编码

 

正则表达式用于字符串处理、表单验证、日志数据分析等场合,实用高效。现将自己走网上搜索并总结的常用方法收集了一下:

匹配中文字符的正则表达式: [\u4e00-\u9fa5]
注:匹配中文还真是个头疼的事,有了这个表达式就好办了

匹配双字节字符(包括汉字在内):[^\x00-\xff]
注:可以用来计算字符串的长度(一个双字节字符长度计2,ASCII字符计1)

匹配空白行的正则表达式:\n\s*\r
注:可以用来删除空白行

匹配HTML标记的正则表达式:<(\S?)[^>]>.?</>|<.? />
注:网上流传的版本太糟糕,上面这个也仅仅能匹配部分,对于复杂的嵌套标记依旧无能为力

匹配首尾空白字符的正则表达式:^\s|\s$
注:可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等),非常有用的表达式

匹配Email地址的正则表达式:\w+([-+.]\w+)@\w+([-.]\w+).\w+([-.]\w+)*
注:表单验证时很实用

匹配网址URL的正则表达式:[a-zA-z]+://[^\s]*
注:网上流传的版本功能很有限,上面这个基本可以满足需求

匹配帐号是否合法(字母开头,允许5-16字节,允许字母数字下划线):^[a-zA-Z][a-zA-Z0-9_]$
注:表单验证时很实用

匹配国内电话号码:\d-\d|\d-\d
注:匹配形式如 0511-4405222 或 021-87888822

匹配腾讯QQ号:[1-9][0-9]
注:腾讯QQ号从10000开始

匹配中国邮政编码:[1-9]\d(?!\d)
注:中国邮政编码为6位数字

匹配身份证:\d|\d
注:中国的身份证为15位或18位

匹配ip地址:\d+.\d+.\d+.\d+
注:提取ip地址时有用

匹配特定数字:
^[1-9]\d$    //匹配正整数
^-[1-9]\d
$   //匹配负整数
^-?[1-9]\d$   //匹配整数
^[1-9]\d
|0$  //匹配非负整数(正整数 + 0)
^-[1-9]\d|0$   //匹配非正整数(负整数 + 0)
^[1-9]\d
.\d|0.\d[1-9]\d$   //匹配正浮点数
^-([1-9]\d
.\d|0.\d[1-9]\d)$  //匹配负浮点数
^-?([1-9]\d
.\d|0.\d[1-9]\d|0?.0+|0)$  //匹配浮点数
^[1-9]\d
.\d|0.\d[1-9]\d|0?.0+|0$   //匹配非负浮点数(正浮点数 + 0)
^(-([1-9]\d
.\d|0.\d[1-9]\d*))|0?.0+|0$  //匹配非正浮点数(负浮点数 + 0)
注:处理大量数据时有用,具体应用时注意修正

匹配特定字符串:
^[A-Za-z]+$  //匹配由26个英文字母组成的字符串
^[A-Z]+$  //匹配由26个英文字母的大写组成的字符串
^[a-z]+$  //匹配由26个英文字母的小写组成的字符串
^[A-Za-z0-9]+$  //匹配由数字和26个英文字母组成的字符串
^\w+$  //匹配由数字、26个英文字母或者下划线组成的字符串
注:最基本也是最常用的一些表达式

 


下面记录我用到的匹配:

匹配工作年数:  [1-9][0-9]*[\u5e74]

 

python只获取当前目录下的文件夹及文件名

如果需要遍历文件夹下的所以文件,可以使用os.walk()方法。

举个列处当前目录所有文件夹的例子:

 

参考资料

python join 和 split的常用使用方法

python处理字符串果然厉害…怪不得今年面头条的那个字符串处理的题…没有竞赛经历的同学都能分分钟用py秒掉。。而我(以为语言选了就不能再改)去写c艹。。。写了一年
令人窒息的操作.jpg

参考资料: python join 和 split的常用使用方法

python numpy 用法 简明手册

原文链接

感谢stanford,感谢原作者的翻译,我调整了一下代码格式,可以当做手册来用了,毕竟之前没怎么写过py 23333

 

 

译者注:本文智能单元首发,翻译自斯坦福CS231n课程笔记Python Numpy Tutorial,由课程教师Andrej Karpathy授权进行翻译。本篇教程由杜客翻译完成,Flood SungSunisDown巩子嘉和一位不愿透露ID的知友对本翻译亦有贡献。

原文如下

这篇教程由Justin Johnson创作。

我们将使用Python编程语言来完成本课程的所有作业。Python是一门伟大的通用编程语言,在一些常用库(numpy, scipy, matplotlib)的帮助下,它又会变成一个强大的科学计算环境。

我们期望你们中大多数人对于Python语言和Numpy库比较熟悉,而对于没有Python经验的同学,这篇教程可以帮助你们快速了解Python编程环境和如何使用Python作为科学计算工具。

一部分同学对于Matlab有一定经验。对于这部分同学,我们推荐阅读 numpy for Matlab users页面。

你们还可以查看本教程的IPython notebook版。该教程是由Volodymyr KuleshovIsaac Caswell为课程CS 228创建的。

内容列表:

  • Python
    • 基本数据类型
    • 容器
      • 列表
      • 字典
      • 集合
      • 元组
    • 函数
  • Numpy
    • 数组
    • 访问数组
    • 数据类型
    • 数组计算
    • 广播
  • SciPy
    • 图像操作
    • MATLAB文件
    • 点之间的距离
  • Matplotlib
    • 绘制图形
    • 绘制多个图形
    • 图像

Python

Python是一种高级的,动态类型的多范型编程语言。很多时候,大家会说Python看起来简直和伪代码一样,这是因为你能够通过很少行数的代码表达出很有力的思想。举个例子,下面是用Python实现的经典的quicksort算法例子:

 

Python版本

Python有两个支持的版本,分别是2.7和3.4。这有点让人迷惑,3.0向语言中引入了很多不向后兼容的变化,2.7下的代码有时候在3.4下是行不通的。在这个课程中,我们使用的是2.7版本。

如何查看版本呢?使用python –version命令。

基本数据类型

和大多数编程语言一样,Python拥有一系列的基本数据类型,比如整型、浮点型、布尔型和字符串等。这些类型的使用方式和在其他语言中的使用方式是类似的。

数字:整型和浮点型的使用与其他语言类似。

 

需要注意的是,Python中没有 x++ 和 x– 的操作符。

Python也有内置的长整型和复杂数字类型,具体细节可以查看文档

布尔型:Python实现了所有的布尔逻辑,但用的是英语,而不是我们习惯的操作符(比如&&和||等)。

 

字符串:Python对字符串的支持非常棒。

 

字符串对象有一系列有用的方法,比如:

 

如果想详细查看字符串方法,请看文档

容器Containers

译者注:有知友建议container翻译为复合数据类型,供读者参考。

Python有以下几种容器类型:列表(lists)、字典(dictionaries)、集合(sets)和元组(tuples)。

列表Lists

列表就是Python中的数组,但是列表长度可变,且能包含不同类型元素。

 

列表的细节,同样可以查阅文档

切片Slicing:为了一次性地获取列表中的元素,Python提供了一种简洁的语法,这就是切片。

 

在Numpy数组的内容中,我们会再次看到切片语法。

循环Loops:我们可以这样遍历列表中的每一个元素:

 

如果想要在循环体内访问每个元素的指针,可以使用内置的enumerate函数

 

列表推导List comprehensions:在编程的时候,我们常常想要将一种数据类型转换为另一种。下面是一个简单例子,将列表中的每个元素变成它的平方。

 

使用列表推导,你就可以让代码简化很多:

 

列表推导还可以包含条件:

[/crayon]

字典Dictionaries

字典用来储存(键, 值)对,这和Java中的Map差不多。你可以这样使用它:

 

想要知道字典的其他特性,请查阅文档

循环Loops:在字典中,用键来迭代更加容易。

 

如果你想要访问键和对应的值,那就使用iteritems方法:

 

字典推导Dictionary comprehensions:和列表推导类似,但是允许你方便地构建字典。

 

集合Sets

集合是独立不同个体的无序集合。示例如下:

 

和前面一样,要知道更详细的,查看文档

循环Loops:在集合中循环的语法和在列表中一样,但是集合是无序的,所以你在访问集合的元素的时候,不能做关于顺序的假设。

 

集合推导Set comprehensions:和字典推导一样,可以很方便地构建集合:

 

元组Tuples

元组是一个值的有序列表(不可改变)。从很多方面来说,元组和列表都很相似。和列表最重要的不同在于,元组可以在字典中用作键,还可以作为集合的元素,而列表不行。例子如下:

 

文档有更多元组的信息。

函数Functions

Python函数使用def来定义函数:

 

我们常常使用可选参数来定义函数:

 

函数还有很多内容,可以查看文档

类Classes

Python对于类的定义是简单直接的:

 

更多类的信息请查阅文档

Numpy

Numpy是Python中用于科学计算的核心库。它提供了高性能的多维数组对象,以及相关工具。

数组Arrays

一个numpy数组是一个由不同数值组成的网格。网格中的数据都是同一种数据类型,可以通过非负整型数的元组来访问。维度的数量被称为数组的阶,数组的大小是一个由整型数构成的元组,可以描述数组不同维度上的大小。

我们可以从列表创建数组,然后利用方括号访问其中的元素:

 

Numpy还提供了很多其他创建数组的方法:

 

其他数组相关方法,请查看文档

访问数组

Numpy提供了多种访问数组的方法。

切片:和Python列表类似,numpy数组可以使用切片语法。因为数组可以是多维的,所以你必须为每个维度指定好切片。

 

你可以同时使用整型和切片语法来访问数组。但是,这样做会产生一个比原数组低阶的新数组。需要注意的是,这里和MATLAB中的情况是不同的:

 

整型数组访问:当我们使用切片语法访问数组时,得到的总是原数组的一个子集。整型数组访问允许我们利用其它数组的数据构建一个新的数组:

 

整型数组访问语法还有个有用的技巧,可以用来选择或者更改矩阵中每行中的一个元素:

 

布尔型数组访问:布尔型数组访问可以让你选择数组中任意元素。通常,这种访问方式用于选取数组中满足某些条件的元素,举例如下:

 

为了教程的简介,有很多数组访问的细节我们没有详细说明,可以查看文档

数据类型

每个Numpy数组都是数据类型相同的元素组成的网格。Numpy提供了很多的数据类型用于创建数组。当你创建数组的时候,Numpy会尝试猜测数组的数据类型,你也可以通过参数直接指定数据类型,例子如下:

 

更多细节查看文档

数组计算

基本数学计算函数会对数组中元素逐个进行计算,既可以利用操作符重载,也可以使用函数方式:

 

和MATLAB不同,*是元素逐个相乘,而不是矩阵乘法。在Numpy中使用dot来进行矩阵乘法:

[/crayon]

Numpy提供了很多计算数组的函数,其中最常用的一个是sum

 

想要了解更多函数,可以查看文档

除了计算,我们还常常改变数组或者操作其中的元素。其中将矩阵转置是常用的一个,在Numpy中,使用T来转置矩阵:

 

Numpy还提供了更多操作数组的方法,请查看文档

广播Broadcasting

广播是一种强有力的机制,它让Numpy可以让不同大小的矩阵在一起进行数学计算。我们常常会有一个小的矩阵和一个大的矩阵,然后我们会需要用小的矩阵对大的矩阵做一些计算。

举个例子,如果我们想要把一个向量加到矩阵的每一行,我们可以这样做:

 

这样是行得通的,但是当x矩阵非常大,利用循环来计算就会变得很慢很慢。我们可以换一种思路:

 

Numpy广播机制可以让我们不用创建vv,就能直接运算,看看下面例子:

 

对两个数组使用广播机制要遵守下列规则:

  1. 如果数组的秩不同,使用1来将秩较小的数组进行扩展,直到两个数组的尺寸的长度都一样。
  2. 如果两个数组在某个维度上的长度是一样的,或者其中一个数组在该维度上长度为1,那么我们就说这两个数组在该维度上是相容的。
  3. 如果两个数组在所有维度上都是相容的,他们就能使用广播。
  4. 如果两个输入数组的尺寸不同,那么注意其中较大的那个尺寸。因为广播之后,两个数组的尺寸将和那个较大的尺寸一样。
  5. 在任何一个维度上,如果一个数组的长度为1,另一个数组长度大于1,那么在该维度上,就好像是对第一个数组进行了复制。

如果上述解释看不明白,可以读一读文档和这个解释译者注:强烈推荐阅读文档中的例子。

支持广播机制的函数是全局函数。哪些是全局函数可以在文档中查找。

下面是一些广播机制的使用:

 

广播机制能够让你的代码更简洁更迅速,能够用的时候请尽量使用!

Numpy文档

这篇教程涉及了你需要了解的numpy中的一些重要内容,但是numpy远不止如此。可以查阅numpy文献来学习更多。

SciPy

Numpy提供了高性能的多维数组,以及计算和操作数组的基本工具。SciPy基于Numpy,提供了大量的计算和操作数组的函数,这些函数对于不同类型的科学和工程计算非常有用。

熟悉SciPy的最好方法就是阅读文档。我们会强调对于本课程有用的部分。

图像操作

SciPy提供了一些操作图像的基本函数。比如,它提供了将图像从硬盘读入到数组的函数,也提供了将数组中数据写入的硬盘成为图像的函数。下面是一个简单的例子:

 

译者注:如果运行这段代码出现类似ImportError: cannot import name imread的报错,那么请利用pip进行Pillow的下载,可以解决问题。命令:pip install Pillow。

—————————————————————————————————————————

左边是原始图片,右边是变色和变形的图片。

—————————————————————————————————————————

MATLAB文件

函数scipy.io.loadmatscipy.io.savemat能够让你读和写MATLAB文件。具体请查看文档

点之间的距离

SciPy定义了一些有用的函数,可以计算集合中点之间的距离。

函数scipy.spatial.distance.pdist能够计算集合中所有两点之间的距离:

 

具体细节请阅读文档

函数scipy.spatial.distance.cdist可以计算不同集合中点的距离,具体请查看文档

Matplotlib

Matplotlib是一个作图库。这里简要介绍matplotlib.pyplot模块,功能和MATLAB的作图功能类似。

绘图

matplotlib库中最重要的函数是Plot。该函数允许你做出2D图形,如下:

 

运行上面代码会产生下面的作图:

—————————————————————————————————————————

—————————————————————————————————————————

只需要少量工作,就可以一次画不同的线,加上标签,坐标轴标志等。

 

—————————————————————————————————————————

—————————————————————————————————————————

可以在文档中阅读更多关于plot的内容。

绘制多个图像

可以使用subplot函数来在一幅图中画不同的东西:

 

—————————————————————————————————————————

—————————————————————————————————————————

关于subplot的更多细节,可以阅读文档

图像

你可以使用imshow函数来显示图像,如下所示:

 

—————————————————————————————————————————

—————————————————————————————————————————

libgfortran.so.4 missing under archlinux

。。。哭了哦。。终于解决了这个bug

参考资料:

libgfortran broken?

libgfortran=3.0 should not be install with numpy <= 1.9

[SOLVED] libgfortran.so.3:cannot open shared object file: No such file

Replacing gcc-libs-libs with gcc-multilib [arch

conflict with gcc-libs and gcc-libs-multilib on latest update

一开始以为是anaconda相关。。。搞了半天。。。

然后又按照第一个资料里。。。试图把libgfortran用libgcc替代。。

发现删掉libgfortran会同时删掉scripy…

然后又觉得。。或许是scripy有什么问题?

查了一会也没发现什么。。。

后来又想也许是dlib的问题?

看了下dlib的github,说是pip 的安装方式可能存在问题,我又用源码安装了一边,问题依旧….

然后本来打算睡觉了。。。

突然梦到。。。也许是arch的问题呢。。。

一搜果然是。。。MGJ。。。这bug出现的时间。。。貌似是2017年5月30号以后。。。(具体参照最后一个资料的日期。。。

而且这。。。谁能想到是arch的锅啊。。。更别说是这么新鲜的bug…

所以说arch是不是不适合跑深度学习,做科学计算之类的啊orz….

最后说下解决办法:

 

conda升级anaconda ValueError的解决办法

查到了这个:anaconda update issue

I have narrowed this down to the following packages:

package build
psutil-1.2.1 py27_0 hard-link
pycparser-2.10 py27_0 hard-link
pykit-0.1.0 np18py27_2 hard-link
pyparsing-2.0.1 py27_0 hard-link

by calling “conda install anaconda” and then successfully installing everything else one at a time.
These four packages consistently exhibit the described behaviour.
(note: pykit depends on pycparser so may itself be ok – can’t tell)

 

我先把psutil卸载掉,重新update了一下,成功。

 

数字图像处理大作业(初步)

…先随便记录一下好了。。。

  • 神经网络识别数字或者字母?
  • 识别车牌号?
  • not hot dog?

 

 

安装python pandas pandas

发现之前装caffe的时候…装了这个东西。。。

但是就是检测不到?于是卸载重装。。。。

需要注意的是,如果是python2,要用pip2 install pandas,如果是python3,要用pip3 install pandas.

 

安装tensorflow…直接sudo pacman -Syu python-tensorflow 即可。。。

然后装好之后检测不到orz…感觉还是pip的安装方式比较靠谱。。。

pip2 install tensorflow

tensorflow_pip安装

我的环境是python2.7

安装成功。。然后发现。。numpy挂了(?????

 

SO上给出的建议

感觉之后还会各种遇到不同python版本导致的问题。。。。那就上anaconda好了。。。

试了anaconda…想法挺好。。但是貌似还不成熟.。。比如用anaconda安装numpy会报错orz..

最后解决办法是。。。卸载了python-numpy以及所有依赖python-numpy的a包;卸载了python2-numpy以及所有a依赖python2-numpy的包

然后重新安装了python2-numpy

以及发现。。。还有些坑是shellaa相关的.。。y所以暂时不要用fish了。。。

 

然后提示Missing required dependencies [‘dateutil’]

解决办法是安装python2-datautil

以及各种pip安装。。都记得要pip2而不是pip

中间缺少一堆库。。。大部分直接安装就好了。。。记得要安装python2对应的版本。。。

然后对于ImportError: No module named tensorboard.plugins

解决办法 是将tensorflow升级到1.0以上(安装之后的版本默认为0.1)

sudo proxychains4 pip2 install tensorflow –upgrade

 

 

 

 

 

 

 

vim下python 的配置

由于最近要做数字图像处理的大作业,以及之后一段时间,估计写python多一些,所以打算花些时间配置下vim.

1. 一键执行

其实之前一直有的。。不过没有效果,就没有管。发现问题是,python对应的filetype为”python”,而不是”py”

2.代码补全

不想折腾了。。既然ycm也支持python,就先用用看好了。。不行再换别的。

放一段ycm for python的配置文件

3. 语法检查

Syntastic大家都知道了。。。。看到了异步检测插件ALE,打算试一下。

ale_github

需要注意的是,这个插件需要vim 8.0+的特性。。。

放一波配置文件

4. 编程提示(jedi-vim)

 据说是vim写python的神器。。。装来看看。。。

据说默认配置就够了,先不折腾了