先说下自己目前很笼统的理解：

反向传播是用来快速计算梯度的一种方法；

过程大概是把计算过程用计算图表示，这样每一个中间步骤都有一个节点，每一个local gradient都会比较容易计算；

参考资料：

消息传递接口（MPI）维基百科

MPI_TUTORIAL

MPI 在大规模机器学习领域的前景如何？

因为要和平台组对接工作以及写我们自己的BN同步…所以来了解一下MPI相关…感谢平台组@gyz 菊苣提供指导。

参考资料：

tf_doc_Reading data

TENSORFLOW INPUT PIPELINE EXAMPLE

tensorflow：理解tensorflow中的输入管道

第二个参考资料是第一个的翻译版本，翻译的水平一般，建议看原文，不是很长。

下面是我挑了文章中重点的部分+自己的理解。

TL;DR;

一个适用于不是很大的数据集的pipline input 的例子。

在这里存个备份，还有些问题没有解决。

raise ValueError(“GraphDef cannot be larger than 2GB.”)

记录一些思路好了。现在是没有生成.meta文件，爆掉应该是因为所有的变量都加载到了默认图里。

也就是说我处理完checkpoint 0 之后开始处理checkpoint1,但是checkpoint0的那些变量还是存在的…所以越来越多？

参考资料：

What is the TensorFlow checkpoint meta file?

TensorFlow: Restoring variables from from multiple checkpoints

合并模型的时候发现.meta一直在累加，而其他数据文件没有改变。因此来探究一下checkpoint的几个文件的含义。

参考资料：

programmers_guide/variables

tf/Variable

之前感觉对tensorflow 的variable的理解不是很深刻…跑个模型啥的倒不会有什么问题，但是涉及分布式，模型并行之类的，感觉有些地方还是要理解得仔细一点比较好。

一转眼…暑假就要结束了…

秋招似乎也可以告一段落了…

投了蛮多的，但是昨天突然发现我用gmail邮箱发邮件有概率发不出去。。所以我也不知道到底哪些简历根本没有发出去orz

tensorflow-session官方文档

说下我自己的理解：

session中文一般叫会话，可以理解成op执行时候需要的一层虚拟化的封装。

op必须在session中才能执行。

tensor也是在tensor中才可以存在（tf.variable和tensor几乎是一回事，只是tf.variable的会话不要求session，也可以理解成tf.variable在session中就成了tensor.

请实现最近最少使用缓存(Least Recently Used (LRU) cache)类,需要支持 get, set,操作。 get 操作,给出 key,获取到相应的 value (value 为非负数),如果不存在返回-1, 如果存在此 key 算作被访问过。 set 操作,设置 key,如果 key 存在则覆盖之前的 value (此时相当于访问过一次)。 如果 key 不存在,需要进行插入操作,如果此时已经 key 的数量已经到达 capacity, 这样需要淘汰掉最近最少使用(也就是上次被使用的时间距离现在最久的)的那 一项。

list = os.listdir(rootdir)#列出目录下的所有文件和目录

1for line in list:
2    filepath = os.path.join(rootdir,line)
3    if os.path.isdir(filepath):#如果filepath是目录
4        print "dir:" + filepath
5    else:
6        print "file:" + filepath

如果需要遍历文件夹下的所以文件，可以使用os.walk()方法。

是在使用分布式tensorflow遇到的一个错误

报错如下：

InvalidArgumentError (see above for traceback): Cannot assign a device for operation ‘save/Rest│| 2 GeForce GTX 1080 On | 0000:08:00.0 Off | N/A | oreV2_888’: Operation was explicitly assigned to /job:worker/task:0/device:CPU:0 but available │| 24% 39C P8 12W / 180W | 0MiB / …

随便记录一下面试中遇到的问题：

梯度下降和牛顿迭代的区别？为什么常用梯度下降？

**牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快**。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更大。所以，可以说牛顿法比梯度下降法看得更远一点，能更快地走到最底部。

根据wiki上的解释，从几何上说，牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面，而梯度下降法是用一个平面去拟合当前的局部曲面，通常情况下，二次曲面的拟合会比平面更好，所以牛顿法选择的下降路径会更符合真实的最 …

感觉资料不是很多，先收集资料好了。

tf-distributed官网文档

SO-between-graph和in-graph的区别

inception.README.md

SyncReplicasOptimizer

SO_How does ps work in distribute Tensorflow?

update:在多个nodes（机）上跑。。。tf默认是异步更新的。。。同步的话。。大概需要syncreplicasoptimizer?

update:supervisor的缺点是遇到问题只会抛异常，所以现在有一个better的管理工具,MonitoredSession

master,chief worker,Supervisor 这几个概念有点搞不清（我最菜.jpg  因此来学习一下。

其实这算法巨简单。。。。让我想到了均分纸牌（noip200?

还是大致说一下：

对于有 features 但是 **没有 **labels 的数据，没办法用监督学习，但是可以使用非监督学习的聚类算法。

Adding a New Op

  * [目录](https://www.tensorflow.org/extend/adding_an_op#top_of_page)
  * [定义运算的接口](https://www.tensorflow.org/extend/adding_an_op#define_the_ops_interface)
  * [实现运算的核心部分(kernels)](https://www.tensorflow.org/extend/adding_an_op#implement_the_kernel_for_the_op)

    * [多线程cpu …

昨天pinduoduo笔试遇到了，看心情蒙的2333，来学习一下

** 峰度（Kurtosis）和偏度（Skewness）**

重点：正太分布的峰度和偏度都是0

这篇文章不会涉及tensorflow的具体使用，而是专注于介绍tensorflow的架构，目的是让开发者能够对tensorflow现有框架进行自定义的扩展。

参考资料：

维基百科_长短期记忆(LSTM)

Understanding LSTM Networks

[译] 理解 LSTM 网络

LSTM笔记

翻译的比较一般，建议看原文….比如cell还是不要翻译成【细胞】比较好吧…让人以为和生物学的【细胞】有什么关系呢orz

题目链接

题意：

一棵树，给出点权，问一条树链上第k大的点权，点权可以动态修改。

思路：

暴力即可orz(数据是真的水啊。

求路径上的点的时候需要用到LCA

  1/* ***********************************************
  2Author :111qqz
  3Created Time :2017年07月31日 星期一 01时12分54秒
  4File Name :3078.cpp
  5************************************************ */
  6
  7#include <cstdio>
  8#include …