Posts on 111qqz's blog

caffe 源码阅读笔记

Tue, 30 Jun 2020 19:47:02 +0800

caffe做部署是YYDS!

[施工中] cupy与torch的导入顺序不同对计算结果的影响

Sun, 17 Dec 2023 18:22:24 +0800

背景
#

公司内部的基于torch的toolbox发现某个版本之后,结果发生了偏移. 通过一系列排查,发现当导入cupy和torch的顺序不同时，计算结果会有所差异。也就是说,如下两段代码会导致模型训练等环节的计算得到不同的结果.

Build Onnxruntime With Bazel

Mon, 16 Jan 2023 16:28:22 +0800

背景
#

需要使用bazel build onnxruntime

【施工中】gitlab ci docker executor指定用户执行

Sat, 10 Dec 2022 18:04:41 +0800

背景
#

需要在gitlab pipelines中跑一堆测试其中某些测试需要与rancher交互，在训练集群上执行一个训练任务

[施工中]caffe 源码学习笔记(11) softmax

Sat, 06 Aug 2022 12:26:03 +0800

背景
#

2022年惊讶的发现，当时竟然没有写关于softmax的笔记，因此来补充一下。

浅谈 Cpp Value Categories

Tue, 12 Apr 2022 21:39:31 +0800

背景
#

每一个cpp expression都有一个type 和 value category 属性前者大家都比较了解，但是后者却常常被忽视

redis学习笔记

Fri, 08 Apr 2022 10:53:16 +0800

最近在做一个智能算力的项目，其中需要用到redis维护某个全局的时间窗口

[施工中] levelDB 代码阅读笔记 06 iterator

Sat, 26 Mar 2022 16:48:54 +0800

接口
#

一个ABC，后面会继承这个类做各种实现

levelDB 代码阅读笔记 05 arena

Sun, 20 Mar 2022 17:23:18 +0800

arena时levelDB中的内存池实现

接口
#

没有太多好说的，都非常直观。补了些注释

levelDB 代码阅读笔记 04 filter

Sun, 13 Mar 2022 07:55:17 +0800

FilterPolicy接口
#

 1
 2class LEVELDB_EXPORT FilterPolicy {
public:
virtual ~FilterPolicy();
 5
// Return the name of this policy. Note that if the filter encoding
// changes in an incompatible way, the name returned by this method
// must be changed. Otherwise, old incompatible filters may be
// passed to methods of this type.
virtual const char* Name() const = 0;
11
// keys[0,n-1] contains a list of keys (potentially with duplicates)
// that are ordered according to the user supplied comparator.
// Append a filter that summarizes keys[0,n-1] to *dst.
//
// Warning: do not change the initial contents of *dst. Instead,
// append the newly constructed filter to *dst.
virtual void CreateFilter(const Slice* keys, int n,
std::string* dst) const = 0;
20
// "filter" contains the data appended by a preceding call to
// CreateFilter() on this class. This method must return true if
// the key was in the list of keys passed to CreateFilter().
// This method may return true or false if the key was not on the
// list, but it should aim to return false with a high probability.
virtual bool KeyMayMatch(const Slice& key, const Slice& filter) const = 0;
27};

其中CreateFilter的含义是从n个key生成一个 std::string. 生成的std::string可以包含n个key的信息(类似于生成了一个全集) 从而后续判断某个key是否在其中。

levelDB 代码阅读笔记 03 cache

Sun, 06 Mar 2022 17:20:59 +0800

Cache接口
#

没有太多好说的，可以注意这里用了void*来表示任意类型数据。在c++17之后可以考虑用std::any代替，参考 std::any 笔记

std::shared_ptr 学习笔记

Sat, 05 Mar 2022 16:33:25 +0800

概述
#

std::shared_ptr是智能指针的一种，在modern c++中被广泛使用（~~甚至滥用~~)

[c++17] std::any 笔记

Sat, 05 Mar 2022 16:02:36 +0800

背景
#

一种很常见的背景是，需要表示未知类型的数据。比如可能是用户提供的数据，比如是一个Cache的实现， value想支持任意类型的数据

levelDB 代码阅读笔记 02 comparator

Tue, 01 Mar 2022 20:01:50 +0800

levelDB是一个有序的KV存储，因此key的顺序是十分关键的 levelDB提供用户自己定义key顺序的能力

levelDB 代码阅读笔记 01 db.h

Sat, 26 Feb 2022 19:10:30 +0800

背景
#

最近在做一个智能算力相关的项目，类似美团外卖广告智能算力的探索与实践其中实现控制系统需要与数据库交互。虽然最后技术选型并没有使用到levelDB,但是想趁机把代码读了吧。

2022 TO DO list

Sat, 26 Feb 2022 18:12:20 +0800

竟然一下子就2022年了，时间过得真快。还是简单列一下TODO list吧。

博客除草

Wed, 02 Feb 2022 19:56:49 +0800

博客要长草了。。趁着过年时间多，打理一下。。

添加google analytics
#

hugo本身已经集成了这个功能要点是集成的是旧版本的universal analytics (对应的是UA-ID) 而目前google主推得其实是新版本google analytics 4(对应的是GA4-ID)

ska::flat_hash_map 源码分析

Sat, 21 Aug 2021 17:43:02 +0800

背景
#

最近在调研各种hashmap.. 发现ska::flat hash map性能优秀。。于是来看看代码。。发现最大的特点是,ska::flat_hash_map使用了带probe count上限的robin hood hashing

一次avx2在gcc上core dump的排查经历

Thu, 22 Jul 2021 20:01:50 +0800

背景
#

起因是同事在实现int4的功能，结果流水线有一条死活过不了(gcc版本为4.8.5),一直core dump 经过初步排查，找出了如下最小可以复现的代码:

[施工完成] CSAPP shell lab

Sat, 26 Jun 2021 18:18:52 +0800

背景
#

动手实现一个简单的Lab，主要依赖于课本第八章的内容感觉主要是05比较难。。发现执行的顺序不太对。。原因是SIGCHLD里面waitpid参数没写对。。后面的就相对简单了累计大概花了10个小时的样子

(CSE 599W)Reverse Mode Autodiff

Mon, 05 Apr 2021 14:44:25 +0800

背景
#

怎么算微分。。通常有三种方法。

[施工完成] CSAPP Malloc lab

Sun, 14 Mar 2021 16:05:42 +0800

背景
#

动手实现一个memory allocator,体会core到爆炸的乐趣(不是

【推荐系统】Toward the Next Generation of Recommender Systems: A Survey of the State-of-the-Art and Possible Extensions

Sat, 23 Jan 2021 17:42:15 +0800

迫于生计，从今天开始学习推荐系统相关的内容，今天先来读一篇推荐系统领域的综述 Toward the next generation of recommender systems: a survey of the state-of-the-art and possible extensions

使用github actions来部署 github pages

Sat, 23 Jan 2021 17:08:00 +0800

目前我的博客是部署在github pages上，源码是一个repo,渲染出来的静态页面是一个repo. 更新的时候是把后者作为前者的submodule. 感觉这种方式有些落后了，简直和某司内部的平台有的一比。因此尝试采用了下github actions，来自动化这个部署的流程。

2020年终总结

Sun, 03 Jan 2021 16:54:57 +0800

本来不知道写什么所以不打算写了，不过后来觉得可以把今年做的一些重大的决定写出来，把当时的分析和想法记录下来。这样若干年后再回看，就能找到，是哪些明智或愚蠢的决定，对人生产生了巨大的影响。

[施工完成] CSAPP Cachelab

Sat, 26 Dec 2020 16:40:42 +0800

背景
#

CSAPP:3e 的配套实验地址分成了两个部分，第一部分是模拟一下cache的miss,hit,evict的规则。第二部分是优化一个矩阵的转置，使得miss尽可能少。

【施工中】torch2trt　学习笔记

Fri, 18 Sep 2020 11:02:50 +0800

前言
#

偶然发现了 torch2trt 的模型转换方案，思路是直接将pytorch op映射到TensorRT的python api. 在pytorch进行每个op　forward的时候，tensorrt也相应往network上添加op. 这里会先涉及torch2trt的使用，后面会补充这个转换工具的代码学习

Jetson Nano踩坑记录

Tue, 08 Sep 2020 14:41:34 +0800

写在前面
#

主要是需要在jetson nano做模型转换，来记录下踩的坑目前有两条路径，一条是我们现有的转换路径，也就是pytorch->onnx(->caffe)->trt的路径在这条路径上踩了比较多的坑，最终暂时放弃，最直接的原因是cudnn8.0升级接口发生改动，编译caffe遇到较多问题 这里其实仍然采用了两条平行的路径，一条是直接在nano上构建环境，另外一种是基于docker(包括构建交叉编译环境用于加快编译速度)

k8s nodes is forbidden user cannot list resource nodes in api group at the cluster scope

Thu, 07 May 2020 16:01:52 +0800

继续将k8s用于模型转换和部署的自动化流程…然后发现之前安装k8s的文档不work了．．时间是2020年5月7日，当前最新的k8s版本是　v1.18.2

caffe 源码学习笔记(11) argmax layer

Wed, 06 May 2020 21:26:03 +0800

背景
#

似乎没什么背景,继续看caffe代码

caffe 源码学习笔记(10) eltwise layer

Sun, 03 May 2020 17:53:22 +0800

背景
#

这个layer和reduce layer有一些相似,就干脆一起看了. 作用是输入至少两个blob,然后对每个blob中的元素所一些运算,最后得到一个blob.

caffe 源码学习笔记(9) reduce layer

Sun, 03 May 2020 15:16:53 +0800

背景
#

其实没什么背景,继续啃caffe代码而已2333

Focal Loss for Dense Object Detection(RetinaNet) 学习笔记

Sat, 02 May 2020 18:50:06 +0800

先写个简略版的笔记..看之后的情况要不要读得更精细一点..

背景
#

two stage的检测比one stage的检测效果好,原因是啥?

caffe 源码学习笔记(8) loss function

Sat, 18 Apr 2020 18:33:29 +0800

背景
#

虽然不太care 训练的过程，~~但是由于容易看懂的layer都看得差不多了~~ 所以打算看一下这些loss function.

caffe 源码学习笔记(7) slice layer

Mon, 13 Apr 2020 21:22:54 +0800

背景　
#

ocr组那边有个shuffle net 的网络,里面有个pytorch op叫chunk,转成的onnx对应的op是 split

thinkpad t430 manjaro系统安装nvidia驱动

Sun, 12 Apr 2020 07:10:14 +0800

前几天装驱动把笔记本搞崩溃了..重新装了kde桌面环境的manjaro

caffe 源码学习笔记(6) reshape layer

Thu, 09 Apr 2020 21:03:06 +0800

背景　
#

最近在魔改 tensorRT 的caffe parser 之前caffe模型转到trt模型时，有一个修改是需要将reshape　layer的param末尾补1,比较繁琐，于是看了下caffe的reshape layer的实现．

caffe 源码学习笔记(5) 卷积

Wed, 08 Apr 2020 20:29:37 +0800

caffe中卷积运算的实现
#

暴力实现的卷积大概是这样子的

tensorrt INT8 量化debug记录（cuda error 700）

Wed, 08 Apr 2020 14:58:16 +0800

背景是要把某个caffe model,转换成tensorrt的INT8 模型。然后遇到如下报错:

caffe 源码学习笔记(4) 激活函数

Tue, 07 Apr 2020 23:21:40 +0800

在看过caffe代码的三个核心部分,blob,layer,net之后，陷入了不知道以什么顺序继续看的困境。

Faster Rcnn 目标检测算法

Sun, 05 Apr 2020 20:38:28 +0800

背景
#

2019年对了好几次faster rcnn，第一次是赛事之窗项目和北京的同事，对齐sdk和训练的实现。第二次是被tensorRT4和tensorRT5之间默认参数不一致的问题坑了一下。第三次是被caffe proto中roi align 的默认参数坑了。

resnet 学习笔记

Sun, 05 Apr 2020 16:49:44 +0800

背景
#

基于Conv的方法在某年的ImageNet比赛上又重新被人想起之后，大家发现网络堆叠得越深，似乎在cv的各个任务上表现的越好。

tensorRT 模型兼容性说明

Tue, 24 Mar 2020 12:26:01 +0800

名词说明
#

CUDA. 一般来说指的是CUDA SDK. 目前经常使用的是CUDA 8.0和CUDA 10.1两个版本. 8.0和10.1都是SDK的版本号.
CUDNN. The NVIDIA CUDA® Deep Neural Network library (cuDNN). 是一个可以为神经网络提供GPU加速的库
compute capability. 是GPU的固有参数,可以理解为GPU的版本.越新的显卡该数值往往越高.
tensorRT.NVIDIA TensorRT™ is an SDK for high-performance deep learning inference. 是一个深度学习推理库,旨在提供高性能的推理速度.
plan file,也称为 engine plan. 是生成的tensorRT 模型文件.

兼容性说明
#

Engine plan 的兼容性依赖于GPU的compute capability 和 TensorRT 版本, 不依赖于CUDA和CUDNN版本.

【施工完成】CSAPP archlab

Wed, 26 Feb 2020 22:54:33 +0800

背景
#

CSAPP:3e第四章配套的实验。第四章是讲处理器架构的，章节的重点是实现一个六阶段流水线。

2020 to do List

Fri, 21 Feb 2020 20:12:51 +0800

就..终于再次出现了to do list. 原因是之前一直不知道如何置顶文章….

【施工完成】CSAPP attacklab

Sat, 15 Feb 2020 23:24:23 +0800

背景
#

CSAPP 处理器那章快看完了，猛然发现竟然还有个attacklab.. 之前以为每一章只有一个lab

【施工完成】CSAPP bomb lab

Sat, 01 Feb 2020 19:36:23 +0800

背景
#

疫情肆虐,在家百无聊赖,于是开始拆炸弹. 炸弹分为6个阶段,每个阶段必须输入一个特定的字符串,否则炸弹就会爆炸. 提供给我们的是一个.c文件和一个linux可执行文件bomb

caffe 源码学习笔记(3) Net

Sun, 12 Jan 2020 19:18:15 +0800

Net 基本介绍
#

网络通过组成和自微分共同定义一个函数及其梯度。

caffe 源码学习笔记(2) Layer

Sat, 11 Jan 2020 17:47:05 +0800

layer 整体介绍
#

layer是模型计算的基本单元类似于pytorch或者其他深度学习框架的op layer中的数据流向为,输入若干个blob，称之为"bottom blob",然后经过layer的计算，输出若干个blob,称之为"top blob"

caffe 源码学习笔记(1) Blob

Fri, 10 Jan 2020 11:24:23 +0800

迫于生计，开始看caffe代码。会侧重于分析inference部分。

Posts on 111qqz's blog

caffe 源码阅读笔记

[施工中] cupy与torch的导入顺序不同对计算结果的影响

背景 #

Build Onnxruntime With Bazel

背景 #

【施工中】gitlab ci docker executor指定用户执行

背景 #

[施工中]caffe 源码学习笔记(11) softmax

背景 #

浅谈 Cpp Value Categories

背景 #

redis学习笔记

[施工中] levelDB 代码阅读笔记 06 iterator

接口 #

levelDB 代码阅读笔记 05 arena

接口 #

levelDB 代码阅读笔记 04 filter

FilterPolicy接口 #

levelDB 代码阅读笔记 03 cache

Cache接口 #

std::shared_ptr 学习笔记

概述 #

[c++17] std::any 笔记

背景 #

levelDB 代码阅读笔记 02 comparator

levelDB 代码阅读笔记 01 db.h

背景 #

2022 TO DO list

博客除草

添加google analytics #

ska::flat_hash_map 源码分析

背景 #

一次avx2在gcc上core dump的排查经历

背景 #

[施工完成] CSAPP shell lab

背景 #

(CSE 599W)Reverse Mode Autodiff

背景 #

[施工完成] CSAPP Malloc lab

背景 #

【推荐系统】Toward the Next Generation of Recommender Systems: A Survey of the State-of-the-Art and Possible Extensions

使用github actions来部署 github pages

2020年终总结

[施工完成] CSAPP Cachelab

背景 #

【施工中】torch2trt 学习笔记

前言 #

Jetson Nano踩坑记录

写在前面 #

k8s nodes is forbidden user cannot list resource nodes in api group at the cluster scope

caffe 源码学习笔记(11) argmax layer

背景 #

caffe 源码学习笔记(10) eltwise layer

背景 #

caffe 源码学习笔记(9) reduce layer

背景 #

Focal Loss for Dense Object Detection(RetinaNet) 学习笔记

背景 #

caffe 源码学习笔记(8) loss function

背景 #

caffe 源码学习笔记(7) slice layer

背景 #

thinkpad t430 manjaro系统安装nvidia驱动

caffe 源码学习笔记(6) reshape layer

背景 #

caffe 源码学习笔记(5) 卷积

caffe中卷积运算的实现 #

tensorrt INT8 量化debug记录（cuda error 700）

caffe 源码学习笔记(4) 激活函数

Faster Rcnn 目标检测算法

背景 #

resnet 学习笔记

背景 #

tensorRT 模型兼容性说明

名词说明 #

兼容性说明 #

【施工完成】CSAPP archlab

背景 #

2020 to do List

背景
#

背景
#

背景
#

背景
#

背景
#

接口
#

接口
#

FilterPolicy接口
#

Cache接口
#

概述
#

背景
#

背景
#

添加google analytics
#

背景
#

背景
#

背景
#

背景
#

背景
#

背景
#

【施工中】torch2trt　学习笔记

前言
#

写在前面
#

背景
#

背景
#

背景
#

背景
#

背景
#

背景　
#

背景　
#

caffe中卷积运算的实现
#

背景
#

背景
#

名词说明
#

兼容性说明
#

背景
#

背景
#

背景
#

Net 基本介绍
#

layer 整体介绍
#