工程 on 111qqz's blog

【施工中】gitlab ci docker executor指定用户执行

Sat, 10 Dec 2022 18:04:41 +0800

背景
#

需要在gitlab pipelines中跑一堆测试其中某些测试需要与rancher交互，在训练集群上执行一个训练任务

浅谈 Cpp Value Categories

Tue, 12 Apr 2022 21:39:31 +0800

背景
#

每一个cpp expression都有一个type 和 value category 属性前者大家都比较了解，但是后者却常常被忽视

redis学习笔记

Fri, 08 Apr 2022 10:53:16 +0800

最近在做一个智能算力的项目，其中需要用到redis维护某个全局的时间窗口

[施工中] levelDB 代码阅读笔记 06 iterator

Sat, 26 Mar 2022 16:48:54 +0800

接口
#

一个ABC，后面会继承这个类做各种实现

levelDB 代码阅读笔记 05 arena

Sun, 20 Mar 2022 17:23:18 +0800

arena时levelDB中的内存池实现

接口
#

没有太多好说的，都非常直观。补了些注释

levelDB 代码阅读笔记 04 filter

Sun, 13 Mar 2022 07:55:17 +0800

FilterPolicy接口
#

 1
 2class LEVELDB_EXPORT FilterPolicy {
public:
virtual ~FilterPolicy();
 5
// Return the name of this policy. Note that if the filter encoding
// changes in an incompatible way, the name returned by this method
// must be changed. Otherwise, old incompatible filters may be
// passed to methods of this type.
virtual const char* Name() const = 0;
11
// keys[0,n-1] contains a list of keys (potentially with duplicates)
// that are ordered according to the user supplied comparator.
// Append a filter that summarizes keys[0,n-1] to *dst.
//
// Warning: do not change the initial contents of *dst. Instead,
// append the newly constructed filter to *dst.
virtual void CreateFilter(const Slice* keys, int n,
std::string* dst) const = 0;
20
// "filter" contains the data appended by a preceding call to
// CreateFilter() on this class. This method must return true if
// the key was in the list of keys passed to CreateFilter().
// This method may return true or false if the key was not on the
// list, but it should aim to return false with a high probability.
virtual bool KeyMayMatch(const Slice& key, const Slice& filter) const = 0;
27};

其中CreateFilter的含义是从n个key生成一个 std::string. 生成的std::string可以包含n个key的信息(类似于生成了一个全集) 从而后续判断某个key是否在其中。

levelDB 代码阅读笔记 03 cache

Sun, 06 Mar 2022 17:20:59 +0800

Cache接口
#

没有太多好说的，可以注意这里用了void*来表示任意类型数据。在c++17之后可以考虑用std::any代替，参考 std::any 笔记

std::shared_ptr 学习笔记

Sat, 05 Mar 2022 16:33:25 +0800

概述
#

std::shared_ptr是智能指针的一种，在modern c++中被广泛使用（~~甚至滥用~~)

[c++17] std::any 笔记

Sat, 05 Mar 2022 16:02:36 +0800

背景
#

一种很常见的背景是，需要表示未知类型的数据。比如可能是用户提供的数据，比如是一个Cache的实现， value想支持任意类型的数据

levelDB 代码阅读笔记 02 comparator

Tue, 01 Mar 2022 20:01:50 +0800

levelDB是一个有序的KV存储，因此key的顺序是十分关键的 levelDB提供用户自己定义key顺序的能力

levelDB 代码阅读笔记 01 db.h

Sat, 26 Feb 2022 19:10:30 +0800

背景
#

最近在做一个智能算力相关的项目，类似美团外卖广告智能算力的探索与实践其中实现控制系统需要与数据库交互。虽然最后技术选型并没有使用到levelDB,但是想趁机把代码读了吧。

ska::flat_hash_map 源码分析

Sat, 21 Aug 2021 17:43:02 +0800

背景
#

最近在调研各种hashmap.. 发现ska::flat hash map性能优秀。。于是来看看代码。。发现最大的特点是,ska::flat_hash_map使用了带probe count上限的robin hood hashing

一次avx2在gcc上core dump的排查经历

Thu, 22 Jul 2021 20:01:50 +0800

背景
#

起因是同事在实现int4的功能，结果流水线有一条死活过不了(gcc版本为4.8.5),一直core dump 经过初步排查，找出了如下最小可以复现的代码:

k8s nodes is forbidden user cannot list resource nodes in api group at the cluster scope

Thu, 07 May 2020 16:01:52 +0800

继续将k8s用于模型转换和部署的自动化流程…然后发现之前安装k8s的文档不work了．．时间是2020年5月7日，当前最新的k8s版本是　v1.18.2

tensorRT 模型兼容性说明

Tue, 24 Mar 2020 12:26:01 +0800

名词说明
#

CUDA. 一般来说指的是CUDA SDK. 目前经常使用的是CUDA 8.0和CUDA 10.1两个版本. 8.0和10.1都是SDK的版本号.
CUDNN. The NVIDIA CUDA® Deep Neural Network library (cuDNN). 是一个可以为神经网络提供GPU加速的库
compute capability. 是GPU的固有参数,可以理解为GPU的版本.越新的显卡该数值往往越高.
tensorRT.NVIDIA TensorRT™ is an SDK for high-performance deep learning inference. 是一个深度学习推理库,旨在提供高性能的推理速度.
plan file,也称为 engine plan. 是生成的tensorRT 模型文件.

兼容性说明
#

Engine plan 的兼容性依赖于GPU的compute capability 和 TensorRT 版本, 不依赖于CUDA和CUDNN版本.

x86 calling conventions

Thu, 31 Jan 2019 12:12:22 +0000

x86的调用约定主要说的是这几件事:

The order in which atomic (scalar) parameters, or individual parts of a complex parameter, are allocated

How parameters are passed (pushed on the stack, placed in registers, or a mix of both)

Which registers the called function must preserve for the caller (also known as: callee-saved registers or non-volatile registers)

How the task of preparing the stack for, and restoring after, a function call is divided between the caller and the callee

调用约定实际上并不唯一

优化学习笔记(1):Loop unrolling

Wed, 23 Jan 2019 11:51:46 +0000

~~迫于生计，~~最近要学习halide

先去学习/复习一下常见的编译优化技巧。

loop unrolling，也就是循环展开，顾名思义，就是把循环展开来写。

docker network 与本地 network 网段冲突

Tue, 20 Nov 2018 08:33:20 +0000

起因:
#

公司部署在hk的爬虫服务器突然挂掉了。后来发现只是在深圳办公区无法访问。排查后发现原因是docker的网络(包括docker network的subnet或者是某个容器的ip)与该host在内网的ip段相同，导致冲突。

记一次在 docker compose 中使用volume的踩坑记录

Wed, 14 Nov 2018 08:06:57 +0000

现象:
#

使用docker compose 挂载 named volume 无效（且没有错误提示)

java-grpc 踩坑记录

Wed, 17 Oct 2018 03:29:03 +0000

最近的项目需要java和python之间的进程通信，想到了之前使用过的的grpc.

spring 学习笔记

Wed, 10 Oct 2018 09:56:46 +0000

迫于生计，又要从零开始学习spring.

在这篇文章之前，对java的基础是2015年写过一个java大作业，对spring是一无所知。

spring 依赖注入

Tue, 09 Oct 2018 07:45:17 +0000

真是个不明觉厉的术语…其实是个特别简单的概念orz

[c++11] std::async std::packaged_task std::promise and std::future notes

Sun, 30 Sep 2018 06:49:27 +0000

把std::async,std::packaged_task,std::promise三个放在一起来说,是因为他们都可以返回一个std::future对象.简单来说,当某个线程需要等待一个特定的一次性事件(one-off event),它可以用一个"future"来表示这个事件.

[C++11]std::condition_variable notes

Sun, 23 Sep 2018 08:42:33 +0000

condition_variable 类是同步原语，能用于阻塞一个线程，或同时阻塞多个线程，直至另一线程修改共享变量（条件）并通知 condition_variable 。

std::call_once && std::once_flag notes

Thu, 20 Sep 2018 12:47:46 +0000

多线程保护数据时，一种较为特殊的情况是只需要保护资源的初始化。

react 中setState的更新策略

Tue, 18 Sep 2018 13:31:06 +0000

起因是想更新一个array类型的state,结果setState更新之后用console.log() debug 结果，发现结果特别玄学。。。

learn java in 21 minutes for C++ Programmers

Mon, 10 Sep 2018 11:53:31 +0000

先放资料:

Learning a New Programming Language: Java for C++ Programmers

java package
#

先说几条重要的人话:

[施工中][c++11] move semantics && perfect forwarding 学习笔记

Sun, 09 Sep 2018 13:01:45 +0000

背景
#

move semantics是modern cpp中非常重要的特性，有必要详细了解一下。

[C++11 ] std::ref&&std::reference_wrapper notes

Sun, 09 Sep 2018 11:28:53 +0000

起因是在看《CplusplusConcurrencyInAction_PracticalMultithreading》的时候，里面讲到初始化std::thread的时候，如果thread funtion的参数列表中有引用，需要传入std::ref才可以得到符合预期的结果。

前端To do list

Thu, 06 Sep 2018 09:56:57 +0000

20181014update: 可以不写了，开心

迫于生计，要从零开始学习前端。

由于之前的to do list 年代久远+ 前端的技术栈可之前几乎没有关系，因此新开一篇记录。

typescript学习笔记

Wed, 05 Sep 2018 08:02:42 +0000

先放参考资料:

TypeScript 入门教程

React & Webpack

react-typescript-cheatsheet (强推一波，讲了很多react+ts的实践）

[设计模式] 观察者( Observer )模式学习笔记

Sat, 01 Sep 2018 09:27:40 +0000

最近在学习node.js，里面讲到node.js的事件机制使用了观察者模式，因此来学习一下。

Redux 学习笔记

Thu, 30 Aug 2018 12:05:35 +0000

Redux是Flux架构的一种实现。

至于Flux架构是什么，可以参考Flux 架构入门教程

JavaScript 学习笔记

Thu, 30 Aug 2018 03:42:19 +0000

~~暂时没空从头开始搞…用到哪里先记录一下好了orz~~

react学习笔记

Tue, 28 Aug 2018 10:16:16 +0000

首先介绍一个fb家的快速开发react的工具 create-react-app

这个东西依赖node6.0或者更高版本。

[C++11] promise && future leanrning notes

Thu, 23 Aug 2018 02:45:53 +0000

用人话就是，主线程传给附属线程一个promise Object,然后主线程想要获取附属线程set给promise Object的值（也就是该线程返回的某个结果），需要通过主线程中的promise object 得到对应的future object(每个promise 对应一个 future),然后调用future 的get方法。如果附属线程没有执行作为参数传入的promise的set方法去返回结果，那么程序就会block住。

把二进制文件按字节读到vector中

Tue, 21 Aug 2018 06:08:56 +0000

std::vector<unsigned char> readFromFile1(const char* filePath) {
FILE* file = fopen(filePath, "rb");
std::vector<unsigned char> result;
if (file == nullptr) {
return result;
}

// 获取文件大小，尽量一次读完
size_t fileSize = getFileSize(file);
if (fileSize != 0) {
result.resize(fileSize);
size_t n = fread(&result[0], 1, fileSize, file);
assert(n <= fileSize);
if (n != fileSize) {
result.resize(n);
}
}

// 在读取过程当中，有可能文件大小有变化，再尝试读取
const size_t read_len = 1024;
char buf[read_len];
for (;;) {
size_t n = fread(buf, 1, read_len, file);
result.insert(result.end(), buf, buf + n);
if (n < read_len) {
break;
}
}
fclose(file);
return result;
}

另外一种C++风格，但是性能较差的方法：

boost:property_tree 学习笔记

Mon, 20 Aug 2018 08:10:16 +0000

先放资料:

How to use boost::property_tree to load and write JSON

How to iterate a boost property tree?

不出现key的方法遍历一个json文件:

记录一次因动态库符号表可见性导致的未定义的引用(undefined reference)

Wed, 15 Aug 2018 13:12:17 +0000

编译某代码，发现报错某函数未定义的引用。该函数的是先前编译得到的动态库中。

c++11 function 与bind 学习笔记

Thu, 19 Jul 2018 10:46:26 +0000

C++11 std::function 是一种通用、多态的函数封装,它的实例可以对任何可以调用的目标实体进行存储、复制和调用操作

C++ 记录代码运行时间

Tue, 10 Jul 2018 02:26:50 +0000

以前用的办法太老土啦

看到一个since C++11的方法，我觉得比较优雅

gdb学习笔记

Fri, 06 Jul 2018 07:44:38 +0000

用gdb调试c++的时候，需要添加-g编译选项add_compile_options(-g)，并且关掉各种编译优化

C++ STL Algotithms 学习笔记

Sun, 06 May 2018 09:45:50 +0000

迫于拙劣的cpp水平，这次来记录一些关于STL算法部分的内容。

C++ IO Streams 学习笔记

Fri, 04 May 2018 03:48:37 +0000

迫于拙劣的cpp水平，来补补以前忽略掉的cpp细节。

老规矩，先放资料。

levelDB 使用笔记

Thu, 19 Apr 2018 15:58:40 +0000

2022-02-26 update:

说学习笔记听起来像在分析代码。。。但是实际上什么都没干，还是写"使用笔记"好了

cmake 学习笔记

Sun, 18 Mar 2018 10:27:26 +0000

前置技能点：

gnu make

linux下.so,.a,.o文件

cmake是一个工具，也可以看成一门语言。

CUDA C Best Practices Guide 阅读笔记（二） Heterogeneous Computing

Tue, 13 Feb 2018 06:38:38 +0000

CUDA 编程涉及到在不同的平台上同时运行代码:包含CPU的host 和包含GPU的device.

cuda c++ 基础算法库 thrust 学习笔记

Sat, 10 Feb 2018 08:43:54 +0000

可以了解成并行版的STL(?

过了一遍nvidia的官方网文档

发现如果熟悉STL的话,thrust没什么太多好说的,看起来很简单…

cuda error checking 学习笔记

Fri, 09 Feb 2018 06:55:00 +0000

由于发现cuda c++ 的 debug方式和c++ 差别很大,因此打算再开一篇,专门记录一些和error checking 以及debug有关的内容.

cuda 学习笔记

Thu, 01 Feb 2018 07:20:04 +0000

uodate:有毒吧。kernel中出问题原来是不会报错的。。。。

工程 on 111qqz's blog

【施工中】gitlab ci docker executor指定用户执行

背景 #

浅谈 Cpp Value Categories

背景 #

redis学习笔记

[施工中] levelDB 代码阅读笔记 06 iterator

接口 #

levelDB 代码阅读笔记 05 arena

接口 #

levelDB 代码阅读笔记 04 filter

FilterPolicy接口 #

levelDB 代码阅读笔记 03 cache

Cache接口 #

std::shared_ptr 学习笔记

概述 #

[c++17] std::any 笔记

背景 #

levelDB 代码阅读笔记 02 comparator

levelDB 代码阅读笔记 01 db.h

背景 #

ska::flat_hash_map 源码分析

背景 #

一次avx2在gcc上core dump的排查经历

背景 #

k8s nodes is forbidden user cannot list resource nodes in api group at the cluster scope

tensorRT 模型兼容性说明

名词说明 #

兼容性说明 #

x86 calling conventions

优化学习笔记(1):Loop unrolling

docker network 与 本地 network 网段冲突

起因: #

记一次在 docker compose 中使用volume的踩坑记录

现象: #

java-grpc 踩坑记录

spring 学习笔记

spring 依赖注入

[c++11] std::async std::packaged_task std::promise and std::future notes

[C++11]std::condition_variable notes

std::call_once && std::once_flag notes

react 中setState的更新策略

learn java in 21 minutes for C++ Programmers

java package #

[施工中][c++11] move semantics && perfect forwarding 学习笔记

背景 #

[C++11 ] std::ref&&std::reference_wrapper notes

前端To do list

typescript学习笔记

[设计模式] 观察者( Observer )模式学习笔记

Redux 学习笔记

JavaScript 学习笔记

react学习笔记

[C++11] promise && future leanrning notes

把二进制文件按字节读到vector中

boost:property_tree 学习笔记

记录一次因动态库符号表可见性导致的未定义的引用(undefined reference)

c++11 function 与bind 学习笔记

C++ 记录代码运行时间

gdb学习笔记

C++ STL Algotithms 学习笔记

C++ IO Streams 学习笔记

levelDB 使用笔记

cmake 学习笔记

CUDA C Best Practices Guide 阅读笔记（二） Heterogeneous Computing

cuda c++ 基础算法库 thrust 学习笔记

cuda error checking 学习笔记

cuda 学习笔记

背景
#

背景
#

接口
#

接口
#

FilterPolicy接口
#

Cache接口
#

概述
#

背景
#

背景
#

背景
#

背景
#

名词说明
#

兼容性说明
#

docker network 与本地 network 网段冲突

起因:
#

现象:
#

java package
#

背景
#