性能优化

围绕 Robin Hood Hashing、探测距离和存储布局，拆解 ska::flat_hash_map 的实现思路。

从最小复现、指令集与 ABI 差异入手，定位旧版 GCC 环境中的 AVX2 崩溃问题。

名词说明 # CUDA. 一般来说指的是CUDA SDK. 目前经常使用的是CUDA 8.0和CUDA 10.1两个版本. 8.0和10.1都是SDK的版本号. CUDNN. The NVIDIA CUDA® Deep Neural Network library (cuDNN). 是一个可以为神经网络提供GPU加速的库 compute capability. 是GPU的固有参数，可以理解为GPU的版本.越新的显卡该数值往往越高. tensorRT.NVIDIA TensorRT™ is an SDK for high-performance deep learning inference. 是一个深度学习推理库，旨在提供高性能的推理速度. plan file，也称为 engine plan. 是生成的tensorRT 模型文件. 兼容性说明 # Engine plan 的兼容性依赖于GPU的compute capability 和 TensorRT 版本， 不依赖于CUDA和CUDNN版本.

Halide is a programming language designed to make it easier to write high-performance image and array processing code on modern machines. halide有两个特性比较吸引人。一个是对于各种平台架构的支持。

迫于生计，最近要学习halide 先去学习/复习一下常见的编译优化技巧。 loop unrolling，也就是循环展开，顾名思义，就是把循环展开来写。

CUDA 编程涉及到在不同的平台上同时运行代码：包含 CPU 的 host 和包含 GPU 的 device。

APOD指的是Assess, Parallelize, Optimize, Deploy 如图所示，APOD过程是一个循环的过程，每次只进行一部分，从A到P到O到D，然后再进行下一轮的APOD

可以了解成并行版的STL(? 过了一遍nvidia的官方网文档 发现如果熟悉STL的话，thrust没什么太多好说的，看起来很简单…

由于发现cuda c++ 的 debug方式和c++ 差别很大，因此打算再开一篇，专门记录一些和error checking 以及debug有关的内容.

update：有毒吧，kernel 中出问题原来不会报错。 请教了组里的 hust 学长 orz..