APOD指的是Assess, Parallelize, Optimize, Deploy 如图所示，APOD过程是一个循环的过程，每次只进行一部分，从A到P到O到D,然后再进行下一轮的APOD Assess 对于一个项目，第一步要做的是接触(Assess)项目，得到项目代码中每部分的执行时间。有了这部分内容，开发者就可以找到并行优化的瓶颈所在，并开始尝试用GPU加速。 根据Amdahl's and Gustafson's laws，开发者可以确定并行优化的性能上界。 Parallelize 找到瓶颈所在并确定了优化的目标和期望，开发者就可以优化代码了。调用一些如cuBLAS, cuFFT, or Thrust …

参考资料： 消息传递接口（MPI）维基百科 MPI_TUTORIAL MPI 在大规模机器学习领域的前景如何？ 因为要和平台组对接工作以及写我们自己的BN同步...所以来了解一下MPI相关...感谢平台组@gyz 菊苣提供指导。 下面写一些自己的理解 ^_^ OVERVIEW MPI是一个跨语言的通讯协议，用于并行相关 MPI不是一种具体的语言实现，而是一种标准或者说接口，类比sql在关系型数据库中的地位，具体用的时候我们是用某个特定的实现，例如openmpi或者mpich2 对于机器学习问题，MPI很适合用在超算上... 下面随便补一些我认为需要了解的： ** **_communicator _是一个进程的group,该group …