Performance-Engineering on 111qqz的小窝https://111qqz.com/tags/performance-engineering/Recent content in Performance-Engineering on 111qqz的小窝Hugo -- gohugo.iozh-cnhust.111qqz@gmail.com (111qqz)hust.111qqz@gmail.com (111qqz)© 2011-2026 111qqzTue, 15 Sep 2026 22:53:41 +0800模型压缩之后，为什么推理反而变慢了：一次 CPU Serving 的性能优化实践https://111qqz.com/2026/09/cpu-serving-decompression-tax/Tue, 15 Sep 2026 22:53:41 +0800hust.111qqz@gmail.com (111qqz)https://111qqz.com/2026/09/cpu-serving-decompression-tax/<p>之前我负责过一个推荐系统深度学习 Serving 框架的功能开发与性能优化。</p> <p>我们的系统主要跑在 CPU 上，以 TensorFlow 为主力 inference engine。随着模型迭代，尤其是 Embedding 层越来越大，模型导出、传输和上线变得非常慢，Serving 节点的内存成本也眼看着往上飙。</p>