Paddle Inference 3.0.0 beta.1 CPU-MKL C++ 推理速度比旧版本明显下降

[hiroi-sora]

我对 Paddle Inference 3.0.0 beta.1 C++ 推理后端进行了一些测试，不一定严谨。发现推理速度比旧版本有明显下降。

测试结果：

项目/版本	PPOCR v2.6	PPOCR v2.8	PPOCR v2.8	RapidOcrOnnx
推理后端	Paddle Inference 2.3.2	3.0.0-beta1	3.0.0-beta1	onnxruntime
模型库（det、rec）	V3	V3	V4	V4 (onnx)
启用mkl	是	是	是	无
速度（图片/秒）	0.46875	0.52837	0.66095	0.50991
速度（相对值）	100%	88.7%	70.9%	91.9%
内存占用峰值（MB）	2500	1660	1550	400

测试环境：

• 环境：Win11 | AMD 7840HS | 32G | VS2022
• 代码基于：PaddleOCR/deploy/cpp_infer ，使用单个 PPOCR 实例对所有图片进行推理。
• 推理后端：Paddle Inference CPU MKL
• 启用模型库： det + cls + rec (ch_PP-OCRv*_*_infer)
• 测试图片：1000张，1920x1080，每张图片约2~6行文本，重复多轮测试

结论：

• Paddle Inference 推理后端（cpu mkl），最新的 3.0.0-beta1 版本，使用相同的V3模型库时，对比v2后端有 10% 的速度下降。使用V4模型库时，差距达到近30%。
• 新版的内存增长速度和占用峰值，比v2后端有了大幅的优化。载入模型的初始化时间也有缩短，好。

询问：

• 上述测试结果，是个别差异还是普遍情况？别的开发者能复现MKL推理库 v3 比 v2 速度慢的情况吗？
• 如果是普遍情况，请问此性能差异是v3固有的特性，还是Bug？
• 后续能否优化速度，至少恢复到旧版本的水平？

[GreatV]

这个是历史悠久的问题，应该是跟onednn相关，相关issue有：

• PaddleOCR v4模型使用Mkldnn在非AVX512 CPU上变得非常慢 #10346
• PaddleOCR v4模型使用Mkldnn在非AVX512 CPU上变得非常慢 #10337
• [OneDNN]Fix ocr error since pass avx512 command Paddle#64132
• windows paddlepaddle 3.0.0b1 cpu版本相比2.6.1版本存在明显的效率下降 Paddle#66697

[hiroi-sora]

#10346: 换言之，这个问题和ppocr-v4、mkldnn、AVX512F同时相关。

感谢，这个方面我了解了。

但是，都使用 ppocr-v3 模型，所有条件完全相同时，新版推理库仍比旧版有 10% 的速度下降。这也可能是 onednn 升级造成的吗？