能否提供全局外部配置项来决定utils.py onnx的线程数相关配置... 云函数部署直接爆了...128核心cpu云环境onnx总是卡死

[gowy222]

``部署方式 pip install rapidocr_onnxruntime + 简单测试入口文件读取本地图片

https://github.com/RapidAI/RapidOCR/blob/f6865413acea7798c882637c0b45c24a0ba4217f/python/rapidocr_onnxruntime/utils.py 看了没有发现读取config 来配置onnx的线程数，默认让onnx自动处理，这...在腾讯云函数跑不起来，不知道是不是和这块有关...

关键问题在于 paddle ocr + PaddlePaddle 官方很重的部署在云函数能运行，而且一次运行推理只需要400mb+左右内存，RapidOCR 尝试在云函数部署，直接破1G内存被云函数平台强制熔断..

求解... 大佬可有尝试过在云函数平台部署过?

然后买了台阿里的轻量云服务器，docker化部署也是直接卡死服务器...只能通过控制台强制重启

--
换言之，onnx默认线程数 是否需要依据环境设置一个max值? 尤其是云函数后面不知道集群机器是何种牛逼的cpu核心数..

FROM python:3.10-slim-bullseye

EXPOSE 9000
ENV TZ=Asia/Shanghai
ENV CUDA_VISIBLE_DEVICES -1
ENV DEBIAN_FRONTEND=noninteractive
COPY app.py /


RUN set -e \
    # && sed -i "s@http://deb.debian.org@http://mirrors.tuna.tsinghua.edu.cn@g" /etc/apt/sources.list \
    && apt-get update \
    && apt-get install -y libgomp1 \  
    && pip install --no-cache-dir --upgrade pip \
    && pip install --no-cache-dir rapidocr_onnxruntime \
    && pip uninstall -y opencv-python \
    && pip install --no-cache-dir 'opencv-python-headless<=4.6.0.66' \  # 无gui环境用opencv-python-headless代替减少镜像体积
    && apt-get -y remove python3-pip \
    && apt-get -y autoremove \
    && apt-get clean \
    && rm -rf /var/lib/{apt,dpkg,cache,log}/ /root/.cache /tmp/* \
    && rm -rf /var/lib/apt/lists/*

CMD ["python3", "app.py"]

[SWHL]

哈喽，可以帮忙测试一下，在以下位置添加以下两个参数，是否可以在云函数平台正常使用呢？

RapidOCR/python/rapidocr_onnxruntime/utils.py

Line 31 in f686541

sess_opt = SessionOptions()

添加示例：

class OrtInferSession:
    def __init__(self, config):
        sess_opt = SessionOptions()
        sess_opt.log_severity_level = 4
        sess_opt.enable_cpu_mem_arena = False
        sess_opt.graph_optimization_level = GraphOptimizationLevel.ORT_ENABLE_ALL

       # From https://onnxruntime.ai/docs/api/python/api_summary.html#onnxruntime.SessionOptions.inter_op_num_threads
        sess_opt.intra_op_num_threads = 2
        sess_opt.inter_op_num_threads = 2

如果可以的话，我这里再考虑添加这个配置到全局config中，感谢

[SWHL]

收到，晚上下班，我这里更新一版，感谢测试

[SWHL]

我在想我这里方便提供外部全局参数配置线程数，但是 这个默认的线程数不太好给出，

因为有些云服务器，python端不能获得真实的核心数。就像这个云服务器背后有128个核心，但是当前用户只有2个核心能用。这个程序只能获得128个核心数这个数值，并不能获得真实的能用核心数。

[gowy222]

确实如此，os.sched_getaffinity(0) 和 multiprocessing.cpu_count() 在我这边测试云环境都不准确。看来只能手动通过config来主动设置固定线程数了。动态适配环境看来实现不了。

[SWHL]

已经在rapidocr_onnxruntime>=1.3.14中实现了，具体可参见docs