Skip to content

Latest commit

 

History

History
 
 

Folders and files

NameName
Last commit message
Last commit date

parent directory

..
 
 
 
 
 
 

PaddleDetection SOPHGO部署示例

支持模型列表

目前SOPHGO支持如下模型的部署

准备PP-YOLOE YOLOV8或者PicoDet部署模型以及转换模型

SOPHGO-TPU部署模型前需要将Paddle模型转换成bmodel模型,具体步骤如下:

模型转换example

PP-YOLOE YOLOV8和PicoDet模型转换过程类似,下面以ppyoloe_crn_s_300e_coco为例子,教大家如何转换Paddle模型到SOPHGO-TPU模型

导出ONNX模型

#导出paddle模型
python tools/export_model.py -c configs/ppyoloe/ppyoloe_crn_s_300e_coco.yml --output_dir=output_inference -o weights=https://paddledet.bj.bcebos.com/models/ppyoloe_crn_s_300e_coco.pdparams

#paddle模型转ONNX模型
paddle2onnx --model_dir ppyoloe_crn_s_300e_coco \
            --model_filename model.pdmodel \
            --params_filename model.pdiparams \
            --save_file ppyoloe_crn_s_300e_coco.onnx \
            --enable_dev_version True

#进入Paddle2ONNX文件夹,固定ONNX模型shape
python -m paddle2onnx.optimize --input_model ppyoloe_crn_s_300e_coco.onnx \
                                --output_model ppyoloe_crn_s_300e_coco.onnx \
                                --input_shape_dict "{'image':[1,3,640,640]}"

导出bmodel模型

以转化BM1684x的bmodel模型为例子,我们需要下载TPU-MLIR工程,安装过程具体参见TPU-MLIR文档

1. 安装

docker pull sophgo/tpuc_dev:latest

# myname1234是一个示例,也可以设置其他名字
docker run --privileged --name myname1234 -v $PWD:/workspace -it sophgo/tpuc_dev:latest

source ./envsetup.sh
./build.sh

2. ONNX模型转换为bmodel模型

mkdir ppyoloe_crn_s_300e_coco && cd ppyoloe_crn_s_300e_coco

# 下载测试图片,并将图片转换为npz格式
wget https://gitee.com/paddlepaddle/PaddleDetection/raw/release/2.4/demo/000000014439.jpg

#使用python获得模型转换所需要的npz文件
im = cv2.imread(im)
im = cv2.cvtColor(im, cv2.COLOR_BGR2RGB)
#[640 640]为ppyoloe_crn_s_300e_coco的输入大小
im_scale_y = 640 / float(im.shape[0])
im_scale_x = 640 / float(im.shape[1])
inputs = {}
inputs['image'] = np.array((im, )).astype('float32')
inputs['scale_factor'] = np.array([im_scale_y, im_scale_x]).astype('float32')
np.savez('inputs.npz', image = inputs['image'], scale_factor = inputs['scale_factor'])

#放入onnx模型文件ppyoloe_crn_s_300e_coco.onnx

mkdir workspace && cd workspace

# 将ONNX模型转换为mlir模型
model_transform.py \
    --model_name ppyoloe_crn_s_300e_coco \
    --model_def ../ppyoloe_crn_s_300e_coco.onnx \
    --input_shapes [[1,3,640,640],[1,2]] \
    --keep_aspect_ratio \
    --pixel_format rgb \
    --output_names p2o.Div.1,p2o.Concat.29 \
    --test_input ../inputs.npz \
    --test_result ppyoloe_crn_s_300e_coco_top_outputs.npz \
    --mlir ppyoloe_crn_s_300e_coco.mlir

注意

由于TPU-MLIR当前不支持后处理算法,所以需要查看后处理的输入作为网络的输出
具体方法为:output_names需要通过NETRO 查看,网页中打开需要转换的ONNX模型,搜索NonMaxSuppression节点
查看INPUTS中boxes和scores的名字,这个两个名字就是我们所需的output_names
例如使用Netron可视化后,可以得到如下图片

找到蓝色方框标记的NonMaxSuppression节点,可以看到红色方框标记的两个节点名称为p2o.Div.1,p2o.Concat.29

# 将mlir模型转换为BM1684x的F32 bmodel模型
model_deploy.py \
  --mlir ppyoloe_crn_s_300e_coco.mlir \
  --quantize F32 \
  --chip bm1684x \
  --test_input ppyoloe_crn_s_300e_coco_in_f32.npz \
  --test_reference ppyoloe_crn_s_300e_coco_top_outputs.npz \
  --model ppyoloe_crn_s_300e_coco_1684x_f32.bmodel

最终获得可以在BM1684x上能够运行的bmodel模型ppyoloe_crn_s_300e_coco_1684x_f32.bmodel。如果需要进一步对模型进行加速,可以将ONNX模型转换为INT8 bmodel,具体步骤参见TPU-MLIR文档

其他链接