PaddleOCR初体验,基于PaddleHub Serving的服务部署

Stella981
• 阅读 1805

PaddleOCR提供2种服务部署方式:

  • 基于PaddleHub Serving的部署:代码路径为"./deploy/hubserving",按照本教程使用;
  • 基于PaddleServing的部署:代码路径为"./deploy/pdserving",使用方法参考文档

基于PaddleHub Serving的服务部署

hubserving服务部署目录下包括检测、识别、2阶段串联三种服务包,请根据需求选择相应的服务包进行安装和启动。目录结构如下:

deploy/hubserving/ └─ ocr_det 检测模块服务包 └─ ocr_rec 识别模块服务包 └─ ocr_system 检测+识别串联服务包

每个服务包下包含3个文件。以2阶段串联服务包为例,目录如下:

deploy/hubserving/ocr_system/ └─ __init__.py 空文件,必选 └─ config.json 配置文件,可选,使用配置启动服务时作为参数传入 └─ module.py 主模块,必选,包含服务的完整逻辑 └─ params.py 参数文件,必选,包含模型路径、前后处理参数等参数

快速启动服务

以下步骤以检测+识别2阶段串联服务为例,如果只需要检测服务或识别服务,替换相应文件路径即可。

1. 准备环境

克隆代码:https://gitee.com/paddlepaddle/PaddleOCR.git,解压并进入PaddleOCR文件夹

# 安装paddlehub pip3 install paddlehub --upgrade -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 下载推理模型

PaddleOCR下新建‘inference’文件夹,准备推理模型并放到‘inference’文件夹里面,默认使用的是v1.1版的超轻量模型,

https://github.com/PaddlePaddle/PaddleOCR/blob/develop/doc/doc_ch/quickstart.md 

PaddleOCR初体验,基于PaddleHub Serving的服务部署

默认模型路径为:

检测模型:./inference/ch_ppocr_mobile_v1.1_det_infer/ 识别模型:./inference/ch_ppocr_mobile_v1.1_rec_infer/ 方向分类器:./inference/ch_ppocr_mobile_v1.1_cls_infer/

模型路径可在params.py中查看和修改。 更多模型可以从PaddleOCR提供的模型库下载,也可以替换成自己训练转换好的模型。

3. 安装服务模块

PaddleOCR提供3种服务模块,根据需要安装所需模块。

  • 在Linux环境下,安装示例如下:

# 安装检测服务模块: hub install deploy/hubserving/ocr_det/

# 或,安装识别服务模块: hub install deploy/hubserving/ocr_rec/

# 或,安装检测+识别串联服务模块: hub install deploy/hubserving/ocr_system/

  • 在Windows环境下(文件夹的分隔符为\),安装示例如下:

# 安装检测服务模块: hub install deploy\hubserving\ocr_det\

# 或,安装识别服务模块: hub install deploy\hubserving\ocr_rec\

# 或,安装检测+识别串联服务模块: hub install deploy\hubserving\ocr_system\

4. 启动服务

方式1. 命令行命令启动(仅支持CPU)

启动命令: hub serving start -c D:\XHX\Develop\Paddale\PaddleOCR\deploy\hubserving\ocr_system\config.json

注意:如果启动报错xxx路径找不到,去PaddleOCR\deploy\hubserving下的ocr_system、ocr_det、ocr_rec的params.py文件,将所有的model_dir

替换为符合win格式的绝对路径即可;

PaddleOCR初体验,基于PaddleHub Serving的服务部署

参数:

参数

用途

--modules/-m

PaddleHub Serving预安装模型,以多个Module==Version键值对的形式列出
当不指定Version时,默认选择最新版本

--port/-p

服务端口,默认为8866

--use_multiprocess

是否启用并发方式,默认为单进程方式,推荐多核CPU机器使用此方式
Windows操作系统只支持单进程方式

--workers

在并发方式下指定的并发任务数,默认为2*cpu_count-1,其中cpu_count为CPU核数

如启动串联服务: hub serving start -m ocr_system

这样就完成了一个服务化API的部署,使用默认端口号8866。

方式2. 配置文件启动(支持CPU、GPU)

启动命令:
hub serving start -c config.json

其中,config.json格式如下:

{ "modules_info": { "ocr_system": { "init_args": { "version": "1.0.0", "use_gpu": true }, "predict_args": { } } }, "port": 8868, "use_multiprocess": false, "workers": 2 }

  • init_args中的可配参数与module.py中的_initialize函数接口一致。其中,use_gputrue时,表示使用GPU启动服务
  • predict_args中的可配参数与module.py中的predict函数接口一致。

注意:

  • 使用配置文件启动服务时,其他参数会被忽略。
  • 如果使用GPU预测(即,use_gpu置为true),则需要在启动服务之前,设置CUDA_VISIBLE_DEVICES环境变量,如:export CUDA_VISIBLE_DEVICES=0,否则不用设置。
  • **use_gpu不可与use_multiprocess同时为true**。

如,使用GPU 3号卡启动串联服务:

export CUDA_VISIBLE_DEVICES=3 hub serving start -c deploy/hubserving/ocr_system/config.json

发送预测请求

配置好服务端,可使用以下命令发送预测请求,获取预测结果:

python tools/test_hubserving.py server_url image_path

需要给脚本传递2个参数:

  • server_url:服务地址,格式为
    http://[ip_address]:[port]/predict/[module_name]
    例如,如果使用配置文件启动检测、识别、检测+识别2阶段服务,那么发送请求的url将分别是:
    http://127.0.0.1:8866/predict/ocr_det
    http://127.0.0.1:8867/predict/ocr_rec
    http://127.0.0.1:8868/predict/ocr_system
  • image_path:测试图像路径,可以是单张图片路径,也可以是图像集合目录路径

访问示例:
python tools/test_hubserving.py http://127.0.0.1:8868/predict/ocr_system ./doc/imgs/

返回结果格式说明

返回结果为列表(list),列表中的每一项为词典(dict),词典一共可能包含3种字段,信息如下:

字段名称

数据类型

意义

text

str

文本内容

confidence

float

文本识别置信度

text_region

list

文本位置坐标

不同模块返回的字段不同,如,文本识别服务模块返回结果不含text_region字段,具体信息如下:

字段名/模块名

ocr_det

ocr_rec

ocr_system

text

 

confidence

 

text_region

 

说明: 如果需要增加、删除、修改返回字段,可在相应模块的module.py文件中进行修改,完整流程参考下一节自定义修改服务模块。

自定义修改服务模块

如果需要修改服务逻辑,你一般需要操作以下步骤(以修改ocr_system为例):

  • 1、 停止服务
    hub serving stop --port/-p XXXX

  • 2、 到相应的module.pyparams.py等文件中根据实际需求修改代码。
    例如,如果需要替换部署服务所用模型,则需要到params.py中修改模型路径参数det_model_dirrec_model_dir,如果需要关闭文本方向分类器,则将参数use_angle_cls置为False,当然,同时可能还需要修改其他相关参数,请根据实际情况修改调试。 强烈建议修改后先直接运行module.py调试,能正确运行预测后再启动服务测试。

  • 3、 卸载旧服务包
    hub uninstall ocr_system

  • 4、 安装修改后的新服务包
    hub install deploy/hubserving/ocr_system/

  • 5、重新启动服务
    hub serving start -m ocr_system

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
待兔 待兔
5个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Wesley13 Wesley13
3年前
PPDB:今晚老齐直播
【今晚老齐直播】今晚(本周三晚)20:0021:00小白开始“用”飞桨(https://www.oschina.net/action/visit/ad?id1185)由PPDE(飞桨(https://www.oschina.net/action/visit/ad?id1185)开发者专家计划)成员老齐,为深度学习小白指点迷津。
Wesley13 Wesley13
3年前
PPDB——飞桨开发者技术小白
PPDE——飞桨(https://www.oschina.net/action/visit/ad?id1185)开发者技术专家,是飞桨(https://www.oschina.net/action/visit/ad?id1185)开发者技术专家的荣誉认证体系,由飞桨(https://www.oschina.net/action/visit/a
Stella981 Stella981
3年前
Github热榜:中英文识别OCR模型,百度开源媲美收费软件!
近日,百度飞桨(https://www.oschina.net/action/visit/ad?id1185)正式开源了业界最小的超轻量8.6M中英文识别OCR模型套件Paddle(https://www.oschina.net/action/visit/ad?id1185)OCR,在模型大小、精度和预测速度上,甚至超过了之前一度登上GitHub
Wesley13 Wesley13
3年前
BERT源码分析(PART I)
写在前面update@2020.02.10最近在看paddle(https://www.oschina.net/action/visit/ad?id1185)相关,于是就打算仔细过一遍百度ERNIE(https://www.oschina.net/action/visit/ad?id1191)的源码。之前粗看
Stella981 Stella981
3年前
Golang注册Eureka的工具包goeureka发布
1.简介提供Go微服务客户端注册到Eureka中心。点击:github地址(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fgithub.com%2FSimonWang00%2Fgoeureka),欢迎各位多多star!(已通过测试验证,用于正式生产部署)2.原理
Wesley13 Wesley13
3年前
1. 容器化部署一套云服务 第一讲 Jenkins(Docker + Jenkins + Yii2 + 云服务器))
容器化部署一套云服务系列1\.容器化部署一套云服务之Jenkins(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.cnblogs.com%2Fjackson0714%2Fp%2Fdeploy1.html)一、购买服务器服务器!caeef00
Stella981 Stella981
3年前
AI Studio过于靠谱,真香啊,快来学习飞桨吧
还在犹豫要不要学习飞桨(https://www.oschina.net/action/visit/ad?id1185)吗?关注公众号:飞桨(https://www.oschina.net/action/visit/ad?id1185)PPDB,和我们一起学习飞桨(https://www.oschina.net/action/visit
Python进阶者 Python进阶者
10个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这