Skip to content

Latest commit

 

History

History

openpose_hands_estimation

Folders and files

NameName
Last commit message
Last commit date

parent directory

..
module.py
module.py
 
 
processor.py
processor.py
 
 
readme.md
readme.md
 
 
test.py
test.py
 
 

readme.md

openpose_hands_estimation

模型名称 hand_pose_localization
类别 图像-关键点检测
网络 -
数据集 MPII, NZSL
是否支持Fine-tuning 否
模型大小 130M
最新更新日期 2021-06-02
数据指标 -

一、模型基本信息

  • 应用效果展示

    • 手部关键点展示（左）、预测效果（右）

  • 模型介绍

    • penpose_hands_estimation是基于 'Hand Keypoint Detection in Single Images using Multiview Bootstrapping' 构建的用于手部关键点检测的模型。

二、安装

三、模型API预测

  • 1、命令行预测

    • $ hub run openpose_hands_estimation --input_path "/PATH/TO/IMAGE"

    • Note：本模型先识别人体关键点以确定2个手的位置，再识别手部关键点；输入图片建议为半身照或全身照，手部没有遮挡；本模型需要用到openpose_body_estimation，若未安装则推理前会自动安装

    • 通过命令行方式实现hub模型的调用，更多请见 PaddleHub命令行指令

  • 2、预测代码示例

    • import paddlehub as hub

model = hub.Module(name='openpose_hands_estimation')
result = model.predict('/PATH/TO/IMAGE')
model.save_inference_model('/PATH/TO/SAVE/MODEL')

  • 3、API

    • def __init__(load_checkpoint: str = None):
      • 参数
        • load_checkpoint(str): 手部检测模型，用户可以指定自己的模型地址。 默认为None时，会使用PaddleHub提供的默认模型。
    • def predict(img, 
            save_path='openpose_hand', 
            scale=[0.5, 1.0, 1.5, 2.0], 
            visualization=True):
      • 识别输入图片中的所有人手部关键点。
      • 参数
        • img (numpy.ndarray|str): 图片数据，使用图片路径或者输入numpy.ndarray，BGR格式；
        • save_path (str): 图片保存路径， 默认为openpose_hand；
        • scale (list): 搜索关键点时使用图片的不同尺度；
        • visualization (bool): 是否将识别结果保存为图片文件；
      • 返回
        • res (dict): 识别结果的列表，列表元素为 dict, 有以下两个字段：
          • data : 可视化图片内容（numpy.ndarray，BGR格式）；
          • all_hand_peaks: 图片中手部关键点坐标
    • def save_inference_model(save_dir):
      • 将模型保存到指定路径。
      • 参数
        • save_dir(str): 存放模型的目录名称

四、服务部署

  • PaddleHub Serving可以部署一个在线手部关键点检测服务。

  • 第一步：启动PaddleHub Serving

    • 运行启动命令：

    • $ hub serving start -m openpose_hands_estimation -p 8866

    • 这样就完成了一个人体手部关键点检测的在线服务API的部署，默认端口号为8866。

    • NOTE: 如使用GPU预测，则需要在启动服务之前，请设置CUDA_VISIBLE_DEVICES环境变量，否则不用设置。

  • 第二步：发送预测请求

    • 配置好服务端，以下数行代码即可实现发送预测请求，获取预测结果

    • import requests
import json
import cv2
import base64

import numpy as np


def cv2_to_base64(image):
    data = cv2.imencode('.jpg', image)[1]
    return base64.b64encode(data.tostring()).decode('utf8')

def base64_to_cv2(b64str):
    data = base64.b64decode(b64str.encode('utf8'))
    data = np.fromstring(data, np.uint8)
    data = cv2.imdecode(data, cv2.IMREAD_COLOR)
    return data

# 发送HTTP请求
org_im = cv2.imread('/PATH/TO/IMAGE')
data = {'images':[cv2_to_base64(org_im)]}
headers = {"Content-type": "application/json"}
url = "http://127.0.0.1:8866/predict/openpose_hands_estimation"
r = requests.post(url=url, headers=headers, data=json.dumps(data))
canvas = base64_to_cv2(r.json()["results"]["data"])
cv2.imwrite('keypoint.png', canvas)

五、更新历史

  • 1.0.0

    初始发布

  • 1.1.0

    • $ hub install hand_pose_localization==1.1.0