English | 简体中文
本例程用于说明如何使用sophon-stream快速构建视频目标分类应用。
深度残差网络（Deep residual network, ResNet）是由于Kaiming He等在2015提出的深度神经网络结构，它利用残差学习来解决深度神经网络训练退化的问题。
在此非常感谢Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun等人的贡献。
论文 (https://arxiv.org/abs/1512.03385)
- 支持BM1684X(x86 PCIe、SoC)和BM1684(x86 PCIe、SoC、arm PCIe)
- 支持FP32、FP16(BM1684X)、INT8模型编译和推理
- 支持多路视频流
- 支持多线程
在scripts目录下提供了相关模型和数据的下载脚本 download.sh。
# 安装unzip，若已安装请跳过，非ubuntu系统视情况使用yum或其他方式安装
sudo apt install unzip
chmod -R +x scripts/
./scripts/download.sh脚本执行完毕后，会在当前目录下生成data目录，其中包含models、videos、images三个子目录。
下载的模型包括：
models/
├── BM1684
│ ├── resnet_pedestrian_gender_fp32_1b.bmodel # 用于BM1684的FP32 BModel，batch_size=1
│ ├── resnet_pedestrian_gender_fp32_4b.bmodel # 用于BM1684的FP32 BModel，batch_size=4
│ ├── resnet_pedestrian_gender_int8_1b.bmodel # 用于BM1684的INT8 BModel，batch_size=1
│ ├── resnet_pedestrian_gender_int8_4b.bmodel # 用于BM1684的INT8 BModel，batch_size=4
│ ├── resnet_vehicle_color_fp32_1b.bmodel # 用于BM1684的FP32 BModel，batch_size=1
│ ├── resnet_vehicle_color_fp32_4b.bmodel # 用于BM1684的FP32 BModel，batch_size=4
│ ├── resnet_vehicle_color_int8_1b.bmodel # 用于BM1684的INT8 BModel，batch_size=1
│ ├── resnet_vehicle_color_int8_4b.bmodel # 用于BM1684的INT8 BModel，batch_size=4
│ ├── resnet50_fp32_1b.bmodel # 用于BM1684的FP32 BModel，batch_size=1
│ ├── resnet50_fp32_4b.bmodel # 用于BM1684的FP32 BModel，batch_size=4
│ ├── resnet50_int8_1b.bmodel # 用于BM1684的INT8 BModel，batch_size=1
│ └── resnet50_int8_4b.bmodel # 用于BM1684的INT8 BModel，batch_size=4
└── BM1684X
├── resnet_pedestrian_gender_fp32_1b.bmodel # 用于BM1684X的FP32 BModel，batch_size=1
├── resnet_pedestrian_gender_fp32_4b.bmodel # 用于BM1684X的FP32 BModel，batch_size=4
├── resnet_pedestrian_gender_fp16_1b.bmodel # 用于BM1684X的FP16 BModel，batch_size=1
├── resnet_pedestrian_gender_int8_1b.bmodel # 用于BM1684X的INT8 BModel，batch_size=1
├── resnet_pedestrian_gender_int8_4b.bmodel # 用于BM1684X的INT8 BModel，batch_size=4
├── resnet_vehicle_color_fp32_1b.bmodel # 用于BM1684X的FP32 BModel，batch_size=1
├── resnet_vehicle_color_fp32_4b.bmodel # 用于BM1684X的FP32 BModel，batch_size=4
├── resnet_vehicle_color_fp16_1b.bmodel # 用于BM1684X的FP16 BModel，batch_size=1
├── resnet_vehicle_color_int8_1b.bmodel # 用于BM1684X的INT8 BModel，batch_size=1
└── resnet_vehicle_color_int8_4b.bmodel # 用于BM1684X的INT8 BModel，batch_size=4
├── resnet50_fp32_1b.bmodel # 用于BM1684X的FP32 BModel，batch_size=1
├── resnet50_fp32_4b.bmodel # 用于BM1684X的FP32 BModel，batch_size=4
├── resnet50_fp16_1b.bmodel # 用于BM1684X的FP16 BModel，batch_size=1
├── resnet50_int8_1b.bmodel # 用于BM1684X的INT8 BModel，batch_size=1
└── resnet50_int8_4b.bmodel # 用于BM1684X的INT8 BModel，batch_size=4下载的数据包括：
data/
├── images
│ ├── imagenet_val_1k # imagenet测试图片, 共1000张
│ ├── pedestrian_gender # 行人性别分类测试图片
│ └── vehicle_color # 车辆颜色分类测试图片
└── video
├── test_imagenet.mp4 # imagenet测试视频
└── test_vehicle_color.mp4 # 车辆颜色分类测试视频如果您在x86/arm平台安装了PCIe加速卡（如SC系列加速卡），可以直接使用它作为开发环境和运行环境。您需要安装libsophon、sophon-opencv和sophon-ffmpeg，具体步骤可参考x86-pcie平台的开发和运行环境搭建或arm-pcie平台的开发和运行环境搭建。
如果您使用SoC平台（如SE、SM系列边缘设备），刷机后在/opt/sophon/下已经预装了相应的libsophon、sophon-opencv和sophon-ffmpeg运行库包，可直接使用它作为运行环境。通常还需要一台x86主机作为开发环境，用于交叉编译C++程序。
可以直接在PCIe平台上编译程序，具体请参考sophon-stream编译
通常在x86主机上交叉编译程序，您需要在x86主机上使用SOPHON SDK搭建交叉编译环境，将程序所依赖的头文件和库文件打包至sophon_sdk_soc目录中，具体请参考sophon-stream编译。本例程主要依赖libsophon、sophon-opencv和sophon-ffmpeg运行库包。
resnet demo中各部分参数位于 config 目录，结构如下所示：
./config
├── decode.json # 解码配置
├── engine.json # sophon-stream graph配置
├── resnet_demo.json # resnet demo配置
├── resnet_roi.json # resnet roi配置
└── resnet.json # resnet 插件配置其中，resnet_demo.json是例程的整体配置文件，管理输入码流等信息。在一张图上可以支持多路数据的输入，channels参数配置输入的路数，channel中包含码流url等信息。
配置文件中不指定channel_id属性的情况，会在demo中对每一路数据的channel_id从0开始默认赋值。
{
"channels": [
{
"channel_id": 2,
"url": "../resnet/data/images/imagenet_val_1k",
"source_type": "IMG_DIR",
"loop_num": 1,
"sample_interval": 1,
"fps": -1
},
{
"channel_id": 3,
"url": "../resnet/data/images/imagenet_val_1k",
"source_type": "IMG_DIR",
"loop_num": 1,
"sample_interval": 1,
"fps": -1
},
{
"channel_id": 20,
"url": "../resnet/data/images/imagenet_val_1k",
"source_type": "IMG_DIR",
"loop_num": 1,
"sample_interval": 1,
"fps": -1
},
{
"channel_id": 30,
"url": "../resnet/data/images/imagenet_val_1k",
"source_type": "IMG_DIR",
"loop_num": 1,
"sample_interval": 1,
"fps": -1
}
],
"engine_config_path": "../resnet/config/engine.json"
}engine.json 包含对graph的配置信息，这部分配置确定之后基本不会发生更改。
这里摘取配置文件的一部分作为示例：在该文件内，需要初始化每个element的信息和element之间的连接方式。element_id是唯一的，起到标识身份的作用。element_config指向该element的详细配置文件地址，port_id是该element的输入输出端口编号，多输入或多输出的情况下，输入/输出编号也不可以重复。is_src标志当前端口是否是整张图的输入端口，is_sink标识当前端口是否是整张图的输出端口。 connection是所有element之间的连接方式，通过element_id和port_id确定。
[
{
"graph_id": 0,
"device_id": 0,
"graph_name": "resnet",
"elements": [
{
"element_id": 5000,
"element_config": "../resnet/config/decode.json",
"ports": {
"input": [
{
"port_id": 0,
"is_sink": false,
"is_src": true
}
],
"output": [
{
"port_id": 0,
"is_sink": false,
"is_src": false
}
]
}
},
{
"element_id": 5001,
"element_config": "../resnet/config/resnet.json",
"ports": {
"input": [
{
"port_id": 0,
"is_sink": false,
"is_src": false
}
],
"output": [
{
"port_id": 0,
"is_sink": true,
"is_src": false
}
]
}
}
],
"connections": [
{
"src_element_id": 5000,
"src_port": 0,
"dst_element_id": 5001,
"dst_port": 0
}
]
}
]对于PCIe平台，可以直接在PCIe平台上运行测试；对于SoC平台，需将交叉编译生成的动态链接库、可执行文件、所需的模型和测试数据拷贝到SoC平台中测试。
SoC平台上，动态库、可执行文件、配置文件、模型、视频数据的目录结构关系应与原始sophon-stream仓库中的关系保持一致。
测试的参数及运行方式是一致的，下面主要以PCIe模式进行介绍。
运行可执行文件
./main --demo_config_path=../resnet/config/resnet_demo.json2路视频流运行结果如下
total time cost 1986302 us.
frame count is 1000 | fps is 803.448 fps.目前，resnet例程支持在BM1684、BM1684X的PCIE、SOC模式下进行推理。
测试视频videos/test_imagenet.mp4，编译选项为Release模式，结果如下:
| 设备 | 路数 | 算法线程数 | CPU利用率(%) | 系统内存(M) | 系统内存峰值(M) | TPU利用率(%) | 设备内存(M) | 设备内存峰值(M) | 平均FPS | 峰值FPS |
|---|---|---|---|---|---|---|---|---|---|---|
| SE7 | 8 | 8 | 357.18 | 24.93 | 31.98 | 95.95 | 83.41 | 95.00 | 1990.34 | 2222.02 |
| SE5-16 | 8 | 8 | 128.98 | 19.52 | 20.68 | 99.30 | 73.93 | 90.00 | 713.51 | 739.36 |
| SE5-8 | 8 | 4 | 81.38 | 19.56 | 20.43 | 94.38 | 52.12 | 61.00 | 448.69 | 462.06 |
测试说明：
- 性能测试结果具有一定的波动性，建议多次测试取平均值；
- BM1684/1684X SoC的主控CPU均为8核 ARM A53 42320 DMIPS @2.3GHz；