Jetson Nano PaddlePaddle 环境配置 及 PaddleHub—OCR测试

一.软硬件版本

Jetson Nano 4G
JP 4.4.1
CUDA 10.2
CUDNN 8.0
TensorRT 7.1.3.0

二.安装NCLL2

git clone https://github.com/NVIDIA/nccl.git   
cd nccl     
make -j4     
sudo make install 

此步编译过程很久。
已下为安装成功截图：

三.安装Paddlepaddle-gpu

##注意以下python环境安装强烈推荐在虚拟环境下操作##

• 3.1 下载paddle

git clone -b release/2.0 https://gitee.com/paddlepaddle/Paddle.git

• 3.2 CUDA 的环境变量配置，已经配置的跳过该步骤。

sudo vim  ~/.bashrc
#在最后添加以下内容
export CUDA_HOME=/usr/local/cuda-10.2
export LD_LIBRARY_PATH=/usr/local/cuda-10.2/lib64:$LD_LIBRARY_PATH
export PATH=/usr/local/cuda-10.2/bin:$PATH
#保存生效一下
source ~/.bashrc

• 3.3 安装编译工具

sudo apt-get install unrar swig patchelf

• 3.4 编译

cd Paddle 
#需要编译python包的话先安装下需要的库
pip install -r python/requirements.txt

mkdir  build
cd build

cmake \
-DWITH_CONTRIB=OFF \
-DWITH_MKL=OFF \
-DWITH_MKLDNN=OFF \
-DWITH_TESTING=OFF \
-DCMAKE_BUILD_TYPE=Release \
-DON_INFER=ON \
-DWITH_PYTHON=ON  \
-DWITH_XBYAK=OFF   \
-DWITH_NV_JETSON=ON \
-DPY_VERSION=3.6  \
-DTENSORRT_ROOT=/home/djj/Tensorrt/ \   
-DCUDA_ARCH_NAME=All \
..

#时间很久
make -j4  
#生成预测lib
make inference_lib_dist   
 #python环境安装编译好的paddlepaddle-gpu的whl  
pip install  paddlepaddle*******.whl 

填坑记录：

• 1.numpy没找到，卸载重装。
• 2.cmake使找不到CUPTI报错，通过拷贝TensorRT环境，来适应cmake文件的编译命令。拷贝后TensorRT呈现以下结构：
  
• 3.编译时三方库无法下载，本人在此步骤卡了2天，目前没找到可行方案。

四.测试

在python中测试，出现下图说明成功。

python
import paddle
#2.0以下API
paddle.fluid.install_check.run_check()
#2.0以上的API
paddle.utils.run_check()

五.pip安装方式whl包下载资源

• 百度云链接（版本:1.5.2,1.6.2,2.0.0)：

链接：https://pan.baidu.com/s/1ZOaKk-tE77qWuIpYMhxnJg
提取码：ldql

• 官网下载链接：

https://www.paddlepaddle.org.cn/documentation/docs/zh/install/Tables.html#whl-release

六.PaddleHub 安装/测试

• 首先需要安装sentencepiece

源码编译安装sentencepiece，编译环境安装：
sudo apt-get install cmake build-essential pkg-config libgoogle-perftools-dev
然后进行源码编译：
https://github.com/google/sentencepiece
下载源码包 sentencepiece-master.zip
unzip sentencepiece-master.zip
cd sentencepiece
mkdir build
cd build
cmake ..
make -j4
sudo make install
sudo ldconfig -v

pip install  scipy==1.3.1
#这里我安装的1.8版本
pip install paddlehub==1.8.0
安装成功后python下测试 import paddlehub 会出现缺少库的错误pip安装即可

• 测试超轻量级中文OCR模型

安装ocr依赖
sudo apt-get install libgeos-dev
sudo apt-get install python3-shapely
pip install shapely==1.6.2
pip install pyclipper
conda install geos

#使用hub下载模型
##韩文的##
hub install korean_ocr_db_crnn_mobile==1.0.0
##中文的##
hub install chinese_ocr_db_crnn_mobile==1.1.0

• 简单测试命令，测试环境是否正确

hub run chinese_ocr_db_crnn_mobile --input_path "/PATH/TO/IMAGE"

• 这里使用cpu可以正常推理，使用GPU的话需要改下源码,OCR源码中申请了8G显存。。。
• 不需要使用GPU的直接跳到 测试代码 步骤即可。

直接使用GPU这里会报错：
E0318 13:28:24.483968  4564 analysis_predictor.cc:585] Allocate too much memory for the GPU memory pool, assigned 8000 MB
E0318 13:28:24.484027  4564 analysis_predictor.cc:588] Try to shink the value by setting Analysis Config::EnableGpu(...)

• 修改源码：

~/.paddlehub/modules/chinese_ocr_db_crnn_mobile/model.py 
修改此文件76行
	config.enable_use_gpu(8000, 0) 
改为：
	config.enable_use_gpu(3000, 0) 

修改后运行，无反应，目前可以查看paddle github lssues目前ocr对于显存还存在一些问题；本文还是采用cpu推理。

• 测试代码：

import paddlehub as hub
import cv2
import os
#如果使用GPU，需要先定义GPU；
os.environ['CUDA_VISIBLE_DEVICES'] = '0'

ocr = hub.Module(name="chinese_ocr_db_crnn_mobile")
result = ocr.recognize_text(images=[cv2.imread('./1.jpg')],
                            use_gpu= False,                  #设置是否使用gpu
                            output_dir='ocr_result',
                            visualization=True,
                            box_thresh=0.5, 
                            text_thresh=0.5)

print(result)

可以看到保存后的结果：

六.参考文档

https://www.paddlepaddle.org.cn/documentation/docs/zh/install/index_cn.html
https://zhuanlan.zhihu.com/p/319371293
https://blog.csdn.net/qq_44498043/article/details/107300374?spm=1001.2014.3001.5502

7.有待解决…

各位同学，问下有啥方法可以让编译的时候下载github文件速度快些？？求大佬回复。。。
使用gpu推理时，显存问题无法解决，等后续paddle版本优化后再试试。。