Tengine快速上手指南(中文版)

Easter79
• 阅读 1742

Tengine是一个优秀的轻量级端侧/嵌入式环境深度神经网络推理引擎。兼容多种操作系统和深度学习算法,以AI推理框架为基础的AIoT开发套件。本文档将分别在x86 Linux和Arm64 Linux平台,以分类模型(TensorFlow MobileNetv1模型)为例,带你快速上手Tengine。

Linux x86 平台编译

下载代码

$ git clone https://github.com/OAID/tengine/

安装所需工具和依赖库

在开始编译Tengine之前,你需要确认你已经安装了cmake,g++,如果没有,你可以通过如下指令安装:

$ sudo apt install cmake g++

进入tengine目录,执行编译脚本

$ cd /path/to/Tengine
$ mkdir build
$ cd build
$ cmake -DCMAKE_TOOLCHAIN_FILE=../toolchains/x86.gcc.toolchain.cmake ..
$ make -j4 && make install

编译完成后,在build目录下如果有libtengine.so文件,说明编译成功。

qtang@tengine-train:~/github/Tengine/build$ ls
benchmark  CMakeCache.txt  CMakeFiles  cmake_install.cmake  examples  libtengine.so  Makefile  tests

arm64 Linux 平台编译

arm64 Linux编译方式与x86平台类似

下载代码

$ git clone https://github.com/OAID/tengine/

安装所需工具

$ sudo apt install cmake g++

进入tengine目录,执行编译脚本

$ cd /path/to/Tengine
$ mkdir build
$ cd build
$ cmake -DCMAKE_TOOLCHAIN_FILE=../toolchains/arm64.native.gcc.toolchain.cmake ..
$ make -j4 && make install

编译完成后,在build目录下如果有libtengine.so文件,说明编译成功。

转换模型

二进制工具

  1. 我们提供模型转换工具convert_model_to_tm,方便您将Tensorflow/Caffe/MxNet/ONNX等框架模型转换成Tengine模型格式tmfile:

convert_model_to_tm

  1. 若采用源码编译,编译完成后该工具的存放路径在

    $ tree install/ install/ ├── benchmark │ ├── bench_mobilenet │ └── bench_sqz ├── convert_tools │ └── convert_model_to_tm (here!)

模型仓库

我们提供了常见开源模型的tmfile文件,您可以在这里找到他们:

Tengine Model zoo(Password : hhgc)

模式转换demo

使用convert_model_to_tm将mobilenet.pb模型转换成Tengine模型非常简单,执行以下命令:

$ ./convert_model_to_tm -f tensorflow -m ./mobilenet.pb -o ./mobilenet_tf.tmfile

其中:

$ ./install/convert_tools/convert_model_to_tm -h

[Usage]: ./install/convert_tools/convert_model_to_tm [-h] [-f file_format] [-p proto_file] [-m model_file] [-o output_tmfile]

-f:模型框架类型[caffe、caffe_single、onnx、mxnet、tensorflow、darknet、tflite],当输入只有一个模型文件时,不需要指定“-p”选项,只指定“-m”选项即可。这里我们使用的是tensorflow mobilenet模型,因此设置该参数为tensorflow
-m:源模型路径
-o:转换后Tengine模型路径

// 转换Caffe Model
$ ./install/tool/convert_model_to_tm -f caffe -p models/sqz.prototxt -m models/squeezenet_v1.1.caffemodel -o models/squeezenet.tmfile 

// 转换TensorFlow Model
$ ./install/tool/convert_model_to_tm -f tensorflow -m models/squeezenet.pb -o models/squeezenet_tf.tmfile

需要注意的是,convert_model_to_tm只能在Linux x86平台上编译或运行,同时编译的时候依赖protobuf第三库(>= 3.0),需要提前安装

$ sudo apt-get install libprotobuf-dev protobuf-compiler

当拿到Tengine模型文件如Mobilenet.tmfile之后,就可以用Tengine在各种平台上愉快的进行应用开发了。

常用API介绍

Tengine核心API如下:

  • init_tengine

初始化Tengine,该函数在程序中只要调用一次即可。

  • create_graph

创建Tengine计算图。

  • prerun_graph

预运行,准备计算图推理所需资源。

  • run_graph

启动Tengine计算图推理。

  • postrun_graph

停止运行graph,并释放graph占据的资源。

  • destroy_graph

销毁graph。

postrun_graph和destroy_graph在执行完模型推理后调用,一般是连续调用。

使用Tengine C API开发mobilenet图片分类代码

Tengine提供了C、C++、Python API供用户使用,这里我们使用Tengine C++ API展示如何运行MobileNetv1网络模型实现图片分类功能,让你快速上手Tengine C++ API。代码中我们将使用详细的代码注释,方便你熟悉Tengine核心API的功能,更快地开发出自己的代码。这里,我们使用行业内无人不识,无人不晓的tiger cat图片作为测试图片。

测试代码

完整的测试代码如下:

#include <unistd.h>
#include <iostream>
#include <functional>
#include <algorithm>
#include <fstream>
#include <iomanip>

#include "tengine_operations.h"
#include "tengine_c_api.h"
#include "tengine_cpp_api.h"
#include "common_util.hpp"

const char* model_file = "./models/mobilenet.tmfile";
const char* image_file = "./tests/images/cat.jpg";
const char* label_file = "./models/synset_words.txt";

const float channel_mean[3] = {104.007, 116.669, 122.679};

using namespace TEngine;

int repeat_count = 100;
void LoadLabelFile(std::vector<std::string>& result, const char* fname)
{
    std::ifstream labels(fname);

    std::string line;
    if(labels.is_open())
    {
        while(std::getline(labels, line))
            result.push_back(line);
    }
}

void PrintTopLabels(const char* label_file, float* data)
{
    // load labels
    std::vector<std::string> labels;
    LoadLabelFile(labels, label_file);

    float* end = data + 1000;
    std::vector<float> result(data, end);
    std::vector<int> top_N = Argmax(result, 5);

    for(unsigned int i = 0; i < top_N.size(); i++)
    {
        int idx = top_N[i];
        if(labels.size())
            std::cout << std::fixed << std::setprecision(4) << result[idx] << " - \"" << labels[idx] << "\"\n";
        else
            std::cout << std::fixed << std::setprecision(4) << result[idx] << " - " << idx << "\n";
        
    }
}

void get_input_data(const char* image_file, float* input_data, int img_h, int img_w, const float* mean, float scale)
{
    image img = imread(image_file);

    image resImg = resize_image(img, img_w, img_h);
    resImg = rgb2bgr_premute(resImg);
    float* img_data = ( float* )resImg.data;
    int hw = img_h * img_w;
    for(int c = 0; c < 3; c++)
        for(int h = 0; h < img_h; h++)
            for(int w = 0; w < img_w; w++)
            {
                input_data[c * hw + h * img_w + w] = (*img_data - mean[c]) * scale;
                img_data++;
            }
}

int main(int argc, char* argv[])
{
    std::string device = "";
    std::string file_path = "";
    char* cpu_list_str = nullptr;

    int res;

    while((res = getopt(argc, argv, "p:d:f:r:")) != -1)
    {
        switch(res)
        {
            case 'p':
                cpu_list_str = optarg;
                break;

            case 'd':
                device = optarg;
                break;

            case 'f':
                file_path = optarg;
                break;

            case 'r':
                repeat_count = strtoul(optarg, NULL, 10);
                break;

            default:
                break;
        }
    }

    int img_h = 224;
    int img_w = 224;

    tengine::Net mobilenet;
    tengine::Tensor input_tensor;
    tengine::Tensor output_tensor;

    /* load model */
    mobilenet.load_model(NULL, "tengine", model_file);

    /* prepare input data */
    input_tensor.create(img_w, img_h, 3);
    get_input_data(image_file, (float* )input_tensor.data, img_h, img_w, channel_mean, 0.017);
    mobilenet.input_tensor("data", input_tensor);
    
    /* forward */
    mobilenet.run();

    /* get result */
    mobilenet.extract_tensor("fc7", output_tensor);

    /* after process */
    PrintTopLabels(label_file, (float*)output_tensor.data);
    
    std::cout << "--------------------------------------\n";
    std::cout << "ALL TEST DONE\n";

    return 0;
}

编译

build.sh编译脚本默认配置已实现自动编译examples中的demo程序,以x86平台为例,demo存放在./build-linux-x86/install/examples/目录下。

./build-linux-x86/install/
├── benchmark
│   ├── bench_mobilenet
│   └── bench_sqz
├── examples
│   ├── classification
│   ├── mobilenet_ssd
│   └── synset_words.txt

运行结果

将测试图片和分类标签文件放在指定目录下,运行即可:

export LD_LIBRARY_PATH=./build-linux-x86/install/lib
cd ./build-linux-x86/install/examples/
$ ./classification -m /path/to/mobilenet.tmfile -l /path/to/labels.txt -i /path/to/img.jpg -g 224,224 -s 0.017 -w 104.007,116.669,122.679

--------------------------------------
0.3465 - "tiger cat"
0.1609 - "tabby"
0.1564 - "weasel"
0.0844 - "Egyptian cat"
0.0258 - "bucket"
--------------------------------------
ALL TEST DONE

可以看出,我们已经成功的分类出测试图片是虎猫了。 到这里最基本的上手指北已经完成,剩下的小伙伴们可以自行探索,我们也会不定期更新各种教程范例给大家~

...\(^0^)/...233

更多资讯欢迎关注公众号Tengine开发者社区,拜了个拜

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Jacquelyn38 Jacquelyn38
2年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Wesley13 Wesley13
2年前
Java获得今日零时零分零秒的时间(Date型)
publicDatezeroTime()throwsParseException{    DatetimenewDate();    SimpleDateFormatsimpnewSimpleDateFormat("yyyyMMdd00:00:00");    SimpleDateFormatsimp2newS
Stella981 Stella981
2年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Wesley13 Wesley13
2年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
2年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
2年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
2个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这
Easter79
Easter79
Lv1
今生可爱与温柔,每一样都不能少。
文章
2.8k
粉丝
5
获赞
1.2k