ncnn是腾讯自己开发的一款开源神经网络推理框架，从设计之初就是为了手机端的应用，现在已经支持全平台（Android、鸿蒙、iOS、MacOS、Linux）、（x86、ARM、riscv、loongarch），提供的预编译二进制文件基本上是囊括了市面上能见到的所有系统和架构，如果没有还能自己编译需要的版本 https://github.com/Tencent/ncnn/wiki/how-to-build

纯C++、无第三方库，还支持大小核调度优化，并且支持Vulkan API GPU 加速！

适用性多么好我就不说了，简直就是，具体可以看官方的README https://github.com/Tencent/ncnn

原本我是使用了OpenCV的DNN来推理，但是官方发布的预编译文件不提供包含CUDA，所以都得手动编译来获得CUDA加速特性。而且平时使用时经常会更换CUDA版本，为此还得给每个版本都编译一个OpenCV，不仅是CUDA版本，OpenCV在版本之间也是不兼容的，所以现在使用的预编译好的库早已是八百年前的版本。在发布时还得带上CUDA Runtime，整个系统包就显得十分臃肿。

尽早脱离编译苦海才是正道，所以ncnn简直是完美的替代方案。

使用前准备

首先下载ncnn提供的预编译文件： https://github.com/Tencent/ncnn/releases

根据自己的目标来下载，里面包含了二进制库文件，还有工具文件

比如下载了windows的预编译包，则包含arm、arm64、x64、x86四种架构的预编译文件

├─arm
│  ├─bin
│  ├─include
│  │  └─ncnn
│  └─lib
│      ├─cmake
│      │  └─ncnn
│      └─pkgconfig
├─arm64
│  ├─bin
│  ├─include
│  │  └─ncnn
│  └─lib
│      ├─cmake
│      │  └─ncnn
│      └─pkgconfig
├─x64
│  ├─bin
│  ├─include
│  │  └─ncnn
│  └─lib
│      ├─cmake
│      │  └─ncnn
│      └─pkgconfig
└─x86
    ├─bin
    ├─include
    │  └─ncnn
    └─lib
        ├─cmake
        │  └─ncnn
        └─pkgconfig

每个架构下都提供了编译完成的库文件和工具文件，内含一系列的模型转换工具、量化工具、优化模型文件工具和合并模型文件工具等。

caffe2ncnn.exe
darknet2ncnn.exe
mxnet2ncnn.exe
ncnn.dll
ncnn2int8.exe
ncnn2mem.exe
ncnn2table.exe
ncnnmerge.exe
ncnnoptimize.exe
onnx2ncnn.exe

转化模型

首先将yolox训练完的Torch文件转换为Onnx文件：

python tools/export_onnx.py --output-name yolox_1280.onnx -f .\exps\example\yolox_voc\yolox_voc_l_1280x.py -c D:\python\model\best_ckpt.pth

使用 onnx2ncnn.exe 将onnx转为ncnn格式模型文件 onnx2ncnn.exe D:\python\YOLOX\yolox_1280.onnx model.param model.bin

此时会提示 Unsupported slice step ! 因为注意力模块在ncnn中并不支持，所以需要自己在代码中实现这一层。

修改模型

打开model.param

7767517
359 406
Input            images                   0 1 images
Split            splitncnn_input0         1 2 images images_splitncnn_0 images_splitncnn_1
Crop             /backbone/backbone/stem/Slice 1 1 images_splitncnn_1 /backbone/backbone/stem/Slice_output_0 -23309=1,0 -23310=1,2147483647 -23311=1,1
Split            splitncnn_0              1 2 /backbone/backbone/stem/Slice_output_0 /backbone/backbone/stem/Slice_output_0_splitncnn_0 /backbone/backbone/stem/Slice_output_0_splitncnn_1
Crop             /backbone/backbone/stem/Slice_1 1 1 /backbone/backbone/stem/Slice_output_0_splitncnn_1 /backbone/backbone/stem/Slice_1_output_0 -23309=1,0 -23310=1,2147483647 -23311=1,2
Crop             /backbone/backbone/stem/Slice_2 1 1 /backbone/backbone/stem/Slice_output_0_splitncnn_0 /backbone/backbone/stem/Slice_2_output_0 -23309=1,1 -23310=1,2147483647 -23311=1,2
Crop             /backbone/backbone/stem/Slice_3 1 1 images_splitncnn_0 /backbone/backbone/stem/Slice_3_output_0 -23309=1,1 -23310=1,2147483647 -23311=1,1
Split            splitncnn_1              1 2 /backbone/backbone/stem/Slice_3_output_0 /backbone/backbone/stem/Slice_3_output_0_splitncnn_0 /backbone/backbone/stem/Slice_3_output_0_splitncnn_1
Crop             /backbone/backbone/stem/Slice_4 1 1 /backbone/backbone/stem/Slice_3_output_0_splitncnn_1 /backbone/backbone/stem/Slice_4_output_0 -23309=1,0 -23310=1,2147483647 -23311=1,2
Crop             /backbone/backbone/stem/Slice_5 1 1 /backbone/backbone/stem/Slice_3_output_0_splitncnn_0 /backbone/backbone/stem/Slice_5_output_0 -23309=1,1 -23310=1,2147483647 -23311=1,2
Concat           /backbone/backbone/stem/Concat 4 1 /backbone/backbone/stem/Slice_1_output_0 /backbone/backbone/stem/Slice_4_output_0 /backbone/backbone/stem/Slice_2_output_0 /backbone/backbone/stem/Slice_5_output_0 /backbone/backbone/stem/Concat_output_0 0=0
...

我使用的是yolox-l，这看起来和官方给的转化demo有点不一样，但是实际上结构是完全相同的。

删除Input层后的10层，添加自定义层 YoloV5Focus

YoloV5Focus      focus                    1 1 images /backbone/backbone/stem/Concat_output_0

images 输出到 YoloV5Focus 层，处理后再输出到 /backbone/backbone/stem/Concat_output_0 层。

再修改第二行的359层数为350，因为删除了10层并添加了一层。

在代码中实现YoloV5Focus

class YoloV5Focus : public ::ncnn::Layer
public:
    YoloV5Focus()
        one_blob_only = true;
    virtual int forward(const ::ncnn::Mat& bottom_blob, ::ncnn::Mat& top_blob, const ::ncnn::Option& opt) const
        int w = bottom_blob.w;
        int h = bottom_blob.h;
        int channels = bottom_blob.c;
        int outw = w / 2;
        int outh = h / 2;
        int outc = channels * 4;
        top_blob.create(outw, outh, outc, 4u, 1, opt.blob_allocator);
        if (top_blob.empty())
            return -100;
#pragma omp parallel for num_threads(opt.num_threads)
        for (int p = 0; p < outc; p++)
            const float* ptr = bottom_blob.channel(p % channels).row((p / channels) % 2) + ((p / channels) / 2);
            float* outptr = top_blob.channel(p);
            for (int i = 0; i < outh; i++)
                for (int j = 0; j < outw; j++)
                    *outptr = *ptr;
                    outptr += 1;
                    ptr += 2;
                ptr += w;
        return 0;
};

同时创建一个工厂函数用于ncnn来调用

inline ::ncnn::Layer* YoloV5Focus_layer_creator(void* /*userdata*/)