🚀 MNN 基于后训练的模型压缩指南

一句话总结：无需训练、一键压缩 —— 适配绝大多数部署场景。

📌 基于后训练的模型压缩方案

基于后训练的模型压缩，无需训练，包括如下方案：

• ✅ 权值量化（Weight Quantization） —— 模型体积缩小 75%，结合动态量化可以提速+省内存
• ✅ FP16 压缩 —— 模型体积缩小 50%，精度基本无损
• ✅ 自动压缩策略（auto_quant.py） —— 基于权值量化，自动为各算子选择不同的量化方案，以保障模型精度
• ✅ 离线量化（少量校准数据） —— 全图 int8 推理，提速 + 省内存 + 省体积

🧰 压缩方案总览

✅ 推荐优先使用：权值量化 + 动态量化加速，或 离线量化

🛠️ 一、安装模型转换工具

1. C++ 工具（推荐用于生产环境）

cd MNN
mkdir build && cd build
cmake .. -DMNN_BUILD_CONVERTER=ON -DMNN_BUILD_QUANTOOLS=ON
make -j8

生成工具：

• MNNConvert：模型转换 + 权值量化 / FP16
• quantized.out：离线量化工具

2. Python 工具（推荐用于快速实验）

pip install MNN

安装后命令行工具：

• mnnconvert → MNNConvert 的 Python 封装
• mnnquant → quantized.out 的 Python 封装
• mnn → 工具总入口

📦 二、权值量化（推荐首选）

仅压缩模型体积，不改变计算精度，推理速度不变，一键完成

✅ 适用场景

• 模型太大，需减小体积
• 不希望改变推理行为
• 需要快速部署，无校准数据

🧪 使用方法

# ONNX → MNN + 权值量化
./MNNConvert -f ONNX --modelFile model.onnx --MNNModel model_quant.mnn --weightQuantBits 8

# 使用 HQQ 量化算法（量化时间增长，一般情况下精度增加）
./MNNConvert ... --weightQuantBits 8 --hqq

# 或分块量化（精度更高，体积略增）【可与HQQ叠加使用】
./MNNConvert ... --weightQuantBits 8 --weightQuantBlock 128

📌 --weightQuantBlock 越小精度越高，建议 32~128

📌 --hqq 可以和 --weightQuantBlock 叠加使用

⚡ 开启动态量化加速（真正提速）

权值量化默认推理时还原为 float，开启动态量化可真正使用 int8 计算：

1. 编译时开启低内存模式：

cmake .. -DMNN_LOW_MEMORY=ON

2. 推理时设置 Memory Mode：

MNN::ScheduleConfig config;
BackendConfig backendConfig;
backendConfig.memory = BackendConfig::Memory_Low; // ✅ 关键！
config.backendConfig = &backendConfig;

✅ 开启后，卷积等核心算子将使用 int8 计算（权重存储使用 int4 或 int8），内存占用更低，速度更快

🧊 三、FP16 压缩（无损半精度）

**模型体积减半，精度几乎无损，不影响推理性能 **

✅ 适用场景

• 模型体积敏感
• 不希望损失精度

🧪 使用方法

./MNNConvert -f ONNX --modelFile model.onnx --MNNModel model_fp16.mnn --fp16

⚡ 推理时开启 FP16 加速：

BackendConfig backendConfig;
backendConfig.precision = BackendConfig::Precision_Low; // ✅ 开启低精度加速
config.backendConfig = &backendConfig;

📌 注意：--fp16 是存储压缩，Precision_Low 是运行时加速，两者是独立使用的 📌 没有使用--fp16压缩的模型，也可以通过设置 Precision_Low 以支持运行时加速

🤖 四、自动压缩工具（auto_quant.py）

自动搜索最优量化策略，跳过敏感层，保障精度

✅ 适用场景

• 不确定哪些层该量化
• 量化后精度下降明显
• 希望自动化压缩流程

🧪 使用步骤

1. 将模型转成MNN格式，示例：

./MNNConvert -f ONNX --modelFile src.onnx --MNNModel float.mnn

2. 参考正确性校验，构建测试文件夹 mnntest

结构：

mnntest/
├── input.json   # 输入输出配置
├── input0.txt   # 输入0数据
├── input1.txt   # 输入1数据
├── output.txt  # 输出数据

3. 执行自动压缩

python tools/converter/tools/auto_quant.py \
    --model float.mnn \
    --quant_model auto_quant.mnn \
    --test_dir mnntest \
    --rate 0.05  # 允许最大误差率

✅ 自动生成 auto_quant.mnn 和 auto_quant.mnn.json（压缩策略文件）

4. （可选）手动调整策略

编辑 auto_quant.mnn.json，将敏感层 bits 设为 0（跳过量化）或 16（高精度）：

      "weight": [
       {
        "name": "Convolution11",
        "bits": 8,
        "asymmetric": true,
        "blockSize": -1
       }
      ],

重新转换：

./MNNConvert -f ONNX --modelFile float.mnn --MNNModel auto_quant.mnn --compressionParamsFile auto_quant.mnn.json --hqq

🔍 五、离线量化（推荐用于加速）

使用少量校准数据，将模型转为全 int8 推理，体积缩小 75%，推理加速

✅ 适用场景

• 需要最大推理速度
• 有少量代表性数据（100~1000 张图片）
• 不想训练，但接受轻微精度损失
• 输入输出尺寸大，需要减少这部分的内存

🧪 使用方法

Step 1: 先转为 float MNN

./MNNConvert -f ONNX --modelFile model.onnx --MNNModel model_float.mnn

Step 2: 准备数据集，编写量化json文件

参考如下文件编写 quant.json：

{
    "format":"RGB",
    "mean":[
        103.94,
        116.78,
        123.68
    ],
    "normal":[
        0.017,
        0.017,
        0.017
    ],
    "width":224,
    "height":224,
    "path":"../resource/images/",
    "used_image_num":2,
    "feature_quantize_method":"KL",
    "weight_quantize_method":"MAX_ABS",
    "model":"mobilenet.mnn"
}

该Json的配置信息如下表所示：

多输入模型的配置

对于多输入模型，quant.json文件需要特别指定参数

例如在quant.json文件中 "path": "/home/data/inputs_dir/"，你所构造的矫正数据集有两个，分别存放在input_0和input_1子目录下，即"/home/data/inputs_dir/input_0"和"/home/data/inputs_dir/input_1".由GetMNNInfo工具可以得到模型的输入输出名称，例如该模型的输入有三个：data0, data1, data2，输出有两个：out1, out2. 那么在input_0和input_1子目录下分别有六个文件：data0.txt, data1.txt, data2.txt, out1.txt, out2.txt, input.json. 其中的五个文件名要和模型的输入输出名对应，最后一个input.json文件则描述的是输入名和对应的shape内容：

{
    "inputs": [
        {
            "name": "data0",
            "shape": [
                2,
                4,
		        64,
		        64
            ]
        },
	        {
            "name": "data1",
            "shape": [
                1
            ]
        },
        {
            "name": "data2",
            "shape": [
                2,
                512,
                768
            ]
        }
    ],
    "outputs": [
        "out1", "out2"
    ]
}

Step 3: 使用 quantized.out 或 mnnquant 进行离线量化

./quantized.out model_float.mnn model_quant_int8.mnn quant.json

或 Python：

mnnquant model_float.mnn model_quant_int8.mnn quant.json

🎯 六、推荐压缩策略

📈 压缩效果参考（ImageNet 模型，华为 P20 Pro）

❓ 常见问题

Q1: 权值量化后精度下降怎么办？

• 尝试 --hqq
• 尝试 --weightQuantBlock 128
• 使用 auto_quant.py 自动跳过敏感层

Q2: 动态量化没加速？

• 确认编译时加了 -DMNN_LOW_MEMORY=ON
• 确认推理时设置了 Memory_Low
• 某些小模型或算子可能无加速效果

Q3: 离线量化需要多少数据？

• 100~1000 张有代表性图片即可
• 数据分布应覆盖真实场景

Q4: FP16 会损失精度吗？

• 在视觉模型上通常 <0.1% 精度损失
• 数值敏感任务（如语音、检测小目标）建议测试

📚 附录：命令行参数速查

MNNConvert 常用压缩参数

--weightQuantBits 8          # 权值量化 8bit ，可选 2-8
--hqq      # 启用 HQQ 量化算法
--weightQuantBlock 128        # 分块量化大小
--fp16                       # FP16 存储压缩
--compressionParamsFile xxx.json  # 自定义压缩策略

✅ 总结：三步完成模型压缩

1. 选方案：

   • 只缩体积 → 权值量化
   • 要加速 → 离线量化 or 权值量化 + 动态量化
   • 怕掉点 → auto_quant.py

2. 转模型：

   bashCopy

   ./MNNConvert ... --weightQuantBits 8
   

3. （可选）调推理配置：

   cppCopy

   backendConfig.memory = BackendConfig::Memory_Low; // 开启动态量化
   backendConfig.precision = BackendConfig::Precision_Low; // 开启FP16加速
   

如需基于训练实现的更高精度或压缩率的方案（剪枝/低秩/训练量化），请参考 mnncompress 文档，但90% 场景转换压缩已足够。