Back to Mvision

BOTTOM-TO-TOP 逐层量化

CNN/Deep_Compression/quantization/B2T/readme.md

latest541 B
Original Source

BOTTOM-TO-TOP 逐层量化

论文

分层 来增量型量化。
具体来说就是,
优先量化最底层的参数,
然后再优化上层的参数,
最后所有的参数都能得到优化。


这篇论⽂的简单,实验效果上是⾮常有效的。
这⽆疑相互印证了,所有的参数,直接训练可能⽐较难找到⼀个收敛点。
另外这篇论⽂使⽤这种分层的增量训练的出发点之⼀也是:
梯度误差积累效应。