【推理引擎】NCNN和Tengine量化推理逻辑对比
本文讨论了 ncnn 和 tengine 两个框架在量化推理上的逻辑,并比较了它们之间的区别与联系,以及一点自己的思考。
风雨送春归,飞雪迎春到。
已是悬崖百丈冰,犹有花枝俏。 ---- 教员
------ 大家好啊 我是 暮冬 Z 羡慕
# 量化
这里仅简单介绍一下量化,不会展开,有机会再详细写一下量化算法。
# 什么是量化
量化的核心思想是将连续的浮点数域映射到一个更小的、离散的整数集合上。这通过将浮点数值舍入或映射到最近的整数值来实现,同时保持整个模型表示的动态范围。例如,一个原本使用 32 位浮点数表示的权重值,在量化后可能会被转换为 8 位的整数,这样每个权重只
more...