Sticky Posts

3.8kwords3 mins.

# 暮冬 Z 羡慕 的博客 文章汇总 # 卷积加速算法 【Im2Col】卷积加速算法【1】 NCHW 【Im2Col】卷积加速算法【2】NHWC 【im2col】AScend conv accelerate 【Winograd】卷积加速算法原理及实现 【gemm】Gemm 计算加速 【gemm】内存对齐 【conv 加速】NVDLA 卷积加速算法 # AI 推理引擎 【推理引擎】常见推理引擎 【推理引擎】NCNN 和 Tengine 量化推理逻辑对比 【量化】连续卷积层首尾量化的可行性 【NCNN】学习 ncnn 模型转换 【Tengine

Post List

3.6kwords3 mins.

# 序 转载一些有趣的文章，侵删。 导读：2021 年，北大中文系男足再度遭遇医学男足，这次又有怎样的火花呢？ 后卫打飞乌龙球，中文男足 0:14 惜败医学 迟日江山丽，春风花草香。4 月 3 日早 10 点，中文男足迎来了 2021 年北大杯的首秀。在未名湖畔的鸟语花香中，中文男足的队员们诗兴大发，迷失了自我，全场所有射门 —— 无论是面对对方大门，还是面对己方大门，全部射偏，0:14 惜败医学。 赛前，中文男足曾组织队员集体观看蒙古对阵日本的比赛，希望可以向蒙古这样的职业球队学习如何对抗实力强劲的对手。结果，蒙古以 0:14 的比分惨败日本。 观战队员纷纷表示，蒙古连中文男足都不如。因为
5.1kwords5 mins.

# 前言 本篇通过举例说明 TVM 切分子图的方法。 TVM 切分子图，是将整个图中的部分算子拆分出来，包装为一个函数。TVM 把它称为复合函数。切分子图有很多用处，比如算子融合、跨平台优化、做 layergroup 等。TVM 为子图切分提供了好用的工具，本篇文章将结 《【BYOC】TVM 添加自定义编译器 ccompiler》，来介绍一下如何使用 TVM 的工具切分子图，令自定义编译器 ccompiler 支持的子图在 ccompiler 执行，不支持的子图在 CPU 运行的。 参考链接：《【BYOC】TVM 添加自定义编译器 ccompiler》 作为初学者，错误在所难免，还望不吝赐教。
3.2kwords3 mins.

# 序 转载一些有趣的文章，侵删。 导读：2020 年，北大中文系男足和医学系男足比赛，公众号发布的战况报道火了。 # 1 2020 年 10 月 17 日晚 6 点，中文男足迎来了 2020 年新生杯的首秀。又一次凑齐 11 人首发的他们昂首阔步地走入球场，在 80 分钟内被医学连射 40 多脚，却只丢了 12 个球。本轮战罢，中文男足凭借积 0 分、净负 12 球的战绩，排名 20 支参赛球队的倒数第一。 赛前，中文男足的目标是让医学男足以 11:0 的比分击败自己，从而为中文系 110 周年系庆献礼。不曾想，医学众将把中文系的历史想得过于悠久，打进了 12 球。中文男足超额完成任务，提前
4.8kwords4 mins.

# 前言 本篇文章总结【张量生命周期优化】算法。 作为初学者，错误在所难免，还望不吝赐教。 # 介绍 AI 编译器设计中用于神经网络模型推理的内存管理模块， 通常被称为内存分配规划 或 张量生命周期优化。 为了减少内存占用，提高内存利用率，对 Tensor 的内存分配和生命周期的管理必不可少。 内存分配就像是个拼图游戏，在二维坐标中，横轴是时间，纵轴是内容空间，然后将神经网络模型推理过程中需要用到的内存块， 拼到这个二维坐标中。 神经网络模型推理主要涉及三部分 Tensor 内存占用：输入输出 tensor、权重 tensor、临时中间 tensor。将这些 tensor 拼接到如下的坐标轴中
5.3kwords5 mins.

本文为 SystemC 实现寄存器来同步的建模方法。 # 应用场景 仿真时可能有类似这样的需求： 将一系列的指令发送到三个模块 A、B、C，三个模块相互独立地执行这些指令。 为了进行同步控制，这些指令中含有 sync 类型的指令，并借助寄存器来实现模块之间的同步。 比如我创建 20 个寄存器，A 模块的 Sync 指令是往寄存器 0 号位写入 1，B 收到的 sync 指令是读寄存器 0 号位，读到 1 才能执行后续指令；然后 B 往寄存器 1 号位写入 10，C 在寄存器 1 号位读到 10，才能够执行后续指令。以此实现执行同步。 # 初步尝试 依据上述需求，我非常直接地创建了 sc_si
819words1 mins.

# 前言 本篇文章简单总结脉动阵列加速矩阵运算的类型。 网上相关资料较多，可以自行搜索。 作为初学者，错误在所难免，还望不吝赐教。 # 脉动阵列类型 使用脉动阵列实现卷积的数据流类型。 使用脉动阵列实现卷积时，往往先将卷积转化为矩阵预算，然后再补零和分块矩阵乘。 脉动阵列设计中有 3 种典型的数据流： 输出固定 （Output Stationary， OS） 数据流、 权重固定 （Weight Stationary， WS） 数据流和输入固定 （ Input Stationary， IS） 数据流。 以下面这个 5*5 的矩阵乘为例：假设 M 是输入、N 是权重，Z 是结果。 以下是 输出固
8.2kwords7 mins.

# 前置信息 （1）本文讲解使用的例子 以如下的卷积为例，进行昇腾 Im2Col 卷积过程： Input 输入维度为 NHWC ：【2，25，25，17】 外圈蓝色代表 pad Kernal 维度为 CCHkWk ：【34，17，3，3】 操作为 3*3 卷积 pad=1, Group=1, Stride=1， 2D 卷积 得到输出的维度 为 NHWC : 【22，25，25，18】 从图上可以轻易看出相关信息。 现在想起来，光是遇到你这个家伙，就感觉自己赚到了。 ------ 大家好啊 我是 暮冬 Z 羡慕 （2）矩阵乘运算单元 昇腾
773words1 mins.

# 进度 小说字数已经超过 16 万！ 不知不觉已经超过预期中一半内容了。 我感觉故事情节大概能够写到 22 万字，之后回头修改、增补情节、增加描述、查缺补漏，总计内容能够达到 26 万。 写小说之前，只写过字数要求 800 到 1000 的作文，突然写一部长篇小说，也是个不小的挑战。 我基本不看小说，可能有几个原因： 1. 小说信息密度较低，很难短时间全部看完，现在又缺乏那种连续几天空闲可以看书的时间（相比之下视频密度更高，节奏更快，更不用说 “一口气看完” 之类的视频） 2. 不知道哪些是优秀小说，小时候只看点名著，而小说质量参差不齐，不愿意花时间去辨别 3. 耳濡目染中听到，火的小说往
12kwords11 mins.

# 前言 本篇介绍外部编译器：C 语言编译器 ccompiler 是什么。 一些拓展链接。如果想多了解一些编译相关的内容，提高对 relay IR 的理解，可以学习 《【编译器】使用 llvm 编译自定义语言【1】构建 AST》，《【TVM】通过代码学习编译流程【2】模型转换》，《【编译器】使用 llvm 编译自定义语言【3】编译 object》，《My First Language Frontend with LLVM Tutorial》 等。想了解更多 TVM，可以阅读《深度学习编译器 TVM 代码串讲》。 作为初学者，错误在所难免，还望不吝赐教。 # 例子 如何编译 TVM，可以参考文章
539words1 mins.

# 进度 小说字数已经超过 12 万。 预计第一部写到 30 万，但是第一部规划的内容，仅主线内容大概率没法写这么多字。不过不要紧，写完主线内容，我会回来补充一些描写和细节，丰富整个故事。 随着故事情节的推进，当前世界观体系基本完善。第一部中的主线也清晰明了。需要考虑的是如何将主线中的节点一步步有节奏地展示出来，这些东西是需要在实际写到那一步的时候才确定的。 小说的规划挺有意思。 我的野心很大，一口气规划了四部。 第一部制定好了几乎 100% 的节点。后续几部的安排大幅下降。第二部设计了 50% 的主线节点，第三部可能就只有 10% 的主线节点，到了第四部，我只规划了写哪些方面，没有主线，甚至