大模型技术发展推动AI专用芯片需求 - 大模型技术进步显著提升对AI专用芯片的关注度 专用芯片在计算任务负载中效率更高 谷歌TPU自2015年部署后已迭代至第7代 采用最先进制程工艺并针对机器学习推理任务优化架构[1] - TPU技术推动Gemini等大模型发展 加拿大西安大略大学团队基于学术研究目的开发开源TinyTPU芯片 支持机器学习推理和训练功能[1] TinyTPU开发动机与设计理念 - 项目初衷包括构建机器学习负载芯片的实践吸引力 以及填补同时支持推理和训练的开源加速器代码库空白[5] - 团队采用"Hacky Way"设计理念 优先尝试自主方案而非依赖逆向工程或AI代码生成工具 强调基础原理推导和硬件设计学习[6] - 开发过程注重深度学习算法与硬件设计的结合 通过图形化表达强化理解[6] TPU技术原理与架构特性 - TPU作为专用集成电路(ASIC)专注于提升机器学习推理和训练速度 与通用GPU相比在数学运算效率上具有显著优势[9] - 核心采用脉动阵列结构 由处理单元(PE)网格组成 每个PE执行乘累加运算 在时钟周期内同步处理数据[26][28] - 矩阵乘法占Transformer计算操作的80-90% 在超大型模型中达95% 占CNN计算操作的70-80% 脉动阵列专门优化此类运算[14] TinyTPU实现方案与技术细节 - 选择XOR问题作为验证场景 使用2x2脉动阵列(而非TPUv1的256x256) 输入为4x2矩阵代表4种二进制组合[18][21][23] - 采用权重平稳架构 通过矩阵旋转90度 输入交错延迟和权重转置实现数据对齐[35][38][44] - 集成偏差模块和LeakyReLU激活函数(泄漏因子α=0.5) 采用流水线技术将操作分解为多时钟周期以提升效率[50][52][58] - 创新性引入双倍缓冲机制 通过影子缓冲区预加载权重 减少50%时钟周期 支持持续推理[61][64] - 控制单元采用24位指令集(ISA)实现标志控制和数据加载 后期扩展至94位指令集以满足训练需求[68][117] 训练功能实现与优化 - 支持反向传播训练 使用均方误差(MSE)作为损失函数 通过链式法则计算梯度[71][74][75] - 发现前向传播与反向传播的数学对称性：前向使用转置权重矩阵相乘 反向使用未转置矩阵相乘[79][108] - 开发向量处理单元(VPU)统一处理逐元素操作 整合偏差 激活 损失和梯度计算模块[89][92] - 设计统一缓冲区(UB)模块存储激活值 权重和临时数据 配备双读写端口减少数据争用[97][98] - 对激活导数模块实施缓存优化 减少统一缓冲区访问次数[102][104] 性能验证与实际应用 - 通过GTKWave波形模拟验证权重更新功能 展示一个训练周期后参数变化[119] - 完整架构支持持续数据流处理 最大化脉动阵列利用率 实现推理和训练的硬件级协同[118]