反向传播

大模型学习笔记2：链式法则、矩阵与反向传播

本文用于解决上篇文章的遗留问题 简单回顾一下 如果想要知道期望输出 y 和模型的真实输出 y^ 差，就使用如下公式，这个叫做 Loss Loss=(y−y^)2 如果想要知道某个参数应该往哪个方向变，变多少，即计算变化率(坡度)，则使用求导的方式，得到