大模型学习笔记2：链式法则、矩阵与反向传播
本文用于解决上篇文章的遗留问题 简单回顾一下 如果想要知道期望输出 y 和模型的真实输出 y^ 差，就使用如下公式，这个叫做 Loss Loss=(y−y^)2 如果想要知道某个参数应该往哪个方向变，变多少，即计算变化率(坡度)，则使用求导的方式，得到
标签 · 技术
技术
2 篇-
-
大模型学习笔记：从 Loss 到梯度下降
废话不多说，直接开始吧 本文面向的是笔者自己和一些了解大模型的一大堆基础概念，但是从来没有穿起过的，想要学习的读者 作者读文献 English 和 中文 语言系统混了，不要介意（4级难度）