最近开始入门ml&&dl&&nn第一个问题就是解决我的数学饥荒问题，还好所看教材书后有干货数学知识优化了学习的进程。（这里打个广告所看教材为复旦的邱锡鹏老师编纂的《神经网络与深度学习》，想看的同学可以微信搜索公众号CVer找历史推送下载，非利益相关）然后，本菜鸡开始卡死在矩阵的导上什麼标量对向量，向量对矩阵矩阵对向量，行向量对列向量等一大堆乱七八糟的导数（教材只介绍了向量对标量以及向量对向量）找不箌规律怎么办呢，于是请博客里的大佬看了一篇大佬的总结：

他把所有导的情况都整理出来，但似乎没有总结规律这里我靠自己的yy总結了一点方便记忆的规律，如果对哪位同学有帮助不甚荣幸（博主写的时候是大二没有学过矩阵论，各位已经系统学过矩阵论的大佬应該就可以关掉窗口了）

首先按照博主的分类，所有的情况都可以暴力归结为以下三个问题：

当然大家可以有自己的记忆法则和分类这裏我只介绍我觉得好使的方法

2.1 矩阵对矩阵的导

为什么一上来就讲这么复杂的问题呢？相必大家在学习的时候有这样的体会尤其是在学习┅种模型的时候：总的来说有两种方法，即一般到特殊或特殊到一般至于具体选择哪一个，就要看这个模型的特性了例如对于已经学過线性代数的同学，反正国内大部分学校都是先讲矩阵再讲向量但我们知道向量其实是可以视为 $$

简单来说，矩阵的矩阵的导和矩阵和矩阵的乘法很类似：

$\begin{array}{ccc}{}_{}& & {}_{}\\ & & \\ {}_{}& & {}_{}\end{array}$X=????x11??xp1??????x1q??xpq?????? p×q 的矩阵我们想 $\frac{}{}$?X?Y?，首先先考虑结果的形式是一个 $$m×q 的大矩阵，注意這里的 $$q 并不是只元素的个数，而是小矩阵的个数即 $\frac{}{}$m×q 个小矩阵组成的。

那么每一个小矩阵长什么样子呢我们首先把矩阵分别按行和按列分成不同的向量：

$\begin{array}{ccc}{}_{}& & {}_{}\\ & & \\ {}_{}& & {}_{}\end{array}\begin{array}{c}{}_{}^{}\\ {}_{}^{}\\ \\ {}_{}^{}\end{array}$Y=????y11??ym1??????y1n??ymn??????=??????y1T?y2T??ymT????????$\begin{array}{ccc}{}_{}& & {}_{}\\ & & \\ {}_{}& & {}_{}\end{array}\begin{array}{cccc}{}_{}& {}_{}& & {}_{}\end{array}$X=????x11??xp1??????x1q??xpq??????=[x1??x2????xq??]

$\frac{}{}\begin{array}{ccc}\frac{{}_{}^{}}{{}_{}}& & \frac{{}_{}^{}}{{}_{}}\\ & & \\ \frac{{}_{}^{}}{{}_{}}& & \frac{{}_{}^{}}{{}_{}}\end{array}$?X?Y?=??????x1??y1T????x1??ymT????????xq??y1T????xq??ymT????????

故，矩阵对矩阵导第一步就是要化成 $$m×q 的大矩阵，其中第 $$?xj??yiT??可知这是一个行向量对一个列向量进行导。

2.2 行向量对列向量的导

下面要解决嘚问题是行向量如何对列向量导这里直接把大神的图片粘过来：

2.3 元素对元素的导

这个没有什么可说的了，就是微积分的知识