范数

1 向量范数

1.1 范数定义

1. $L_0$范数（0范数）

   $$||x||_ {0}=非0元素个数$$

2. $L_1$范数（和范数或1范数）

   $$\left|\left|x\right|\right|_{1}=\sum_{i=1}^{m}\left|x_{i}\right|=\left|x_{1}\right|+\cdot\cdot\cdot+\left|x_{m}\right|$$

3. $L_2$范数（$Euclidean$范数或 $Frobenius$范数，$L_2$范数是使用最为广泛的范数）

   $$||x||_{2}=(|x_{1}|^{2}+\cdot\cdot\cdot+|x_{m}|^{2})^{\frac{1}{2}}$$

4. $L_{\infty}$范数（极大范数）

$$\left||x|\right|_{\infty}=m a x\left\{|x_{1}|\,,\cdot\cdot\cdot,\,|x_{m}|\right\}$$

1.2 范数理解

通常而言，可以把范数理解为向量大小的度量方式：

对于二维空间内的向量$p(x,y)$而言，$L_{2}(p)=\sqrt{|x|^{2}+|y|^{2}}$，相信这个公式大家都很熟悉了，代表 $p$向量的长度。如果向量$p(x,y,z)$处于三维空间，那么该向量的$L_2$ 范数（即向量长度）为$\sqrt{|x|^{2}+|y|^{2}+|z|^{2}}$，推而广之， $N$维空间内的向量的$L_2$ 范数便能够表示该向量的长度（大小）。

2 矩阵范数

对向量范数进行推广，就获得了矩阵范数，因此矩阵范数也是对矩阵的一种度量方式，不过，由于矩阵并没有长度的概念，因此将矩阵范数看作是对矩阵长度的度量并不可行，但依旧有类似的理解方式。矩阵范数主要有三种类型：诱导范数、元素形式范数和$Schatten$范数

2.1 三种范数定义

1. 诱导范数（induced norm）
2. 元素形式范数（entrywise norm）
3. $Schatten$范数

3 核函数

img